黄新康 袁嫣红
摘 要：
针对汽车线束检测项种类结构繁多、位置角度多变，以及人工检测效率低、漏检率高等问题，提出基于图像的汽车线束结构检测方案。通过匹配数据库汽车线束字符自动切换线束检测算法，结合各种图像检测传统算法和深度学习检测算法，实现不同线束各检测项的普适检测。应用到汽车线束生产检测中，平均误报率为2.38%，漏报率为0，证明了该检测方案能准确高效地完成不同汽车线束的检测。
关键词：
汽车线束；
图像检测；
传统检测算法；
深度学习检测算法；
人机界面
中图分类号：TP391.4 文献标识码：A 文章编号：1006-8228（2023）06-129-05
Image-based detection of automobile wiring harness structure
Huang Xinkang1，2， Yuan Yanhong1
（1. College of Mechanical Engineering， Zhejiang University of Technology， Hangzhou， Zhejiang 310018， China;
2. Xinchang Research Institute of Zhejiang University of Technology）
Abstract：
An image-based automobile harness structure detection scheme is proposed to solve the problems such as various types and structures of automobile harness detection items， variable position angles， and low efficiency and high leakage rate of manual detection. The harness detection algorithm is automatically switched by matching the automotive harness characters in the database. Combining various traditional image detection algorithms and deep learning detection algorithms， universal detection of different harness detection items is achieved. In the actual application to automobile harness production detection， the average false alarm rate is 2.38%， and the missed alarm rate is 0. It proves that the detection scheme can accurately and efficiently complete the detection requirements of different automobile harness.
Key words：
automobile wiring harness; image detection; traditional detection algorithm; deep learning detection algorithm; interface
0 引言
汽車线束，被称为汽车的神经网络，它起着连接汽车各部分为一个整体的重要作用。汽车线束的零部件生产工艺已经比较成熟，由于汽车线束具有线材柔软、种类多、要求高、定位不准和部分特征不明显等特点，导致汽车线束的成品检测比较困难，人工全检效率低、准度差。同时汽车线束的生产具有周期性的特点，针对单一特定线束设计的检测方案不适用其他生产周期的汽车线束检测，并且即使是单一线束生产也偶尔会增减特定的检测项导致检测方案不适用。
常用的汽车线束检测算法如模板匹配、特征匹配等难以应对汽车线束易变形、定位不准、特征不明显和车间环境光变化的问题[1]，采用深度学习目标检测算法虽然可以准确检测，但汽车线束检测项繁多导致训练成本极高，而且不能应对检测不同线束的问题。因此，研发一种高效、准确并适用于常用汽车线束的检测方案，对于企业生产和汽车线束检测研究具有重要的意义。
1 汽车线束检测内容与检测方案整体设计
目前国内尚无完全自动化的汽车线束组装生产机械，企业一般采用流水线作业来提高线束的生产效率[2]，如图1所示。依据线束的结构特征，设计的流水线和相应的线束工装板。线束工装板在流水线上循环，由工位1开始组装到工位12结束，装配成一个完整的线束，拿掉线束后空板回到工位1继续循环。
各工位工人使用扎带、胶布、胶带等紧固件将线束固定成型，如图2所示，下图红框中扎带、胶布、胶带统称为汽车线束上的紧固件，各紧固件在工装板上都有位置、长度、角度等要求，正是紧固件数量、种类和位置不同导致汽车线束结构不同从而形成形态各异的汽车线束。
1.1 汽车线束检测内容与检测要求
由于人工装配的不确定性，扎带、胶布和胶带的三种紧固件装配数量、位置可能出现错误，因此汽车线束的检测项即为线束上的紧固件：扎带、胶布、胶带，如图3所示。各种紧固件组合成不同的汽车线束，通过调研常用汽车线束，归纳汽车线束上需要检测的紧固件种类，其中紧固件中常用检测扎带有12种，胶布种类只有一种但有不同长度的要求，胶带是采用在线束上互压胶带宽度1/2的方式全缠而成[2]，胶带互压过程中会产生凸起的带痕，因此胶带不仅有长度的差别，还有左缠胶带和右缠胶带的区别。
1.2 汽車线束检测方案整体设计
汽车线束在工装板上进行装配，工装板在流水线上循环，工位12完成线束最后一道装配任务，工装板由气缸推入检测区域，工装板到达指定位置后触发位置传感器输出给PLC，PLC与相机通信，相机开始线束图像采样，经过算法判定，判定结果信号输出到PLC，PLC控制线束机械臂抓取线束，根据判定结果将线束放入到线束不同分类区，然后机械臂回到原点，气缸推动空工装板到工位1，继续循环，如图4所示。
针对汽车线束检测项不同特性采用不同的检测算法。特征明显容易识别的汽车线束检测项采用传统检测算法，特征不明显难以识别的检测项采用深度学习检测算法，结合传统检测算法与深度学习检测算法既能高效准确地完成汽车线束检测，又能节省检测算法开发成本，如图5所示。
2 汽车线束图像硬件选型与图像预处理
2.1 图像采集系统硬件选型
图像采集系统是图像检测的基础，选型图像采集硬件系统需要考虑汽车线束检测项检测内容、检测要求、机械结构、检测环境等[3]。
相机选型决定着拍摄图像质量的高低。因汽车线束是组装到工装板上，拍摄汽车线束的范围不得小于工装板大小，工装板标准长宽170mm*40mm，检测精度要求0.1mm，同时线材类需要颜色检测、检测范围广、检测时间长、检测精度要求不高等特点，选择相机型号为MV-CE200-10GM，部分参数如表1所示。
镜头选型决定了机器视觉系统成像的特性。汽车线束拍摄工作距离为60cm～90cm，针对线束不需要大光圈、视野宽等特点，选择镜头型号为MVL-KF0814M-12MPE，部分参数如表2所示。
光源选型决定机器视觉系统成像的质量。汽车线束检测项检测环境宽广、空间密封、检测项主体为黑色，经实验后选择两块方形白色光源LTDS-H-300-W均匀对称分布在相机两侧。
图像采集系统搭建与调试
根据以上各部件选型及检测环境、机构搭建图像采集硬件系统如图6所示，调试出最佳拍摄效果，拍摄图像成像质量高、检测内容画面清晰、特征明显，证明图像采集硬件选型准确合适，如图7所示。
2.2 图像预处理
原始的拍摄图含有大量干扰区域，并且部分检测特征不明显清楚，在进行图像算法设置前需要对原始拍摄图进行预处理，其中主要包括：ROI区选取与灰度化、图像滤波、图像增强等。
2.2.1 ROI区选取与图像灰度化
在图像处理领域，ROI是指在原始图像中选择的一个合适图像区域，排除干扰信息，减少计算机运算量，后期只对该区域做进一步处理。同时为获得更丰富的缺陷特征信息，相机所拍摄的图像为RGB三通道位图图像，信息量较大，为降低上位机的数据处理量，需将采集到的图像进行单通道灰度化处理。
2.2.2 图像滤波
由于检测系统工作环境恶劣，图像在拍摄和传输过程中会受到随机干扰信号的影响，导致采集到的图像存在一定的噪声[3]。这些干扰源在硬件上是无法避免的，因此有必要在处理算法上对图像进行滤波，以降低噪声，从而提高检测的准确性。
2.2.3 图像增强
图像增强的目的是改善图像的局部或整体特征，根据研究的需要对图像进行特定的处理，提高图像的判断和识别效果[4]。
经过图像预处理后图像干扰信息大大减少，检测项特征清晰明显，如图8所示，说明图像预处理效果合适明显。
3 汽车线束检测算法设计
3.1 汽车线束智能切换检测算法
一个完整的汽车线束检测项是由常用检测项其中的某几项组合而成，因此在检测不同线束或者同种线束加/减某个特定检测项时，只需增删对应的检测项算法就行，从而实现汽车线束检测模块化，这样大大提高了汽车线束检测算法的普适性以及便捷性。
step 1 建立汽车线束样本资料库：将几种常用的汽车线束字符与其对应的检测项信息录入数据库以供后续算法调用。
step 2 由于线束是安装在工装板上，对工装板的匹配定位就是对线束的匹配定位，识别线束字符判断生产线束是否为目标生产线束，如图9所示，如果用错工装板应及时更换，避免浪费工时。
step 3 得到线束字符后匹配数据库中的线束字符，自动调用数据库中线束字符对应的线束检测项种类、数量、位置ROI区信息实现自动化切换检测不同汽车线束的目的。
3.2 基于混合技术的图像检测算法
汽车线束检测项繁多，相比单一使用某一种检测方法检测汽车线束，针对不同检测项、不同检测要求选取不同检测算法或融合多种检测方法，使得检测整体汽车线束变得更高效、准确。
3.2.1 基于YOLO算法的深度学习目标检测算法
固定扎带检测因在特殊角度下不同扎带表现出的特征非常相似，如图10所示，导致检测易产生漏报；
胶布检测因胶布两端通常紧挨扎带，导致检测长度失误出现漏报；
胶带检测因胶带特征不明显且特征不固定导致误报率高且出现漏报。这三项要求用传统检测方法不能控制漏报为0，采用深度学习目标检测算法可以实现准确地检测。
step1 对线束样本进行数据采集，线束样本的主要部件为多角度的固定扎带，胶布，左旋胶带，右旋胶带。本次实验共对1000组线束进行数据采集，再对采集图像进行数据清洗，筛选掉由于抖动、对焦不准等原因导致的模糊样本图，得到高质量的线束样本图像895张，如表4所示，其中图像的分辨率为5472×3648。
step2 根据汽车线束数据集大小和检测要求精度选择YOLOv5s.pt进行预训练从而加快后续训练速度，然后导入汽车线束数据集和验证集，修改训练路径开始模型训练，启用tensorbord查看训练结果，mAP数值逐渐提高后趋于平稳值0.9左右，如图11所示。
step3 模型训练完会产生一个最好的权重文件best.pt，导入验证图片测试权重文件，测试图片中需要检测的扎带、胶布、左旋胶带都能准确地识别出来，且准确率均大于0.8，如图12所示。
3.3 传统检测算法设计
除以上采用深度学习的三项检测项外，其余特征明显容易识别的检测项采用传统检测算法可以减少检测成本，检测运行高效便捷。
3.3.1 基于图像边缘梯度的NCC匹配算法
由于汽车线束的装配是在车间流水线上，检测环境无法做到完全封闭，即使有专用的光源补充，拍摄环境光也会随着时间或者遮蓋发生变化。常规模板匹配算法cv2.matchTemplate是基于像素的匹配算法[5]，很容易受光照的影响导致误报。
基于图像边缘梯度的NCC模板匹配算法对图像光照与像素迁移都有很强的抗干扰能力[6]，如图13所示。在检测特征明显的扎带匹配算法上，基于图像边缘梯度的NCC模板匹配算法在鲁棒性、运算速率、精准度上是优于已有的模板匹配算法，如表5所示。
3.3.2 其他传统检测算法
由于检测项与线材颜色有灰度上的差异，当存在检测项时则有线束横向的一个宽度值，不存在检测项时则没有，所以可采用间距测量算法检测有无。除此之外，还有相似度检测算法、颜色检测算法等运用于汽车线束检测的不同检测场景，即使是同一个检测项，可采用的检测算法也不止一种，检测准度、速度、鲁棒性等也是不一样的[7]。
3.4 人机界面及检验成果
设计人机交互界面，便于工人查看汽车线束检验状态，包括显示当前线束拍摄示意图、统计生产数据、检测结果等，如图14所示。
我们对常用五种汽车线束进行算法检验，基于图像的汽车线束结构检测方案平均每小时检测线束数量846个，误报率在2.38%，漏报率为0，结果证明了该检测方案可以实现对不同线束不同检测项的准确高效检测。
4 总结与展望
本文设计了基于图像的汽车线束结构检测系统，调研总结汽车线束常用检测项，针对不同检测项单独设计检测算法，结合传统检测算法与深度学习检测算法实现对汽车线束检测项高效准确的检测。通过算法与数据库的通讯实现对汽车线束的智能切换检测方案，提高检测算法的普适性。设计简洁明了、便于操作的人机交互界面，方便工人更换不同汽车线束检测算法、导出检测统计数据。设计的系统不仅为企业提高了汽车线束生产效率，同时也给线束检测领域提供了一种新思路。
参考文献（References）：
[1] 李秀娟，李贝贝，于心俊.线束端子在线检测系统[J].自动化
仪表，2015，36（6）：65-68
[2] 雷敏华，陈良.基于机器视觉的端子尺寸检测系统[J].机电工
程技术，2013（7）：27-29
[3] MackenzieM，Tieu K.Gaussian filters and filter synthesis
using aHermite/Laguerre neural network[J].IEEE Transactions on Neural Networks，2004，15（1）：206
[4] 严攀.基于目标检测的汽车线束外观检测应用研究[D].硕士，
电子科技大学，2020
[5] 赵旦峰，王博，杨大伟.一种边缘定向平滑图像插值算法[J].
电子与信息学报，2012，34（7）：1543-1546
[6]张相胜，焦鹏，潘丰.基于机器视觉的汽车线束压接缺陷检测
系统[J].仪表技术与传感器，2020（3）：73-7
[7] 冯策，戴树岭.一种改进的非锐化掩模深度图像增强算法[J].
哈尔滨：哈尔滨工业大学学报，2014，46（8）：107-112
猜你喜欢人机界面浅谈无锡地铁信号系统人机界面的应用与研究电子乐园·下旬刊(2021年3期)2021-02-08现代汽车人机界面（HMI）设计趋势汽车文摘(2019年3期)2019-03-04CBTC系统车载人机界面的设计与实现铁道通信信号(2016年1期)2016-06-01基于PLC与人机界面的经编机电子横移控制系统研究广东石油化工学院学报(2016年6期)2016-05-17一种新型储能变流器的人机界面设计方法与实现电测与仪表(2016年4期)2016-04-11基于SYNTEC的大型螺旋锥齿轮专用数控机床人机界面设计重型机械(2016年1期)2016-03-01人机界面运营过程复现系统的应用研究铁路计算机应用(2015年9期)2015-06-28CTCS-3级列控车载人机界面的系统设计与实现铁路通信信号工程技术(2015年4期)2015-02-28核电站应急辅助决策系统的人机界面设计与实现自动化博览(2014年10期)2014-02-28达人机界面DOP-B10VS511自动化博览(2014年10期)2014-02-28