摘" 要：在精密元器件的生产过程中，对产品进行缺陷检测是至关重要的一个步骤，同时缺陷检测也是计算机视觉领域一个重点研究内容。文章算法研究使用Python作为编程语言，对图片数据进行预处理以及数据增强后，使用YOLO（You Only Look Once： Unified，Real-Time Object Detection）和Faster R-CNN（Towards Real-Time Object Detection with Region Proposal Networks）模型对图片数据进行训练，同时构建一个高性能的轻量化特征提取网络，实现电子元器件的快速特征提取。
关键词：深度学习；缺陷检测；YOLO；Faster R-CNN
中图分类号：TP18" " " 文献标识码：A" " " 文章编号：2096-4706（2024）22-0156-05
Research on Algorithm for Automatic Detection of Precision Components in Industrial Production
Abstract： In the production process of precision components， product defect detection is a crucial step， and defect detection is also a key research content in the field of computer vision. This algorithm research uses Python as the programming language to preprocess the image data and enhance the data， then uses YOLO （You Only Look Once： Unified， Real-Time Object Detection） and Faster R-CNN （Towards Real-Time Object Detection with Region Proposal Networks） models to train image data. At the same time， it builds a lightweight feature extraction network with high performance to achieve rapid feature extraction of electronic components.
Keywords： Deep Learning; defect detection; YOLO; Faster R-CNN
0" 引" 言
精密元器件生产是一种典型的多变量、多工序、多阶段操作工业过程，其质量控制问题一直是学术界和工业界的关注焦点。在精密元器件的生产过程中，常见的质量不合格有：毛刺问题：毛刺是精密元器件加工过程中常见的缺陷之一，可能影响产品的外观和性能。为了避免毛刺问题，可以采用精密加工设备和精细加工工艺，控制加工参数，及时清理加工件表面的毛刺，并使用显微镜等设备进行检查[1-4]；尺寸混淆问题：精密元器件的尺寸精度对产品的性能和功能至关重要。为了确保尺寸的准确性，可以采用高精度的测量设备（如三坐标测量机、光学投影仪），建立严格的尺寸控制标准和测量程序，对产品尺寸进行全面检测和监控；线路缺陷问题：线路缺陷可能导致电路的短路、断路等问题，影响产品的功能和可靠性。为了避免线路缺陷，可以采用高精度的印刷电路板（PCB）制造设备和工艺，加强对电路板的检验和测试，及时修复线路缺陷，并建立完善的质量跟踪体系。而自动化检测可提高生产效率，提高整个制造业的加工精度和技术水平，增强电子产品的质量、性能和竞争力。随着我国人工智能信息技术的不断创新发展，自动化系统的需求也在不断增加，深度学习检测系统可替代人工去检测产品缺陷，在精密元器件生产过程中，能够更好的满足视觉检测需求，控制质量[5-6]。
根据精密元器件缺陷的类型，研究出了一些符合工业生产要求的检测方法，如：仪器线上检测法、功能测试法、视觉检测法、声波检测、红外线检测、电子显微镜检查、光学显微镜检查。对于出现的问题，提出了许多解决方案[7-10]。
针对元器件焊点缺陷小且对比度低，游学者提出了一种用于自适应学习焊点图像感兴趣区域的级联卷积深度学习。通过使用CNN来学习图像特征，结合级联结构逐步提取和融合不同层次的特征信息，这种方法可以更有效地识别焊点图像中的感兴趣区域，提高检测准确性。采用自适应学习的方式，让网络能够根据具体焊点图像的特点进行调整，从而进一步提升焊点缺陷检测的效果。另外有研究者针对检测图像小于训练图像而导致的CNN性能下降问题，通过改进膨胀残留网络（Dilated Residual Network， DRN）获得更高分辨率的特征图，这项工作旨在解决在图像尺寸不匹配的情况下，由于信息丢失和分辨率降低导致的性能下降问题，采用多标签评分模块和阈值估计模块实现多标签分类。
针对元器件缺陷检测误检率和漏检率高、效率低，提出了微小缺陷检测网络（Tiny Defect Detection Network， TDD-Net），使用了ResNet-101作为骨干网络，采用了特征金字塔网络（FPN）进行特征融合，FPN能够从不同层级的特征图中提取多尺度的特征，有助于对不同大小和形状的缺陷进行有效检测。以及多种元器件缺陷“Anchor”尺寸等。通过使用多种尺寸的Anchor框来覆盖不同尺寸和形状的缺陷，可以提高网络对各种缺陷的检测能力。这些技术的整合使得TDD-Net在微小缺陷检测方面具有以下优势：
提高检测准确性：ResNet-101等先进骨干网络可以有效地提取图像特征，结合FPN进行特征融合，有助于准确地定位和识别微小缺陷。提高检测鲁棒性：使用多种尺寸的Anchor框和多尺度特征可以提高网络对不同尺寸和形状缺陷的适应能力，增强检测的鲁棒性。降低误检率和漏检率，通过有效地整合各种先进技术，可以减少误检和漏检，提高检测的全面性和准确性。
1" 研究内容
1.1" 算法总体研究设计
本次工业图像异常检测算法一共分为三个模块完成。
1）数据集模块。利用专业CCD照相以及其他探测技术以视频的形式获取原始数据。
2）数据预处理模块。由于原始数据的形式为视频，需要将视频转化为图片，于是对视频按帧提取出图片，同时通过图片分割获取单个元器件图像。
3）模型训练模块。该模块使用YOLO和Faster R-CNN模型进行训练。总体设计图如图1所示。
1.2" 高效特征提取网络研究
Backbone，通常指的是神经网络模型的主干部分，也称为骨干网络。骨干网络负责提取输入数据的特征表示，通常由多个卷积层和池化层组成，用于捕获输入数据的空间结构特征。特征提取模块在深度学习模型中起重要作用，能够从预处理后的三通道图像中提取出关键信息。这种深层信息对于后续的识别、分类或回归任务至关重要。在进行卷积运算时，参数量计算如式（1）所示。
CS = K2×N×M （1）
然而，随着网络层数的增加，N 、M通常会增加数值，导致整个网络的参数量急剧上升。为解决以上问题，该项目计划以ShuffleNetV2为基础构建一个高性能的轻量化特征提取网络。
1.3" 精密元器件检测复杂问题的研究
项目拟构建基于YOLO和Faster R-CNN的微小电子器件检测模型，实现对微小目标的高精度定位和检测。针对卷积神经网络中易出现的参数量过大以及样本数据受到噪声影响的问题，根据噪声的具体情况改变模型中的自动编码器结构来有效去除噪声问题。同时拟采用混合精度法训练模型，使用随机梯度下降算法更新权重，加快训练速度。
针对精密元器件生产结构性缺陷的表达能力缺陷的问题，设计多模态数据融合特征来增强检测性能，以应对更复杂的场景。同时，拟在ShuffleNet的基础上构建一个高性能的轻量化特征提取网络，实现电子元器件的快速特征提取。在收缩特征图尺寸的同时，以最高效的方式保留具有分辨性的目标特征，此方法依据的计算公式为：
Uo = Fc（Pm（Ut）） （2）
其中，Ut为输入图像Ut∈RC×H×W；UO为该模块的输出UO∈RC′×H′×W′，FC和Pm为固定步长的卷积和池化。通过这种方式，旨在保持高精度的同时，降低模型复杂度，实现更高效的电子器件检测。
2" 研究过程
2.1" 数据预处理模块
首先将视频按帧转化为图片，其次对图片进行二值化、边缘检测、中心裁剪及数据增强的处理。数据预处理的结果如图2、图3以及图4所示。
2.2" 模型训练模块
2.2.1" 选择数据增强方法
考虑到并非所有数据增强方法都能有效提升模型训练的效果，为了确定哪种数据增强处理方式可能产生负面影响，首先利用YOLO模型对三种数据增强处理的图片进行训练，对比哪种处理方式效果最差，那么后面使用YOLO和Faster R-CNN模型训练时便不再使用该方式。训练结果如图5、图6、图7以及图8所示。
通过图5可以发现在前15次迭代中，训练集准确率的波动幅度大于测试集准确率的波动幅度，而Loss值前十次波动较大，在迭代第十次到第十五次之间时，缓慢波动，而后趋于0；
而通过图6可以发现，测试集准确率与训练集准确率均不高，小于0.25，同时测试集准确率几乎没有变化，训练集准确率则在0.25附近一直波动，其次Loss值几乎没有变化，趋于2。可以发现在进行中心裁剪处理后的Loss值明显高于图5中的Loss值，同时训练集准确率与测试集准确率均较低，说明中心裁剪处理对模型训练影响较大，同时通过该处理后的模型训练效果明显差于原始数据训练得到的结果；
通过图7可以发现，各个参数的变化趋势与图5中参数的变化趋势相差不大，同时二值化在第10次迭代后的准确率达到百分百，说明二值化处理对模型的训练结果影响较小，表示这种方法是可靠的；通过观察图8中各个参数的变化发现，Loss值在第30次迭代后趋于0，同时训练集准确率在第40次迭代后逐渐趋于1，但是测试集准确率一直趋于0.5，此时训练集准确率明显高于测试集准确率，说明此时可能出现了过拟合现象。对比图6中的训练情况，图8中的训练情况相对较好，可以考虑进行边缘检测的数据增强处理。
通过YOLO模型训练的结果可以发现中心裁剪的训练效果不是很理想，所以利用YOLO 和 Faster R-CNN 模型训练时只进行二值化和边缘检测的数据增强处理。
2.2.2" 模型训练
在对图片数据进行二值化以及边缘检测处理后，利用YOLO和Faster R-CNN模型进行训练，训练结果如图9、图10以及图11所示。
通过图9可以发现，训练集准确率的波动情况比测试集准确率的波动情况更为明显，但二者变化过程一致，最终趋于0.8，而loss值从1.6下降到0.4附近，趋于平缓。
而后通过图10发现，前100次迭代中，测试集准确率和训练集准确率均处于波动状态，之后趋于平缓，而Loss值最终趋于0。
在图11中，测试集准确率以及训练集准确率的变化趋势与图九中的变化趋势相当，最后趋于0.85。同时，Loss值最终趋于0.125。
在将图片进行二值化处理后，训练集和测试集准确率分别比直接使用原图提升了 9.9%，8.6%。在引入边缘检测后，训练集和测试集准确率较直接使用原图有较小的提升。训练集准确率由 77%上升到 85%，测试集准确率由 80%上升到 84%。相关变化如表1所示。
3" 结" 论
实验过程中，通过数据增强将小型数据集扩充为中型数据集，利用YOLO 和 Faster R-CNN模型训练的后三十次迭代的测试集准确率的平均值达到了 95%以上。可以得出在解决数据量较小的问题中，数据增强可以提供有效的解决方法，同时也可以得出数据集容量的扩大对深度学习分类模型准确率的提高是有增强作用的。其次由于模型训练过程中，训练集和测试集的准确率较高，将该模型应用在精密元器件的生产过程中，可以有效实现精密元器件生产的异常检测。同时项目还存在诸多不足，现提出以下几点建议。
1）除了利用数据增强的方法对数据集进行扩充，还可以利用在线学习方法对模型进行快速实时的调整，使生产线不断提供新样本，从而发现新的缺陷类型，通过发现更多的缺陷类型，企业可以更准确地评估产品质量，并在生产过程中进行必要的调整，以减少或消除缺陷。
2）在精密元器件生产过程中，问题件数量有限、缺陷数量少而导致的过拟合问题，还可以通过选择更加合理网络结构、度量方式和损失函数来抑制，并通过合理的网络设计与稳定的优化过程有助于网络快速收敛。
参考文献：
[1] 熊国良，肖文明，王小明.基于视觉的指针式仪表检测与识别方法综述 [J].传感器与微系统，2020，39（12）：1-3+9.
[2] LECUN Y ，BENGIO Y ，HINTON G .Deep Learning [J].Nature，2015，521：436-444.
[3] 吕昊远，俞璐，周星宇，等.半监督深度学习图像分类方法研究综述 [J].计算机科学与探索，2021，15（6）：1038-1048.
[4] 范丽丽，赵宏伟，赵浩宇，等.基于深度卷积神经网络的目标检测研究综述 [J].光学精密工程，2020，28（5）：1152-1164.
[5] 马岽奡，唐娉，赵理君，等.深度学习图像数据增广方法研究综述 [J].中国图象图形学报，2021，26（3）：487-502.
[6] 景庄伟，管海燕，彭代峰，等.基于深度神经网络的图像语义分割研究综述 [J].计算机工程，2020，46（10）：1-17.
[7] REDMON J，DIVVALA S，GIRSHICK R，et al. You Only Look Once： Unified， Real-Time Object Detection [C]//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Las Vegas：IEEE，2016： 779-788.
[8] BERG A C，FU C Y，SZEGEDY C，et al. SSD： Single Shot MultiBox Detector [C]//Computer Vision-ECCV 2016.Amsterdam：Springer，2016：21-37.
[9] SUN J，HE K，GIRSHICK R，et al. Faster R-CNN： Towards Real-Time Object Detection with Region Proposal Networks [J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2016，39（6）：1137-1149.
[10] 梁金幸，赵鉴福，周亚同，等.基于改进YOLOv5s网络模型的火灾图像识别方法 [J].传感器与微系统，2024，43（1）：157-161.
