摘" 要：元器件二筛具有型号多、批次多等特点，目前该项工作手工工序比例较高，导致人为质量问题频发和筛选效率较低等问题。为此，围绕表贴元器件开展自动化检测研究，提出一种基于机器视觉的表贴元器件自动定位方法。该方法通过建立机器视觉和机械手的映射关系、构建模板和旋转标定以实现表贴元器件的自动定位。此外，还开发了表贴元器件全自动检测系统，实验验证了该系统的有效性，且效率较人工提升了5倍以上。
关键词：表贴元器件；机器视觉；自动定位；自动检测
中图分类号：TP391.4" 文献标识码：A" " 文章编号：2096-4706（2024）21-0020-06
An Automatic Positioning Method of Surface Mount Components Based on Machine Vision
SUN Yi， WANG Wenxi， ZOU Yizhen
（Guizhou Aerospace Institute of Measuring and Testing Technology， Guiyang" 550009， China）
Abstract： The second screening of components has the characteristics of many models and batches. At present， the proportion of manual processes in this work is high， which leads to frequent human quality problems and low screening efficiency and other problems. To this end， automatic detection research is carried out around the surface mount components， and an automatic positioning method of surface mount components based on Machine Vision is proposed. This method realizes the automatic positioning of surface mount components by establishing the mapping relationship between Machine Vision and manipulator， constructing template， and rotating calibration. In addition， the automatic detection system for surface mount components is developed. The experiment verifies the effectiveness of the system， and the efficiency is more than 5 times higher than that of manual operation.
Keywords： surface mount component; Machine Vision; automatic positioning; automatic inspection
0" 引" 言
元器件二次筛选的质量直接影响着型号装备的可靠性[1]。目前，大多数筛选机构二筛过程仍处于人工检测水平，该过程手工工序比例较高且筛选效率较低。为此，纷纷成立了元器件可靠性保障机构，对用于型号装备上的元器件进行二次筛选。其中，表贴元器件筛选需求量较高，占整个元器件筛选工作的70%以上。因此，开展表贴元器件的自动化检测工作刻不容缓。
近年来，随着工业成像、计算机视觉等技术的快速发展，机器视觉技术已广泛应用于工业自动化领域，比如目标检测[2-3]、缺陷检测[4-5]等。早在2001年，Paul Viola和Michael Jones提出了第一个人脸检测框架，能够快速、高效的对人脸进行实时检测[6]。最近，张诗文等人设计了一种各向异性非极大值抑制方法用于工业目标检测，该算法已成功应用于某冷轧厂轧辊自动抓取生产线[7]。因此，基于机器视觉技术已广泛应用于工业实际生产中，能够实现产品的自动识别、定位和自动抓取[8-11]。
本文提出了一种基于机器视觉的表贴元器件自动识别与定位技术，用于二筛过程中表贴元器件筛选工作关键工序数控化，进而保障表贴元器件筛选质量并提升其筛选效率。本文的主要工作包括：1）提出了基于机器视觉的表贴元器件自动识别与定位技术；2）开发了表贴元器件全自动检测系统（Chip Component fully Automatic Detection System， CCADS）；3）构建了120只表贴钽电解电容组成的样品库，进行了人工和CCADS系统检测实验对比，验证了系统的有效性。
1" 表贴元器件自动定位方法
1.1" 规则定义
针对表贴元器件自动筛选需求，基于机器视觉和机械手，设计一种表贴元器件自动定位方法，为了更好地澄清该过程，定义如下规则：
1）设图像的直角平面坐标系为P：UOV，机械手的直角平面坐标系为R：XOY。
2）设P坐标系的原点为OP，R坐标系的原点为OR。
3）P坐标系中任意一点S，在R坐标系中均能找到与之对应的一点，设其为S′。
4）设P坐标系内某点S在P坐标系的坐标为（us，vs），则其对应点S′在R坐标系的坐标为（xS′，yS′）。
5）设P坐标系内起点S1和终点S2在P坐标系的向量为，则R坐标系内与之对应的向量为。
自动定位实现过程如图1所示，具体包括：（a）建立映射关系，构建P坐标系到R坐标系的映射关系；（b）构建模板和旋转标定，构建匹配模板和提高定位精度；（c）目标识别与定位，先利用多对象、多角度模板匹配技术，识别并定位出表贴元器件在P坐标系内的坐标和角度信息，在利用建立的映射关系计算该表贴元器件在R坐标系的坐标和角度信息；（d）自动抓取，将坐标和角度信息发送至机械手，实现自动抓取。
1.2" 建立映射关系
在表贴元器件自动筛选过程中，基于机器视觉得到表贴元器件的P坐标系坐标后，需要将其转化为R坐标系坐标再告知机械手，进而实现机械手自动取料，此过程需要建立P坐标系到R坐标系的映射关系。
具体操作见算法1，该算法的输出为比例系数k和偏转角度θ，k即R坐标系内两点和向量值与P坐标系内对应两点Si和Sj向量值之间的比值，θ即两个坐标系之间的偏转角度。
算法1建立映射关系
Input：一张待测区带黑白棋盘格标定板的图片A
Output：比例系数k和偏转角度θ
1：begin
2：//转换A，使UV轴方向分别与XY轴方向一致
3：//移动A1原点Op位置，使其与原点OR位置一致
4：//用9点标定法进行“手眼”标定
5：end
算法1中序号4的“手眼”标定方法采用9点标定，分为3步实现：
1）求向量。先计算P坐标系内某9个点Si的坐标，其中i∈{1，2，3，4，5，6，7，8，9}，下同，再获取R坐标系内与P坐标系内某9个对应的点的坐标，然后分别计算P坐标系内和R坐标系内相对应的9个向量，即和，其中：
2）求比例系数k。首先利用式（1）求得9个比例系数，然后利用式（2）求得比例系数k。
（1）
（2）
3）求偏转角θ。先利用式（3）求得9个偏转角θi。
（3）
其中，θir为向量相对于R坐标系中X轴的偏转角，θip为向量相对于P坐标系中U轴的偏转角，分别由式（4）和式（5）求得。
（4）
（5）
其中，表达式AT（a，b）的值见式（6）所示：
（6）
求出θi后，利用式（7）求得偏转角θ。
（7）
求得比例系数k和偏转角度θ后，建立映射关系完成。下面举例说明，若得到P坐标系内任意一点Pt的坐标，可利用式（8）求得R坐标系内与其对应的点的坐标。
（8）
其中，Si为P坐标系内9个已知坐标点中的任意一点，和分别为R坐标系中与点Si对应点的横纵坐标，。
1.3" 构建模板和旋转标定
构建待测表贴元器件模板，在自动定位时作为匹配模板。模板的构建方式是通过提取待测表贴元器件的特征，本文采用基于尺度不变特征变换（Scale-invariant feature transform，SIFT）进行特征提取[12]。
具体操作见算法2，该算法的输出为构建好的模板TPL和平均定位误差ER。
算法2 构建模板和旋转标定
Input：包含待测表贴元器件的图像B，标定循环次数n和旋转角度a
Output：模板TPL和平均定位误差ER
1：begin
2：//计算B中连通域，得到初始模板
3：//计算P的中心点坐标
4：//提取关键点集合和特征描述信息
5：//根据KP和FD构建模板函数
6：//机械手移动至点位置
7：//根据映射关系计算P在R坐标系中的角度
8：for i ← to n do
9：//机械手吸取表贴元器件原地旋转a度
10：//表贴元器件当前角度定位
11：//计算当前理论角度
12：//计算本轮定位误差.
13：end for
14：
15：end
算法2中，Uti为表贴元器件当前理论角度，ERi为当前定位角度与当前理论角度的偏差。
1.4" 目标定位
本节经过系列操作，将得到待测表贴元器件在R坐标系内的坐标和角度，完成最终的目标定位工作。
具体操作见算法3，该算法的输出为成功定位的所有表贴元器件在R坐标系内的坐标（a，b）和角度U。
算法3 目标定位
Input：旋转模板角度步进SF、比例系数k、偏转角度θ、TPL和ER
Output：坐标（a，b）和角度U
1：begin
2： Label photo：//控制工业相机拍照得到图像C
3：//将C的颜色空间由BGR转换至HSV
4：/非线性双边滤波，保边去噪
5：//增强对比度，突出有意义部分
6：//形态学开闭运算，连接碎片区域
7：//检测C4中待测表贴元器件轮廓
8：//获取初始匹配结果
9：//计算BMC在R坐标系中的角度
10：
11：
12：for 1 ←to T do
13：//获取本轮最佳匹配结果
14：if
15：//更新最佳匹配度
16：//更新最佳匹配元器件
17：//更新最佳匹配次数
18：end if
19：end for
20：if
21： //计算P坐标系下BMC中心点Pc的坐标
22：//计算Pc对应点的坐标
23：
24：//获取最佳匹配角度
25：
26：else if
27：//控制柔性振动装置振动
28：go toLabel photo//程序回到拍照处
29：end if
30：end
至此，实现对表贴元器件进行自动定位，将坐标（a，b）和角度U发送给机械手，进而实现机械手自动抓取和后续自动检测工作。
2" CCADS系统开发
2.1" CCADS系统总体设计
为了应用所提技术，在Windows环境下，使用C++语言开发了表贴元器件全自动检测原理样机CCADS系统，可对9种型号片式钽电容进行全自动检测。CCADS系统总体方案如图2所示，系统由软件和硬件组成，软件包括上位机模块、视觉模块和机械手行程规划模块，硬件包括测试治具、机械手和CCD相机等。
2.2" 软件设计
CCADS系统软件总体结构如图3所示，机械手受上位机模块控制，并从视觉模块获取待测表贴元器件的坐标，将待测表贴元器件从柔性振动盘中吸取至测试治具上，由上位机模块控制测试仪器对表贴元器件的质量特性进行检测，机械手根据检测结果进行分拣。
2.3" 硬件设计
为实现自动检测，设计了探针接触式测试治具，包括PCB印制线路底板和1托9测试台两部分，机械手将表贴元器件吸取至测试台上，通过施加压力，使得表贴元器件、测试台上的微型弹簧探针、PCB底板线路以及测试仪器构成回路。该款探针接触式测试治具设计图和实物图如图4所示，可兼容9种型号尺寸的片式钽电容。
软硬件设计开发完成后，设计加工了系统机柜，如图5所示。系统机柜使得机械手、工业相机、柔性振动盘、计算机等硬件得以紧密协作完成片式钽电容自动识别、定位、自动上下料和自动检测等工作。
3" 实验与分析
为了验证CCADS系统的有效性，做了如下工作：首先，采用人工筛选的方式构建了一个包含120个片式钽电容的样品库，本文称之为CCADS样品库，其中包含115只三个质量特性（电容量、损耗角正切和漏电流）均合格的合格品和5只漏电流超差的不合格品，对CCADS样品库中片式钽电容从1到120进行编号。然后，采用与人工检测作对比的方式评价CCADS系统是否有效，即人工和CCADS系统分别对CCADS样品库中片式钽电容的质量特性进行检测，记录检测结果并进行对比分析，以此来验证CCADS系统能否准确有效的检测片式钽电容的质量特性。在本次试验中，人工和CCADS系统均采用电容测试仪（TH2618B）检测电容量值和损耗角正切值质量特性，均采用漏电流测试仪（TH2689）检测漏电流质量特性。
表1为人工和CCADS系统检测结果统计表，时间单位为分钟（min），其值保留整数部分。观察表1并进一步统计检测数据知，CCADS样品库中任意一只片式钽电容，其人工和CCADS系统检测结果均一致，这初步验证了CCADS系统的有效性。
为更直观体现CCADS系统的有效性，绘制了图6和表2，图6为人工和CCADS系统检测115只合格品得到的电容量、损耗角正切和漏电流结果对比，横坐标为片式钽电容的编号，纵坐标分别为电容量值、损耗角正切值和漏电流值，正方形蓝色折线为人工检测结果，“×”型红色折线为CCADS系统检测结果。
表2为5只不合格品检测结果统计表，将人工和CCADS系统检测出的电容量、损耗角正切、漏电流分别进行判限，合格用“Y”表示，不合格用“N”表示。
分析图6和表2知，CCADS系统与人工检测结果吻合。这说明，CCADS系统能够准确有效地检测片式钽电容的质量特性。再观察表1知，人工和CCADS系统检测完CCADS样品库花费的时间分别为88分钟和17分钟，CCADS系统的检测效率是人工检测的5倍以上。本次实验验证了CCADS系统能够准确有效地对片式钽电容进行全自动检测，扩展后可兼容所有表贴元器件。
4" 结" 论
本文提出了一种基于机器视觉的表贴元器件自动识别与定位技术，并开发了CCADS系统。在120只片式钽电容样本上进行了人工和CCADS检测实验比对，以验证CCADS系统的有效性。实验结果表明，CCADS系统在大幅降低元器件二筛手工工序比例的同时，检测效率较人工提升了5倍以上。与此同时，CCADS系统已在本单位投入生产，累计检测用户送检片式钽电容3万余只。未来将进一步完善CCADS系统，能够兼容更多的元器件类型，实现元器件自动检测和自动编带一体化，并在行业内推广应用。
参考文献：
[1] 孟碧云.军用电子元器件二次筛选质量管理 [J].电子质量，2010（3）：41-43.
[2] 吴娇，王鹏，乔梦雨，等.基于改进多级特征金字塔的陆战场目标检测算法 [J].计算机应用与软件，2020，37（10）：155-161.
[3] 齐榕，贾瑞生，徐志峰，等.基于YOLOv3的轻量级目标检测网络 [J].计算机应用与软件，2020，37（10）：208-213.
[4] 罗东亮，蔡雨萱，杨子豪，等.工业缺陷检测深度学习方法综述 [J].中国科学：信息科学，2022，52（6）：1002-1039.
[5] 高兴宇，钟平，李志松，等.基于自模板重构与NSCT的汽车内饰件表面缺陷检测方法研究 [J].计算机应用与软件，2019，36（3）：57-61.
[6] VIOLA P，JONES M. Rapid Object Detection Using a Boosted Cascade of Simple Features [C]//Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Kauai：IEEE，2001，511-518.
[7] 张诗文，邓春华，张俊雯.各向异性非极大值抑制在工业目标检测中的应用 [J].计算机应用，2022，42（7）：2210-2218.
[8] GAO J，YANG T. Face Detection Algorithm based on Improved TinyYOLOv3 and Attention Mechanism [J].Computer Communications，2022，44（181）：329-337.
[9] CHEN Y，CHEN R，LIU M，et al. Indoor Visual Positioning Aided by CNN-based Image Retrieval：Training-free，3D Modeling-free [J/OL].Sensors，2018，18（8）：2692（2018-08-16）.https：//doi.org/10.3390/s18082692.
[10] 陈立挺，聂晓根.基于双目视觉的机械手识别、定位、抓取系统研究 [J].机电工程，2019，36（8）：862-866+872.
[11] 郭振铎，路向阳，徐庆伟，等.基于面部块运动历史直方图特征的视频表情自动识别 [J].计算机应用与软件，2017，34（11）：192-196.
[12] GOLLAPUDI S. Learn Computer Vision Using OpenCV [M].New York：Apress，2019.
作者简介：孙毅（1994—），男，苗族，贵州遵义人，工程师，工学硕士，研究方向：自动化、图像处理、形式化验证；王文玺（1992—），男，汉族，贵州安顺人，工程师，工学硕士，研究方向：通信工程；邹宜桢（1997—），男，仡佬族，贵州遵义人，工程师，硕士研究生，研究方向：智能检测研发。
