摘 要:目前,针对定制化非标异形切割零件的分拣工作仍然主要依赖人工操作。为了改变这一现状,研究了一种创新的分拣视觉引导方案,该方案基于Halcon图形分析及先进的点云匹配算法。首先,文章利用Halcon算子设计一种针对零件CAD图纸的图形分析算法,从而精确获取最优的分拣位置,并将其作为匹配模板。其次,使用3D相机捕捉切割零件的点云数据,并进行有效的去噪和分割处理,从而获取每个切割零件的点云模型。最后,将点云模型与零件模板进行匹配,准确获取实际的分拣位置及零件类型。该方案不仅实现了对非标异形零件的高效分拣,还显著提升了该领域的智能化水平和生产效率,具有极高的实际应用价值。
关键词:Halcon;图形分析;点云匹配
中图分类号:TP242.6 文献标识码:A 文章编号:2096-4706(2025)02-0180-05
General Positioning Method of Sorting Points of Non-standard Special-shaped Parts Based on Halcon
WANG Tiannuo, ZHAN Wenxia
(Puyang Petrochemical Vocational and Technical College, Puyang 457001, China)
Abstract: At present, the sorting work of customized non-standard special-shaped cutting parts still mainly relies on manual operation. In order to change this situation, an innovative sorting visual guidance scheme is studied, and it is based on Halcon graphic analysis and advanced point cloud matching algorithm. Firstly, this paper designs a graphic analysis algorithm for CAD drawings of parts by using the Halcon operator, so as to accurately obtain the optimal sorting position and use it as a matching template. Secondly, it uses the 3D camera to capture the point cloud data of the cutting parts, and performs effective denoising and segmentation processing to obtain the point cloud model of each cutting part. Finally, the point cloud model is matched with the part template to accurately obtain the actual sorting position and part type. This scheme not only realizes the efficient sorting of non-standard special-shaped parts, but also significantly improves the intelligence level and production efficiency in this field, and has extremely high practical application value.
Keywords: Halcon; graphic analysis; point cloud matching
DOI:10.19850/j.cnki.2096-4706.2025.02.034
0 引 言
随着工业4.0与人工智能技术交叠发展,中国制造业正在向智能化方向迈进,各类智能化设备正在逐渐涌现。智能化设备可利用机器视觉、图像处理、深度学习、人工智能等技术,实现自主分析、判断、定位、规划等功能,从而提高生产效率或实现个性化、定制化的柔性生产。零件智能分拣是各个行业不可或缺的生产步骤,目前针对各种领域下零件智能分拣方案的研究也越来越多,但相对来说当前的分拣产品较为固定,分拣方案适用性不广,尤其针对非标异性零件通用性分拣方案的研究还较少。
陈玉洁[1]以机器视觉技术为基础,从软硬件设计两个角度探讨生产线智能分拣系统的设计,主要利用区域生长算法对点云图像进行分割,并利用Halcon将二维图像与模板进行匹配,获取抓取点。孙先涛等[2]结合了图像分割模型Deeplab V3+的深度学习算法KPDM,实现异状零件的抓取定位。戴福全等[3]通过相机采集图像,并在上位机中经图像预处理、位姿估计、模板匹配等步骤后,得到三维位姿和中心坐标,从而实现对多种堆叠物块的识别和抓取。安广琳等[4]利用基于YOLOv5的协同深度学习网络实现多工件抓取点定位方法。薛珊等[5]运用 MATLAB 对得到的三维激光点云进行中心切片,得到点云的三视切片,然后运用Halcon软件对点云进行处理,提取中心切片的边界信息并提取区域的特征参数,进而识别工件的类型。苏波等[6]利用Halcon中的3D表面匹配算法,确定工件位姿以供机器人抓取。吴双峰等[7]设计的大型桁架式钢板自动分拣机器人设备结构复杂,未对分拣原理进行说明。刘金龙等[8]设计的建筑钢结构智能零件分拣中心具备分拣及质检功能,但不能对切割完的零件直接分解。方羽等[9]设计的薄钢板自动化下料系统是集上料、切割、分拣、运输等环节的集成化生产线,切割完的钢板需通过辊道运送至分拣工位进行分拣,无法直接在切割工位进行分拣。洪超等[10]设计的卷料激光切割自动化生产线利用单侧六轴机械臂进行分拣,产品种类较少,且机械臂臂展范围、承载能力都具有一定的局限性。
通过以上研究发现,当前的分拣定位识别方法存在以下问题:
1)仅适用于有限的零件类型。
2)抓取适用性不高,难以应用在零件形状复杂多变的场合。
3)深度学习方法需要显卡资源,成本较高,适用性受限。因此,本文研究了一种基于Halcon图形分析及点云匹配算法的分拣视觉引导方案,实现对非标异形零件的分拣引导。
1 分拣方法概述
在非标定制化物料切割生产中,首先需要把目标产品拆解成零件,然后设计每个零件的CAD图纸,并用排版软件按照材料利用率最大化的方式进行排版,最后根据排版结果进行切割。由于这种生产方式的高度定制化特性,每次切割作业所涉及的零件种类及其排布均不相同,且零件形态多为非标准复杂形状,这极大地增加了自动分拣的实施难度。为了实现切割后对零件进行直接、高效且准确地分拣,同时兼顾经济性和效率,就必须对自动抓取算法及配套的抓取工装提出更为严苛和特定的要求,确保分拣引导方案能够灵活应对各种异形件的抓取需求,实现精准分拣,从而提升整体生产流程的自动化水平和生产效率。
工装选择方面,由于切割零件的零件形状大小各异,若选用矩阵形多磁柱电磁铁,一方面切割平台上的切割边条可能会卡入磁柱间隙;另一方面由于矩阵电磁铁外轮廓尺寸过大,可能会造成难以预估的零件干扰,适用局限性较大。因此本文提出利用多规格圆形电磁铁或气动吸盘并配以快换装置作为分拣工具,以适应不同形状和大小的零件,同时减少分拣过程的干扰。图1为某品牌电磁铁外形,不同规格的电磁铁直径范围可由13 mm到100 mm不等,吸力范围为1 kg到240 kg不等,可满足大部分钢铁类切割零件的分拣需求。本文选取直径分别为30 mm、60 mm、80 mm的电磁铁作为分拣工装,对应的最大吸力分别为15 kg、80 kg、120 kg。因此,分拣引导方案就是要找到对应直径的最优内接圆位置。
算法选择方面,由于每次切割的零件形状规格完全不一样,因此深度学习算法并不是最优选择,且深度学习算法需要显卡支持,成本较高。本文采用Halcon图形分析算法为核心,首先对同批次所有零件进行预处理,通过图形分析确定每个零件的理论抓取位置,并构建零件模板库。在实际抓取过程中,利用3D相机实时获取切割平台的点云数据,通过点云分割等手段提取零件的三维信息。最后,将处理后的点云数据与零件模板库进行精确匹配,从而快速准确地识别出每个零件的实际抓取位置及其类型。具体工作流程如图2所示。
2 分拣位置分析
分拣位置分析主要是利用Halcon内置算子,分析确定各种形状规格零件的最优内接圆位置。Halcon是一款由德国知名企业MVtec精心研发的机器视觉应用软件,其架构由上千个功能算子构成。该软件覆盖了从图像滤波、形态学分析到物体分类等众多机器视觉算法,适用于工业视觉方案的快速研发。
2.1 分拣位置分析算法
分拣位置分析即利用Halcon的图形分析算子,对零件图纸进行处理,找到最优内接圆的圆心坐标。并且为了防止零件掉落,最优分拣位置应为零件质心,当质心不满足分拣要求时则应考虑零件最大内接圆的圆心位置,但抓取位置偏移造成的重力矩不应超过分拣工装的承受能力。算法流程如图3所示。
具体步骤如下:
1)利用Halcon中的read_contour_xld_dxf算子,读取零件CAD图纸。并根据企业的零件信息库获取零件质量,分配合适直径的电磁铁工装。
2)利用area_center_xld算子获取所读取零件轮廓的质心坐标位置,同时以质心为圆心,利用gen_region_contour_xld算子绘制相应直径的圆形轮廓,从而模拟工装分拣位置。
3)调用intersection_contours_xld算子,判断所绘制的圆形轮廓是否与零件轮廓相交,若不相交则以此位置作为该零件的分拣位置。若两轮廓相交或质心位置在零件外时,则利用inner_circle算子计算零件轮廓最大内接圆直径及圆心坐标。
4)再次判断内接圆直径是否大于分拣工装直径,当内接圆直径小于所分配的电磁铁工装直径时,则该零件为不可分拣零件。当内接圆直径大于所分配的电磁铁工装直径时,还要进一步计算其重力矩,判断是否超过分拣工装的承受能力,若不超过则此内接圆圆心作为分拣位置。重力矩计算公式如式(1)所示:
(1)
式中M表示重力矩,x1、y1表示零件内接圆圆心坐标,x2、y2表示零件质心坐标,G表示零件重力。
图4为某异形零件分拣位置示例。根据该零件实际重量,需为该零件分配的电磁铁工装直径为60 mm。图中十字准星为利于area_center_xld算子计算出的零件质心所在位置,该准星外侧圆是以质心为圆心以60 mm为直径绘制的圆形轮廓,通过intersection_contours_xld算子可判断出圆形轮廓与零件轮廓相交,因此该零件质心不可作为该零件的分拣位置。左侧大圆为inner_circle算子求得的最大内接圆,其直径大于60 mm,同时该位置所计算出的重力矩并没有超过电磁铁承载能力,所以该圆内部的小圆即为该零件的分拣位置。
2.2 零件特征提取及模板制作
除了分析抓取位置之外,还需要对零件的主要特征进行提取,以提高后续匹配效率。因此,需要分别利用Halcon中的length_xld、area_center_xld、area_holes、smallest_rectangle1_xld算子处理读取到的每一个零件轮廓,分别计算出该零件的周长、面积、内部圆孔总面积及外接矩形尺寸等特征信息。最后,利用create_shape_model_xld算子创建零件模板文件并保存备用。
3 点云分割及模型匹配
三维点云是一种用于表示三维空间中对象的数据结构,包含了多个三维坐标点(X,Y,Z)的集合。相较于二维图像而言,三维点云可以获取更为准确的轮廓尺寸信息及高度信息,更加适用于工业测量及匹配。
3.1 点云分割
根据相机原理不同,获取点云数据的主要方式包括:激光雷达、结构光、双目视觉、TOF等。根据实际工况要求,可选取面阵结构光相机采集点云数据。从工厂实际情况及经济成本的角度出发,为了获取更多数据,本文利用SolidWorks对各种零件进行建模,同时对模型尺寸添加正负1 mm误差,用以模拟3D相机的采集误差;然后利用Open3D将三维模型转为点云数据并增加噪声,以此来模拟更多数据。图5为SolidWorks建模的切割零件模型,各零件随意排布,零件下方为切割平台。图6为其点云数据模型,以此来模拟3D相机获取的点云数据。
由于切割平台高度及零件板厚度均为已知量,因此在获取点云数据后,首先根据零件板表面高度过滤出零件表面点云数据,再利用离群点去除、滤波等方法进行去噪,即可得到清晰完整的零件表面点云数据。获取零件表面点云数据后,利用连通区域算子connection_object_model_3d对平面进行分割。最后再利用edges_sub_pix算子获取独立的零件轮廓。图7为分割处理后获取的零件轮廓数据。
3.2 模型匹配
获取零件轮廓后,逐一遍历每一个零件轮廓,并利用length_xld、area_center_xld、area_holes、smallest_rectangle1_xld算子提取零件轮廓的周长、面积、内部孔总面积以及外接矩形尺寸等特征信息。通过以上特征信息初步筛选出符合条件的零件模板,然后再调用“read_shape_model”算子读取模板,从而加快匹配效率,提高匹配准确率;接下来利用find_shape_models算子对零件轮廓与筛选出的零件模板逐一进行匹配,获取匹配分值。由于该过程为一对多匹配,因此需要根据各零件模板匹配得分选出分值最高的模型,得到相应的实际分拣位置、旋转角度以及零件种类。图8为最终匹配结果,图中的圆形轮廓即为实际分拣位置。
在获取零件实际抓取位置后,还需要经过坐标变换转化为物理空间下的实际坐标,然后通过通信协议将坐标位置传给PLC控制系统,控制桁架移动到相应位置后,通过快换装置将电磁铁工装更换为相应型号,再进行分拣即可。
3.3 实验验证
为验证本文方法的有效性,选取零件图纸,构建零件模板库及任意零件组合排布的点云数据,进行实验验证。实验利用分拣覆盖率及匹配准确率作为评判指标。实验环境为联想拯救者Y7000 64位笔记本电脑,CPU为i7-10750,运行内存为16 GB,Halcon版本为18.11,SolidWorks版本为2020。具体实验步骤如下:
1)选取25种形状大小不一的零件CAD图纸,形成零件库,所有零件图纸需为DXF格式。
2)任意选取2到6种不同类型的零件进行排版,并通过SolidWorks建模的方式构建了共计50种不同零件排布的三维模型并转化为点云数据,所有点云数据中的零件总数为200个。
3)对所有零件图纸逐一进行Halcon分拣位置分析,得到每一个零件的分拣位置及特征信息,并建立零件匹配模板库。图9为某些零件的分拣位置分析结果示例,其中零件1、零件2用到的是60 mm直接工装,零件3用到的是30 mm工装,零件4用到的是80 mm直径工装。
对50个点云数据,逐一进行Halcon点云分割、特征筛选、模型匹配等步骤。图10为上述4个零件构成的最终匹配结果。
5)统计实验结果,经验证,25种零件中可分拣的零件种类为23个,因此可分拣覆盖率为92%,不可分拣零件的主要原因是质心在零件轮廓外且最大内接圆不能满足抓取要求。分割出的200个零件点云数据中,匹配正确的模型总数为185个,匹配错误的模型总数为9个,不可分拣的零件为6个,因此匹配准确率为95.3%,匹配错误的主要原因是零件轮廓及尺寸相似度较高。
4 结 论
通过本文的Halcon图形分析及点云匹配方法,可以实现对非标异形零件的分拣定位引导,解决了该领域加工制造过程中的分拣难题。经初步测试,图形分析方法可以获取92%以上非标异形零件的分拣位置,点云匹配准确率高达95.3%以上,具备较高的工程应用价值。该方法有助于提升我国自主研发设备的智能化水平,推动我国制造业由自动化向智能化迈进。
参考文献:
[1] 陈玉洁,黄龙亮,王海军,等.基于机器视觉的生产线智能分拣系统设计 [J].自动化应用,2024,65(3):36-38+42.
[2] 孙先涛,杨茵鸣,王辰,等.基于深度学习的异状零件抓取检测方法 [J/OL].计算机集成制造系统2025:1-17[2025-01-02].http://kns.cnki.net/kcms/detail/11.5946.TP.20230223.1532.014.html.
[3] 戴福全,刘路杰.基于视觉引导的机器人抓取分类系统设计 [J].福建工程学院学报,2020,18(6):530-534.
[4] 安广琳,李宗刚,杜亚江,等.基于深度学习的多工件抓取点定位方法 [J].激光与光电子学进展,2023,60(12):311-321.
[5] 薛珊,吕南方,沈雨鹰,等.基于激光三维点云的机械工件识别方法 [J].红外与激光工程,2019,48(4):169-176.
[6] 苏波,郑孟州.基于智能传感器的工件抓取系统研究 [J].软件导刊,2018,17(12):8-11+17.
[7] 吴双峰,庄圆,李周,等.大型桁架式钢板自动分拣机器人设计研究 [J].制造业自动化,2016,38(8):111-114.
[8] 刘金龙,周春晖,陈兆文.建筑钢结构智能零件分拣中心研发与应用 [J].信息技术与信息化,2021(12):60-64.
[9] 方羽,赵天生.工程机械中薄钢板自动化下料系统设计及实施 [J].机电工程技术,2023,52(1):206-209.
[10] 洪超,周鹏飞,崔凯,等.一种卷料激光切割自动化生产线 [J].锻压装备与制造技术,2018,53(5):29-31.
作者简介:王天诺(1993.12—),男,汉族,河南濮阳人,中级职称,硕士,研究方向:智能制造;詹文霞(1991.01—),女,汉族,陕西商洛人,初级职称,硕士,研究方向:自动化仪表。
收稿日期:2024-07-05