摘" 要:文章提出了一种基于机器视觉的环形垃圾分拣系统,旨在解决传统垃圾分拣系统存在的堆积、分拣缺漏等问题。通过实验验证了该设计的可行性和有效性,为未来垃圾处理技术的发展提供了新的思路和参考。该系统结合计算机视觉、机械臂控制和编码器技术,通过精确控制机械臂和机械爪进行垃圾抓取,实现了高效、准确的垃圾分拣。实验结果表明,该系统在不同垃圾类型上的分拣率较高,具有较高的稳定性和可靠性。环形传送平台的设计提高了容错率和适应性,减少了系统工作压力。
关键词:环形垃圾分拣系统;计算机视觉;机械臂控制;编码器;实验验证;分拣效率
中图分类号:TP391.4;TP242 文献标识码:A 文章编号:2096-4706(2024)19-0193-06
Design and Verification Experiment of Circular Garbage Sorting System
YANG Zhicai1, LIN Zijian2,3, LI Zhuoxue2,3, LIU Mingqing2,3, ZHANG Wuji2,3, LIN Qunxu2,3
(1.Luoding Polytechnic, Yunfu" 527200, China; 2.School of Rail Transportation , Wuyi University, Jiangmen" 529020, China; 3.Key Laboratory of Intelligent Operation, Maintenance and Emergency Management for Rail Transit of Jiangmen Wuyi University, Jiangmen" 529020, China)
Abstract: This paper proposes a circular garbage sorting system based on Machine Vision, which aims to solve the problems of accumulation and sorting omission in traditional garbage sorting system. The feasibility and effectiveness of the design are verified by experiments, which provides new ideas and reference for the development of garbage treatment technology in the future. The system combines Computer Vision, robotic arm control, and encoder technology to achieve efficient and accurate garbage sorting by precisely controlling the robotic arm and robotic claw for garbage grabbing. The experimental results show that the system has a high sorting efficiency on different garbage types, and has high stability and reliability. The design of the circular conveyor platform improves fault tolerance and adaptability, and reduces the working pressure of the system.
Keywords: circular garbage sorting system; Computer Vision; robotic arm control; encoder; experimental verification; sorting efficiency
0" 引" 言
随着全球人口的快速增长和经济的迅猛发展,垃圾问题已经成为当今社会面临的重要挑战之一。根据世界银行报告,2016年全球城市生活垃圾产生量为20.1亿吨,并预计2030 年全球垃圾量将达到25.9亿吨,2050年将达到34亿吨[1]。
大量的垃圾产生不仅对环境造成了巨大压力,还对资源的消耗和能源的浪费带来了严重影响,并且垃圾分类任务从可回收垃圾和不可回收垃圾细化到了包含这2类垃圾在内的21种类型,其中很大部分的垃圾处理工艺大相径庭[2]。因此,寻找一种高效、智能的垃圾处理方法变得尤为迫切。
在这样的背景下,垃圾分拣系统应运而生。现代分拣系统的主要特点是智能化、机械化、自动化智能分拣系统能充分发挥速度快、目的地多、效率高、差错率低和基本实现智能化、无人化作业的优势[3]。近些年来,深度学习[4-5]是机器视觉技术研究的新热点,该技术可模仿人脑的理解机制解释图像、声音和文本等数据,给诸如垃圾精准分类这样的难题带来了新的解决方案。伴随着机器视觉等新型技术市场规模的扩大[6],现在已经能够采用传感器、图像识别、机器学习等多种技术手段,能够快速、准确地辨别各类垃圾,如塑料、纸张、玻璃、金属等,并将其分别送往相应的处理环节,实现高效、可持续的垃圾处理。
市场上垃圾分拣系统领域目前总体处于研发阶段,与之相关的垃圾分拣系统和垃圾分拣设备五花八门,分拣原理不尽相同,分拣效率也各有千秋。例如国内的弓叶科技公司研发的、在北京爱分类垃圾分拣中心首次投入使用的垃圾智能分拣设备,可分拣超过20种不同类型的生活垃圾,还有同为国内较高水平的Dorabot公司推出的垃圾分拣设备,二者均通过机器视觉等方式进行识别和通过机械手抓取等方式进行分拣。而英国威立雅环境服公司研发的Magpie垃圾分拣系统,该系统通过红外线扫描识别、然后使用高压喷气把目标类型的垃圾拣选出来,其余垃圾则落入收集箱。此外还有日本FANUC公司基于目标物的外形、外观和化学成分等进行识别的W.A.R.垃圾分拣系统和挪威TOMRA集团研发了的数款结合多种传感方式,识别材质、颜色等特征的垃圾分拣设备。目前,垃圾分拣设备也逐渐将计算机视觉作为垃圾分拣的主要技术解决方案,例如中国中城绿建科技有限公司、芬兰泽恩机器人公司等开发的基于计算机视觉的垃圾分拣机器人等[7]。
然而,目前关于垃圾分拣系统中的传输部分仍存在一些问题。例如,在传送带中部分垃圾可能因为堆积等原因未被识别,或者拾取机构在一次拾取动作中未能成功拾取,这都会导致分拣失败。为了解决这些问题,本文提出了一种基于机器视觉的环形传送带的分拣系统。该系统由上料机构、环形传送带、视觉检测装置、分拣机械臂和工控计算机组成,如图1所示。在该系统中,环形传送带上的垃圾由于未被识别或拾取失败等原因,会在传送带循环运动期间持续进行分拣,直到成功分拣为止。能够很好地解决前面提到的传送带的分拣系统存在的问题。
为了验证该设计方案的可行性,我们搭建了一个环形垃圾分拣系统,并进行了相关实验。具体而言,垃圾首先通过上料机构进入环形传送平台,并顺时针传送。随后,视觉设备采集图像并将其传输至上位机进行视觉检测。上位机通过基于深度学习的运算分析获得相应的控制指令,并通过串口发送给分拣机械手的控制器,从而完成拾取动作。如果目标物体在第一次经过工业摄像头时未能被成功识别,或者虽然成功识别但机械爪未能成功抓取,该目标物体将在环形传送平台上继续循环,并再次进入分拣流程。这种设计方案相较于直线传送带系统最大的优点在于容错率更高,因为后者仅有一次机会进行识别和抓取。本论文旨在讨论环形垃圾分拣系统的可行性,并进行相关设计及验证实验。
1" 总体结构
1.1" 系统工作流程
垃圾分类实质上就是对图像进行分类然后进行抓取的问题。其中图像分类,指的是结合机器视觉技术,使机器像人类一样具有感知功能的检测识别能力,通过光学装置和非接触式的传感器自动地接收和处理真实物体的图像[8]。首先通过垃圾分拣流水线上的摄像头对每个目标物体进行拍摄,然后采集获得多张目标物体图片,通过神经网络目标检测算法构建垃圾分拣目标检测器,再结合机械爪实现自动分拣[9]。目前外界主要采用的基于直线传送带的分拣设备结构较简单,但如果垃圾没能被识别或被识别但抓取机构抓取失败,垃圾就直接通过了分拣系统导致分拣失败,因而只有一次分拣的机会,导致容错率和适应性低、对系统工作压力较大。因此本文系统采用环形传送平台,没能进行分拣的垃圾会被循环传送,直到分拣成功,因而容错率和适应性更高,本文设计的环形分拣系统为相关领域提供了新的思路和参考。在用于垃圾识别分类的视觉检测算法中采用了基于改进YOLOv5s的垃圾检测算法,该算法能够采用自行搜集的数据集把检测到的垃圾进行有效分类[10]。图像采集系统把采集的图像传至上位机进行处理和基于深度学习的视觉检测,然后把识别成功的目标物相应的控制指令通过串口通信发送到分拣机械手的控制器,控制分拣机械手进行抓取并投放至相应的收集箱。本文分拣设备的分拣机械手采用坐标式机械手,该类机械手具有工作原理简单可靠、易于控制等优点,同时与圆环形的设备布局较匹配。环形分拣流程示意图和环形分拣流程示意图如图2(a)和图2(b)所示。
上位机在系统成功识别垃圾后,将该垃圾经过预定位置时把目标物的类别和中心点坐标通过串口传输至STM32工控板。同时工控板通过保存编码器数值,确定目标物的圆周坐标位置,并持续检测平台旋转的角度等。当目标物来到机械手前方一定范围时机械臂向下运动进行抓取,然后投放完成分拣。该控制系统示意图如图3所示。
1.2" 实验平台的搭建
环形垃圾分拣系统实验平台可分为外部外围机构和内部的传送平台,外围部分采用了铝型材框架和若干钢板,把其他设备围绕该传送平台组合起来,在关键受力部位加装了若干加强连接的零部件。并通过圆心处的一根竖直放置的铝管进行铝型材框架和圆形传送平台的相对定位,以免位置误差变化导致工作精度下降。完成铝型材框架的定位后,通过在铝型材框架上安装编码器获取圆形传送平台的转动角度和圆周坐标位置,并在铝型材框架上方安装工业相机支架,用于安装和固定工业相机。相机支架采用多关节支架,以便于调整相机位置。抓取的执行机构为安装在两个相互垂直方向安装的滑动模组上的机械爪,以坐标式机械手的方式进行工作。坐标式机械手工作速度快、结构简单且控制较简便。机械爪执行抓取后,移动到相应类别的垃圾桶上方并松开机械爪,目标物落入相应的垃圾桶,完成分拣。环形分拣系统总体结构如图4所示。环形垃圾分拣系统样机实物图如图5所示。
目前该系统计划每一个传送平台安装一到两个分拣机械手。由于每个机械手的横向移动路径均需对齐圆形传送平台的圆心,因而横向滑动模组是与圆形传送平台的直径方向错开安装的。承载面采用泡沫板为主要材料,该材料容易加工且成本较低。平台表面可根据需要装设凸起物作为阻拦物,增加目标物摩擦避免物体滚动。机构的部分零部件可能会被误判为目标物,但由于可能造成干扰的零部件的边长和面积往往与目标物相差较大,因而可以通过对面积、边长进行判断和筛选的方法让检测系统通过串口只输出符合面积、边长等条件的目标物的信息,而不输出干扰物的信息。
环形垃圾分拣系统的样机实物如图5所示,坐标式机械手的结构实物如图6所示。其中坐标式机械手有四个自由度,分别由步进电机、舵机和机械爪提供。系统中,两个移动步进电机直线导轨系统分别负责进行水平方向和垂直方向的移动将机械爪移动到指定位置的上方,舵机负责径向机械爪偏转角度调整实现抓取物偏转定位校准,四指电动柔性机械爪负责对目标物体进行夹取动作。
1.3" 环形分拣系统原理
环形分拣系统的原理是通过物体识别技术,采用摄像头采集图像并通过计算机进行图像处理和分析,从而对垃圾进行分类和定位,并将分拣信息发送给STM32工控板。其中,物体识别技术基于深度学习及大规模图像训练用于准确识别图片中的物体、场景信息[11]。STM32工控板实时监控转盘的状态,并根据编码器的信号确定目标垃圾的圆周坐标位置和预测夹取物的到达时间,再通过控制机械臂的运动来实现垃圾的分拣和放置。
图7为环形分拣系统原理框图,摄像头负责对图像进行采集,计算机主要负责通过采集的图像对圆形传送带上的垃圾进行分类和定位,并通过串口向STM32工控板发送目标物信息和控制指令。STM32工控板采集编码器的信号并接收计算机的控制指令,对转盘和分拣机械臂进行控制,实现垃圾的分拣。
计算机成功识别的目标物后,系统将在该目标物经过预定位置(位于图像的中间位置附近)时把目标物的类别、中心点坐标(径向坐标位置)以及物体径向偏移角度通过串口传输至STM32工控板。这时,STM32工控板会保存编码器的数值,从而确定目标物体的圆周坐标位置以及预测夹取物的到达时间。圆盘继续旋转,STM32工控板一直通过编码器监测转盘的旋转角度,及监控转盘的圆周坐标位置。当目标物体运动到机械臂前方一定范围时,机械臂向下运动并把该物体拾取并放置于预定的垃圾箱中,完成垃圾分拣任务。
2" 控制原理和编码器原理
2.1" 控制原理
通过摄像头和计算机,能够做到提取识别垃圾的目标物的类别、目标物中心点径向坐标和径向偏转角度三个信息。编码器测量垃圾的实际转动位置,单片机控制机械臂运动和机械爪进行抓取,并放置于预定垃圾桶中。
首先通过基于深度学习和机器视觉的垃圾检测方法,识别出物品种类信息,方便抓取后进行分类。然后根据目标物中心点径向坐标,算出目标物中心点径向坐标,设置机械爪进行轴向距离指定位置的位移。再通过识别径向偏转角度,控制舵机进行0°~179°的转动,实现物品的精确抓取。最后通过编码器计算物体移动距离,机械爪提前转动到预定角度,同时将机械爪自动运动到预定位置的上方,完成对目标物进行抓取。
2.2" 控制指令的格式及基础工作
计算机视觉检测的结果将以目标物的类别、目标物中心点径向坐标和径向偏转角度三个信息通过串行通信传递给STM32工控板。计算机通过PySerial串行通信模块设定串行通信的波特率、端口号、位数等参数,与STM32工控板建立串行通信。控制指令的总共有7位,第1位表示垃圾的种类,第2~4位代表垃圾中心位置的径向坐标位置,第5~7位代表目标位径向偏移角度,设定为最多180度偏转。例如,对于指令A123045,“A”代表第一种垃圾,123代表相对于与参考原点的相对径向位置为123 mm,045代表目标位径向偏移角度45°;B054120,“B”代表第二种垃圾,054代表相对径向坐标为54 mm,120代表目标位径向偏移角度120°。
3" 验证测试
3.1" 实验目的
在本研究中,我们设计了一个环形垃圾分拣系统,并进行了详细的验证测试。该测试旨在评估系统的可行性、分拣效率和准确性。图8、图9分别为我们的验证测试过程和测试过程中的目标物识别过程。
3.2" 实验准备
准备步骤如下:
1)购买所需的控制器、电机、机械爪、摄像头、控制电路、编码器和铝型材等组件。
2)设计并搭建环形垃圾分拣系统实验平台的机械结构,包括传送平台、铝型材框架和泡沫板等。
3)确定需要分拣的垃圾种类和相应的垃圾桶。
4)编写运行于单片机上的控制算法,配置垃圾分拣视觉检测深度学习模型,用于控制垃圾分拣系统的运行。
3.3" 实验安排
具体环节如下:
1)搭建环形垃圾分拣系统的机械结构,确保各组件的正常连接和运动。保证稳定性,不会因为电机运动产生的晃动和物体重量引起试验台倾斜和不稳定。
2)将垃圾放置在传送平台上,并启动垃圾分拣系统。
3)通过工业相机获取垃圾图像,使用图像处理算法对垃圾进行识别和分类。
4)控制机械爪根据识别结果抓取垃圾,并将其放置在相应的垃圾桶中。
5)记录分拣过程中的总数量、正确分拣次数和误判数量,计算正确分拣率。
6)分析实验结果得出结论。
3.4" 实验结果
图10为废纸、木块、塑料瓶三类垃圾分拣过程。我们记录了不同类型垃圾的分拣率。表1 是各垃圾类型的测试结果。
在分拣过程中,可能会出现一些异常情况,导致垃圾被错误地分到了其他的垃圾桶中,或者被漏掉没有被分拣。例如,在分拣纸张的过程中,可能会有一些不规则的纸片,由于形状太不规则,计算机视觉检测无法识别,从而导致系统分拣错误。又比如,在分拣塑料瓶的过程中,可能会有一些变形严重的塑料瓶被机械爪错分到了其他桶里。
因此,准确的分拣率需要考虑到这些异常情况,并对结果进行修正,以得到更准确的数据。通过以上测试结果,我们可以得出结论,该环形垃圾分拣系统在不同垃圾类型上的分拣率较高,整体表现良好。分拣率超过90%的标准通常被认为是一个有效的分拣系统,因此该系统在实验中达到了预期的效果。
其他观察结果:当计算机视觉检测成功识别出来之后,会对物品进行抓取。由于环形传送带传动途中,原装的塑料瓶或易拉罐会滚动,在摄像头采集到位置之后,到它移动到夹爪可以夹取的位置时会发生位置偏移导致位置不太准确,所以只经过一次夹取动作就夹取成功的情况会低一点,但是因为环形传送带会进行回转,并再次进入该工作流程,经过多次抓取动作之后直至完成抓取。
3.5" 实验结论
我们观察到垃圾分拣系统在运行过程中的稳定性和可靠性较高,未出现明显的故障或错误操作。并且环形垃圾分拣系统的分拣速度较快,能够在较短时间内完成大量垃圾的分拣任务。综上所述,根据验证测试结果,我们可以得出结论,该环形垃圾分拣系统在实验中成功完成了不同类型垃圾的分拣任务,并且具有较高的分拣率、稳定性和效率。然而,在实际应用中,我们还需要进一步优化系统的各个方面,以提高分拣的准确性和效率。
4" 结" 论
本实验完成了环形垃圾分拣系统设计方案可行性的验证,并进行了相关实验。本文设计并搭建基于环形传送平面的垃圾分拣平台,与常见的基于直线型传送面的分拣设备相比容错率更高,系统工作压力更小。并为之整合了若干辅助功能,设计制作了用于上位机的人机交互界面,提高了人机性能和操作性。
实验说明了环形系统的分拣成功率高,分拣速度快,能够有效提高垃圾分拣的工作效率。本文设计和搭建基于环形传送平台的垃圾分拣平台,并在此平台基础上进行图像采集系统的搭建和配置,并加入若干辅助功能和设计制作用于上位机的人机界面,搭建用于验证构思的原型机。最后在该垃圾分拣平台上进行实时检测实验,检测成功率约93.33%,验证系统能如初步构思要求运行。
本实验不足之处在硬件方面也有可改进之处,比如搭建椭圆形传送平台、加入自动化的上料装置等。此外本文主要研究设备平台搭建和视觉检测系统,可进一步进行基于分拣机械手的垃圾抓取和分拣的研究,实现分拣系统的完整功能。
参考文献:
[1] KAZA S,YAO L,BHADA P,et al. What a Waste 2.0: A Globalsnapshot of Solid Waste Management TP 2050 [M].Washing:WordBank Publiction,2018:295.
[2] 韩晓静,张德富.智能分类垃圾箱的设计与研发 [J].中国市场,2017(2):182-183.
[3] 白振成.智能分拣系统的种类及发展趋势 [J].物流技术与应用,2020,25(9):114-116.
[4] PERSVERANCA M,ARNOLD S,LAURA W. Chemical Crystal Identification with Deep Learning Machine Vision [J].BMC Research Notes,2018,11(1):1-6.
[5] GUTTORMSEN E,TOLENDS B,EILERTSEN M B A,et al. A Machine Vision System for Robust Sorting of Herring Fractions [J].Food and Bioprocess Technology,2016,9(11):1893-1900.
[6] 阮晋蒙.机器视觉:让中国制造2025“看”得更远 [J].新经济导刊,2017(Z1):80-83.
[7] 周冯琦,张文博.垃圾分类领域人工智能应用的特征及其优化路径研究 [J].新疆师范大学学报:哲学社会科学版,2020,41(4):135-144.
[8] 刘金桥,吴金强.机器视觉系统发展及其应用 [J].机械工程与自动化,2010(1):215-216.
[9] 窦笑.基于深度学习的机器人环境感知研究 [D].哈尔滨:哈尔滨工程大学,2019.
[10] 吴观茂,王涛.基于改进YOLOv5s的海下垃圾检测算法 [J].湖北理工学院学报,2024,40(1):47-51.
[11] 沈浩,杨莹莹.人工智能为媒体赋能 [J].新闻战线,2019(1):61-63.
作者简介:杨智才(1993—),男,汉族,甘肃庆阳人,硕士研究生,研究方向:机器视觉、机电一体化;通信作者:林群煦(1983—),男,汉族,广东江门人,副教授,博士研究生,研究方向:机电一体化。
基金项目:2021年省乡村振兴战略专项资金(“大专项+任务清单”)项目(2021020401);国家重点研发计划(2018YFA0902900)