摘 要：设计一种基于视觉识别技术的智能分拣系统，旨在解决当前海洋工程智能生产分拣中的安全隐患，以及生产效率低下等问题。该系统利用视觉识别技术，通过控制相机进行图像采集、检测和识别，以实现对托盘位置和零件的准确定位和识别。系统可与分拣系统和桁架PLC（Programmable Logic Controller）进行无缝交互，获取工件的抓取和码放数据，并引导桁架执行相应操作。同时，系统还能够采集和反馈工件的分拣/码盘结果，以供分拣系统进行自动分拣。通过智能化的分拣过程，可显著提升海洋工程智能生产分拣领域的自动化和智能化水平。
关键词：视觉识别技术；智能分拣系统；人工智能；目标检测；特征提取
中图分类号：TP311 文献标识码：A 文章编号：2096-4706（2025）02-0139-06
Research on the Application of Visual Recognition Technology in Plate Intelligent Sorting System
ZHANG Zeqing1， HUANG Xuan2， GENG Xiaomin1， YANG Jian1， WANG Lei1， QIU Yongfeng2
（1.Tianjin Intelligent Manufacturing Branch of Offshore Oil Engineering Co.， Ltd.， Tianjin 300461， China;
2.Hunan Tianqiao Jiacheng Intelligent Technology Co.， Ltd.， Zhuzhou 412007， China）
Abstract： An intelligent sorting system based on visual recognition technology is designed to solve the safety hazards， low production efficiency and other problems in the current ocean engineering intelligent production sorting. The system uses visual recognition technology for image acquisition， detection and recognition by controlling the camera， so as to achieve accurate positioning and recognition of the pallet position and parts. The system can interact seamlessly with the sorting system and the truss PLC （Programmable Logic Controller） to obtain the grabbing and stacking data of the workpieces， and guide the truss to perform the corresponding operations. At the same time， the system can also collect and feedback the results of sorting or stacking to tray of the workpieces for the automatic sorting of the sorting system. Through the intelligent sorting process， the automation and intelligence level in the field of ocean engineering intelligent production sorting can be significantly improved.
Keywords： visual recognition technology; intelligent sorting system; Artificial Intelligence; target detection; feature extraction
DOI：10.19850/j.cnki.2096-4706.2025.02.026
0 引 言
智能制造是先进制造技术和新一代信息技术的深度融合，代表着我国制造业高质量发展的主要方向[1]。文献[2-6]利用工件的形状、轮廓和颜色等特征结合模板匹配方法进行目标工件识别分拣。文献[7]通过支持向量机实现对分拣物体的学习识别。文献[8]引入Adaboost算法优化了BP神经网络，提高了工件的识别准确率。但在智能分拣中仍存在工伤事故；遇到小尺寸零件密集、数量较多的情况，容易成为整条生产线的瓶颈，影响后续切割；分拣后的零件托盘转运需靠人工进行，不支持自动转运等困难和挑战。为解决这些问题，本项目应用视觉识别技术，在控制系统的总体控制下，自主进行特征识别、路径规划、分拣规划与运动执行，完成零件分拣并给出零件信息，以提高分拣效率和生产效率。本文将探讨该系统所采用的相关技术和理论，视觉识别技术在智能分拣系统中的应用以及性能评估。
1 相关技术概述
1.1 板材智能分拣系统概述
利用先进的自动化技术和视觉识别技术，板材智能分拣系统实现对板材的智能化分拣和处理。其特点在于高效、精准、智能化，能够显著提高分拣效率和准确性，同时降低人工成本和错误率。该智能分拣系统采用套料图解析软件、视觉识别系统、桁架机械手技术以及AGV技术构建智能分拣工作站。在工作过程中，系统会对切割后的零件进行拍照识别，确定零件的位置后，引导桁架机械手自动抓取零件并放置至料框中。当料框满载后，系统会自动通知AGV将料框转移到存储区。
智能分拣工作站主要由桁架、分拣吊具、中控系统、分拣系统、视觉系统、AGV以及安全装置组成。桁架机械手包括桁架框架组件和X/Y/Z/C多轴运动机构，其中X/Y/Z轴采用直线导轨运动，C轴为回转机构，通过伺服电机实现精准运动。C轴末端连接着抓取器。视觉系统安装在桁架上，用于引导桁架的运动。
该软件系统由中控系统、分拣系统和视觉系统组成，通过与外部的桁架PLC电控系统、MES系统和AGV管理系统交互，实现零件的自动化分拣和码垛，如图1所示。其中，中控系统负责与MES系统、AGV管理系统以及桁架PLC进行交互，管理自动分拣任务、托盘转运、数字孪生等功能；分拣系统负责套料图解析、零件管理、磁吸配置和码垛策略等功能；视觉系统通过与桁架PLC交互实现3D相机控制，托盘定位和零件识别功能。安全装置包括声光报警器、安全限位、安全门、安全围栏、安全光栅和安全监控等。智能分拣控制系统（AISOS）在执行任务创建、图纸解析、零件定位与识别、零件自动分拣与码放的同时，还需要监控自动分拣桁架设备和AGV托盘缓存位的管理。
1.2 视觉识别技术
视觉识别技术是指利用计算机视觉和图像处理技术，对图像或视频数据进行分析和处理，以实现对物体、场景或模式的自动识别和分类的一种技术。基于机器视觉的图像识别技术，依赖于图像的特征，能够过滤掉冗余信息，聚焦于图像的主要特征，并捕捉有用的关键信息。这些信息会被分阶段地整合，形成一个完整的直觉映像[9]。
1.2.1 目标检测
目标检测其目的是在图像或视频中自动识别和定位目标物体的位置和类别。通过识别目标物体的位置和边界框，系统可以精确地确定物体在图像中的位置，为后续的分拣过程提供准确的目标位置信息，可以识别出待分拣物体的类别，从而进行相应的分类和处理。这种技术的应用解决了工人分拣零件、工作枯燥、劳动强度大、招工困难等问题，同时还能够应对小尺寸零件密集、数量较多的情况，避免成为整条生产线的瓶颈，从而有效提高了生产效率。
1.2.2 图像分割
图像分割是将图像划分为多个不同区域或对象的过程，该过程可以基于像素级别、区域级别或边界级别进行，常见的方法包括阈值法、边缘检测、区域生长、图割等[10]。采用图像分割技术，从图像采集到分拣处理全过程实现自动化，显著提高了效率和准确性，降低了人工成本。此外，利用图像分割算法去除背景信息并提取目标物体，系统可以进一步减少图像处理时间，将所需分拣的物体与工作平面分离，使得零件和托盘可以更有效地被系统检索和提取。
1.2.3 特征提取
特征提取是指从原始数据中提取出具有代表性、能够反映数据特征的信息的过程。特征提取帮助系统从图像中提取出与待分拣物体相关的特征，例如形状、颜色、纹理等。这些特征可以用来区分不同类型的物体，从而实现物体的识别和分类。通过特征提取，系统可以准确地识别出图像中的各种物体，并将它们分类到相应的类别中，为后续的分拣操作提供基础。可以确定物体的边界和位置信息，从而实现目标物体的准确定位[11]。
2 系统设计
2.1 视觉系统整体架构
视觉系统控制相机拍照，进行图像采集、检测和识别定位，可与分拣系统和桁架PLC进行系统交互取得工件的抓取和码放数据，引导桁架执行工件的抓取和码放，并采集工件的分拣/码盘结果反馈给分拣系统，如图2所示。
2.1.1 视觉系统组成模块
图3展示了视觉系统的主要构成模块，包括拍照管理、流程管理和相机管理。拍照管理模块负责相机通信、视觉定位、图像采集和图像检测等任务。视觉定位包括托盘和工件的定位，其中托盘定位用于确定托盘的位置，而工件定位可在巡边盲抓和单个工件识别之间切换。流程管理模块实现了流程配置、查看和执行等功能。相机管理模块则负责显示相机列表、维护相机参数和查看相机状态。对于零件定位识别，输入套料图解析结果，根据零件信息配置端拾器数据、抓取数据和放置数据，输出零件的磁吸点配置、抓取点坐标和抓取旋转角度。对于托盘定位，输入托盘分拣位置数据和托盘尺寸数据，控制相机到指定位置拍照，并对拍照图像中的托盘标识进行定位识别，输出托盘的实际位置坐标和旋转角度值。
2.1.2 系统硬件设计
系统的主要硬件设备包括一套配备i7处理器、第八代处理器、16 GB内存和500 GB固态硬盘的视觉系统电脑，一台硬盘录像机（4×6 TB定制盘），三台摄像头，两套的3D相机，以及一台西门子PLC（如表1所示）。桁架工作范围设置了3个摄像头，以确保覆盖了整个分拣区域以及人员进出通道。这些摄像头的安装保证了360°无死角的监控，使操作人员可以实时观察设备的运行状态。
2.1.3 系统软件设计
视觉系统采用了C/S架构，使用C语言进行开发，并通过TCP/IP协议与3D相机进行连接通信。C/S结构指的是客户端/服务器端的交互结构，其中服务器端分为数据库服务器和Socket服务器，分别负责数据的存取和建立Socket双向通信通道。另外，C/S结构的客户端软件需要适配不同的操作系统，每个客户机都需要安装客户端软件，这增加了开发难度并且不利于程序的升级和维护，然而，C/S结构的程序也有其优点，包括结构简单、响应速度快、支持分布式和并发环境等，这种架构可以有效地提高资源的利用率[12]。
通过C语言编写图像处理算法，包括图像增强、滤波、边缘检测和图像去噪等功能。使用Socket库可以建立TCP/IP连接，首先创建一个Socket对象，然后通过connect函数连接到3D相机的IP地址和端口。连接成功后，可以使用send函数发送数据到3D相机，并使用recv函数接收来自相机的数据。接收到相机数据后，可以对其进行解析和处理，提取出所需的信息或图像数据。
在本项目中，视觉系统采用了“1拖2”的方案，即每套分拣桁架（包括2个桁架Z轴）安装1套3D视觉软件。每个桁架Z轴在拍照高度为1 500 mm的位置安装了1台3D相机。这些3D相机可以随着桁架Z轴的运动进行调整和移动。
2.2 系统交互
2.2.1 桁架与视觉识别系统的交互
桁架上安装有视觉系统，以引导桁架运动。在确认托盘类型及托盘所在的分拣位置后系统将对托盘进行视觉定位操作，系统对托盘完成定位后下发托盘就位给分拣系统，这样分拣系统就确定零件码放的坐标信息了。
在钢板托盘和零件托盘定位中，当钢板托盘或者零件托盘就位后，桁架接受中控系统指令，携带工业相机到托盘左上角进行拍照。视觉系统根据拍摄的照片分析计算出托盘左上角的相对坐标，反馈给桁架。桁架根据收到的相对坐标计算出托盘绝对坐标并反馈给中控系统。
在零件分拣码盘中，当桁架空闲时，发送任务请求给视觉系统，视觉系统收到任务请求后发送一个分拣码盘任务（抓取坐标和码放坐标）给桁架。桁架机械臂运行到指定坐标进行分拣和码放。任务完成后再次发出任务请求信号。
2.2.2 分拣系统与视觉识别系统的交互
分拣系统与视觉系统的交互是通过共享文件的方式[13]，文件为JSON结构，使用的编码是UTF-8。交互内容包括：分拣系统下发分拣零件列表给视觉系统；视觉系统请求分拣系统获取分拣零件的抓取和码放信息（包括：零件抓取坐标、磁吸点配置、端拾器旋转角度、零件码放坐标、码放旋转角度），视觉系统返回分拣执行结果。通过这种方式，分拣系统和视觉系统能够实现信息的交互和共享，从而协调分拣任务的执行，如表2所示。
3 系统应用
在板材智能分拣装置中，当工件到达分拣位置时，触发就位信号，告知系统工件已到达。接收到就位信号后，视觉系统被激活，准备进行图像采集。视觉系统使用3D相机对钢板进行拍照，获取钢板表面的图像信息，3D相机移动到预设的拍照位置，确保能够覆盖整个工件区域，采用多个相机从不同角度拍摄，以获得全面的图像信息。相机捕获工件的图像，并将其转换为数字信号。结合多个相机的图像数据，计算工件的空间位置，将相机坐标系中的工件位置转换至机械手的工作坐标系。
视觉系统通过读取标签或识别二维码获取托盘的类型信息，区分不同类型的托盘，如平板拖车、平板托盘等。对托盘进行拍照确定托盘的精确位置，根据预设的分拣位置数据，调整相机角度和位置，确保托盘定位的准确性，实时监测托盘的状态，包括是否为空、是否就位等。通过图像分析，识别托盘上的物料分布情况，避免超载或不稳定状态。托盘分拣位置数据主要用于定义托盘放置于分拣桁架下的位置，如图4所示，该位置数据系统将作为托盘定位的基准数据。
对钢板上的零件进行拍照，提取零件的特征，识别和分类不同的零件类型，结合3D视觉技术，系统能够计算零件在空间中的精确坐标。根据零件的位置和特征，视觉系统生成机械手的抓取点和抓取顺序，考虑零件的稳定性和易碎性，选择最合适的抓取策略。视觉系统将零件的定位信息传输给中控系统，引导机械手进行精确抓取。系统根据码放策略，如零件类型、尺寸、重量等，指导机械手将零件放置到正确的托盘位置，工件分拣位置管理控制界面，如图5所示。
中控系统接收视觉系统的数据后，生成相应的控制指令，并反馈执行结果。视觉系统根据反馈进行自我调整，优化识别和定位算法。操作人员通过用户界面实时监控视觉系统的识别过程和机械手的动作。系统记录所有操作日志，便于后续分析和优化。
4 性能评估
4.1 效率测试
通过测量不同步骤的时间来评估整个分拣过程的效率和节拍，以单张钢板30个零件为例，分拣一张钢板时间约为：15.1分钟/张，如表3所示。具体节拍为：
1）钢板托盘巡边。视觉拍照确定钢板位置37 s。
2）零件托盘定位。视觉拍照确定托盘位置20 s。
3）零件分拣码垛。桁架分拣零件55秒/件。
4）桁架回零位：桁架回到初始位置22 s。
由表3可知，视觉识别技术在整个分拣过程中发挥着关键作用，用于钢板和零件的定位和识别，通过优化零件分拣码垛的效率、改进视觉识别技术和系统稳定性，可以进一步提高整个分拣过程的效率和准确性，从而降低生产成本并提高生产效率。
4.2 兼容性测试
对该系统进行兼容性的测试，分拣系统在不同操作系统、不同的浏览器、不同的设备下均表现出良好的兼容性。说明本文系统在不同环境和平台下都表现出良好的兼容性，用户不必担心兼容性问题。这为用户提供了更广泛的选择空间，并提高了系统的可用性和适用性。效率测试结果如表4所示。
4.3 性能测试
该系统经过性能测试后表现出良好的性能特征。系统在处理业务流程时，平均响应时间快速，分拣码垛速度稳定，能够处理大量任务并保持较快的处理速度。系统同时还表现出良好的并发性能，在同时处理多个任务时仍能够保持稳定的性能表现。这些性能特征表明，说明该系统能够在业务负载下保持良好的性能，满足分拣过程中对快速、稳定处理的需求。性能测试结果如表5所示。
5 结 论
提出了一种应用于板材智能分拣系统的视觉识别技术，通过拍照管理、流程管理、相机管理等功能模块，系统实现了图像采集、检测和识别定位的功能。该系统能够与分拣系统和桁架PLC进行系统交互，并对托盘进行定位以及对零件进行识别。通过智能化分拣，这一技术方案有望提高20%的生产效率、降低30%人力成本，并提高30%分拣准确性。因此，这项技术可为海洋工程智能生产以及智能化分拣带来显著的经济效益和竞争优势。
参考文献：
[1] 赵岚，唐国寅，温秀兰，等.基于3D视觉的机器人分拣实验系统研究与设计 [J].南京信息工程大学学报：自然科学版，2023，15（5）：604-611.
[2] 刘振宇，李中生，赵雪，等.基于机器视觉的工业机器人分拣技术研究 [J].制造业自动化，2013，35（17）：25-30.
[3] 包光旋，黄家才，李耀，等.基于视觉的并联机器人智能分拣系统设计与实现[J].南京工程学院学报：自然科学版，2021，19（1）：7-11.
[4] 徐益国.基于工业流程的视觉分拣系统研究与设计 [D].西安：长安大学，2019.
[5] 蒋书贤.基于机器视觉的工业机器人分拣系统研究 [D].成都：西南交通大学，2015.
[6] 朱颖，黎伟健，郭国辉，等.单目视觉智能分拣搬运机器人的设计 [J].国外电子测量技术，2020，39（10）：138-142.
[7] 徐青青.基于机器视觉的工业机器人智能分拣系统设计 [J].仪表技术与传感器，2019（8）：92-95+100.
[8] 何泽强.基于机器视觉的工业机器人分拣系统设计 [D].哈尔滨：哈尔滨工业大学，2016.
[9] 吴鲁纪，秦佳音，李安虎，等.机器视觉识别技术在机械传动领域的发展与应用 [J].机械传动，2022，46（7）：167-176.
[10] 伍麟，郝鸿宇，宋友.基于计算机视觉的工业金属表面缺陷检测综述 [J].自动化学报，2024，50（7）：1261-1283.
[11] WANG Y. Leveraging and Refining Image Recognition Technology for Intelligent Logistics Sorting Systems [J].Traitement du Signal，2023，40（3）：1235-1242.
[12] 张炳星，高军伟.基于机器视觉的金属工件智能分拣系统设计 [J].工具技术，2023，57（3）：140-144.
[13] SIRIWEERA A，NARUSE A. QoS-Aware Federated Crosschain-Based Model-Driven Reference Architecture for IIoT Sensor Networks in Distributed Manufacturing [J].IEEE Sensors Journal，2023，23（23）：29630-29644.
作者简介：张则青（1982—），男，汉族，山东青岛人，高级工程师，硕士，研究方向：海洋钢结构、智能制造；通信作者：邱永峰（1985—），男，汉族，湖南娄底人，高级工程师，博士，研究方向：工业大数据、控制系统、智能制造。
收稿日期：2024-06-06
基金项目：湖南省高新技术产业科技创新引领计划（2021GK4008）；工信部2023年度智能制造系统解决方案揭榜挂帅项目；湖南省教育厅科学研究项目重点项目（21A0356）
