摘" 要:针对钢材焊缝表面缺陷检测中因缺陷尺度小、形态多变及缺陷与背景对比度低等因素导致的误检率与漏检率偏高问题,提出一种基于改进YOLOv8模型的轻量化焊缝表面缺陷检测方法。首先,在模型主干网络引入空间金字塔分解(SPD)模块,以增强模型对小尺度缺陷的检测能力;其次,在特征融合网络嵌入SimAM注意力机制,强化模型对低对比度缺陷的特征表征能力;再次,采用Wise-IoU替代传统边界框回归损失函数,优化模型定位精度;最后,通过ADown模块改进下采样方法,有效保留焊缝缺陷的细节特征。实验结果表明:改进模型的检测精度、召回率与平均精度均值(mAP)分别提升了3.7%、1.6%和3.6%,其综合性能优于原始模型及其他主流目标检测模型,为工业场景下的焊缝缺陷检测系统部署提供了有效解决方案。
关键词:焊缝缺陷检测;YOLOv8;SPD模块;SimAM注意力
中图分类号:TP183;TP391.4" 文献标识码:A" 文章编号:2096-4706(2025)03-0044-06
Lightweight Weld Surface Defect Detection Method Based on Improved YOLOv8
CHEN Xin, XU Hui, ZHANG Zimian, XIONG Tiejun, CHEN Zengxiong
(Hunan Branch of China UNICOM, Changsha" 410014, China)
Abstract: Aiming at the problems of high 1 detection rate and missed detection rate in steel weld surface defect detection due to factors such as small defect scale, variable morphology and low contrast between defects and background, a lightweight weld surface defect detection method based on improved YOLOv8 model is proposed. Firstly, the Spatial Pyramid Decomposition (SPD) module is introduced into the model backbone network to enhance the models ability to detect small-scale defects. Secondly, the SimAM is embedded in the feature fusion network to enhance the feature representation ability of the model for low contrast defects. Thirdly, Wise-IoU is used to replace the traditional bounding box regression loss function to optimize the localization accuracy of the model. Finally, the down-sampling method is improved by the ADown module to effectively retain the detailed features of the weld defects. The experimental results show that the detection accuracy, recall rate and mean Average Precision (mAP) of the improved model are increased by 3.7%, 1.6% and 3.6%, respectively. Its comprehensive performance is better than the original model and other mainstream object detection models, which provides an effective solution for the deployment of weld defect detection systems in industrial scenarios.
Keywords: weld defect detection; YOLOv8; SPD module; SimAM
0" 引" 言
钢材作为铁、碳等元素的合金金属材料,在现代社会的各行各业中占据着极其重要的地位,应用广泛。钢材表面焊缝缺陷检测是对焊接质量的检验,目的是保证产品结构的完整性、可靠性和安全性[1]。同时,缺陷检测数据的积累也为焊接工艺的优化提供了宝贵反馈,有助于持续改进焊接质量[2]。综上所述,钢材焊缝缺陷检测对于提高钢材产品质量、减少安全风险、降低人工和材料成本、优化焊接工艺等方面均具有重要意义。
近年来,机器视觉技术和目标检测技术日益成熟,为钢材焊缝缺陷检测注入了新质生产力。基于手动特征提取的焊缝缺陷检测存在需要手动设计特征提取器且适应性差的问题[3]。以RCNN[4]、FastRCNN[5]和Faster-RCNN[6]为代表的两阶段检测模型,先在图像中提取出一系列感兴趣区域,然后对这些区域进行分类和边界框回归。两阶段模型检测精度良好,但速度相对较慢。为满足实时检测场景的需求,以SSD[7]和YOLO[8]系列为代表的一阶段检测算法应运而生。它们直接在模型中同时预测目标物体的类别和位置,无须生成感兴趣区域,因此检测速度更快。
在焊缝缺陷检测场景中,Chen等人[9]提出了一种基于YOLOv3的轧钢表面缺陷检测方法,采用轻量级的MobileNetV2作为特征提取器以提升检测速度。Han等人[10]提出了一种新颖的两阶段边缘复用网络(TSERNet),该网络由预测和细化两个结构组成,并结合缺陷的边缘特征,有效增强了带钢表面缺陷的表征能力。Xu等人[11]提提出了改进YOLOv7的管道焊缝表面缺陷检测模型,设计了一个Le-HorBlock模块,并引入了坐标注意力机制,以减少焊缝缺陷的漏检。李闯等人[12]提出了PCYOLOv7-tiny方法,该方法在YOLOv7-tiny模型的基础上融合了可变形卷积和轻量化卷积,有效提升了检测速度。杨杉等人[13]使用形变卷积和空洞卷积改进MaskRCNN模型,使局部图像能够获取全局图像特征信息,能更好地提取不规则缺陷的特征。唐茂俊等人[14]采用FPN多尺度结构和DCR解耦分类细化结构改进Faster-RCNN模型,以增强对小目标缺陷的检测能力。吴忍等人[15]将基于IoU值的三层级联结构与FasterR-CNN结合进行焊缝缺陷检测。
目前,基于深度学习和计算机视觉的钢材焊缝缺陷检测方法取得了一定成果,但在模型的精度和速度上仍有待优化。本文以钢材焊缝表面缺陷为研究对象,基于目前性能优异的YOLOv8模型对缺陷检测方法进行改进,研究出一种轻量化和精度平衡的YOLO-WD模型,以期满足生产环境中实时检测的要求。
1" 改进的YOLOv8方法
在YOLOv8模型[16-17]的基础上,对模型结构进行优化,使其更适用于复杂焊缝缺陷的快速准确检测。具体改进方法如下:在YOLOv8模型的骨干网络中引入SPD模块[18],在颈部网络中,引入SimAM注意力机制[19],使用ADown[20]替换原有的下采样方法;替换边界框回归损失函数为Wise-IoU[21];这些改进有效增强了模型对小目标缺陷、形状多变缺陷的特征提取能力,在保持模型轻量化的情况下,提升了模型的检测精度。改进的YOLOv8模型结构如图1所示。
1.1" SPD模块
在本文所采集的焊缝表面缺陷数据集中,飞溅类别的缺陷目标尺寸较小,使用YOLOv8基础模型进行预测时,发现存在漏检问题。因此,在对YOLOv8模型进行改进时,将SPD模块添加到其骨干网络中,以弥补图像中小尺寸缺陷特征信息提取不足的缺陷。
SPD模块是SPD-Conv的重要组成部分,其结构如图2所示。具体来说,SPD-Conv由一个空间到深度层(Space-to-depth, SPD)和一个无步长卷积层(Non-strided Conv)组成。它通过完全摒弃步长卷积和池化操作,来提升对小目标的检测效果。
在传统的CNN结构中,由于卷积层和池化层的使用,存在目标细粒度信息丢失的问题。在解决钢材焊缝表面缺陷检测问题时,由于部分焊缝缺陷尺寸较小,CNN中的池化层和大步长卷积可能导致目标细节信息丢失,致使小尺寸缺陷被漏检或误检。而SPD模块将空间信息转换为通道信息,保留了输入特征中的所有信息。这意味着即使在网络深层,也能够保持高分辨率的特征图,有利于精确定位和识别小尺寸的焊缝缺陷。
1.2" 嵌入SimAM注意力模块
在钢材焊缝表面缺陷检测任务过程中,存在缺陷与背景物体对比度较低的情况。为了使模型能够自适应地着重关注特征不明显的缺陷目标,本文采用自注意力机制模块(SimAM),以此增强模型的特征提取能力,降低背景物体的干扰。在不增加模型参数量的基础上,提高焊缝缺陷检测的精度,并通过消融实验来验证 SimAM 模块的有效性。
SimAM通过对特征图进行自适应加权,从而提高网络对关键特征的关注程度。如式(1)~(3)所示,它通过最小化能量函数来计算钢材焊缝特征图中每个神经元的权值。第i个神经元的最小能量函数为。其中t表示目标神经元,x表示相邻神经元,λ表示超参数,表示所有神经元在单通道上的均值,表示所有神经元在单通道上的方差。计算式如下:
(1)
(2)
(3)
(4)
式中,的值越小表示焊缝特征图目标神经元与其他神经元的区分度越高,即表明该神经元越重要,特征图上每个神经元的权重等于1/。输出特征图X 如式(4)所示,E为钢材焊缝特征图所有神经元 值集合,而Sigmoid激活函数的作用是限制E值过大。SimAM的整体结构如图3所示。首先,将原始特征图输入SimAM注意力机制进行自适应加权。然后,使用Sigmoid做权重归一化,并将计算出的神经元权重与原始特征图相乘。最终,得到加权的输出特征图。
1.3" 下采样模块Adown
ADown模块是YOLOv9模型中的重要组成部分,其主要用于特征提取和下采样操作。如图4所示,ADown模块将输入特征图切分为两部分,使用两个卷积层并行处理,从而提高计算效率。接着,该模块通过平均池化和最大池化对特征图进行下采样,这不仅可以减少模型的参数量和计算量,还能有效保留重要的特征信息。通过在YOLOv8的颈部网络中引入ADown模块,模型的轻量化得以实现,同时焊缝缺陷检测的精度也得到了提升。
1.4" 损失函数改进
在焊缝缺陷检测任务中,存在许多形状多变的缺陷,并且不同类别样本存在不平衡的问题。因此,优化对形状多变缺陷的检测也是本项研究的核心工作之一。YOLOv8模型的边界框回归损失函数采用的是CIoU Loss[22],计算式为:
(5)
式中,b和bgt分别表示预测框和真实框的中心点,ρ表示两框中心点的欧式距离,α表示权重平衡函数,v表示框的长宽比度量函数,c表示预测框和真实框的最小外接矩形的对角线长度。
CIoU损失函数在判断长宽比大、形状不规则的物体时存在一定局限性,并且未考虑不同质量样本之间的平衡问题。在焊缝缺陷检测中,由于焊缝缺陷与背景的对比度较弱,且目标尺寸差异较大,因此,本文采用WIoU损失函数替换CIoU函数,以处理目标边界模糊以及不规则目标的检测难题。WIoU引入了动态非单调聚焦机制,能够较好地解决质量较好与质量较差样本间的惩罚平衡问题。这使得WIoU能够聚焦于正常质量的边界框,更精准地定位和识别图像中的多尺度目标,进而提升模型的检测性能。其计算式为:
(6)
(7)
(8)
式中,(x,y)和(xgt,ygt)分别表示预测框和真实框的中心点坐标;Wg和Hg表示最小外接矩形框的宽和高,上标*表示将Wg和Hg从计算图中分离出来,以防止RWIoU产生阻碍收敛的梯度。LIoU∈[0,1]表示IoU损失函数;RWIoU∈[1,exp]表示Wise-IoU的惩罚项,用于加大普通质量锚框的LIoU;表示一个批次内LIoU的平均值;r表示梯度增益系数,用于聚焦普通质量的锚框;α、δ表示超参数,控制β和r的映射,针对不同数据集,可调整α和δ;β表示离群度,用于描述锚框的质量,离群度小则锚框质量高。
2" 实验与分析
2.1" 数据集处理
目前,在钢材焊缝表面缺陷检测领域,公开的图像数据较为稀缺,尚未有相对全面的公开数据集。本文的实验数据集主要来源于GitHub以及百度、谷歌等平台,共收集了1 152张焊缝表面缺陷图像。图像中的焊缝缺陷包含飞溅、凹坑、接口不良、缺损和未融合这5个类别,如图5所示。使用LabelImg工具进行缺陷标注,根据以往的模型训练经验,将数据集按照8∶2的比例划分为训练集和测试集,其中训练集包含921张图像,测试集包含231张图像。
2.2" 实验环境和参数设置
本文中所有实验均在64位CentOS 7.4操作系统下开展,所使用的GPU为NVIDIATeslaT4,显存为16 GB。编程语言采用Python,基于PyTorch 2.0.0框架进行模型训练,借助Cuda 11.7进行加速计算,Torchvision版本为0.15.0。模型训练时的参数设置如表1所示。
2.3" 消融实验
为验证本文改进模型的有效性,对改进模型开展了消融实验。以YOLOv8n模型作为基准模型,将精确率(P)、召回率(R)、平均精确率均值(mAP)、模型权重(Weights)和推理时间(T)作为性能评估指标,结果如表2所示。
由表2可知,试验2在原始YOLOv8n模型的骨干网络中加入SPD模块后,模型的精确率、召回率和mAP分别提升了0.4%、1.8%和1.8%,而模型权重仅增加了0.3 MB,推理时间仅增加了0.6 ms。
试验3在YOLOv8n的颈部网络中引入SimAM模块,相较于试验1,虽然召回率有所降低,但精确率和mAP分别提高了5.5%和0.2%,模型大小和推理时间基本保持不变。
试验4将SPDConv模块和SimAM模块进行组合,其中模型的召回率和mAP相较于试验3分别提升了3.5%和2.1%,而模型权重仅增加0.3 MB。此外,单张图像的推理时间为10.4 ms,达到了实时检测速度。
试验5在试验4的基础上,将原始YOLOv8n模型的回归损失函数修改为WIoU,相比试验4,模型的mAP和权重大小保持不变,召回率增加了1.1%,虽然精确率有所下降,但提升了模型的边界框回归能力。
试验6在试验5的基础上,引入ADown模块替换原有的下采样方法。相较于试验5,模型的精确率和mAP分别提升了1.7%和1.3%。此外,模型权重减少了0.2 MB,推理时间减少了0.1 ms。最终,将试验6的模型简称为YOLO-WD。
综上所述,本文改进的YOLO-WD模型在保持模型轻量化的前提下,减少了焊缝缺陷检测的漏检和误检情况,并且实现了较高的推理速度。
2.4" 模型对比实验
将本文改进的YOLO-WD模型与YOLOv5n、YOLOv7-Tiny、YOLOv9-T和YOLOv10等主流检测模型进行定量对比,实验结果如表3所示。
根据表3的试验结果可知,YOLOv8n在参数量及模型权重大小均小于YOLOv7-Tiny和YOLOv9-T这两个单阶段模型的情况下,其精确率、召回率和mAP均优于YOLOv7-Tiny和YOLOv9-T;YOLOv5n的召回率和mAP略高于YOLOv8n,然而YOLOv5n的推理时间更长;YOLOv10n模型的参数量、计算量和推理时间优于YOLOv8n,但在精确率、召回率和mAP方面均不及YOLOv8n;YOLOv10s模型的精确率和mAP略高于YOLOv8n,但召回率稍显不足。此外,该模型的参数量、计算量较多,轻量化程度欠佳。本文改进模型YOLO-WD的精确率、召回率和mAP均优于YOLOv8n以及其他主流目标检测模型。相比于YOLOv8n,虽然模型的参数量和推理时间稍有增加,但依然实现了模型的轻量化以及良好的实时推理速度。通过以上分析可以看出,本研究提出的YOLO-WD模型在多个指标方面均展现出优越性。
2.5" 可视化分析
为验证本文改进的YOLO-WD模型在实际场景中的性能,选取了包含中小目标、前景与背景对比度弱等不同场景的缺陷图像进行测试,检测结果如图6所示。通过直观对比发现,由于YOLO-WD引入了能够保留图像通道维度中所有信息的SPD结构,应用自注意力机制模块(SimAM),并且采用轻量化的下采样模块ADown,将边界框回归损失函数替换为WIoU,相比于YOLOv8n模型,YOLO-WD捕捉到了更多的焊缝缺陷特征信息。在面对小尺寸缺陷、对比度弱缺陷的情况时,减少了对缺陷的漏检和误检。综合来看,对于不同尺寸的钢材焊缝缺陷检测,改进的YOLO-WD模型呈现出更优的检测水平。
3" 结" 论
本研究以钢材焊缝表面存在的多类缺陷为研究对象,提出一种轻量化的焊缝表面缺陷检测算法,实现了焊缝缺陷的快速检测。在YOLOv8n的基础上,将SPD模块引入骨干网络,以提升小目标的检测精度;在YOLOv8n的颈部网络中引入SimAM注意力机制,在未增加模型参数量的情况下,提升了模型的精确度;使用Wise-IoU作为损失函数,提升了模型的边界框回归能力;采用ADown轻量化下采样模块,既可以减少模型参数量,又可以进一步细化焊缝缺陷特征。最终,各类缺陷的精确率、召回率和平均精确率均值分别提高了3.7%、1.6%和3.6%。
本研究建立的模型在收集的5类焊缝缺陷检测任务中取得了良好效果,但由于焊缝表面缺陷种类繁多、同类缺陷差异大,且实验样本不够丰富。因此,下一步的研究工作将丰富焊缝表面缺陷的种类和样本数量,提升模型的泛化性。同时,将模型进行量化加速后,部署在边缘设备上,以增加模型的应用价值。
参考文献:
[1] 李亚森,李晔,李赵辉.基于深度学习的焊缝缺陷检测方法综述 [J].焊接技术,2024,53(4):6-13.
[2] 刘政达.复杂焊缝外观质量自动检测及评估方法研究 [D].长春:吉林大学,2024.
[3] 李蕾.基于机器视觉的管道内焊缝表面缺陷识别技术研究 [D].西安:西安石油大学,2023.
[4] DONG C,ZHANG K,XIE Z Y,et al. An Improved Cascade RCNN Detection Method for Key Components and Defects of Transmissi Onlines [J].IETGeneration, Transmission amp; Distribution,2023,17(19):4277-4292.
[5] WANG X L,SHRIVASTAVA A,GUPTA A. A-Fast-RCNN: Hard Positive Generation via Adversary for Object Detection [C]//2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR).Honolulu:IEEE,2017:3039-3048.
[6] LIU R,YU Z H,MO D L,et al. An Improved Faster-RCNN Algorithm for Object Detection in Remote Sensing Images [C]//2020 39th Chinese Control Conference(CCC).Shenyang:IEEE,2020:7188-7192.
[7] ZHAI S P,SHANG D R,WANG S H,et al. DF-SSD: An Improved SSD Object Detection Algorithm Based on DenseNet and Feature Fusion [J]. IEEE Access,2020,8:24344-24357.
[8] JIANG P Y,ERGU D,LIU F Y,et al. A Review of YOLO Algorithm Developments [J].Procedia Computer Science,2022,199:1066-1073.
[9] CHEN X C,LYU J,FANG Y L,et al. Online Detection of Surface Defects Based on Improved YOLOV3 [J].Sensors,2022,22(3):817.
[10] HAN C J,LI G Y,LIU Z. Two-Stage Edge Reuse Network for Salient Object Detection of Strip Steel Surface Defects [J].IEEE Transactions on Instrumentation and Measurement,2022,71:1-12.
[11] XU X Q,LI X. Research on Surface Defect Detection Algorithm of Pipeline Weld Based on YOLOv7 [J/OL].Scientific Reports,2024,14(1):1881[2024-07-16].https://link.springer.com/article/10.1038/s41598-024-52451-3.
[12] 李闯,马行,穆春阳,等.改进YOLOv3的轻量级铸件焊缝表面缺陷检测 [J].组合机床与自动化加工技术,2024(1):156-159+163.
[13] 杨彬,亚森江·木沙,安波.改进Mask RCNN的焊缝缺陷检测 [J].机械设计与制造,2023(6):157-161.
[14] 唐茂俊,黄海松,张松松,等.改进的Faster-RCNN在焊缝缺陷检测中的应用 [J].组合机床与自动化加工技术,2021(12):83-86.
[15] 吴忍,孙渊.级联结构与Faster R-CNN相结合的焊缝缺陷检测 [J].组合机床与自动化加工技术,2022(2):59-62+67.
[16] 李茂,肖洋轶,宗望远,等.基于改进YOLOv8模型的轻量化板栗果实识别方法 [J].农业工程学报,2024,40(1):201-209.
[17] 李先旺,贺岁球,贺德强,等.基于改进YOLOv8的地铁列车焊缝缺陷轻量化检测方法 [J].广西大学学报:自然科学版,2024,49(3):540-552.
[18] SUNKARA R,LUO T. No More Strided Convolutions or Pooling: A New CNN Building Block for Low-Resolution Images and Small Objects [C]//Machine Learning and Knowledge Discovery in Databases.Grenoble:Springer,2022:443-459.
[19] YANG L X,ZHANG R Y,LI L D,et al. SimAM: A Simple, Parameter-Free Attention Module for Convolutional Neural Networks [C]//Proceedings of the International Conference on Machine Learning.Jeju Island:PMLR,2021:11863-11874.
[20] WANG C-Y,YEH I-H,LIAO H-Y Mark. YOLOv9: Learning What You Want to Learn Using Programmable Gradient Information [J/OL].arXiv:2402.13616 [cs.CV].[2024-07-12].https://doi.org/10.48550/arXiv.2402.13616.
[21] TONG Z J,CHEN Y H,XU Z W,et al. Wise-IoU: Bounding Box Regression Loss With Dynamic Focusing Mechanism [J/OL].arXiv:2301.10051 [cs.CV].[2024-05-26].https://doi.org/10.48550/arXiv.2301.10051.
[22] ZHENG Z H,WANG P,LIU W,et al. Distance- IoU Loss: Faster and Better Learning for Bounding Box Regression [J/OL].arXiv:1911.08287 [cs.CV].[2024-05-13].https://doi.org/10.48550/arXiv.1911.08287.
作者简介:陈新(1974—),男,汉族,湖南新化人,首席技术总监,工程师,硕士,研究方向:5G网络创新应用、工业互联网;通信作者:张孜勉(1990—),男,汉族,湖南常德人,高级技术总监,博士,研究方向:计算机视觉、图像处理与识别。