摘 要：文章对基于漏磁信号的长输油气管道缺陷重构方法进行了研究。由于反向求解具有不适定性，而深度学习模型具有强大的非线性映射能力以及特征提取能力，因此搭建CNN-Transformer混合架构模型作为量化模型来预测缺陷尺寸；并对仿真漏磁信号的修正方法进行研究，以减小仿真数据与实验数据之间误差。经验证，修正后仿真轴向分量数据与实验数据峰值之间误差平均下降了83.73%，而径向分量峰值误差平均下降了28.25%，解决了深度学习模型训练样本不充足的问题；并且修正后的数据集作为训练集训练的混合架构模型在预测缺陷尺寸时具有较好的预测精度，模型在预测缺陷长度、宽度与深度时平均相对误差分别降低了21.35%、22.58%和21.55%，具有较高的准确性与鲁棒性。
关键词：漏磁检测；有限元仿真；卷积神经网络；Transformer模型；信号修正
中图分类号：TP39；TP18；TG115.28+4 文献标识码：A 文章编号：2096-4706（2024）20-0048-08
Three Dimensional Reconstruction Method of Pipeline Defects Based on CNN-Transformer
YU Zhiqi， LIU Haoyuan， HE Luyao， YANG Lijian， LIU Bin
（School of Information Science and Engineering， Shenyang University of Technology， Shenyang 110870， China）
Abstract： This paper studies the method of defect reconstruction in long distance oil and gas pipelines based on MFL signals. Because the inverse solution is ill posed， and the Deep Learning model has strong nonlinear mapping ability and feature extraction ability， the CNN-Transformer hybrid architecture model is developed as a quantitative model to predict the defect size. Additionally， it studies the correction methods for simulated MFL signals to reduce the discrepancy between simulation data and experimental data. It is verified that the error between this simulated axial component data and the peak value of the experimental data decreases by 83.73% on average， while the peak error of the radial component decreases by 28.25% on average， which solves the problem that the training samples of the Deep Learning model are not sufficient. Moreover， the hybrid architecture model trained by the corrected dataset as the training set has better prediction accuracy when predicting the defect size. The Mean Relative Error of the model in predicting the length， width and depth of the defect is reduced by 21.35%， 22.58% and 21.55% respectively， which has high accuracy and robustness.
Keywords： MFL detection; finite element analysis; Convolutional Neural Networks; Transformer model; signal correction
0 引 言
漏磁检测是无损检测领域中最常用的技术手段之一。由于其具有检测速度快、原理简单、操作方便等优点，因此被广泛应用于长输油气管道与储油罐的检测中。长输油气管道作为铁磁性材料，漏磁检测通过对其施加外加磁场至磁饱和，若被检测管道存在缺陷就会在空间中产生漏磁场，对漏磁信号数据进行采集与分析可以判断缺陷有无和估计缺陷尺寸，进而帮助技术人员了解管道服役状态，避免管道泄露或管道爆炸等大型事故的发生。目前对漏磁检测的研究主要分为正问题与反问题两个方面[1]，自20世纪初国际上对漏磁检测展开初步研究至今，对于正问题的研究已逐步趋近于完善，而反问题由于其具有不适定性以及数据的不完全性，目前仍然是漏磁检测领域中的重点与难点。
漏磁检测中的反问题即通过采集漏磁信号对其进行处理与分析，通过反向求解得出被测管道缺陷的尺寸信息。反问题的求解根据求解过程中是否存在迭代可以大致分为开环逆向法和闭环伪逆法[2]。随着人工智能的兴起，机器学习与深度学习技术在求解漏磁检测的反问题中得到了广泛的应用。通过训练模型来学习漏磁信号数据与缺陷尺寸之间的对应关系，可以快速准确的识别缺陷特征。尽管此类方法识别精度会受到训练数据的影响，但由于其能适应复杂的非线性关系并且泛化能力强，目前仍是解决反问题最常用最有效的方法之一[3]。为了提高深度学习模型预测缺陷尺寸的精度，对模型的改进与优化也成为研究中的热点问题。纪凤珠等提出用粒子群算法优化最小向量机的方法，建立从漏磁信号到缺陷二维轮廓的映射关系，以实现缺陷的二维重构[4]；韩文花等提出了以径向基函数神经网络为前向模型，多种启发式优化算法作为迭代算法的方法解决漏磁检测反演问题[5-7]；东北大学Wu等提出一种基于强化学习的缺陷深度重建算法通过迭代解决漏磁检测中的反问题[8]；清华大学缪立恒等提出一种基于缺陷区域漏磁信号平均值与深度间的近似线性关系估计初始深度，通过误差分析与迭代实现深度估计的方法[9]；华北电力大学李岩松等提出用混合正则化的方法来求解对应反演模型的最佳近似解[10]。尽管在漏磁信号反演问题上的研究已经取得不错的进展，但仍存在样本小、模型性能不佳等问题，使得重构精度仍存在较大提升的空间。
本文提出一种CNN-Transformer混合架构模型，该模型可以兼顾卷积神经网络（CNN）的局部特征提取能力与Transformer的全局信息获取能力。众所周知，卷积神经网络作为最简单有效的深度学习模型，在处理信号数据时具有超强的局部感知力，能有效地提取数据中的局部模式与特征；而Transformer模型的多头注意力机制是在自注意力机制（Self-Attention）的基础上发展而来的[11]，自注意力机制可以计算出一维数据序列中位置间的关系与权重，从而得到每个数据与整个序列的相关性，多头注意力机制将注意力机制分为多个头进行并行计算，大大提高了计算速度与模型的表达能力[12]。二者结合用于解决漏磁检测中的反问题，能极大地提高效率并提升精度。针对漏磁信号反演问题中存在的样本不充足的问题，本文还提出了一种修正方法，引入修正矩阵M，可以将有限元仿真得到的漏磁信号数据近似修正为实验过程中采集到的漏磁信号数据，在一定程度上完成从小样本向大样本的扩充。
本文的其他部分构成如下：第1节介绍漏磁检测的原理与有限元模型的建立，并且提出了一种修正仿真数据集的方法，通过数据的对比以及误差分析验证所提出方法的可靠性；第2节提出了一种CNN-Tranformer的深度学习混合架构模型，介绍了其组成以及该模型所具备的优点；并通过图表展示与数据分析验证该混合架构在性能与精度上的优越性；第3节是本文的结论。
1 原理与模型
1.1 漏磁检测原理及有限元计算
管道漏磁检测利用永磁体将长输油气管道进行磁化至磁饱和，若被测管道不存在缺陷，则磁力线在铁磁性材料内部呈环形闭合状态，在空间中检测不到漏磁场；而一旦被测管道存在缺陷，由于管壁与空气磁导率存在较大差异，磁力线在从管壁进入到空气中时发生偏转形成漏磁场。
空间漏磁场检测到的磁信号作为矢量可以分解为包括轴向信号分量、径向信号分量与周向信号分量的三轴信号，其中轴向信号分量与径向信号分量与管道缺陷尺寸信息具有极高的关联性，在用于反演缺陷尺寸时具有优越的表现。
有限元分析是一种常用的工程分析方法，它将需要求解的大区域划分成有限多个小单元，通过求解每个单元的解进而得到整个求解区域的近似解[13]。有限元分析法将复杂的求解问题简单化，被广泛应用于工程问题中。对漏磁场进行有限元分析建立在麦克斯韦方程组之上，属于静磁场求解问题。
1.2 数据集建立与修正
在ANSYS Maxwe Ⅱ软件中建立由简化的1/3管道、钢刷、永磁体与轭铁组成的仿真模型，其中管道长800 mm，外直径为610 mm，管壁厚度为12 mm。定义材料属性，软件内置默认Neumann边界条件，通过参数化设置缺陷尺寸，由于实际工程问题中缺陷形状较为复杂，但基于有限元思想的启发，每一个复杂缺陷都可以看作是有限多个简单缺陷组成，因此本文所涉及的仿真与实验均为矩形缺陷。将沿管道轴线方向的缺陷尺寸定义为缺陷长度（Length）；水平面上垂直于缺陷长度的缺陷尺寸定义为缺陷宽度（Width）；将垂直于轴线并延伸至管道内部方向的缺陷尺寸定义为缺陷深度（Depth）。可以得到不同缺陷下的漏磁信号。在此仿真模型下采集1 333组漏磁信号作为训练样本，组成数据集1。
由于有限元分析得到的解是近似解，在缺陷形状和尺寸均相同的情况下，仿真得到的漏磁信号与实际工程检测中得到的信号存在误差，为了保证仿真数据的可应用性，搭建实验平台，实验设备采用管道漏磁内检测器与1016大口径天然气管道。管道与漏磁内检测器结构如图1所示。
实验管道包含122个不同尺寸缺陷，漏磁内检测器从管道一端匀速行进到另一端以完成对122组漏磁信号的采集。将采集到的122组漏磁信号整理为数据集2。漏磁内检测器采集到的部分原始信号特征如图2所示。
选取上述122组缺陷中的6组，在有限元仿真模型中设置同样尺寸的缺陷进行仿真，将仿真漏磁信号与实验漏磁信号进行对比；仿真漏磁信号如图3所示，实验漏磁信号如图4所示。由图3和图4对比可以看出，仿真得到的漏磁信号曲线尽管在形态与趋势上与实验采集到的漏磁信号曲线保持一致，但数值上存在较大误差，一方面是由于仿真软件模拟的磁场是在理想化状态下且有限元分析得到的解是近似解；另一方面是在实验过程中管道漏磁内检测器在采集信号时存在一定的干扰而产生误差。
如果直接使用仿真数据作为深度学习模型的训练样本，则训练好的模型在面对实际工程问题时一定会产生较大的误差，因此如果想要将本文所提出的模型应用于解决实际工程问题，则需要对仿真数据进行修正，使其可以更好地贴近实验数据，因此本文提出一种修正方法，引入修正矩阵M对仿真漏磁信号数据进行修正。将实验所得的一组漏磁信号数据设为Pi = [xi，1，xi，2，xi，3，…，xi，100]，则对于相同缺陷尺寸下仿真得到的漏磁信号数据设为Qi = [yi，1，yi，2，yi，3，…，yi，100]，若存在n组数据，则：
（1）
（2）
其中，P表示n组仿真漏磁信号组成的矩阵，Q表示对应的n组实验漏磁信号组成的矩阵。
引入修正量：
（3）
（4）
使得：
（5）
则：
（6）
那么修正矩阵：
（7）
将修正矩阵M引入到仿真数据集中用于修正仿真得到的漏磁信号数据，修正前后仿真漏磁信号与实验信号轴向分量峰值之间的误差对比如表1所示；径向分量峰值之间的对比误差如表2所示。
由表2与表3可知，修正前仿真漏磁信号的轴向分量峰值与实验漏磁信号的轴向信号峰值之间误差均高达87.5%～90.5%；而通过引入修正因子K修正后的误差则降至0.5%～11%；而修正前后的径向分量峰值之间误差则从44.0%～72.5%下降至1.0%～19.0%。将修正矩阵M引入数据集1，将修正后的数据整理为数据集3。
2 CNN-Transformer混合架构模型
Transformer的整体架构由编码器（Encoder）和解码器（Decoder）组成[14]。编码器用于捕捉输入序列中的特征，通常包含多头注意力机制、前馈神经网络、残差连接和层归一化[15]。而解码器与编码器组成大致相同，主要用于生成输出序列。
漏磁信号数据属于一维时间序列，序列中数据的位置信息对于理解数据十分重要。在Transformer模型中，由于注意力机制本身无法获取序列中数据的位置信息，因此需要引入位置编码[16]。
漏磁信号的反演问题是利用漏磁信号数据对深度学习模型进行训练，使得模型可以实现对缺陷尺寸的预测，本质上是一维时间序列的回归问题。解决此类问题时既要考虑一维序列局部特征的表现，又要关注一维序列中每个数据与其所在位置之间的关联性。CNN与Transformer的结合兼顾了卷积神经网络的局部特征提取能力与Transformer模型的多头注意力机制针对全局的理解力[17]。目前对于二者融合按组合顺序可以分为CNN-Transformer[18-19]和Transformer-CNN[20-22]两大类，CNN与Transformer的融合又包含交叉融合[23]、嵌入块替换[24]、前馈层替换[25]等。通过观察漏磁信号分量图以及分析漏磁信号数据可以看出在采样过程中，有一部分采样点数据并不能有效地表征漏磁信号与缺陷尺寸之间的关系，因此先采用CNN进行局部特征的提取，可以避免相关性较差的数据直接输入到Transformer中，造成运算量巨大导致运算时间较长的情况。又由于传统Transformer中Encoder-Decoder结构用于自然语言处理时需要解码器生成序列，但本文解决的漏磁信号反演问题只需要输出单独的预测值，因此可以将结构进行简化，用全连接层代替解码器模块，进一步的提高计算速度。该模型由两个并行的卷积神经网络模块，一个Transformer模块，一个全连接层以及一个输出层组成。其中，每个卷积神经网络模块都包含一个输入层和三个卷积核，两个卷积神经网络模块输入分别为漏磁信号的轴向分量与径向分量；输出为被测管道缺陷的尺寸信息，即缺陷的长度、宽度与深度。
将数据集1中样本进行随机划分，其中97%作为训练集，3%作为测试集，对CNN-Transformer模型以及传统CNN模型和Transformer模型进行训练并预测。图5为CNN-Transformer预测结果图。
由图5可以看出，当用仿真数据作为训练集并用仿真数据作为测试集测试模型预测精度时，预测长度、宽度与深度精度均优秀，预测精度约为90%～97%。其中预测缺陷长度时模型表现最好，预测缺陷深度次之，预测缺陷宽度精度最低。
图6中分别画出了CNN-Transformer模型预测长度、宽度与深度时每个预测点的相对误差，图中直线为基准线，相对误差等于0.03。可以看出，大部分误差点位于基准线下方，即大约有75%的预测点相对误差小于3%。
表3为CNN-Transformer、CNN与Transformer预测缺陷尺寸误差对比。
通过表4可以看出，无论是预测缺陷长度、宽度或者深度，CNN-Transformer混合架构模型的预测精度都要高于CNN和Transformer。分别将数据集1、与数据集3作为训练集，在数据集2中随机选取33%作为测试集对CNN-Transformer模型进行训练并预测；得到预测曲线对比图如图7所示。
通过图7可以看出，经过修正矩阵M修正后的仿真数据集用于训练深度学习模型并用实验漏磁信号数据集测试时，预测精度要远远高于未修正的仿真数据集训练的模型。通过表3可以看出，在预测缺陷长度时，二者平均相对误差分别为0.470 6和0.257 1，降低了21.35%；在预测缺陷宽度时，平均相对误差分别为0.482 3和0.226 5，降低了22.58%；在预测缺陷深度时则由0.527 7下降至0.312 2，降低了21.55%。
图8为CNN-Transformer模型预测时每一个预测点的相对误差，方形点与圆形点分别代表修正前后的训练集训练模型的相对误差，直线为相对误差等于0.5，以此作为基准线，可以看出，经修正的训练集训练的模型的误差点大多集中于基准线之下，即相对误差小于50%。
为了测试本文所提出模型的鲁棒性，在信号中添加20 dB白噪声作为测试。图9为缺陷长度与缺陷宽度均为20 mm，缺陷深度分别为3、5、7 mm时的原始漏磁信号分量与添加20 dB白噪声后的漏磁信号分量。
表4为训练集数据修正前后用CNN-Transformer预测缺陷尺寸的平均相对误差以及加入噪声后的预测误差。
当对测试信号添加20 dB的白噪声时，预测精度普遍降低。同时可以看出，修正后的数据集训练的CNN-Transformer混合架构模型在预测缺陷尺寸时，预测缺陷长度与缺陷宽度的准确度要高于预测缺陷深度，平均相对误差相差约6%～9%。
3 结 论
本文研究了通过深度学习模型来解决漏磁信号反演问题的方法，提出了一种不同于常见的用于解决该问题的深度学习模型，即优化的CNN-Transformer混合架构模型。该模型可以将双轴漏磁信号数据作为输入，输出被测管道缺陷的三维尺寸信息。本文提出的模型是用仿真漏磁信号数据进行训练的，为了确保该模型在实际工程应用中具有可行性，本文还提出了一种对仿真漏磁信号进行修正的方法，通过引入修正矩阵M，将仿真数据进行修正。经验证，修正后的仿真数据轴向分量峰值误差平均下降83.73%，径向分量峰值误平均下降28.25%。经修正后的训练集训练的CNN-Transformer混合架构模型预测精度平均提高21.83%。在信号中添加20 dB白噪声进行测试，证明了该模型的准确性与鲁棒性。
参考文献：
[1] 李志豪，王宏安，刘庆，等.管道缺陷截面形状与漏磁信号关系研究 [J].科技创新与应用，2022，12（33）：56-59.
[2] 黄松岭，彭丽莎，赵伟，等.缺陷漏磁成像技术综述 [J].电工技术学报，2016，31（20）：55-63.
[3] 张少轩.基于机器学习的缺陷深度反演研究 [D].沈阳：东北大学，2017.
[4] 纪凤珠，孙世宇，王长龙，等.基于PSO-LS-SVM的漏磁信号二维轮廓重构 [J].无损检测，2011，33（6）：19-22+34.
[5] 韩文花，汪胜兵，王建，等.基于改进人工蜂群算法的漏磁缺陷轮廓重构 [J].火力与指挥控制，2016，41（6）：15-18.
[6] 韩文花，徐俊，沈晓晖，等.基于布谷鸟搜索算法的漏磁反演方法研究 [J].应用基础与工程科学学报，2015，23（6）：1275-1283.
[7] 韩文花，徐俊，沈晓晖，等.自学习粒子群与梯度下降混杂的漏磁反演方法 [J].火力与指挥控制，2015，40（1）：88-91.
[8] WU Z N，DENG Y M，LIU J H，et al. A Reinforcement Learning-Based Reconstruction Method for Complex Defect Profiles in MFL Inspection [J].IEEE Transactions on Instrumentation and Measurement，2021，70：1-10.
[9] 缪立恒，潘峰，彭丽莎，等.基于漏磁信号深度特性的缺陷深度轮廓迭代优化方法 [J].中国电机工程学报，2022，42（8）：3077-3086.
[10] 李岩松，王麒翔，王敏壕，等.漏磁检测的混合正则化反演方法研究 [J].电测与仪表，2020，57（21）：9-17.
[11] 毋冰.基于深度学习的粤语文本情感分类研究 [D].成都：成都理工大学，2020.
[12] 龚永罡，裴晨晨，廉小亲，等.基于Transformer模型的中文文本自动校对研究 [J].电子技术应用，2020，46（1）：30-33+38.
[13] 吕云飞.电容式微机械超声换能器建模与仿真技术研究 [D].太原：中北大学，2018.
[14] 李清格，杨小冈，卢瑞涛，等.计算机视觉中的Transformer发展综述 [J].小型微型计算机系统，2023，44（4）：850-861.
[15] 唐潘，汪学明.融合时间感知与兴趣偏好的推荐模型研究 [J].计算机工程与应用，2023，59（24）：268-276.
[16] 刘敬瑾.基于图卷积网络的跨被试脑电情绪识别研究 [D].汕头：汕头大学，2022.
[17] 张静.融合用户和产品信息的文本情感分类研究 [D].北京：北京工业大学，2020.
[18] CARION N，MASSA F，SYNNAEVE G，et al. End-to-End Object Detection with Transformers [C]//Computer Vision-ECCV 2020.Glasgow：Springer，2020：213-229.
[19] DAI Z H，LIU H X，LE Q V，et al. CoAtNet： Marrying Convolution and Attention for All Data Sizes [J/OL].arXiv：2106.04803 [cs.CV].[2024-03-01].https：//doi.org/10.48550/arXiv.2106.04803.
[20] BEAL J，KIM E，TZENG E，et al. Toward Transformer-Based Object Detection [J/OL].arXiv：2012.09958 [cs.CV].[2024-02-26].https：//arxiv.org/abs/2012.09958.
[21] REN S Q，HE K M，GIRSHICK R，et al. Faster R-CNN： Towards Real-Time Object Detection with Region Proposal Networks [J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2017，39（6）：1137-1149.
[22] YAN H T，LI Z，LI W J，et al. ConTNet： Why not Use Convolution and Transformer at the Same Time？ [J/OL].arXiv：2104.13497 [cs.CV].[2024-02-25].https：//arxiv.org/abs/2104.13497.
[23] YOO J，KIM T，LEE S，et al. Enriched CNN-Transformer Feature Aggregation Networks for Super-Resolution [J/OL].arXiv：2203.07682 [cs.CV].[2024-02-26].https：//arxiv.org/abs/2203.07682.
[24] XIAO T，SINGH M，MINTUN E，et al. Early Convolutions Help Transformers See Better [J/OL].arXiv：2106.14881 [cs.CV].[2024-02-20].https：//arxiv.org/abs/2106.14881.
[25] LI Y W，ZHANG K，CAO J Z，et al. LocalViT： Bringing Locality to Vision Transformers [J/OL]. arXiv：2104.05707 [cs.CV].[2024-02-15].https：//arxiv.org/abs/2104.05707.
作者简介：于祉祺（1996—），女，汉族，黑龙江富锦人，学术型硕士，研究方向：无损检测；刘皓源（1997—），男，汉族，辽宁鞍山人，沈阳工业大学，学术型硕士，研究方向：无损检测；何璐瑶（1994—），女，汉族，辽宁沈阳人，副教授，博士，研究方向：在线检测；杨理践（1957—），男，汉族，辽宁沈阳人，教授，博士，研究方向：在线检测；刘斌（1981—），男，汉族，辽宁沈阳人，教授，博士，研究方向：在线检测。
