摘" 要：为弥补巡检机器人和无人机在新能源发电企业中巡检范围有限的不足，文章设计了面向新能源发电领域的音视频融合智能巡检系统。在场站感知侧，综合应用各类摄像机、音频传感器等感知设备采集风电机组、线路、光伏、升压站各区域的音视频多模态数据。经过基于深度学习的智能算法分析，数据被转化为设备状态识别结果。在区域中心应用侧，部署智能巡检应用服务，展示场站侧设备状态识别结果，并构建巡检任务管理、告警管理等智能巡检业务功能，便于设备运维人员操作。文章所提出的音视频融合的感知方案，以及YOLO、ResNet、DeepLab等算法框架的集成应用，扩大了新能源场站智能巡检点位的覆盖范围，减少了运维人员前往现场的频次，有助于推动新能源无人场站的运维管理模式落地。
关键词：智能巡检；边缘计算；感知设备；多模态数据；深度学习
中图分类号：TP273；TP391.4 文献标识码：A 文章编号：2096-4706（2025）03-0189-05
Design and Application of an Intelligent Inspection System Based on Audio and Video Multimodal Data Perception
LI Yang1， QIU Jianpei2， SONG Kun3
（1.Gansu Company of China Huadian Co.， Ltd.， Lanzhou" 730300， China; 2.Fujian Company of China Huadian Co.， Ltd.， Fuzhou" 350013， China; 3.Nanjing Nanzi Information Technology Co.， Ltd.， Nanjing" 210000， China）
Abstract： To compensate for the shortage of limited inspection range of inspection robots and UAVs in new energy power generation enterprises， this paper designs an audio and video fusion intelligent inspection system for the field of new energy power generation. On the station perception side， various types of cameras， audio sensors， and other perception equipment are comprehensively applied to collect audio and video multimodal data of wind turbines， power lines， photovoltaics， and booster stations in various areas. After the analysis of intelligent algorithm based on Deep Learning， the data is converted into equipment status recognition results. On the application side of the regional center， it deploys intelligent inspection application service to display the recognition results of equipment status on the station side， and builds intelligent inspection business functions such as inspection task management and alarm management， so as to facilitate the operation of equipment maintenance personnel. The perception scheme of audio and video fusion proposed in this paper， and the integrated application of algorithm frameworks such as YOLO， ResNet and DeepLab， expand the coverage of intelligent inspection points in new energy stations， reduce the frequency of personnel going to the site， and help to promote the implementation of the operation and maintenance management mode of new energy power unmanned stations.
Keywords： intelligent inspection; edge computing; perception equipment; multimodal data; Deep Learning
0" 引" 言
智能巡检[1-2]是电力企业数智化转型的重要领域。当前，巡检机器人[3]、无人机[4]等智能化装备被广泛应用在电力设备巡检中，提高了升压站开关室、风机叶片、集电线路等特定区域的巡检效率。然而，新能源场站存在大量的巡检点位还难以采用机器人和无人机的巡检方式覆盖，如风电机组机舱、塔筒。要实现新能源场站区域全覆盖、低成本的智能巡检能力，需要引入摄像机、音频传感器等多种类型的感知设备，构建音视频融合的多模态智能巡检系统。
本文提出的音视频融合智能巡检系统，综合运用物联网、人工智能、边缘计算等技术，扩展应用多种类型的前端感知设备，以最大程度的满足新能源场站巡检点位的覆盖范围，实现智能巡检系统代替人工巡检，提高巡检效率，节约人力成本。
1" 智能巡检系统
1.1" 系统组成
智能巡检系统采用新能源场站和区域中心两级部署方式。在新能源场站，通过安装可见光摄像机、红外摄像机、音频传感器等前端感知设备，监视并采集新能源发电相关设备的音视频多模态数据[5]。数据经边缘计算一体机的智能算法进行分析和处理，结果上送区域中心智能巡检应用。在区域中心，开发智能巡检应用服务，B/S架构模式，具备巡检任务的管理、告警推送等功能，服务于区域运维人员。新能源发电企业智能巡检系统架构如图1所示。
在场站侧，部署前端感知设备、边缘计算一体机。前端感知设备主要包括可见光摄像机、红外热成像摄像机、音频传感器等音视频感知终端，以及集成感知设备的巡检机器人和无人机。边缘计算一体机是基于GPU芯片打造的智能算力设备，集成了音视频多模态数据采集软件、智能识别算法。数据采集软件的图片数据采集功能是基于计算机视觉库OpenCV开发。智能识别算法是基于PyTorch深度学习框架[6]开发的仪表读数、开关状态、测温、烟雾火焰等多种智能识别算法。音视频数据存储采用minio对象存储库保存。
在区域中心侧，部署智能巡检应用服务软件。软件基于微服务框架[7]开发，具有巡检任务、告警中心、巡检管理、设备管理四个应用功能，也具备权限管理、用户组织、流程引擎等基础服务和组件，集成关系数据库、对象存储库、中间件，用于存储系统参数、巡检结果、缓存等异构数据。
1.2" 智能巡检步骤
智能巡检流程如图2所示，具体步骤如下：1）配置巡检模板建立定时巡检任务。巡检任务按照设定的时间规则触发，并通过TCP远传接口下发至边缘一体机；2）边缘计算一体机接收到巡检任务，按巡检任务中列出的预置点位顺序读取摄像机、音频传感器等前端感知的数据，采集的多模态数据经数据预处理之后利用基于深度学习的智能识别算法分析，形成巡检结果；3）巡检结果数据经TCP远传接口上传至区域中心的智能巡检应用，巡检结果信息包括点位信息、结果值及附图、巡检时间等；4）智能巡检应用接收到返回的巡检结果后，图片、音频等多模态结果数据保存在对象存储库中，并生成存储路径链接，指标属性信息保存在关系数据库中，结果数据支持按时间、任务编号等多维度查询。
2" 感知设备配置
2.1" 风电机组巡检感知设备
在机舱内配置半球摄像机、枪型摄像机，主要巡检发电机、齿轮箱、联轴器及高速刹车盘等部件，以及机舱内烟雾火焰、工器具遗留等安全事件。在塔筒马鞍桥处安装枪型摄像机，主要巡检马鞍桥处电缆下坠情况。在塔基配置半球摄像机，主要巡检变流器柜/变频柜、塔基控制柜等部件，以及烟雾火焰等安全事件。在箱变旁配置球型摄像机，主要巡检箱变外观及小动物入侵等安全事件。
风机叶片内部安装音频传感器，实时感知风机叶片运行状态，及时发现风机叶片内部破损情况。针对叶片加长改装场景，在机舱部署净空雷达，监测叶片扫塔风险。
2.2" 光伏巡检感知设备
根据新能源场站地形、设备布局情况，选用适合的固定机巢式、车载式、手持式等类型巡检无人机，主要巡检光伏板的破损、热斑、变形等情况。在光伏区箱变旁配置球型摄像机，主要巡检光伏箱变外观及小动物入侵等事件。
2.3" 集电线路巡检感知设备
集电线路配置巡检无人机，主要巡检杆塔基础、铁塔杆身、导线/地线、绝缘子、金具及附件、避雷器等部件。
2.4" 升压站巡检感知设备
在升压站的主变区域、AIS区域、GIS区域、开关室、继保室等区域配置双光谱云台摄像机、双光谱球型摄像机、白光云台摄像机、枪型摄像机、球型摄像机，主要巡检站内仪表读数、开关状态、接头温度、设备外观、锈蚀、挂物等内容。
主变压器配置音频传感器，实时采集本体运行声音，监测内部异常放电、风扇运行异常等情况。
2.5" 边缘计算一体机
边缘计算一体机部署在场站，用于音视频多模态数据采集及推理计算。本文设计的边缘计算一体机具有CPU+GPU算力基础，除了具备复杂逻辑计算能力，还具有基于深度学习框架的推理能力，并部署了基于容器管理技术的Agent服务，接受区域侧的纳管。边缘计算一体机内部数据流向如图3所示。
3" 智能识别算法
3.1" 基于视觉的设备状态智能识别算法
智能识别算法基于深度学习技术，在YOLO目标检测[8-9]、ResNet分类[10]、DeepLab语义分割[11-13]等框架基础上，开发仪表读数、开关状态、设备外观、烟雾火焰等多种智能识别算法。以仪表读数算法为例，介绍基于视觉的设备状态智能识别算法训练和推理过程如图4所示。
基于可见光的仪表读数分析算法，结合目标检测算法和表盘关键点预测算法来实现仪表自动识别读数。算法训练和推理过程包括以下步骤：1）收集现场视频数据，并建立起指针仪表目标检测数据集和指针仪表关键点预测数据集；2）分别进行目标检测训练和关键点预测训练；3）先通过目标检测定位表盘，再通过关键点预测获得刻度和指针的关键点坐标；4）通过角度法计算读数。
3.2" 基于声纹的设备状态智能识别算法
通过声音传感器采集设备运行音频信息，采用梅尔频率倒谱系数（MFCC）特征作为设备本体声纹信号特征，构建MFCC-CNN识别模型[14]，训练MFCC-CNN网络模型，实现设备运行状态的智能识别。基于声纹的设备状态智能识别模型训练和推理如图5所示。
4" 智能巡检应用服务功能
智能巡检应用服务基于微服务开发的B/S架构开发，部署在新能源区域中心云平台，向下纳管新能源场站各智能巡检任务，提供面向运维人员的可视化的应用服务软件。智能巡检应用服务功能菜单如表1所示。
其中，巡检任务支持巡检任务的检索、详情查看等功能，支持巡检报告下载到本地。告警中心支持巡检告警的检测、详情查看、告警处理等功能，提供API接口，支持告警推送至其他系统。巡检管理功能支持巡检任务的新增、编辑、删除等功能。设备管理支持对场站侧摄像机、边缘计算一体机等前端感知设备的新增、编辑、删除等功能，可以远程查看摄像机实时画面。
5" 实践案例
本文设计的智能巡检系统试点部署在某区域新能源发电企业。在区域侧部署智能巡检应用服务，在场站侧部署边缘计算一体机并集成智能识别算法21类，含（主变油位）仪表读数算法、（主变呼吸器）呼吸硅胶变色、（刀闸）设备锈蚀、（引接线）设备测温等。边缘计算一体机硬件配置为鲲鹏920×2，Atlas 300I Pro推理卡×4，操作系统为银河麒麟V10。选取1个新能源场站进行智能巡检任务测试，该场站具有492个视觉类智能巡检点位。
按照特殊巡检方式，区域侧智能巡检应用下发巡检任务，在场站侧执行智能巡检任务，形成巡检结果回传区域侧智能巡检应用。截取部分基于摄像机的智能巡检结果记录在表2中。
通过智能巡检记录表可以看出，基于可见光、红外摄像机获取的巡检图片数据，经智能识别算法能够被识别出来，且准确度比较高，分析原因在于融合了YOLO目标识别、ResNet分类、DeepLab分割等算法框架，不同的巡检点位采用与之相适应的底层算法框架。巡检结果被传送至区域侧智能巡检系统数据库，通过智能巡检应用服务可视化页面展示，具备智能巡检任务查询的功能。
6" 结" 论
智能巡检系统是支撑新能源场站无人值守运营模式的重要技术手段。本文提出的多模态数据感知设备配置方案，较当前行业普遍采用机器人、无人机巡检方式，增加了摄像机、音频传感器、雷达等感知设备类型，实现了新能源场站重要区域全覆盖。与感知设备配套的智能识别算法，是智能巡检系统的技术核心，需要不断的优化、训练模型，提高模型的推理精度。当然，现场还存在大量巡检点位因成本、设备布局、技术难度等原因，无法实现智能化感知，如风电机组塔筒电缆温度、光伏板背板破损/灼烧等，需要不断优化新能源领域的智能巡检系统。
参考文献：
[1] 彭明智，许尧，胡永波，等.基于人工智能技术的变电站二次设备智能巡检技术 [J].高电压技术，2023，49（S1）：90-96.
[2] 张冀，马也，张荣华，等.数字孪生变电站框架设计与关键技术研究 [J].工程科学与技术，2023，55（6）：15-30.
[3] 尹胜利.基于人工智能的变电站巡检机器人研究 [J].自动化应用，2024，65（15）：42-44.
[4] 王浩，闫号，叶海瑞，等.基于无人机的光伏电站智能巡检 [J].红外技术，2022，44（5）：537-542.
[5] 袁同庆，席鹏.基于多模态音视频融合的质量评价算法 [J].沈阳工业大学学报，2022，44（3）：331-335.
[6] 阿斯顿，扎卡里，李沐，等.动手学深度学习PyTorch版
[M].何孝霆，瑞潮儿，译.北京：人民邮电出版社，2024：572.
[7] 辛园园，钮俊，谢志军，等.微服务体系结构实现框架综述[J].计算机工程与应用，2018，54（19）：10-17.
[8] 裴传福，崔凯，成功.基于YOLO-V2算法的翻车机摘钩视觉识别[J].中国设备工程，2024，03（3）：161-1623.
[9] ZHANG R，XIE C，DENG L W. A Fine-Grained Object Detection Model for Aerial Images Based on YOLOv5 Deep Neural Network [J].Chinese Journal of Electronics，2023，32（1）：51-63.
[10] 郝帅，马瑞泽，赵新生，等.基于超分辨深度残差网络的玻璃绝缘子自爆故障检测算法 [J].高电压技术，2022，48（5）：1817-1825.
[11] 陈广华，葛梦莹，黄白瑶，等.基于双目视觉的电力塔倾斜检测方法 [J].北京交通大学学报，2022，46（2）：128-137.
[12] CHEN L C，PAPANDREOU G，KOKKINOS I，et al. Semantic Image Segmentation With Deep Convolutional Nets and Fully Connected CRFs [J/OL].arXiv：1412.7062 [cs.CV].（2014-12-22）.https：//arxiv.org/abs/1412.7062.
[13] CHEN L C，PAPANDREOU G，KOKKINOS I，et al. DeepLab： Semantic Image Segmentation With Deep Convolutional Nets， Atrous Convolution， And fully Connected CRFs [J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2018，40（4）：834-848.
[14] 齐子豪，仝杰，张中浩，等.基于多粒度知识特征和Transformer网络的电力变压器故障声纹辨识方法 [J/OL].中国电机工程学报，2023：1-13[2024-08-20].http：//kns.cnki.net/kcms/detail/11.2107.TM.20231204.1422.004.html.
作者简介：李阳（1989—），男，汉族，内蒙古包头人，工程师，本科，研究方向：电气工程、智能巡检、电力信息化；丘建培（1992—），男，汉族，福建龙岩人，工程师，本科，研究方向：自动化、通信网络技术；宋坤（1983—），男，汉族，山东淄博人，高级工程师，硕士研究生，研究方向：电力信息化、大数据、人工智能。
