摘" 要：当前民航发展迅速，机场现场运行核心业务在于航空器保障、旅客服务和货邮处理。已有旅客服务和货邮处理系统化比较成熟，但机坪航空器保障还多以人工报送进展为主。通过利用新一代信息技术，研究智慧空港监管系统的关键技术，设计一套维护行李、货物安全及便利化监管技术方案，以促进民航业的自动化处理和智能化提升。其中，对小目标检测可靠性进行探索提升，以提高机坪小型车辆的探测准确度，平衡性能与算力，并为机场业务应用提供底层技术支撑。最后介绍了复杂场景下控制成本与提升目标的检测速度的方法与效果。
关键词：智慧机场；机场监管；视频分析；人工智能
中图分类号：TP311" 文献标识码：A" 文章编号：2096-4706（2024）23-0145-05
Research on Video Acquisition and Supervision Technology for Airport Ground Support Nodes at Qingdao Jiaodong International Airport
LI Kun， DING Jicun， CHEN Yusong
（Qingdao Civil Aviation Cares Co.， Ltd.， Qingdao" 266061， China）
Abstract： With the rapid development of civil aviation currently， the operation core business of airport onsite focuses on aircraft support， passenger service， and cargo handling. The systematization of existing passenger service and cargo handling systems is relatively mature， but aircraft support on the apron is mainly reliant on manual reporting of progress. This paper researches the key technologies of smart airport supervision system by utilizing next-generation information technology to design a set of technology scheme to maintain luggage and cargo security and convenient supervision for promoting automatic handling and intelligent improvement in civil aviation industry. Among this， it explores to improve the reliability of small target detection， so as to improve the detecting accuracy， balancing performance and computational power of small vehicles on the apron， and provides foundational technology support for airport business operation. Finally， it introduces the methods and effect of controlling cost and improving the target detection speed of in complex scenarios.
Keywords： smart airport; airport supervision; video analysis; Artificial Intelligence
0" 引" 言
近年来，为提升机场运行效率和服务能力，中国民用航空局下发了《机场协同决策系统技术规范MHT 6125—2022》，为航班保障作业规范性和新技术在航班保障过程中得使用提供了参考和新要求，明确了基于视频分析实现保障节点自动采集得节点项、性能指标等具体要求因受制于信息共享机制和信息采集条件，但经过这两年的实际运行，协同决策所需的航班地面保障节点数据在及时性、完整性等方面仍存在问题，有一定的提升空间。随着机器视觉（CV）与人工智能（AI）的持续演进，借助视频智能分析与机场业务系统数据可以为机场监管提供更多参考。
1" 业务现状分析
1.1" 机场保障业务分析
机场业务保障关键是航班正常率，为了保障航班正常率需要即时获取当前保障进展状态，而此类保障进展多由人工通过对讲机或者手持机APP手动报送。目前国内机场主要依靠传统的视频监控系统进行安全监管。传统的视频监控平台虽然拥有丰富的监控视频数据资源，但功能相对单一、对于业务数据价值尚未深入挖掘、事后回查费时费力，缺少联动高效处置的方法，存在一定的滞后性和被动性，不能有效地起到实时预警的作用。通过智能分析视频方式实现对地面保障节点的进程监控、时间采集和动作记录，有效管控航空器地面运行。借助对保障车辆及航空器的检测和追踪，实现保障进展的状态自动化监测。全面提升机场运行效率，优化地面资源配置。航空器保障监管还是货邮、行李处理，计算机处理的核心都是目标检测。目标检测也是近年来机器视觉领域发展最快、应用最为广泛的一种研究方向。从传统的特征点检测到逐步转化为神经网络、深度学习的算法，目标检测的效果逐步提升。使用人工智能算法对各个环节进行自动分析上报，有效解决人工上报存在的漏报误报等问题，节省了人力成本，提高了监管效率。
1.2" 民航标准要求
2022年3月，由中国民用航空局下发了《机场协同决策系统技术规范MHT 6125—2022》，为航班保障作业规范性和新技术在航班保障过程中得使用提供了参考和新要求，明确了基于视频分析实现保障节点自动采集得节点项、性能指标等具体要求。
2" 整体方案
2.1" 系统结构
系统结构如图1所示，主要包含摄像机、分析单元、存储设备和智能分析四个部分。
2.1.1" 摄像机
摄像机主要采用可见光高清摄像机，通过安装在机坪特定的多个角度相机，对识别区域内的航空器、人员、车辆及对应的保障任务节点进行采集，同时可以提供实时视频以协助完成监管。
2.1.2" 分析单元
分析单元作为本系统核心部件，主要由高性能GPU服务器集群构成，对可见光相机传回的动态数据流进行实时处理及分析，该分析单元可以根据保障识别任务的业务类型及业务总量进行灵活配置，可以满足中大型机场高峰期吞吐量的识别要求，同时技术上集群采用高可用及冗余设计，保持业务的持续性。
2.1.3" 存储设备
根据机场业务体量可以灵活的配置分析单元的集群规模和存储设备规模，系统支持中大型机场的极大数据量存储，并支持数据备份及冗余设计，满足上百路视频分析数据流的接入，支持实时查看，历史回放。
2.1.4" 智能分析
智能分析使用深度学习算法，事先学习到各种保障车辆的关键特征，需要划定的记录时间的图像区域，然后将该区域的图像输入到深度学习算法模块中，根据车载GPS定位辅助信息确认车的类型，一旦确认后记录时间节点，并开始计时，直到检测到保障车辆离开该区域，记录离开时间节点，完成整个计时。
2.2" 核心架构
智慧监管系统整体架构自底向上分为五层：基础设置层、基础服务层、算法层、AI架构层、业务数据层、业务服务层，如图2所示。
基础设施和基础服务与算法算力层进行解耦，可以无缝接入满足要求的基础设施，整个底层架构具备更优的开放性。
算法算力层在基础服务基础设施所提供的资源基础上，提供算法、算力基础能力。算法能力支持包括但不限于多摄像头、机坪检测、机坪追踪、机坪定位算法，包含人、车辆、航空器、物体以及事件算法，同时算法算力平台具备接入第三方算法的能力，具备持续迭代、扩展开放的良好能力。算法算力平台采用前沿云原生架构，通过云原生、容器虚拟化的能力，将整体资源池化，实现智能资源调度，资源服务器使用量低，资源使用灵活高效。同时集成模型管理、算法自训练、推理加速，更加适配算法整体所需的计算能力。
业务数据层可以更好地产生业务应用所需数据，达到优秀指标。从现实世界真实逻辑出发综合人、场、物、车关联逻辑进行融合计算产出数据。
业务服务层中人员安全、车辆安全、航空器安全及航班保障节点的功能基于智能分析平台的算法算力平台，完成海量视频数据预处理以及人、车、物、航空器时空数据结构化、事件检测分析，极大地减少了烟囱架构模式，减少成本，为各应用系统提供业务服务能力。
2.3" 主要识别节点
主要识别节点如表1所示。
2.4" 技术难点分析
监控视频中飞机占比巨大，而保障车辆、保障人员、保障设施体积相比飞机十分渺小，导致实际视频中分辨率很低，而实际运行中存在雨雪雾等不利天气，实际分辨率和干扰更大，而机场的机位众多，需要在尽量低的硬件条件下，实现尽可能高的识别率，并尽量减少相应的时延，需要持续优化相关模型与参数，保证识别率。
视频采集过程中受到摄像机安装位置影响，往往单一摄像机不能完整覆盖一个完整机位，需要多个视角整合，同时由于安装位置不同，视角不同、不同航司的飞机与保障车辆型号、涂装、部分设备存在变形与多环节共享的情况，需要针对实际运行进行持续完善。
2.5" 实现分析
结合业务模型，本方案对目标检测算法中的二阶段算法RCNN、FastR-Cnn[1-2]、FasterRCNN与一阶段目标检测算法SSD、YOLOV3[3]、YOLOv4[4]、YOLOV5进行了评估，经分析保障节点智能视频分析算法是一个以目标检测算法为基础的解决方案，目标检测算法优劣主要分为两个指标：
2.5.1" 识别的准确率
识别的准确度决定了算法识别的代表具体环节的物体是否准确，算法的执行速度，决定了1台服务器算法能够接入多少路视频，接入的路数越多整体方案的成本越低。二阶段目标检测算法准确率更高，但是执行速度很慢，一阶段目标检测算法牺牲了一定的准确率，但是执行速度更快。
深度学习算法需要大量图像标注，通过将标注数据进行迭代训练从而找出一个较好的算法模型进行部署测试。机场的环境中，飞机尺寸巨大，而车辆目标较小，部分保障设备如轮挡等在视频中占比极小，作为小目标分辨率低，在多种不利条件下容易收遮挡、光照、阴影、反光等因素导致识别率低[5]，需要通过持续跟踪小目标，构建相应的处理网络[6-8]，进行综合判断[9]才能保证最终的识别率。
在选型过程中，YOLOV5是一阶段检测器中兼顾准确率、识别速度相对较好的一个算法，因此经过综合考量[8]最终选择了YOLOV5算法作为本方案的初步选择，并在此基础上进行优化[10]。
2.5.2" 算法的执行速度
算法主要分为算法模块和地面保障后台模块，算法模块分为目标检测算法、消息推送以及视频流处理部分，目标检测算法主要基于OpenCV接入rtsp视频流通过对视频流的切分处理对每一张图片上的物体进行识别，视频推流直播主要通过ffmpeg对识别后的图片转成rtmp流进行推送处理，消息推送部分负责将目标检测算法识别到的物体信息，通过rabbitmq传输给地面保障后台系统。地面保障后台分为直播流处理、基础数据、逻辑判定三部分，直播流处理主要处理对目标检测算法处理后的rtmp视频流进行直播并对相关视频数据进行本地保存，基础数据主要是对不同的保障环节进行标注，辅助逻辑判定进行任务完成情况的判别，逻辑判定服务主要是通过读取基础数据以及消息队列中的物体信息，判定当前执行的是什么任务，这个任务的完成状态是什么，并对识别到的状态进行上报。
保障节点采集算法采用分布式部署的方案，可以通过多台深度学习服务器进行部署，每台GPU服务器分别识别不同机位上的摄像头视频，并将识别结果通过消息队列推送给地服后台通过读取每个环节的基础数据，并根据环节的不同，分别判定该环节开始时间与结束时间进行自动上报。视频数据则会通过ffmpeg推送到nginx-rtmp端，前端可通过nginx-rtmp视频流进行播放。
算法首先配置具体的保障环节、机位、视频设备，然后对算法事件与保障环节的关系进行配置，通过视频摄像头实时接入机位视频，对接入的视频进行切分，对图像进行归一化等预处理工作，对处理后的图像输送到算法中获得识别结果，并将识别到结果通过消息队列进行推送，处理后的图像通过ffmpeg推送的视频服务器端，可供前端直接展示。逻辑判定模块通过读取消息队列中的识别结果，根据识别到的物体找到与物体绑定环节，对目前正在进行的保障环节及开始结束时间并进行实时上报。
3" 应用成果
实验数据收集了5天青岛机场的视频数据，每个环节随机选择40个航班的结果与算法分析的结果进行比对分析，对航空器入位、航空器推出、引导车开始、引导车结束、靠廊桥、撤廊桥、开舱门、关舱门、开货舱门、关货舱门、皮带传送车开始、皮带传送车结束、牵引车开始、牵引车结束、配餐开始、配餐结束、放轮挡、撤轮挡18个环节，进行比较分析。结果如表2所示，通过表2可以看出，整体保障准确率可以满足民航局指导要求，也可以满足机场实际运行需要。
4" 结" 论
机坪作为机场核心业务场景，通过视频节点采集可以有效地提升整体运行和协同效率，是机场运行指挥的关键抓手。未来可以扩展更多保障环节，并实现更多业务联动，保证航班正常率。
参考文献：
[1] REN S Q，HE K M，GIRSHICK R，et al. Faster R-CNN： Towards Real-Time Object Detection with Region Proposal Networks [J].IEEE Transactions on Pattern Analysis amp; Machine Intelligence，2017，39（6）：1137-1149.
[2] REDMON J，DIVVALA S，GIRSHICK R，et al. You Only Look Once： Unified，Real-Time Object Detection [C]//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Las Vegas：IEEE，2016.
[3] XIA C Q，LI X R，ZHAO L Y，et al. Infrared Small Target Detection Based on Multiscale Local Contrast Measure Using Local Energy Factor [J].IEEE Geoscience and Remote Sensing Letters，2010：157-161.
[4] 黎航，邹卫军，沈运.基于fast-LOF与光流轨迹的弱小目标检测算法 [J].电光与控制，2019，26（4）：39-43.
[5] WEI Y，CHENG Z D，ZHU B，et al. Multiscale Hysteresis Threshold Detection Algorithm for a Small Infrared Target in a Complex Background [J].Optical and Quantum Electronics，2019，51（4）：1-14.
[6] HE K M，ZHANG X Y，REN X Q，et al. Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition [J].IEEE Transactions on Pattern Analysis amp; Machine Intelligence，2015，37（9）：1904-1916.
[7] RAZAKARIVONY S，JURIE F. Vehicle Detection in Aerial Imagery： A Small Target Detection Benchmark [J].Journal of Visual Communication and Image Representation，2016，34：187-203.
[8] 王海涛，姜文东，程远，等.两级上下文卷积网络宽视场图像小目标检测方法 [J].计算机测量与控制，2019，27（6）：199-204.
[9] 李廷玉.基于深度学习的多目标跟踪算法研究 [D].成都：电子科技大学，2024.
[10] 羊钊，陈怡欣，张智杰.基于地面保障流程的过站航班延误预测方法 [J].重庆交通大学学报：自然科学版，2023，42（9）：122-129+154.
作者简介：李坤（1986—），男，汉族，山东淄博人，工程师，本科，研究方向：民航行业数据采集、分析与挖掘、民航人工智能；丁继存（1982—），男，汉族，山东兖州人，高级工程师，硕士，研究方向：民航行业管理、业务流程仿真/建模、数据可视化；陈昱松（1996—）男，汉族，山东青岛人，本科，研究方向：大数据分析、民航业务流程管理。
