摘 要：飞行品质监控（FOQA）数据记录了飞行状态的详细参数，对于评估飞行操作的质量和安全性至关重要。传统的“超限检测”算法通过与预先建立的阈值进行比较来识别异常行为。相比之下，深度学习方法能够更全面、灵活地分析FOQA数据，提高异常行为的检测精度。文章提出的TAGDNet是用于FOQA数据多类别异常检测的创新框架，包括时序卷积网络、图神经网络和分层图池化等关键组件。该框架首先通过时序卷积网络提取时序特征，然后通过引入图神经网络进行节点间信息传播，最后通过分层图池化获得异常检测结果。通过在公开可用的FOQA数据多类别异常检测数据集上进行大量实验证明，该方法相较于其他先进的方法表现更为优越。
关键词：FOQA数据；异常检测；图神经网络；图池化；时序卷积
中图分类号：TP391；TP183 文献标识码：A 文章编号：2096-4706（2024）16-0053-07
Aviation Data Anomaly Detection Based on Graph Neural Networks
Abstract： Flight Operational Quality Assurance （FOQA） data records detailed parameters of flight status， which is crucial for evaluating the quality and safety of flight operations. Traditional “Exceedance Detection” algorithm identifies abnormal behavior by comparing it with predefined threshol1xrabizTN6g5MLF7p0P9ZA==ds. In contrast， Deep Learning methods can comprehensively and flexibly analyze FOQA data， improving the accuracy of abnormal behavior detection. The TAGDNet proposed in the paper is an innovative framework for multi-class abnormal detection in FOQA data， including key components such as Temporal Convolutional Networks， Graph Neural Networks， and Hierarchical Graph Pooling. The framework extracts temporal features through Temporal Convolutional Networks firstly， then propagates information between nodes through introducing Graph Neural Networks and finally obtains abnormal detection results through Hierarchical Graph Pooling. Through extensive experiments on publicly available FOQA multi-class abnormal detection datasets， it has been demonstrated that this method outperforms other state-of-the-art methods.
Keywords： FOQA data; anomaly detection; Graph Neural Networks; graph pooling; temporal convolutional
0 引 言
随着航空运输业的迅速发展，飞机数量和航班次数的增加使飞行监控任务变得复杂。通过实时监测飞机系统、引擎和飞行过程能及早发现并识别潜在异常情况，确保飞行安全。传统飞行监控方法主要依赖与预设阈值进行比较，仅适用于预定义异常情况，难以有效分析FOQA（Flight Operations Quality Assurance）数据中的未知异常，也无法满足对监控效率和准确性的需求。因此，引入先进的异常检测技术成为提高航空安全性的必然选择。
近年来，随着人工智能和深度学习等领域的发展，异常检测技术在航空领域备受关注。异常检测的目标是识别与大多数数据明显不同的样本。深度学习算法通过学习“决策边界”来检测输入数据中的异常模式。Li等人[1]通过对同一组已知11个异常的数据进行实验，比较了多核异常检测（Multiple Kernel Anomaly Detection， MKAD）[2-3]和聚类异常检测算法[1]的性能。
然而，本文的首要目标是开发一种专用于FOQA数据异常检测的方法，通过捕捉传感器之间的关联关系以实现更高精度的异常检测。随着图神经网络（Graph Neural Network， GNN）的引入[4]，基于图的方法通过边来表示传感器之间的相互依赖关系。GNN采用局部聚合机制，递归地聚合和转换其邻居的信息，计算每个节点的嵌入向量。这种方法的优势在于能够捕捉到节点之间的潜在关联。
对于FOQA数据多类别异常检测任务，很难找到预定义的图结构。图偏差网络（Graph Deviation Network， GDN）[5]通过余弦相似度对可建模为图的相邻矩阵进行精细的两两关系学习。MTAD-GAN[6]将面向特征和面向时间的图注意层连接起来学习图结构。目前，大多数时间序列GNN都是为交通预测而设计的，而在FOQA数据多类别异常检测任务中存在需要填补的空白。为了解决上述问题，本文设计了一种带有注意力机制的时序卷积网络，引入自动图结构学习方法，使用图神经网络实现传感器数据之间的信息传播，以及通过分层图池化技术提高模型性能。
1 问题陈述
本节旨在明确阐述本文所涉及的关键概念和符号。
1.1 问题定义
FOQA数据就是按照时间记录的飞行相关信息，是典型的多变量时间序列。它可以用多变量时间序列表示：X={x1，x2，…，xd}∈Rd×l，其中Xi={xi1，xi2，…，xil}且i=1，2，…，d。这里l∈N*表示多元时间序列的长度。给定一组多元时间序列X={X1，X2，…，Xd}∈Rm×d×l
和相应的标签Y={y1，y2，…，ym}，其中y表示每个多元时间序列的预定义类标签，m∈N*表示时间序列的个数。FOQA数据多类别异常检测任务的目标是通过训练分类器f（▪）从X到Y，以预测未标记的多变量时间序列。
1.2 图相关概念
时态图由多变量时间序列构成，其形式为G=（V，E），其中V={v1，v2，…，vn}表示包含n个节点的节点集，E表示边的集合。这里，节点表示变量，而边则表示由相似性或结构学习结果定义的不同变量之间的关系。邻接矩阵A可以表示一个n×n的矩阵，其中A（i，j）表示节点i到节点j是否有边相连或者边的权重。
2 方法简介
在实际的FOQA数据中，传感器之间呈现复杂的拓扑关系。将整个传感器网络视为图结构，每个传感器被看作图中的一个节点。为了提取时序特征的，采用带有注意力机制的时序卷积网络。通过高斯核函数度量节点之间的关系，学习图结构，并将其输入图卷积层以建模信息传播。最后，将时序卷积层和图卷积层集成，可进行多层操作，并通过分层图池化操作得到多类别异常检测的结果，整体模型架构被命名为TAGDNet（Temporal Attention Graph Neural Network with Differentiable Pooling NetworL9tcpOVCaw+c5g11VSNZsl4aXvq7mBn0Ymy1a9cJM64=k），如图1所示。
2.1 时序变量注意力
Woo等人[7]提出了CBAM（Convolutional Block Attention Module），这是一种轻量级的视觉注意力模块，能够在通道和空间维度上执行注意力操作。受此启发，本文提出了时序变量注意力模块，旨在突出时序信息和关键特征，该模块由时序注意力和变量注意力两部分组成，能够在时间维度和变量维度执行注意力操作，如图2所示。
2.1.1 时序注意力
为了捕捉序列的整体趋势和关键信息，引入了自适应平均池化和自适应最大池化。自适应平均池化通过计算输入序列每个时间步的平均值生成整体平均特征表示。相对应地，自适应最大池化通过计算每个时间步的最大值，突出序列中的显著特征。随后，通过两个一维卷积层，将输入特征映射到新的表示。最后，将这两个特征相加，使模型能够同时捕捉时间维度上的整体趋势和关键特征，提高对多元时间序列的表征能力。具体的数学表达式如下：
TA（x）=（C2（R（C1（AdaAvgPool（x）+C2（R（C1（AdaMaxPool（x）））） （1）
其中，x表示输入序列，C1和C2表示两个一维卷积层，卷积核大小均为1，填充为0。R表示ReLU激活函数，AdaAvgPool表示一维自适应平均池化，AdaMaxPool表示一维自适应最大池化。表示Sigmoid激活函数。
2.1.2 变量注意力
为了捕捉各传感器的整体趋势和关键信息，该模块通过在变量维度上计算均值和最大值，实现了对输入序列的全局性信息提取。均值关注于变量的平均水平，有助于捕捉序列的整体趋势。而最大值操作突出了在每个变量上的最显著特征，有助于捕捉序列中的峰值、异常值或其他重要的局部变化。为了融合这两种关注方式的信息，通过拼接操作将均值和最大值在变量维度上进行组合。然后通过一维卷积层对拼接后的序列进行进一步的特征提取和注意力增强。具体公式如下：
FA（x）=（C（concat（mean（x），max（x）） （2）
其中，mean（x）表示沿变量维度计算均值，max（x）表示沿变量维度计算最大值，concat表示沿着变量维度进行拼接，C表示一维卷积，输入通道为2，输出通道为1，卷积核大小为7，填充为3。表示Sigmoid激活函数。
2.2 图结构学习
为了提高训练效率，减少噪声影响并增强模型鲁棒性，设置阈值c以实现邻接矩阵的稀疏性。具体而言，只保留邻接矩阵A中前k个最大权重的元素，（其中k取节点数的值，即k=20），将这些元素设为1，并将其他值设置为0，如下所示：
2.3 图神经网络
在已学习的拓扑结构基础上，图卷积模块的设计旨在进一步建模信息传播过程，通过整合邻居节点的信息来更新每个特定节点的表示。在处理异常检测等任务时，通常异常的发生涉及一个或多个节点，形成一系列链式影响。因此，为了直观地捕捉节点之间的差异，使用GraphSAGE[8]算法进行传播计算。GraphSAGE的关键思想是通过采样邻居节点和聚合邻居信息来生成每个节点的向量表示，从而捕捉图中的结构信息。以下是GraphSAGE的主要步骤：
首先对于每个节点v，从其邻居节点中随机采样一定数量的节点。这些采样的邻居节点用集合N（v）表示：
其中，表示节点v的所有邻居节点。
其次聚合邻居节点信息，对于每个节点v，将其采样的邻居节点的特征进行聚合，得到一个聚合的邻居特征表示。这通常通过平均或池化操作来实现：
其中，表示节点v的第一层表示，表示节点u的初始特征表示。
再次，使用聚合的邻居特征表示来更新节点v的表示：
其中，表示激活函数，W表示可学习的权重矩阵，conact表示将两个向量连接起来。
最后，通过多次重复上述过程，得到多层的节点表示：
其中，l表示迭代的层数。
2.4 分层图池化
传统的GNN池化方式采用全局池化对图中所有节点的嵌入进行处理，却忽略了图中的层次结构，这限制了模型的有效性。相比之下，DiffPool（Differentiable Pooling）是一种专为图神经网络设计的池化操作[9]，其优势在于能够学习到网络的层次化表示，从而提高模型的表达能力。在经过图神经网络后使用DiffPool的方法进行分层池化，以更好地捕捉图的层次信息。以下是DiffPool的主要步骤：
对于第l层来说，数学公式可以写为：
其中A（l）表示第l层的邻接矩阵，X （l）表示第l层的节点特征。节点的表示Z （l）是通过应用图神经网络模型来计算的。A（l+1）和X （l+1）表示经过分层池化后的新的邻接矩阵和节点特征。每次经过一次DiffPool，相应的节点个数减少，直至最后一次保留一个节点。假设该节点包含一个d维向量，从该向量出发得到最终的异常分类结果。
DiffPool的过程包括两个关键步骤。首先，利用一个GNN通过输入
邻接矩阵A（l）和和节点特征X （l）抽取信息生成表示Z （l），其表达式为：
其次，通过另一个GNN，该GNN用于计算权重矩阵S （l），这个权重矩阵反映了上一层中的每个节点以何种权重被分配到下一层的哪些节点中。权重矩阵的计算使用Softmax函数，如下：
接下来，通过以下形式生成新一层的节点邻接矩阵和节点特征，实际上是根据学习到的权重矩阵进行加权聚合。具体而言，新一层的节点特征X （l+1）通过对Z （l）进行的加权聚合得到，表达式为：
同时，新一层的节点邻接矩阵A（l+1）通过对A （l）和S （l）进行相应的加权聚合计算得到，表达式为：
这一过程明确展示了通过学习得到的权重矩阵，实现了有效的节点信息传递和分层图池化。
3 实验评估
本节分为三个子节，包括实验设置、消融实验、对比实验，对所提出的模型进行全面评估。
3.1 实验设置
3.1.1 评价指标
本文主要旨在准确检测FOQA数据中的异常类别，使用精确率（P）、召回率（R）、F1分数这三个评价指标来对模型进行全面评价。具体计算公式如下：
其中，TP表示真阳性（真实类别是正类，并且模型识别的结果也是正类），TN表示真阴性（真实类别是负类，并且模型将其识别为负类），FP表示假阳性（真实类别是负类，并且模型将其识别为正类），FN表示假阴性（真实类别是正类，但模型将其识别为负类）。
3.1.2 数据集
本文使用了一个基于商业航空公司FOQA数据的多类别异常检测数据集[10]。该数据集包括每次飞行的1 Hz记录，涵盖了各种系统，如飞机的状态和方向、控制表面的位置和输入、发动机参数、自动驾驶模式及其相应状态。研究中使用了20个变量进行实验，详细变量名如表1所示。这些数据在飞机飞行过程中实时获取，并在飞机抵达目的地登机口后由航空公司下载。专业人员对这些FOQA数据进行分析，以标记已知事件并创建相应的标签。每个数据实例都代表飞机接近着陆期间的记录，持续160秒。
该数据集包括99 837个数据实例，包括四个类别：
1）正常（占总数据的89.81%）此类别包括那些已知不存在其他三个异常类别的实例。
2）速度异常（占总数据的7.02%），通过检测进近过程中与目标着陆空速的偏差来识别异常。
3）路径异常（占总数据的2.21%），包含那些着陆下降路径明显偏离下滑道的实例。
4）控制异常（占总数据的0.96%），将那些在接近着陆期间，与预期的标称展开相比，襟翼伸展延迟的情况标记为控制异常。为了保证数据集的公平性，按照6：2：2的比例划分为训练集、验证集和测试集，并且每个样本集中各类异常的比例相同。
3.1.3 实现细节
在Ubuntu 18.04系统上，采用了PyTorch 1.12.0、CUDA 11.3和Torch-Geometric 2.1.0，在NVIDIA 3090 Ti上来实现所有模型。对模型进行了200轮次的训练，训练期间最后一轮模型用于评估，并记录了测试集上每个类别的实验结果。训练过程中批次的大小为128，采用了Adam优化器，随机丢弃率为0.05，初始学习率为0.003，在经过150个轮次后将学习率调整为0.001，模型损失如图3所示，准确率如图4所示。
3.2 消融实验
本小节将深入探讨TAGDNet模型的各个组成部分的贡献，具体包括：
1）TGD具有图卷积模块和分层图池化模块的模型，但没有使用注意机制。
2）TAG具有注意力机制和图卷积模块，但没有分层图池化模块的模型。
3）TA仅有注意机制，没有图卷积和分层图池化的模型。
消融实验结果如表2所示，组件ALL取得最佳结果。
基于消融实验结果，研究得出了两个重要结论。首先，TAGDNet模型，结合了注意力时序卷积和分层池化的图神经网络，实现了在真实数据集上的最佳性能，凸显其有效的多类别异常检测能力。其次，具有图神经网络的变体优于仅有注意力机制的变体，证明在TAGDNet模型中，图神经网络的影响更为显著。
在深度学习模型中，隐藏层数是决定模型复杂性和性能的关键参数之一。为了探究隐藏层数对模型性能的影响，进行了隐藏层数消融实验，通过调整隐藏层数（分别为3、5、7、9、11、13和15）来评估该参数的影响，结果如表3所示。正常和速度异常时，P、R、F1均在9层取得最佳结果。路径异常时，P、R、F1分别在3层、7层、15层取得最佳结果。控制异常时，P在13层取得最佳结果，R、F1均在9层取得最佳结果。
经过实验观察与分析，在增加隐藏层数的过程中，模型的性能首先得到显著提升。具体而言，随着隐藏层数的增加，多异常分类的准确性不断提高。这表明增加隐藏层数有助于模型更好地捕捉数据中的复杂特征，提高了其对异常样本的准确分类能力。然而，当隐藏层数增加到一定值（即9层）之后，模型性能开始下降。这可能是由于过多的隐藏层数导致模型发生过拟合的原因。
3.3 对比实验
为了验证TAGDNet的性能，选择了最先进的方法作为基线进行比较，结果如表4所示，除了DLinear在路径异常时R和F1结果最佳，其他情况下都是我们设计的模型获得最佳结果，可以看出TAGDNet在数据集上实现了最高的分类精度。特别是TAGDNet的图结构机制相较最先进的方法有着显著改进。这表明不同传感器之间的隐藏依赖关系共同决定了异常行为，而TAGDNet能够很好地捕捉到这些复杂关系。
4 结 论
在这项工作中，本文提出了TAGDNet，一个基于图神经网络的FOQA数据异常检测框架。为了提取FOQA数据的重要特征，提出了注意力时序卷积网络。同时，通过引入图结构学习和图神经网络来处理传感器变量之间的相互依赖关系，并最终通过分层图池化方法克服图神经网络的平坦性问题。大量实验证明了该策略在分类精度方面优于其他最先进的方法，并通过消融实验证明了各部分组件的有效性。未来的研究方向将集中在将这种方法与半监督学习策略相结合，以便在缺少标签的航空大数据场景中实现更好的应用。
参考文献：
[1] LI L S，GAREL M，HANSMAN R J，et al. Anomaly Detection in Onboard-recorded Flight Data Using Cluster Analysis [C]//2011 IEEE/AIAA 30th Digital Avionics Systems Conference.Seattle：IEEE，2011：1-11.
[2] DAS S，MATTHEWS B，SRIVASTAVA A，et al. Multiple Kernel Learning for Heterogeneous Anomaly Detection： Algorithm and Aviation Safety Case Study [C]//Proceedings of the 16th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining.Washington：ACM，2010：47-56.
[3] DAS S，MATTHEWS B，LAWRENCE R. Fleet Level Anomaly Detection of Aviation Safety Data [C]//2011 IEEE Conference on Prognostics and Health Management.Denver：IEEE，2011：1-10.
[4] SCARSELLI F，GORI M，TSOI A C，et al. The Graph Neural Network Model [J].IEEE Transactions on Neural Networks，2009，20（1）：61-80.
[5] DENG A L，HOOI B. Graph Neural Network-based Anomaly Detection in Multivariate Time Series [C]//Proceedings of the AAAI Conference on Artificial Intelligence.2021，35（5）：4027-4035.
[6] ZHAO H，WANG Y J，DUAN J Y，et al. Multivariate Time-series Anomaly Detection Via Graph Attention Network [J/OL].arXiv：2009.02040 [cs.LG].（2020-09-04）.https：//arxiv.org/abs/2009.02040.
[7] WOO S，PARK J，LEE J，et al. CBAM： Convolutional Block Attention Module[J/OL].arXiv：1807.06521 [cs.CV].（2018-07-17）.https：//arxiv.org/abs/1807.06521v1.
[8] HAMILTON W L，YING R，LESKOVEC J. Inductive Representation Learning on Large Graphs [J/OL].arXiv：1706.02216 [cs.SI].（2017-06-07）.https：//arxiv.org/abs/1706.02216v2.
[9] YING R，YOU J X，MORRIS C，et al. Hierarchical Graph Representation Learning with Differentiable Pooling [J/OL]. arXiv：1806.08804 [cs.LG].（2018-06-22）.https：//arxiv.org/abs/1806.08804.
[10] MATTHEWS B. Curated 4 Class Anomaly Detection Data Set [EB/OL].（2022-12-22）.https：//c3.ndc.nasa.gov/dashlink/resources/1018/.
[11] WU H X，XU J H，WANG J M，et al. Autoformer： Decomposition Transformers with Auto-correlation for Long-term Series Forecasting [J/OL].arXiv：2106.13008 [cs.LG].（2021-06-24）.https：//arxiv.org/abs/2106.13008.
[12] ZHANG Y H，YAN J C. Crossformer： Transformer Utilizing Cross-dimension Dependency for Multivariate Time Series Forecasting [C]//The Eleventh International Conference on Learning Representations.Kigali ：ICLR，2023：1-21.
[13] ZENG A L，CHEN M X，ZHANG L，et al. Are Transformers Effective for Time Series Forecasting？ [J/OL].arXiv：2205.13504 [cs.AI].（2022-05-26）.https：//arxiv.org/abs/2205.13504.
[14] ZHOU T，MA Z Q，WEN Q S，et al. FEDformer： Frequency Enhanced Decomposed Transformer for Long-term Series Forecasting [J/OL].arXiv：2201.12740 [cs.LG].（2022-01-30）.https：//arxiv.org/abs/2201.12740.
[15] ZHOU T，MA Z Q，WANG X，et al. FiLM： Frequency Improved Legendre Memory Model for Long-term Time Series Forecasting [J/OL].arXiv：2205.08897 [cs.LG].（2022-05-18）.https：//arxiv.org/abs/2205.08897.
[16] ZHOU H Y，ZHANG S H，PENG J Q，et al. Informer： Beyond Efficient Transformer for Long Sequence Time-series Forecasting [J/OL].arXiv：2012.07436 [cs.LG].（2020-12-14）.https：//arxiv.org/abs/2012.07436v1.
[17] LIU Y，HU T G，ZHANG H R，et al. ITransformer： Inverted Transformers are Effective for Time Series Forecasting [J/OL].arXiv：2310.06625 [cs.LG].（2023-10-10）.https：//arxiv.org/abs/2310.06625.
[18] WANG H Q，PENG J2a71d5668ab474192922bbc5dee372b0，HUANG F H，et al. MICN： Multi-scale Local and Global Context Modeling for Long-term Series Forecasting [C]//The Eleventh International Conference on Learning Representations.Kigali：ICLR，2023：1-22.
[19] LIU Y，WU H X，WANG J M，et al. Non-stationary Transformers： Exploring the Stationarity in Time Series Forecasting [J/OL].arXiv：2205.14415 [cs.LG].（2022-05-28）.https：//arxiv.org/abs/2205.14415.
[20] NIE Y Q，NGUYEN N H，SINTHONG P，et al. A Time Series is Worth 64 Words： Long-term Forecasting with Transformers [J/OL].arXiv：2211.14730 [cs.LG].（2022-11-27）.https：//arxiv.org/abs/2211.14730.
[21] KITAEV N，KAISER Ł，LEVSKAYA A. Reformer： The Efficient Transformer [J/OL].arXiv：2001.04451 [cs.LG].（2020-01-13）.https：//arxiv.org/abs/2001.04451.
[22] VASWANI A，SHAZEER N，PARMAR N，et al. Attention is all You Need [J/OL].arXiv：1706.03762 [cs.CL].（2017-06-12）.https：//arxiv.org/abs/1706.03762v2.
