摘 要：在老龄化社会背景下，借助雷达技术有效进行老年活动监控的关键，在于确保雷达微多普勒信息传递的精确性。所以提高人体运动微多普勒图像质量评价的准确性和鲁棒性至关重要。文章首先添加了不同级别的相位噪声图像及相应的主观评分数据，来扩充人体运动微多普勒图像质量评价（Human Motion Micro-Doppler Image Quality Assessment， HMMDIQA）数据库，增加数据库的多样性。并进一步提出了一套基于主成分分析子空间特征增强的算法进行人体运动微多普勒图像质量评估。在HMMDIQA数据库上的实验结果表明，相较于基础网络，所设计算法的各项评价指标都有所提升。
关键词：HMMDIQA；主成分分析；相位噪声；子空间特征
中图分类号：TP391.4 文献标识码：A 文章编号：2096-4706（2024）20-0079-04
Research on Human Micro-Doppler Image Quality Evaluation Based on Principal Component Analysis
HONG Qiong， YANG Lei， WANG Yuying， DAI Yulin
（School of Information and Communication Engineering， Zhongyuan University of Technology， Zhengzhou 450007， China）
Abstract： Under the background of aging society， the key to monitor elderly activities with radar technology is to ensure the accuracy of radar micro-Doppler information transmission. So it is very important to improve the accuracy and robustness of human motion micro-Doppler image quality evaluation. Firstly， phase noise images of different levels and corresponding subjective score data are added to expand the HMMDIQA database and increase the diversity of the database in this paper. Furthermore， an algorithm based on subspace feature enhancement of Principal Component Analysis （PCA） is proposed for human motion micro-Doppler image quality evaluation. The experimental results in HMMDIQA database show that the various evaluation indicators of designed algorithm have been improved than the basic network.
Keywords： HMMDIQA; Principal Component Analysis; phase noise; subspace feature
0 引 言
随着人口结构变动和老年群体扩大，全球养老服务业逐步兴起。自2000年起，中国已步入老龄化社会，人口老龄化情况日益严重[1]。在这一背景下，对于老年人健康状况的监测与跟踪显得至关重要。借助这类实时获取的数据，有助于保障老年人的生命安全与身体健康。
用于老年人活动监控的设备，虽具有高灵敏度与稳定性的特点，但仍面临诸多挑战。雷达作为远距电磁传感器，具备全天候工作与穿透物体的能力。相比基于视觉感知的人体运动技术，雷达不受距离、光线干扰，更适用于老年人活动监控。然而，保证雷达微多普勒信息传递的精确性，需依靠有效的图像处理与质量评估。进行人体运动微多普勒图像质量评估并非易事，传统方法其弊端明显，结论不尽如人意。故本文多种方法并用，以期得出精准且实际可行的结果。
1 HMMDIQA数据集的优化
1.1 HMMDIQA数据集的扩充
原始的HMMDIQA数据库包含了高斯白和阈值噪声。但是仅考虑高斯白和阈值噪声缺乏全面性，无法覆盖所有可能影响图像质量的噪声类型。而且仅考虑两种特定类型的噪声可能导致评价结果偏颇。为了更好地研究人体运动微多普勒图像质量的评价方法，本节介绍对于HMMDIQA数据库的扩充。该数据库为了增加数据的多样性，提高模型的泛化能力增加相位噪声方面的相关数据。通过在快时间维度上添加固定的相位噪声[2]，并在慢时间维度上使用随机数矩阵模拟其随机性，可以更好地模拟真实环境中的相位噪声效果。通过上述的数据集扩充方法，成功添加了5个不同等级的相位噪声失真图像。
HMMDIQA数据集扩充后，需要评分处理。首先需要将原图和失真图像进行对比打分得到原始得分。其中，i表示每一个观察者，j表示每一幅谱图，k表示实验小节。接着需要将原始打分Sijk通过对应的z分数Zijk剔除异常值V0和异常人P0：
（1）
（2）
（3）
异常值V0表示与其他样本偏离正常范围的数据点，需要将异常值剔除。μjk表示由所有观察者对于第j幅图像在第k个实验小节评分的平均值，σjk表示相应的标准偏差，如式（1）、式（2）和式（3）。将原始数据中的异常值V0和异常人P0去除后，需要将原始数据转化为z分数。μik表示由观察者i在第k个实验小节对所有图像的评分的平均值，σik表示相应的标准偏差。计算并且剔除完异常的z分数后需要将z分数取平均后映射到mos值。
1.2 HMMDIQA数据集IQA实验测试
本节使用扩充后的HMMDIQA数据集验证全参考图像质量评价算法的性能。本节使用峰值信噪比（Peak Signal-to-Noise Ratio， PSNR）[3]、结构相似性指数（Structural Similarity Index， SSIM）[4]、信息加权结构相似性（Information-Weighted Structural SIMilarity Index， IW-SSIM）[5]、视觉信息保真度（Visual Information Fidelity， VIF）[6]、梯度幅度结构差异性（Gradient Magnitude Structural Dissimilarity， GMSD）[7]这5种全参考图像质量评价方法对扩充后的HMMDIQA数据集进行性能比较。本节共使用4个性能指标，分别为斯皮尔曼秩相关系数（Spearmans Rank Correlation Coefficient， SROCC）[8]、皮尔森线性相关系数（Pearson Line Correlation Coefficient， PLCC）[9]、肯德尔秩相关系数（Kendalls Rank Correlation Coefficient， KROCC）[10]和均方根误差（Root Mean Square Error， RMSE）[11]，对应的公式为：
（4）
在图像质量评估中，常用SROCC来评估客观IQA算法的单调性，式（4）中用S表示。SROCC值范围为[-1，1]，绝对值越大算法性能越好。
（5）
用于评估客观IQA算法预测结果与图像主观分数之间差异的PLCC，式（5）中用P表示。可以反映出客观IQA算法的准确性。PLCC值范围为[-1，1]，绝对值越大表示算法预测准确性越高。
（6）
KROCC类似于SROCC，式（6）中用K表示。用于评估客观图像质量评价算法预测结果的单调一致性。其取值范围为[-1，1]，绝对值越大表示预测结果与主观分数等级更一致。
（7）
RMSE也可用于评估客观图像质量评估算法预测结果的准确性，式（7）中用R表示，对异常值非常敏感。较小的RMSE值表明客观算法的预测结果与主观评分更接近。
上述计算式中Nimg表示测试失真图像的数量，Nimg_s和Nimg_d分别表示测试图像中同序对和不同序的个数，Q0和Q分别表示图像的主观分数和客观预测值，Q0_n和Qn分别表示排序后第n张图像的主观分数与客观预测值，Qnon表示经过非线性回归后的客观预测分数。全参考图像质量评价方法的性能测试结果如表1所示。
从表1中可以分析得到，在我们扩充的数据集中PSNR和SSIM的表现最好，这是因为PSNR和SSIM能够更全面地考虑图像的亮度、对比度和结构信息，而不仅仅依赖于像素级的比较。最差的全参考图像质量评价方法为GMSD。
2 网络架构设计
2.1 PCA-Net模型结构
PCA-Net算法是一个包括子空间特征预测任务和质量分数预测任务的多任务算法。如图1所示，将步长为32，大小为64×64像素的图像块发送到深度神经网络。对于特征提取器，开发了一个具有6个卷积层的深度神经网络模型。然后，将子空间特征预测任务的特征向量与质量分数预测任务的特征向量进行融合，生成新的质量预测任务特征向量。通过学习到的新特征向量预测人体运动微多普勒图像的质量得分。最后，将图像块的分数汇总取平均，以得到输入图像的质量评分。
2.2 子空间特征预测
为了实现人体运动微多普勒图像质量评价模型，提取的特征必须对人体运动微多普勒图像以及人体运动微多普勒图像质量评价数据库中失真类型具有积极影响。为了实现这一目标，采用子空间特征预测作为多任务学习模型的辅助任务。由于奇异值分解可以对非方阵求解并且得到图像矩阵两个方向上的子空间特征，因此本文中使用奇异值分解求人体运动微多普勒图像的子空间特征。
将扩充后的HMMDIQA数据库中的图像展开成h×w的矩阵。具体如下：
1）对图像矩阵I按列取平均，如式（8）所示，得到平均值矩阵，然后可以得到中心化矩阵Icenter，如式（9）所示：
（8）
（9）
2）中心化后，坐标原点位于数据中心。根据式（10）对中心化后的矩阵求解协方差矩阵Icor：
（10）
3）式（11）中U是大小为h×h的正交左奇异矩阵，其列向量为左奇异向量；V T是大小为w×w的正交右奇异矩阵，其列向量为右奇异向量；是大小为h×w的对角矩阵：
（11）
4）根据主成分的累积贡献率（Accumulating Contribution Rate， ACR）来确定保留多少主成分，累积贡献率指的是所选取的前r个奇异值的总和在所有奇异值的和的占比。如式（12）所示，将Icenter化为式（13）的格式，其中U转换为大小为h×r的正交左奇异矩阵，V T转换为大小为r×w的正交右奇异矩阵，转换为大小为r×r的对角矩阵。
（12）
（13）
5）根据PCA的理论，奇异值分解的公式两边同时乘以矩阵V即可以得到只包含该图像前r个子空间特征的新矩阵，是微多普勒图像经过PCA降维后的信息，如式（14）所示：
（14）
得到包含子空间特征的新矩阵后，将矩阵的每一列相加组成（434，1）的矩阵作为人体运动微多普勒图像块的子空间特征标签。
3 实验及结果分析
为了验证模型PCA-Net的有效性，在扩充的HMMDIQA数据库上对PCA-Net进行训练和验证。实验过程如下：首先将HMMDIQA数据库按照原始图像80%、20%的比例将对应的失真图像划分为训练数据集和验证数据集。接下来，对于每幅人体运动微多普勒图像，切分成步长为32、大小为64×64的多个图像块，并输入网络进行处理。然后使用主观分数作为质量预测任务的标签，使用PCA得到的主成分特征作为子空间特征预测任务的标签。网络使用随机梯度下降求解，其中动量因子为0.9，权重衰减因子为0.000 1，批处理大小为128，学习率为0.01，并且设置在75个Epochs的间隔变为前一个学习率的1/10，共迭代了100个Epochs。将该模型在NVIDIA A100上进行训练，使用PyTorch 1.10框架。以下实验均使用4种公认的性能指标SROCC、PLCC、KROCC和RMSE进行检验，优秀的网络总是表现出较高的SROCC、PLCC、KROCC值和较低的RMSE值。
通过在HMMDIQA数据库上开展和NSSADNN（Natural Scene Statistics Aided Deep Neural Networks）的对比实验，来验证本文提出的PCA-Net的有效性和可行性。实验过程趋势图如图2所示。从图中可以分析得到SROCC、PLCC、KROCC值随着Epoch的增加不断提升并收敛在最高值范围附近；RMSE值随着Epoch的增加不断下降并收敛在最低值范围附近。
在表2中，NSSADNN网络模型只包括主干提取网络（6个卷积层、激活函数层、add）和全连接层组成，从中可以观察到将辅助任务即子空间特征预测任务（subspace feature）加入NSSADNN网络中，该模型在表格中表示为PCA-Net。通过比较两种模型，表2中的数据显示出PCA-Net相对于NSSADNN网络在评价指标上取得了明显的提升。具体来说，在SROCC指标上，PCA-Net相对NSSADNN网络提升了0.62%；在PLCC指标上提升了0.7%；在KROCC指标上提升了1.24%；而在RMSE指标上则降低了11.99%。这些结果清楚地表明了加入子空间特征预测任务对整个网络模型性能产生了积极影响，证实了该模块在提升模型效果方面的有效性。
4 结 论
在本文中，首先扩充了HMMDIQA数据库，并且在该数据集上验证全参考图像质量评价算法的性能。在扩充后HMMDIQA数据库的基础上，研究了基于PCA子空间特征增强的人体运动微多普勒图像质量评价算法。通过添加子空间特征预测任务，增加了人体运动微多普勒图像的特征信息。通过实验验证了方法的必要性，与NSSADNN模型进行了比较，并以SROCC超出NSSADNN模型0.51%＼PLCC提升0.7%＼KROCC提升1.24%＼RMSE降低11.99%的优势显示出本网络模型的优秀的预测准确性。
参考文献：
[1] ROWLAND D T. Global Population Aging： History and Prospects [M]//UHLENBERG P. International Handbook of Population Aging，Dordrecht：Springer，009：37-65.
[2] SANTACRUZ J P，ROMMEL S，JOHANNSEN U，et al. Analysis and Compensation of Phase Noise in Mm-Wave OFDM ARoF Systems for Beyond 5G [J].Journal of Lightwave Technology，2020，39（6）：1602-1610.
[3] STTI P，SHARMA N，GARG B. Min-Max Average Pooling Based Filter for Impulse Noise Removal [J].IEEE Signal Processing Letters，2020，27：1475-1479.
[4] SETIADI D R I M. PSNR vs SSIM： Imperceptibility Quality Assessment for Image Steganography [J].Multimedia Tools and Applications，2021，80（6）：8423-8444.
[5] NAVARRO-CASTELLANOS C，OROZCO-MORALES R，RODRIGUEZ-GALLO Y. Objective Quality Metrics for Algorithm Evaluation in Computed Tomography [C]//2022 IEEE 40th Central America and Panama Convention （CONCAPAN）.Panama：IEEE，2022：1-6.
[6] HAN Y，CAI Y Z，CAO Y，et al. A New Image Fusion Performance Metric Based on Visual Information Fidelity [J].Information Fusion，2013，14（2）：127-135.
[7] BORKOWSKI J，SZMAJDA M，MROCZKA J. The Influence of Power Network Disturbances on Short Delayed Estimation of Fundamental Frequency Based on IpDFT Method with GMSD Windows [J].Energies，2021，14（20）：1-26.
[8] BECKER S，WIEGAND T，BOSSE S. Curiously Effective Features For Image Quality Prediction [C]//2021 IEEE International Conference on Image Processing （ICIP）.Anchorage：IEEE，2021：1399-1403.
[9] ZHANG Y K，LI Y L，SONG J Z，et al. Pearson Correlation Coefficient of Current Derivatives Based Pilot Protection Scheme for Long-Distance LCC-HVDC Transmission Lines [J/OL].International Journal of Electrical Power & Energy Systems，2020，116：105526[2024-02-19].https：//doi.org/10.1016/j.ijepes.2019.105526.
[10] CHEN J，YANG M，GONG W P，et al. Multi-Neighborhood Guided Kendall Rank Correlation Coefficient for Feature Matching [J].IEEE Transactions on Multimedia，2022，25：7113-7127.
[11] HODSON T O. Root Mean Square Error （RMSE） or Mean Absolute Error （MAE）： When to Use Them or Not [J].Geoscientific Model Development，2022，15（14）：5481-5487.
作者简介：洪琼（1999—），女，汉族，安徽黄山人，硕士研究生在读，主要研究方向：计算机视觉、深度学习；杨蕾（1979—），女，回族，河南洛阳人，教授，博士，主要研究方向：图像处理、计算机视觉；王玉莹（1998—），女，汉族，河北三河人，助教，硕士研究生，主要研究方向：计算机视觉、深度学习；戴玉林（2002—），女，汉族，河南南阳人，硕士研究生在读，主要研究方向：计算机视觉、深度学习。
