摘 要：为了更细节地提取手部X图像特征，提出了一种基于改进残差网络的骨龄评估方法。基于TW3方法，结合轻量高效注意模块改进残差网络，提高细小颗粒特征的提取准确率。实验结果表明，该方法在西安某三甲医院提供的数据集上，男、女性的平均绝对误差（MAE）分别是0.422 8岁和0.434 1岁，在1岁误差范围内，男、女性的准确率分别达到93.82%和93.16%，明显地提高了骨龄评估的准确率。
关键词：骨龄评估；改进残差网络；轻量高效注意模块；TW3
中图分类号：TP391.4；TP183 文献标识码：A 文章编号：2096-4706（2024）15-0134-05
Bone Age Assessment Method Based on Improved Residual Network
MA Ruiqi， HU Xiaodan， XI Xiulei
（Zhengzhou University of Science and Technology， Zhengzhou 450064， China）
Abstract： In order to extract features from hand X images in more detail， this paper proposes a method of bone age assessment based on improved residual network. Based on the TW3 method， combined with lightweight and efficient attention modules， it improves the extraction accuracy of minuscule particle features. Experimental results demonstrate that the method has the Mean Absolute Error （MAE） of 0.422 8 years and 0.434 1 years for males and females on the dataset provided by a tertiary hospital in Xian. Within the one-year error range， the accuracy of males and females reaches 93.82% and 93.16%， respectively， significantly improving the accuracy of bone age assessment.
Keywords： bone age assessment; improved residual network; lightweight and efficient attention module; TW3
0 引 言
骨骺年龄是一种生物学年龄，简称骨龄。其是利用X图像检查对于左手的掌骨、腕骨、桡骨以及尺骨下端的骨化中心的成长状态，从而得到结果[1-2]。评估骨龄是一种能够精确反映人体生长发育状况和成熟度的方法，它不但可以测定一个人的生物年龄，而且可以根据骨龄来判断一个人的生长发育潜能和性成熟情况，在某些内分泌方面也有很大的帮助，同时还广泛应用于体育竞赛领域和司法领域等[3-4]。
我国临床领域常用的骨龄评估方法有计数法、Greulich and Pyle（GP）方法[5-6]和Tanner-Whitehouse（TW2，TW3）计分法[7]。计数法顾名思义是计算骨化中心个数并以此来评估骨龄，是骨龄评定的最早方法。骨龄计数法认为骨化中心出现的年龄与骨成熟的速度为正相关，骨化中心个数异常，则发育异常。手腕骨化点计算方法是骨化点的数量等于实际年龄加1，即骨化中心数与实际年龄相差1，表明该儿童体格发育接近正常水平。计数法常应用于10岁以下男孩和女孩，即仅供小年龄的粗测。G-P图谱法从骨化中心出现的位置，骨骺与干骺端的占比，某些切迹的出现以及骨骺与干骺端的关系制定了新生儿到19岁青少年手腕部骨骼成熟度系列X线图谱，其判读依据为每个骨化中心出现的时间、大小、形态、密度。计数法计算骨龄的平均绝对误差较大，故国内外很少使用此方法判断骨骺发育程度。GP图谱方法依赖医生丰富的经验，主观性强，不同的医生评估同一X图像可能会有不同的结果。TW计分法思想为针对左手一些有特点的骨骺区域（Regions of Interest，ROIs）进行等级划分，得到每个骨骺区域对应的等级分数，将骨骺等级总分，换算为相应的骨龄[8]。TW方法比GP图谱法更能准确地进行骨龄评估，但也存在依赖医生主观经验及耗时长的问题[9]。近年来，由于深度学习技术飞速发展，深度学习架构的创新与改进已成为工业界和学术界的热点问题。循环卷积神经网络作为一种新的深度学习架构，在图像识别、图像分类和图像检测等领域都展现出了巨大的潜力。
在骨龄评估研究领域，随着人工智能的发掘和兴起，也开始使用卷积神经网络（Convolutional Neural Networks， CNNs）[10-11]来代替传统人工阅读X图像进行评估骨骺的发育程度。2018年，胡婷鸿等人[12]基于维吾尔族青少年左手腕X影像，利用AlexNet网络自动化骨龄评估，在1岁误差范围内，男、女性测试集实现的准确率分别为79.5%和71.2%。2019年，占梦军等人[13]对四川汉族青少年的左腕部骨骼年龄进行了自动检测，并对其进行了分析。利用改进后的AlexNet网络进行骨龄评估，在1岁误差范围内，男、女性的准确率分别为81.08%，87.56%。2020年，张世杰等人[14]提出一种基于深度学习卷积神经网络评估骨骺发育成熟度的方法，本研究以四川大学华西二院为研究对象，在±1岁误差范围内，取得的准确率分别为：女性为94.25%，男性为94%；平均绝对误差分别是：女性和男性分别是0.512 5岁和0.557 5岁。2021年，唐志豪等人[8]提出一种基于RSNA和DHA数据样本使用结合高效通道注意模块的残差网络进行骨骺发育程度的评估，当误差为1岁时，平均绝对误差分别为4.69个月和5.98个月，评估骨龄的准确率可以达到98.36%和94.88%。
为了能够使网络提取更多骨骺信息，实现更准确、更高效的骨龄评估，本文提出一种改进的残差网络与注意力模型相结合的评估骨龄方法。将残差网络ResNet[15-16]进行双池化融合，结合轻量高效注意力模块SA[17]，使网络学习到更多细小颗粒骨骺特征。骨龄评估方法流程如图1所示。
1 改进的骨龄评估网络
1.1 结合轻量高效注意模块
为了使卷积神经网络能够准确地关注输入骨骺的特征，抑制不感兴趣的特征，提高骨龄评估的准确率，在残差网络的基础上加入一种新的高效注意机制（SA）模型。该模型是集空间注意力和通道注意力为一体，将特征分组和信道替换作为一种轻量级有效的注意力机制。该模型如图2所示。
轻量高效注意机制模块采用Shuffle单元（有效构建多个分支结构以实现对多个分支的并行处理，能够降低计算量）有效地结合了两种类型的注意机制，模块的功能可以总结为分裂—转换—集成。具体来说分为四个部分。
1）特征分组（Feature Grouping），将每个通道视为一组，将输入的特征Xk1进行分组，沿着通道维度把输入的特征拆分为G组，根据每组特征，每个通道和空间都需要不同的重要性系数来增强。这些通道和空间的重要性系数来自通道和空间注意力模块，分别被称为通道（Channel）注意力和空间（Spatial）注意力。
2）通道注意力（Channel Attention）提取Xk1特征，该操作采用简单的GAP+Scale+Sigmoid的单层变换。首先经过全局平均池化（GAP）沿空间维度（X，Y）将二维通道压缩成一维通道，每一个二维通道都转化为实数如式（1）所示：
（1）
然后为了使特征更加明显，按比例增强每个通道的特征图再通过sigmoid激活实现，得到Xk1增强特征图，如式（2）所示：
（2）
式中W1 ∈ RC/2G·1·1，b1 ∈ RC/2G·1·1。
3）空间注意力（Spatial Attention）从不同的视角上提取出Xk2特征，利用深度网络中的分组标准化，将通道划分为G个群组，并且在每个群组内为每个群组计算平均值和变异数，再进行图像增强，最终，通过空间注意力机制模块获得了Xk2的特性图，具体如式（3）所示：
（3）
其中，GN（Group Norm）表示组归一化，W2 ∈ RC/2G·1·1，b2 ∈ RC/2G·1·1。
4）集成（Aggregation）特征，通过通道注意力提取Xk1特征和空间注意力提取Xk2特征之后，融合所提取的特征，得到增强的特征图Xk′=[Xk1′，Xk2′] ∈ RC/G·H·W，采用通道置换操作进行组间通信，最终经过SA注意力机制模块提取的特征与输入的特征有相同的尺寸，以继续后面的网络继续学习。
SA注意机制模块通过引入“注意力”卷积通道强加于残差网络的残差单元结构上，构成轻量高效注意残差单元如图3所示，该图仅展示了卷积层，安全连接层，平均池化层的融合关系。
如图3所示，在原本的残差单元的基础上添加了一条用于学习权值的附加通路，用于对输出特性图进行校正。首先经过平均池化（Avgpooling）来缩小样本的特征图，再经过注意力卷积通道（Aconv），获取特征图，然后经过上采样放大注意特征图，最终得到输入图像的特征图。
1.2 结合轻量高效注意模块的改进残差网络
由于手骨骨骺是一个动态的生长过程并非离散的变化过程，并且各个等级的分类属于细小颗粒相似特征的提取问题，这使得等级的判定有很大的挑战性。为了能更好地使卷积神经网络学习到关键骨骺的局部特征，提高各个骨骺等级评定的准确性，在结合轻量高效注意模块的基础上进一步改进残差网络。改进残差网络是将残差网络ResNet的后两层替换为双池化层，在网络ResNet的最后一个残差块后面分两个支路，一条支路是平均池化，另一条支路是最大池化，然后将这两条支路的通道融合，经过卷积1×1进行降维将数据展平，再经过全连接操作得到识别分类结果。结合高效注意模块就是在改进残差网络的基础上，在残差网络模块融合注意力模块，这种思路可以进一步提取更多细小颗粒骨骺特征信息，结合注意模块的改进残差网络结构图如图4所示。
2 试验分析
2.1 数据集收集与增强
本论文的样本数据是以西安一家三甲儿童医院手骨X图像作为数据集，然后利用网络爬虫等方法得到多张健康左手的图像，以保证各年龄层次样本数据的平均分配。收集了中国未成年儿童左手骨图像，包括男性3 315例（3岁241例、4岁223例、5岁253例、6岁437例、7岁281例、8岁389例、9岁204例、10岁292例、11岁198例、12岁393例、13岁242例、14岁152例、15岁297例、16岁416例），女性2 910例（3岁164例、4岁198例、5岁203例、6岁156例、7岁278例、8岁292例、9岁323例、10岁426例、11岁405例、12岁306例、13岁298例、14岁312例、15岁262例、16岁294例），年龄分布在3～16岁，一共14个组别。所有试验者都是健康、无先天疾病的手骨图像，数据集的分布情况如图5所示。
为了丰富数据集，各个年龄段的数据量分布均衡，为了避免在评定时过度拟合，采用图像旋转的方式扩大了样本的数据量，使得各个年龄段的样本均匀分布以及各个级别的重要骨骺得到较完整的覆盖。本研究基于TW3评估方法评估骨骺发育程度，首先分割X图像的13块关键骨骺区域，这些区域分别为桡骨、尺骨、掌骨Ⅰ、掌骨Ⅲ、掌骨Ⅴ、近指Ⅰ、近指Ⅲ及近指Ⅴ、中指Ⅲ和中指Ⅴ，远指Ⅰ、Ⅲ、Ⅴ[18]，然后将这些骨骺区域进行等级识别，获取等级总分转化为相应的骨龄。为使关键骨骺的等级数量分布均匀，骨骺信息更加清晰，获取更高的准确率，利用图像增强算法，增强骨骺信息的对比度和清晰度，生成的增强图像如图6所示。
2.2 试验环境
本论文以Windows 10为平台，使用 Intel Corei5-9400F CPU和GeForce GTX 1660 Ti两种GPU为核心，使用了基于深度学习的PyTorch框架和Python 3.7。在每一次训练中，将训练样本的数量设定为16，并将初始学习率设定为0.000 1，以防止训练过程中的梯度爆破式训练失败。在程序执行过程中，将训练样本和测试样本按照8：2的比率进行随机分开。
2.3 评价指标
骨龄评估结果是使用一种新的评定方法—平均绝对误差对结果进行分析。依据年龄、性别等因素，对评估结果根据年龄分组。在±1岁误差范围内，将每一个测试样本数据的评估骨龄和真实年龄加以对比，得到评估骨骺年龄的准确率和平均绝对误差值（MAE），其评估表达示为：
（4）
其中：N表示手骨图像数据集的总数；fi表示每个样本的实际年龄；yi表示相对于真实骨龄同一样本的预测骨龄。
2.4 试验结果与分析
为了使骨龄评估网络更好地学习骨骺细颗粒信息，在结合注意机制Shuffee Attention（SA）模块的基础上进行改进残差网络。为了验证改进残差网络的可行性，将改进的ResNet网络、ResNet网络基于TW3方法做对比实验，结果如表1所示。
由表1可知，改进ResNet网络相比于ResNet可以更好地评估性能。在1岁误差范围内，男、女性的平均绝对误差（MAE）分别是0.422 8岁和0.434 1岁，男、女性的准确率分别达到93.82%和93.16%，相比较于残差网络，改进的残差网络明显地提高了骨龄评估的准确率及降低了平均绝对误差。此外，为了验证本文提出的基于改进残差网络的骨龄评估方法的可行性，也就是改进卷积神经网络——改进ResNet相对于其他研究学者提出的骨龄评估方法进行比较，如胡婷鸿等人[12]、占梦军等人[13]、张世杰等人[14]、唐志豪等人[8]，在1岁误差范围内，本文提出的骨龄评估方法取得了更高的准确率和更低的平均绝对误差。
3 结 论
针对提取骨骺细小颗粒特征信息以及提高骨龄评估准确率的问题，本文在ResNet网络中引入轻量高效注意模块SA，并进行双池化融合改进残差网络进行骨龄评估。通过试验结果表明，改进残差网络能有效地提取细颗粒骨骺特征信息，提高了骨龄评估的准确率以及降低平均绝对误差。由于数据集的年龄分布是3～16岁，假设增加0～3岁阶段的数据集，使0～16岁的样本均匀分布，男、女性的准确率、平均绝对误差覆盖更加全面。
参考文献：
[1] 沈继云.基于NTS深度神经网络的青少年骨龄评估方法 [J].数字技术与应用，2022，40（12）：123-128.
[2] 李睿，张世杰，黄奥云，等.基于深度学习的青少年手腕骨骨龄评价 [J].计算机技术与发展，2020，30（1）：124-128+134.
[3] 王林.基于数据模型的骨龄计算及身高预测系统设计与实现 [D].杭州：浙江工业大学，2019.
[4] BIAN Z，ZHANG R. Bone Age Assessment Method Based on Deep Convolutional Neural Network [C]//2018 8th International Conference on Electronics Information and Emergency Communication （ICEIEC）.Beijing：IEEE，2018：194-197.
[5] GARN S M. Radiographic Atlas of Skeletal Development of the Hand and Wrist [J].American Journal of Human Genetics，1959，11（3）：282-283.
[6] BAYER L M. Radiographic Atlas of Skeletal Development of the Hand and Wrist [J].California Medicine，1959，91（1）：53.
[7] MALINA R M，BEUNEN G P. Assessment of Skeletal Maturity and Prediction of Adult Height （TW3 Method） [J].American Journal of Human Biology，2002，14（6）：788-789.
[8] 唐志豪，刘利军，冯旭鹏，等.结合高效通道注意模块的残差网络骨龄评估 [J].光电子·激光，2021，32（3）：331-338.
[9] 占梦军，张世杰，陈虎，等.骨龄自动化评估的研究进展 [J].法医学杂志，2020，36（2）：249-255.
[10] KRIZHEVSKY A，SUTSKEVER I，HINTON G E. ImageNet Classification with Deep Convolutional Neural Networks [C]//Advances in Neural Information Processing Systems 25 （NIPS 2012）.CURRAN ASSOCIATION INC.，2012：1-9.
[11] KRIZHEVSKY A，SUTSKEVER I，HINTON G E. Imagenet Classification with Deep Convolutional Neural Networks [J].Communications of the ACM，2017，60（6）：84-90.
[12] 胡婷鸿，火忠，刘太昂，等.基于深度学习实现维吾尔族青少年左手腕关节骨龄自动化评估 [J].法医学杂志，2018，34（1）：27-32.
[13] 占梦军，张世杰，刘力，等.基于深度学习自动化评估四川汉族青少年左手腕关节骨龄 [J].中国法医学杂志，2019，34（5）：427-432.
[14] 张世杰，李睿，占梦军，等.基于深度学习区域融合的骨龄评价研究 [J].现代计算机，2020（9）：54-59+68.
[15] HE K，ZHANG X，REN S，et al. Deep Residual Learning for Image Recognition [C]//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Las Vegas：IEEE，2016：770-778.
[16] 庞丝丝，黄呈铖.基于卷积神经网络的图像分类研究 [J].现代计算机，2019（23）：40-44.
[17] ZHANG Q L，YANG Y B. SA-NetP： Shuffle Attention for Deep Convolutional Neural Networks [C]//ICASSP 2021—2021 IEEE International Conference on Acoustics， Speech and Signal Processing （ICASSP）.Toronto：IEEE，2021：2235-2239.
[18] 谷静，马瑞齐，朱恒安.基于卷积神经网络的X图像骨龄评估方法 [J].中国医学物理学杂志，2022，39（3）：305-310.
作者简介：马瑞齐（1992—），女，汉族，河南郑州人，助教，硕士，研究方向：图像处理；胡晓丹（1995—），女，汉族，河南商丘人，助教，硕士，研究方向：宽带无线通信；席秀蕾（1995—），女，汉族，河南濮阳人，助教，硕士，研究方向：机器视觉。
