摘" 要：磁共振成像技术具有高分辨率、无辐射性、能够获取多参数信息等优点，已经广泛应用于临床诊断与治疗。但MRI主要的缺点就是成像速度慢，这限制了其进一步的发展。文章研究了传统的MRI重建方法，对基于深度学习的有监督和无监督MRI重建方法进行了总结和归纳，并对网络结果进行了分析和可视化展示。最后探讨了未来实现MRI图像重建的研究难点。
关键词：磁共振成像；深度学习；图像重建；物理模型；端到端
中图分类号：TP391.4；TP18 文献标识码：A 文章编号：2096-4706（2024）11-0062-07
Research Review of MRI Image Reconstruction Based on Deep Learning
ZHU Junlin， LI Siyi， HUANG Min
（South-Central Minzu University， Wuhan" 430074， China）
Abstract： Magnetic Resonance Imaging technology has been widely used in clinical diagnosis and treatments， due to its advantages of high resolution， non-radiation， and the ability to acquire multi-parameter information. However， the main drawback of MRI is the slow imaging speed， which limits its further development. This paper studies the traditional MRI reconstruction methods， summarizes and categorizes supervised and unsupervised MRI reconstruction methods based on Deep Learning， and analyzes and displays the visualization of the network results. Finally it discusses the future research difficulties to achieve MRI image reconstruction.
Keywords： MRI; Deep Learning; image reconstruction; physical model; end-to-end
0" 引" 言
磁共振成像（Magnetic Resonance Imaging， MRI）[1]
具有软组织分辨率高且不存在任何放射性危害等优点，是目前临床上最常用的疾病诊断手段。但磁共振成像最主要的缺点就是成像速度慢，主要受到扫描和重建两个方面的影响。扫描时间过长容易导致动态模糊和不准确，而且对不耐受长时间扫描的患者构成挑战，这限制MRI成像技术的应用范围。
传统的并行成像技术[2]和压缩感知技术[3]在MRI图像重建研究领域取得了一定的成果。两者采用了不同的扫描方法和重建方式，都能在一定程度上加速MRI成像，但都最终没能解决快速重建出高质量MRI图像的问题。
随着深度学习的发展，其在医学图像重建中展现出了巨大的潜力。基于深度学习的方法实现MRI图像重建的优点在于，不需要复杂的数学模型和手动设计特征，能够实现从原始数据直接生成高质量的MRI图像。
本文首先简单介绍了传统的MRI重建方法，然后研究并分析了基于深度学习的有监督和无监督网络，随后对部分网络的可视化结果进行了展示，最后总结了深度学习的研究难点和发展前景。
1" 传统的MRI重建方法
1.1" 并行成像技术
并行成像技术广泛应用于临床磁共振扫描，通过利用相控阵线圈中不同接受线圈单元之间的空间敏感差异实现空间信息编码，然后再利用编码的空间信息重建图像，使用并行成像技术能够实现至少两倍的采样加速。
由于每个线圈在空间中的位置不同，且都是独立的接受射频信号，所以线圈的敏感度在空间上也不相同，通常是线圈最靠近部位的灵敏度最高，因此得到的图像都是不均匀的，在视觉上呈现亮暗的区别，如图1所示，展示了一个头部8通道线圈的示意图。
由于并行成像得到的数据是欠采的，因此需要设定特定的重建算法，处理欠采样的K空间数据，重建出全FOV无伪影的图像。随着并行成像技术的逐步发展，实现PI技术的算法逐渐分为基于K空间域和基于图像域两大类。
GRAPPA [4]就是典型的基于K空间域PI技术，通过使用辅助数据来估计并存储线圈元素之间的灵敏度信息，然后利用灵敏度信息对缺失的采样点进行估计，获得完整的K空间数据。最后，对K空间数据进行傅里叶逆变换，得到全FOV图像，GRAPPA成像过程如图2所示。
SENSE [5]则是实现图像域PI技术的常用算法，通过将多线圈采集的K空间数据经过傅里叶逆变换，得到有伪影的图像，然后利用线圈的灵敏度信息，对有伪影的图像进行展开，最后得到全FOV图像，SENSE的成像过程如图3所示。
然而在实际的临床应用中，并行成像技术依旧存在当加速倍速较高时成像系统产生的不稳定噪声导致错误的灵敏度信息的情况，影响最终的成像质量。因此，在实际临床使用中，多数情况下会限制并行成像的加速倍数在较低范围内。
1.2" 压缩感知技术
压缩感知技术是另一种常用的实现快速MRI的方法。通过利用压缩感知技术进行采样和压缩，得到MRI欠采样的K空间数据，再根据重建算法实现图像重建，压缩感知成像重建框架如图4所示。
当前常用的重建算法主要包括三种：
1）利用贪心算法逐步接近目标的局部最优解。
2）非凸优化算法直接求解非凸问题。
3）将非凸问题转化为凸优化近似求解的凸优化算法。
这三种方法各有其优缺点，贪心算法容易陷入局部最优解，非凸优化算法求解过程复杂、耗时，可能存在多个局部最优解，而凸优化算法则存在计算效率较低的问题。
2" 基于有监督学习网络的MRI重建方法
近年来，深度学习在计算机视觉领域取得许多显著的成果。许多基于深度学习的图像重建方法在重建图像质量和计算效率方面具有明显优势，有时甚至超过传统的重建方法。2016年，Wang等[6]首次提出将深度学习用于快速磁共振重建中，使用卷积神经网络学习欠采样图像与全采样图像之间的映射关系。对于磁共振数据，通常具有两种表现形式：频域数（K空间数据）和空域数据（图像域数据）。因此使用深度学习进行重建通常有两种方式：频域重建和空域重建，其基本结构分别如图5所示。
目前使用深度学习框架实现磁共振图像重建的方法大致分为两类：基于数据驱动的端到端深度学习重建方法（端到端映射），和基于核磁物理成像原理的深度学习重建方法（基于模型展开）[7]。
2.1" 基于端到端映射
“端到端映射”是直接从任务的输入映射到输出，该方法不需要人为设定中间的处理步骤和特征。在MRI重建领域，“端到端映射”方法通过使用大量的数据集，实现从欠采样数据到全采样数据、欠采样数据到重建图像以及从零填充的伪影图到重建图像之间的直接非线性映射关系。2017年，Schlemper等人[8]提出了一种基于卷积神经网络的深度级联网络，实现了从欠采样数据中重建出心脏MRI图像的动态序列。
在端到端的方法中，全卷积神经网络U-Net是经典的重建方法。Jin等[9]首次提出将U-Net模型用于MRI重建，其整体结构如图6所示。U-Net由对称的编码器和解码器组成。编码器部分由一系列卷积层和池化层组成。输入数据经过卷积层后实现特征提取，经过池化层后尺寸缩小一半，得到不同大小的特征图，获取更深层的特征。解码器部分则由一系列上采样层和卷积层组成，上采样层用于逐步恢复特征图的尺寸，并且将上采样与下采样部分特征图大小相同的图像进行融合，以保留更多的细节信息。网络的输入与输出之间进行跳跃连接，既能自动学习输入与输出之间的差距，又能有效地缓解梯度消失问题。
然而简单的U-Net网络重建的效果并不好，因此Hyun等人[10]在U-Net网络的基础上进行改进，通过对网络输出数据添加少量低频K空间数据，解决了由于图像折叠导致的伪影。然而在上述方法中均是从图像域重建图MRI图像，往往存在编码器的信息在解码器中特征提取的不够充分。因此Seo等人[11]提出了一种双域重建网络，该网络使用两个编码器，一个编码器提取图像域特征，一个提取K空间域特征，然后使用Gabor滤波器结合两种特征，再进行解码得到重建图像。Liu [12]等人则提出了另一种双域重建网络KV-Net。该网络由多个KV块级联构成，KV中的K-Net和V-Net并行训练，输出通过数据一致性进行融合，经过多次迭代后得到重建图像。Wang等人[13]利用Transformer模型的泛化能力，将其扩展到磁共振重建领域，并提出了融合Transformer的双域交叉MRI重建网络。该网络能够有效捕捉独特特征，显著地提升了重建图像的质量。
2.2" 基于物理模型展开
“基于模型展开”方法则是通过将传统的基于CS-MRI模型的迭代求解与深度学习相结合，每个迭代步骤与一个网络模块相对应，迭代次数则与网络的层数对应。为了使得深度网络具有可解释性，网络的超参数与模型参数对应。2016年，Yang等[14]提出ADMM-Net网络，该模型将传统的交替方向乘子算法（ADMM）展开成深度网络，利用卷积神经网络学习原来优化模型中的各种参数，其中网络结构的每个阶段与ADMM算法的迭代步骤一一对应。这也是首次实现传统算法与深度学习的结合，既解决了ADMM算法计算缓慢的问题，又为加速MRI提供了新思路，其整体网络结构如图7所示。
ADMM-Net网络主要包含四个模块，其中X、C、Z和M分别实现重建、卷积、非线性变换和乘子更新，与ADMM算法一一对应。在ADMM-Net中，模块X类似于解码器，接收输入数据或特征，并将其重建为原始数据形式或近似形式。模块C为卷积操作，对输入数据进行特征提取。模块Z通过对卷积模块提取的特征进行非线性变换，以提取更丰富的信息，增强特征的表达能力。模块M根据网络的训练过程和优化目标对网络的参数和权重进行更新，逐步更新网络的性能和稳定性。通过这些模块的协同作用，网络可以更有效地学习和表示输入数据的特征，从而提高模型的性能和泛化能力。
ISTA-Net+网络通过将ISTA算法更新步骤映射为由固定数量组成的深层网络结构，实现了MRI图像重建，网络的数量与ISTA的迭代次数相对应。其中ISTA算法直接使用梯度下降法优化数据保真项，正则化项使用近端算子梯度优化。Zhang等人[15]的ISTA-Net+网络结构如图8所示，输入的图像经过3次卷积核为32的卷积操作后，对其进行软阈值操作实现非线性增强，再进行3次卷积操作，所有卷积核的大小均为3×3，输入和输出之间进行了残差连接，使得保留更多的细节信息，提高了重建的准确性。
此外，Liu等人[16]提出了IFR-Net网络，该网络以迭代特征细化为基础模型，通过将迭代过程展开到监督模型网络，实现了优秀的图像细节获取能力。Qiao等人[17]提出一种具有增强型深度学习正则化的基于模型的神经网络（MEDL-Net），该网络包含几个不同的子模块，通过级联组成的子模块模拟传统MRI重建算法的优化步骤，通过在公开数据集上对网络进行评估，证明了网络的可行性。
3" 基于无监督学习网络的MRI重建方法
基于有监督的MRI重建方法均依赖于金标准进行学习，而且这种深度学习方法通常在训练过程中需要大量成对数据，然而在实际应用中获取大量带金标准的数据通常较为困难，有时甚至不能获取。因此，实现不需要金标准数据就能重建出高质量MRI图像的深度学习方法，是当前加快MRI成像的新途径。
Tezcan等人[18]利用一种深度密度先验的方法，使用变分自编码器学习全采样的MRI图像的概率分布，该方法在训练过程中不需要金标准数据，在多线圈数据上也能重建出准确的相位结果。Zhang等人[19]提出了一种MEDMSP方法，通过将多模型聚合和多通道网络学习相结合，对原始DMSP进行扩展，形成了高维嵌入网络派生的先验，解决了高倍速下欠采图像的重建问题。Song等人[20]提出一种分数匹配扩散模型，首先训练一个基于分数的生成模型，再通过引用采样方法重建与先验和观察到的测量结果一致的图像。无监督深度学习技术的发展为缺乏带标签数据对的场景带来了新的可能性，为MRI重建领域的研究和应用开辟了新的方向。
生成对抗网络（Generative Adversarial Network， GAN）[21]是无监督学习方法中常用的经典模型。Radford等人[22]设计和实现了一种深度神经网络（DNN）与生成对抗网络（GAN）相结合的RDCGAN网络，该方法不仅能够提取到更多的特征，而且具有较好的泛化能力。Yang等人[23]提出了一种基于条件生成对抗网络模型（DAGAN）实现重建CS-MRI。在DAGAN网络中，网络的生成器使用U-Net实现，通过端到端的网络减少图像的混叠伪影。鉴别器则由卷积神经网络构成，其主要作用是将网络重建结果和金标准图像区分，实现分类任务。并且在网络中使用VGG网络计算感知损失，DAGAN网络的整体结构如图9所示。
自监督学习不同于有监督和无监督学习，能够通过网络的互相学习直接在数据上构建监督信号，可以实现自己给自己进行监督，因此自监督属于一种特殊的无监督方式。Yaman等[24]提出了一种基于自监督训练的磁共振重建方法，并在公开的fastMRI数据集以及无金标准的欠采样脑部数据集上进行实验，验证了该方法的有效性。Hu等人[25]提出了如图10所示的并行自监督基本框架，其中网络1和网络2具有相同的结构；输入数据1和输入数据2使用不同的采样掩膜获取，包含了数据集的所有信息。
随后Wu等人[26]提出一种新颖的基于深度学习的自监督3D重建技术，通过与一个全面的前向模型结合来呈现复杂的图像退化过程，并且使用一个参数不足的深度解码器结构，减少网络由于切片错位和运动造成的图像伪影。
总之，有监督方法需要标记的训练数据，通常需要成对的数据，通过学习映射函数实现MRI图像重建。无监督方法则是基于物理模型的方法，通过自编码器或生成对抗网络来学习数据分布，然后生成高质量的图像。有监督方法在训练过程中通常具有更好的性能，但需要大量金标准，而无监督方法则更灵活，但可能在图像质量和准确性上略逊一筹。
4" 可视化结果
根据图10所示的网络框架，实现了文献[25]中的网络结构，并以U-Net和ISTA-Net+为基本框架进行了网络训练。其中使用的网络分别为有监督的U-Net、自监督U-Net（Self-UNet）、卷积核为32的自监督ISTA-Net+（Self-ISTA+32）、卷积核为64的自监督ISTA-Net+（Self-ISTA+64）。网络训练使用的数据集为fastMRI数据集。
表1为加速因子（RF）分别为2、4、6、8时网络的测试结果。由表可知Self-UNet重建的各项指标最低，这表明端到端的模型结构并不适用自监督网络实现特征提取，基于模型的重建方法更有优势。而且使用基于模型重建方法的整体重建结果的评价指标都优于有监督网络，其中Self-ISTA+64的重建效果最好。随着加速倍速的增大，MRI重建结果的评价指标逐渐下降，但对于Self-ISTA+64，在8倍加速下依旧能保持较高的数值。
图11、12为U-Net、Self-UNet、Self-ISTA+32、Self-ISTA+64网络在fastMRI膝关节数据集上的重建结果及其误差图。由误差图可知，在各个加速下，Self-ISTA+64的误差图颜色最暗，误差最小，这表明Self-ISTA+64的重建结果与真实图像最接近，重建效果最好。由图12可知，在6、8倍高加速倍速下，Self-ISTA+64网络重建的结果视觉观测差距不大，并且都能够较好的重建出整体结构信息，这与表1结果一致。
由实验可知，自监督学习在MRI图像重建方面取得了良好的成果，具有较强的泛化能力和实际应用价值。使用自监督学习策略，克服了传统方法在高倍加速下重建质量受限的问题，为MRI图像重建领域提供了新的思路和解决方案。
5" 结" 论
利用深度学习的方法实现MRI图像重建取得了良好的成果，并且具有较强的泛化能力和实际应用价值。本文简单分析了传统的MRI重建方法，然后针对深度学习两大类方法进行研究与分析：有监督和无监督网络。两者皆能实现图像的细节恢复，并且预测出高质量的重建图像，加速MRI成像。但有监督网络重建过程依赖于金标准图像，然而在实际的临床应用中，并不是所有的部位都能获得全采样数据；无监督网络缺乏标签数据使得模型性能的评估和优化变得更加困难，更容易受到数据分布的影响，训练过程可能不稳定，需要更多的技巧和调整。总的来说，利用深度学习网络实现MRI图像重建，在达到加速扫描的同时实现快速重建，能够更有效地提升MRI在临床应用中的效果和价值。
参考文献：
[1] EDELMAN R R，WARACH S. Magnetic Resonance Imaging [J].New England Journal of Medicine，1993，328（11）：785-791.
[2] PRUESSMANN K P. Encoding and Reconstruction in Parallel MRI [J].NMR in Biomedicine： An International Journal Devoted to the Development and Application of Magnetic Resonance in Vivo，2006，19（3）：288-299.
[3] LUSTIG M，DONOHO D L，SANTOS J M，et al. Compressed Sensing MRI [J].IEEE Signal Processing Magazine，2008，25（2）：72-82.
[4] GRISWOLD M A，JAKOB P M，HEIDEMANN R M，et al. Generalized Autocalibrating Partially Parallel Acquisitions （GRAPPA） [J].Magnetic Resonance in Medicine： An Official Journal of the International Society for Magnetic Resonance in Medicine，2002，47（6）：1202-1210.
[5] PRUESSMANN K P，WEIGER M，SCHEIDEGGER M B，et al. SENSE： Sensitivity Encoding for Fast MRI [J].Magnetic Resonance in Medicine： An Official Journal of the International Society for Magnetic Resonance in Medicine，1999，42（5）：952-962.
[6] WANG S S，SU Z H，YING L，et al. Accelerating Magnetic Resonance Imaging Via Deep Learning [C]//2016 IEEE 13th International Symposium on Biomedical Imaging （ISBI）.Prague：IEEE，2016：514-517.
[7] PAL A ，RATHI Y. A Review and Experimental Evaluation of Deep Learning Methods for MRI Reconstruction [J/OL].arXiv：2109.08618 [eess.IV].（2021-09-17）.https：//arxiv.org/abs/2109.08618.
[8] SCHLEMPER J，CABALLERO J，HAJNAL J，et al. A Deep Cascade of Convolutional Neural Networks for Dynamic MR Image Reconstruction [J].IEEE Transactions on Medical Imaging，2018，37（2）：491-503.
[9] JIN K H，MCCANN M T，FROUSTEY E，et al. Deep Convolutional Neural Network for Inverse Problems in Imaging [J].IEEE Transactions on Image Processing，2017，26（9）：4509-4522.
[10] HYUN C M，KIM H P，LEE S M，et al. Deep Learning for Undersampled MRI Reconstruction [J].Physics in Medicine amp; Biology，2018，63（13）：1-15.
[11] SEO H，SHIN K M，KYUNG Y. A Dual Domain Network for MRI Reconstruction Using Gabor Loss [C]//2021 IEEE International Conference on Image Processing （ICIP）.Anchorage：IEEE，2021：146-149.
[12] LIU X H，PANG Y W，JIN R Q，et al. Dual-domain Reconstruction Networks with V-Net and K-Net for Fast MRI" [J/OL].arXiv：2203.05725 [eess.IV].（2022-03-11）.https：//arxiv.org/abs/2203.05725.
[13] WANG B，LIAN Y，XIONG X，et al. DCT-net： Dual-domain Cross-fusion Transformer Network for MRI Reconstruction [J].Magnetic Resonance Imaging，2024，107：69-79.
[14] YANG Y，SUN J，LI H B，et al. Deep ADMM-Net for Compressive Sensing MRI [C]//NIPS16： Proceedings of the 30th International Conference on Neural Information Processing Systems.Barcelona：Curran Associates Inc，2016：10-18.
[15] Zhang J，Ghanem B. ISTA-Net： Interpretable Optimization-inspired Deep Network for Image Compressive Sensing [C]//2018 IEEE/CVF conference on Computer Vision and Pattern Recognition.Salt Lake City：IEEE，2018：1828-1837.
[16] LIU Y L，LIU Q G，ZHANG M H，et al. IFR-Net： Iterative Feature Refinement Network for Compressed Sensing MRI [J].IEEE Transactions on Computational Imaging，2019，6：434-446.
[17] QIAO X Y，HUANG Y P，LI W S. MEDL-Net： A Model-based Neural Network for MRI Reconstruction with Enhanced Deep Learned Regularizers [J].Magnetic Resonance in Medicine，2023，89（5）：2062-2075.
[18] Tezcan K C，Baumgartner C F，Luechinger R，et al. MR Image Reconstruction Using Deep Density Priors [J/OL].arXiv：1711.11386 [cs.CV].（2017-11-30）.https：//arxiv.org/abs/1711.11386v4.
[19] ZHANG M H，LI M T，ZHOU J J，et al. High-dimensional Embedding Network Derived Prior for Compressive Sensing MRI Reconstruction [J].Medical Image Analysis，2020，64：101717.
[20] SONG Y，SHEN L Y，XING L，et al. Solving Inverse Problems in Medical Imaging with Score-based Generative Models [J/OL].arXiv：2111.08005 [eess.IV].（2021-11-15）.https：//arxiv.org/abs/2111.08005.
[21] GOODFELLOW I，POUGET-ABADIE J，MIRZA M，et al. Generative Adversarial Networks [J].Communications of the ACM，2020，63（11）：139-144.
[22] RADFORD A，METZ L，CHINTALA S. Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks [J/OL].arXiv：1511.06434 [cs.LG].（2015-11-19）.https：//arxiv.org/abs/1511.06434v1.
[23] YANG G，YU S M，DONG H，et al. DAGAN： Deep De-aliasing Generative Adversarial Networks for Fast Compressed Sensing MRI Reconstruction [J].IEEE transactions on medical imaging，2018，37（6）：1310-1321.
[24] YAMAN B ，HOSSEINI S A H ，MOELLER S，et al. Self-supervised Physics-Based Deep Learning MRI Reconstruction without Fully-sampled Data [C]//2020 IEEE 17th International Symposium on Biomedical Imaging （ISBI）.Iowa City：IEEE，2020：921-925.
[25] HU C，LI C，WANG H F，et al. Self-supervised Learning for MRI Reconstruction with a Parallel Network Training Framework [C]//Medical Image Computing and Computer Assisted Intervention-MICCAI 2021.Strasbourg：Springer，2021：382-391.
[26] WU J J，CHEN L X，LI Z H，et al. ASSURED： A Self-supervised Deep Decoder Network for Fetus Brain MRI Reconstruction [C]//2023 IEEE 20th International Symposium on Biomedical Imaging （ISBI）.Cartagena：IEEE，2023：1-5.
作者简介：朱俊琳（1999—），女，土家族，湖北利川人，硕士研究生在读，研究方向：医学成像与图像处理；通讯作者：黄敏（1972—），女，汉族，四川资中人，副教授，博士，研究方向：医学成像与图像处理。
收稿日期：2024-05-10
基金项目：中央高校基本科研业务费专项资金资助项目（CZZ21006）
