2026.1.13
本文提出了一种名为DUN-SA的深度展开网络，通过将空间配准任务自适应地整合到多模态MRI重建过程中，并引入对齐的跨模态先验，有效解决了模态间错位和传统方法可解释性差的问题，实现了更优的重建性能和对配准误差的鲁棒性。
Title题目
01
Deep unfolding network with spatial alignment for multi-modal MRI reconstruction
用于多模态MRI重建的带空间配准的深度展开网络
文献速递介绍
02
磁共振成像（MRI）因其非侵入性、高分辨率和显著的软组织对比度而广泛应用于医学成像。然而，MRI扫描过程耗时，可能导致患者不适和运动伪影。压缩感知MRI（CS-MRI）通过从欠采样数据重建图像来加速采集。尽管传统CS-MRI方法通过手工设计正则项来约束解决方案空间，但最优正则项难以获得。深度学习方法在MRI重建中表现出色，但多为黑盒过程，缺乏可解释性。深度展开网络通过将优化算法的迭代展开为神经网络，增强了可解释性。大多数深度展开网络关注单模态信息，而多模态MRI因其互补信息在临床中更具价值。然而，现有的多模态MRI重建方法通常假设图像完美对齐，这在实践中很少见，模态间错位会影响重建性能。针对这些限制，本文提出了一个带空间配准的深度展开网络（DUN-SA），该网络将空间配准任务嵌入到重建过程中，提出了一种对齐的跨模态先验项，并设计了相应的优化算法和可解释的网络模块，旨在克服模态间错位问题，同时利用模态间和模态内先验，实现更优的重建效果。
Aastract摘要
02
多模态磁共振成像(MRI)提供了互补的诊断信息，但有些模态受限于扫描时间过长。为了加速整个采集过程，利用另一个全采样参考模态从高度欠采样的k空间数据重建目标模态的MRI是一种高效的解决方案。然而，临床实践中常见的模态间错位会负面影响重建质量。现有基于深度学习的考虑模态间错位的方法表现更好，但仍存在两个主要限制：1) 空间配准任务未能与重建过程自适应集成，导致两任务间互补性不足；2) 整个框架可解释性弱。本文构建了一种新颖的带空间配准的深度展开网络(DUN-SA)，将空间配准任务适当地嵌入到重建过程中。具体来说，我们推导了一个新的联合配准-重建模型，并设计了特殊的对齐跨模态先验项。通过将模型分解为跨模态空间配准和多模态重建任务，我们提出了一种有效的算法来交替求解该模型。然后，我们展开了所提算法的迭代阶段，并设计了相应的网络模块来构建具有可解释性的DUN-SA。通过端到端训练，我们仅使用重建损失有效补偿了空间错位，并利用渐进式对齐的参考模态提供跨模态先验以改善目标模态的重建。在四个真实数据集上的综合实验表明，我们的方法相比最先进的方法具有卓越的重建性能。
Method方法
03
本文提出了一个用于多模态MRI重建的联合配准-重建模型。首先，定义了MRI图像的欠采样信号表示，并在此基础上引入了经典压缩感知MRI和多模态MRI重建的能量函数。为了解决模态间的空间错位问题，最终的能量函数被定义为包含空间位移场参数和对齐跨模态先验项的联合优化问题。该模型通过可微分的扭曲操作实现对参考模态图像的对齐。为了有效求解此模型，将其分解为跨模态空间配准任务和多模态重建任务，并采用交替优化策略。空间配准任务通过梯度下降算法更新位移场；图像重建任务则通过引入辅助变量z和s，利用半二次分裂（HQS）算法解决，该算法将原问题分解为三个子问题：更新z（学习跨模态先验）、更新s（学习模态内先验）和更新x（执行数据一致性约束）。接着，本文将这些迭代步骤展开为一个深度展开网络DUN-SA，其中包含空间配准模块（SAM）和重建模块（RM）。SAM负责优化位移场，RM包含对齐跨模态先验学习模块（AIPLB）、去噪模块（DB）和数据一致性模块（DCB），分别学习跨模态先验、模态内去噪先验和细化重建结果。SAM使用U-Net作为SA-Net骨干网络预测位移场的更新，而AIPLB和DB则分别使用ProxNetZ和ProxNetS（均为U-Net变体）替代传统优化中的近端算子，并通过残差连接预测输出。整个网络通过端到端训练，利用SSIM损失函数进行优化，以确保模型的可解释性和性能。
Discussion讨论
04
本节首先比较了DUN-SA与其他方法在训练过程中的收敛性能，结果显示DUN-SA在整个训练过程中始终保持更高的PSNR和SSIM值以及更低的MAE，证明其收敛性能更优。其次，研究了DUN-SA在不同程度模态间错位下的性能表现，发现随着错位程度增加，DUN-SA的性能下降速度慢于SAN，表明其对空间错位具有更强的鲁棒性。在空间配准性能比较中，DUN-SA不仅实现了全局对齐，还保留了局部结构，优于传统方法和SAN，尤其是在高加速因子下，SAN逐渐无法有效对齐，而DUN-SA受影响最小。此外，实验评估了DUN-SA在参考数据不完善场景下的适应性，即使参考模态欠采样，DUN-SA也表现出优越性能，并始终优于其他多模态重建方法，验证了其对参考数据质量变化的适应性。消融研究表明，最优迭代次数为12，并且每个关键组件（多模态辅助、空间配准、去噪块）对于提升重建性能都是必要的。模型验证通过可视化中间结果，直观地展示了空间配准任务和重建任务之间的相互促进作用，提升了网络的透明度。最后，对模型复杂度进行分析，指出DUN-SA虽然复杂度居中，但考虑到其综合重建性能，具有良好的性价比。
Conclusion结论
05
本文提出了一种新颖的用于多模态MRI重建的联合配准-重建模型。通过开发对齐的跨模态先验项，将空间配准任务整合到重建过程中。为此，我们设计了一种优化算法来求解该模型，并进一步将每个迭代阶段展开为相应的网络模块，从而构建了一个具有可解释性的深度展开网络，命名为DUN-SA。通过端到端训练，我们充分利用了模态内和模态间先验信息。在四个真实数据集上进行的全面实验表明，所提出的DUN-SA在定量和定性评估方面均优于当前最先进的方法。此外，我们验证了DUN-SA对模态间错位具有相对较强的鲁棒性，即使加速因子增加，对空间配准的影响也微乎其微。
Results结果
06
本文在fastMRI、IXI、In-house和BraTS 2018四个真实数据集上进行了综合实验，验证了所提出的DUN-SA方法的优越性能。实验结果表明，在不同欠采样率（4倍和8倍加速）和采样模式（等距和随机一维欠采样掩模）下，DUN-SA在PSNR、SSIM和MAE等定量指标上均优于单模态和现有的多模态重建方法。尤其是在8倍加速下，多模态方法相比单模态方法展现出显著改进，而引入空间配准进一步提升了这些指标。定性结果（可视化图像和误差图）显示，DUN-SA重建的图像具有最少的伪影和重建差异，能恢复其他方法未能捕捉到的精细纹理细节，并且在肿瘤图像重建中表现出更精确和清晰的边缘细节。此外，DUN-SA在训练过程中展现出更优的收敛性能，对不同程度的模态间错位表现出更强的鲁棒性，性能下降速度慢于其他考虑错位的方法。即使在参考数据不完善（部分或全部欠采样）的场景下，DUN-SA仍能保持领先的重建质量，证明了其良好的泛化能力和适应性。
Figure图
07
图1. 所提出的带空间配准的深度展开网络（DUN-SA）的整体结构，由SAM（空间配准模块）和RM（重建模块）组成。RM由AIPLB（对齐跨模态先验学习块）、DB（去噪块）和DCB（数据一致性块）构成。SAM用于解决空间配准任务，而RM用于重建任务。具体来说，AIPLB用于学习对齐的跨模态先验，DB用于学习去噪先验，DCB用于强制执行数据一致性约束。
图2. 空间配准模块（SAM）的架构。
图3. SA-Net、ProxNetZ和ProxNetS的详细配置。
图4. 在fastMRI数据集上，1D等距欠采样掩模下4倍加速的代表性方法视觉比较。第一行：不同方法重建的图像；第二行：感兴趣区域的放大视图；第三行：4倍加速的等距掩模和不同方法的误差图。
图5. 在IXI数据集上，1D等距欠采样掩模下8倍加速的代表性方法视觉比较。第一行：不同方法重建的图像；第二行：感兴趣区域的放大视图；第三行：8倍加速的等距掩模和不同方法的误差图。
图6. 在In-house数据集上，1D等距欠采样掩模下8倍加速的代表性方法视觉比较。第一行：不同方法重建的图像；第二行：感兴趣区域的放大视图；第三行：8倍加速的等距掩模和不同方法的误差图。
图7. 在BraTs 2018数据集上，1D随机欠采样掩模下8倍加速的代表性方法视觉比较。第一行：不同方法重建的图像；第二行：感兴趣区域的放大视图；第三行：8倍加速的随机掩模和不同方法的误差图。
图8. 在fastMRI数据集上，4倍加速和等距掩模下，不同模型的学习轨迹比较。
图9. 在不同程度模拟空间错位下，fastMRI数据集上多模态MRI重建的定量比较。左侧y轴表示重建性能（“DUN-SA”、“SAN”、“单模态SAN”和“单模态DUN-SA”），而右侧y轴表示“DUN-SA”和“SAN”之间的“差异”。
图10. 空间配准在fastMRI数据集上的效果可视化。(a)显示了原始全采样T1图像。(b)表示通过传统方法将欠采样T2图像与全采样T1图像对齐的结果。(c)描绘了将传统空间配准与重建集成进行联合优化的结果。(d)显示了DUN-SA的结果。细节显示在第一行：对齐T1图像的放大视图，以及第三行：棋盘格可视化图的放大视图。
11. 空间配准对In-house数据集效果的可视化。(a)、(b)分别表示全采样的T2加权图像和全采样的T1加权图像。(c)、(e)和(g)描绘了使用SAN在不同加速因子下对齐的T1加权图像，而(d)、(f)和(h)显示了使用DUN-SA在不同加速因子下对齐的T1加权图像。第二行使用网格以便观察上述每个图像的空间位置，第三行展示了放大视图。第四行采用棋盘格可视化展示T2加权图像与T1加权图像/对齐T1加权图像之间的错位，最后一行放大相应区域以更清晰地显示细节。
图12. fastMRI、IXI、In-house和BraTs数据集上，不同阶段数k的PSNR和SSIM曲线。
图13. 在fastMRI数据集上，8倍加速和1D等距欠采样掩模下，各组件效果的视觉比较。第一行：不同方法重建的图像；第二行：感兴趣区域的放大视图；第三行：8倍加速的等距掩模和不同方法的误差图。
图14. 阶段t的中间结果可视化：地面真实xgt，重建图像xt，扭曲参考图像T(xref,Ï•t)表示为xreft，跨模态先验zt，以及模态内先验st。
 极简配置指南：从劝退到顺手)
