2024年MIA最新生成综述：基于深度学习的MRI/CT/PET合成【文献阅读】

基本信息

标题：Deep learning based synthesis of MRI, CT and PET: Review and analysis
发表年份: 2024
期刊/会议: Medical Image Analysis
分区： SCI 1区
IF：10.8
作者: Sanuwani Dayarathna(既是一作又是通讯)
单位：澳大利亚莫纳什大学
DOI：https://doi.org/10.1016/j.media.2023.103046
开源代码：无

摘要: 由于复杂且非线性的域映射，两种图像模态之间的转换存在困难。与传统图像合成方法相比，基于深度学习的生成建模在合成图像对比应用中表现出更好的性能。本调查全面回顾了2018年至2023年期间基于深度学习的医学图像转换在伪CT（pseudo-CT）、合成MR（synthetic MR）和合成PET（synthetic PET）方面的研究。我们概述了最常用的用于医学图像合成的深度学习网络。此外，我们对每种合成方法进行了详细分析，重点关注它们基于输入域和网络架构的多样化模型设计。我们还分析了从传统CNN到最近的Transformer和Diffusion模型等新颖网络架构。该分析包括比较损失函数、可用数据集和解剖区域，以及图像质量评估和其他下游任务中的性能。最后，我们讨论了文献中存在的挑战，并提出了可能的未来方向。我们希望本调查论文所提供的见解将为医学图像合成领域的研究人员提供宝贵的路线图。

章节速览

Introduction
- 介绍医学图像合成的意义与挑战
- 介绍综述检索条件设置
- 文章组织架构
Background
- 医学图像转换的架构背景
- 医学图像合成背景
基于深度学习的图像合成方法概览
- 合成CT
- 合成 MR
- 合成PET
网络分析
- 4.1 网络模型
  - 4.1.1 CNN
  - 4.1.2 VAEs
  - 4.1.3 U-Nets
  - 4.1.4 GAN
  - 4.1.5 Transformer
  - 4.1.6 Denoising diffusion models
  - 4.1.7 Model training
- 4.2 loss function
  - 4.2.1 扩展 L1 and L2 loss
  - 4.2.2 平均P距离和梯度一致性 loss
  - 4.2.3 Perceptual loss
  - 4.2.4 结构相似性 loss
  - 4.2.5 Identical loss
  - 4.2.6 注意力加权 loss
公开数据概览
性能评估
- 图像相关 metrics
- 下游任务 metrics
Discussion
Conclusion

Introduction

本文的动机和贡献：由于先进深度学习框架的迅速发展，医学图像合成在最近的文献中取得了有希望的结果。这些方法允许在不同的成像模态之间进行准确的转换，并合成出临床上有用的结果。

受到这个快速发展的领域的启发，本文对基于深度学习方法在跨模态医学图像合成中的应用进行了全面的研究，提供了文献的参考和分析。图1简要介绍了文献中基于深度学习的医学图像合成网络的时间序列。本综述的主要贡献如下：

本综述全面回顾了跨模态医学图像合成方法，分析了网络结构、损失函数、性能，并概述了数据可用性。
本综述进一步识别了当前方法中的挑战和限制，并讨论了医学图像合成的可能未来发展方向。

从这个图里面我们可以看出技术发展的一个路线和时间

做综述，查文献如何检索论文？我们可以学习下论文里的方法

检索条件：我们使用 Scopus 和 PubMed 数据库进行文献搜索，查找从2018年至2023年7月发表的相关文章，搜索词为（“synth *” OR “pseudo” OR “translat *”）AND “deep learning” AND（“medical imag *” OR “CT” OR “MRI” OR “MR” OR “PET” OR “low dose” OR “low count” OR “low field”），在标题、摘要或关键字中进行搜索。

还使用 Google Scholar 识别可能的遗漏，并排除综述文章。我们首先筛选标题和摘要，考虑包括同行评议的期刊和会议论文等纳入标准，并排除与图像超分辨率和重建等不相关的主题。

经过全文审阅和交叉参考，共包括173篇文章。图2说明了文献综述搜索流程中所遵循的方法论过程。

我们按照论文给的这个关键词，去Pubmed检索出了189篇文献，如果去掉综述性文章，就跟论文检索出来的结果差不多

Background

2.1 医学图像转换的架构背景

U-Nets

我们都知道UNet是分割网络，它同样可以用于图像合成。损失函数可以使用平均绝对误差（MAE）或均方误差（MSE）进行计算。这些损失函数衡量合成图像与真实图像在强度值上的差异

生成对抗网络
根据原始GAN架构，已经开发了各种针对特定生成任务的GAN网络。深度卷积GAN（DCGAN）通过将GAN与CNN集成在一起，使得该架构更适合图像生成。

条件生成对抗网络（cGAN）常用于医学图像合成，通过向目标函数添加约束来增强模型的可控性，该约束可以是另一种模态下的标记数据甚至是图像。

CycleGAN使用两个生成器和判别器模型，在没有成对图像的情况下，在两个领域（A和B）之间进行图像转换。

Vision transformers
基于Transformer的架构因其能够把握全局图像上下文的能力而受到广泛关注。其中最重要的模型是Vision Transformers（ViT）

在ViTs中，图像被划分为非重叠的图像块序列。这些块通过编码器进行处理，然后经过特定任务的解码器模块。重要的是，在图像块之外，相关的位置信息也被整合到编码器块中。该块由多头自注意力（MHSA）、归一化和多层感知器（MLP）层组成，

如图6所示。通过MHSA层，为嵌入的图像标记生成注意力图，从而使网络能够有选择地优先处理图像中最显著的区域。

Denoising diffusion probabilistic models
噪声扩散概率模型（DDPMs）是 2020 年首次提出的一种新颖方法，它表现出优秀的建模生成过程的能力。

如图7所示，DDPMs是一个参数化的马尔可夫链，通过在有限的时间步骤T内逐渐将纯噪声映射到真实数据进行训练。

2.2 医学图像合成背景

医学图像合成方法涵盖了多种模态，包括伪造CT或合成CT、PET和MR。这些方法可以根据它们的应用来进行分类，如在不同模态之间进行图像转换，或者在同一模态的两种不同对比度之间进行转换。

图8展示了合成MR、PET和CT模态的示例，并突出了它们的基本特征。

常见的图像合成应用包括：

低场MRI合成高场MRI：低场MR提高了扫描速度，但由于磁场强度降低而产生信噪比较低的图像。因此，合成高场MR图像在提高空间分辨率和增强对比度的图像方面非常有价值。
MRI生成合成CT用于放疗计划：标准的MR引导放疗（MRgRT）仍然需要CT图像进行剂量计算。可以从MRI生成合成CT，以描绘骨骼和肌肉的边界。在PET/MR检查中，还可以从MRI合成CT图像进行衰减校正（AC）。医学图像合成可以实现解剖、功能和代谢信息的映射，例如空间分辨率、像素强度和纹理特征
MRI合成PET，以及低剂量PET合成全计量PET：合成PET在诊断退行性疾病（如阿尔茨海默病）方面具有潜在的用途，其中MRI观察到的灰质萎缩、脑室扩大以及PET中的氟代脱氧葡萄糖（FDG）在大脑中的分布作为关键的区别因素。此外，全剂量PET合成过程旨在从低剂量图像中恢复丢失的高频细节，以实现更优越的图像质量。

基于深度学习的图像合成方法概览

3.1 Pseudo CT

卷积神经网络（CNN）和基于生成对抗网络（GAN）的方法在精确估计CT Hounsfield Units（HU）方面显示出巨大的潜力。此外，新颖的Transformer和基于Diffusion的网络在高保真合成图像方面表现出卓越的性能。本节回顾了基于深度学习的CT合成方法。

表 1 概述了基于深度学习的伪 CT 方法，按其特征属性进行分类，总结了每个类别中最相关的研究，同时强调了它们的新颖性、网络类型、损失函数、输入模式和数据区域。

3.2 Synthetic MR

表 2概述了基于深度学习的合成 MR 方法，按其主要特征属性进行分类。本摘要概述了每个类别中最相关的研究，强调了有关网络类型、损失函数和 MRI 转换的主要新颖性和细节。

表格太长，未显示完全。详细看论文

T2-FLAIR互转示例

3.3 Synthetic PET

表 3 概述了基于深度学习的合成 PET 方法，按其特征创新进行分组。本摘要重点介绍了每个类别中最相关的研究，强调了主要贡献以及网络类型、损失函数、输入数据和区域的详细信息。

图12显示文献中用于医学图像合成的深度神经网络架构的概述。

网络分析

这部分包括各种模型以及损失函数的介绍。详细看论文。

公开数据概览

医学图像合成的研究采用了各种图像模态和数据集来生成合成图像。对于从 MR 图像进行 CT 合成，在配对和未配对 CT 图像的实验中使用了不同的 MR 对比度。大多数数据集都是私有的，不公开。

表 4总结了医学图像合成中使用的公开数据集。

性能评估

基于图像相关指标的评估

医学图像合成的定量分析最常采用的评估指标是 MAE、峰值信噪比 (PSNR) 和结构相似性指数 (SSIM) 。MAE 计算合成图像和源图像之间的平均像素差异，PSNR 评估合成图像是否是真实图像的均匀投影，SSIM 专注于图像的可见结构。除了这些指标之外，还包括 MSE、均方根误差(RMSE)、Frechet 起始距离 (FID)、归一化均方根误差(NRMSE)、归一化均方误差 (NMSE) 和皮尔逊相关系数 (PCC)，归一化互相关(NCC)

图 13总结了每个图像合成类别中不同网络类型的评估结果，包括获得的 PSNR、SSIM 和 MAE 值。

基于下游任务的评估

虽然评估传统上侧重于合成图像的质量，但一些研究已将其评估扩展到下游任务，例如分割或分类，以确定临床有效性。我们概述了有关合成 CT、MRI 和 PET 的评估，以强调其临床适用性。

例如在肝脏分割作为下游任务的背景下，Chen等人（2021年）获得了0.97的DSC。此外，Boroojeni等人在使用合成的CT图像和MR颅骨成像时报告了更高的准确性，其DSC为0.90。

讨论

尽管医学图像合成在临床实践中具有广泛的应用和优势，但医学图像合成仍然存在共同的挑战，需要在各个领域进行进一步的研究。

尽管医学图像合成在临床实践中具有广泛的应用和优势，但医学图像合成仍然存在共同的挑战，需要在各个领域进行进一步的研究。包括：

域差异大：由于不同成像模式之间信号和空间内容固有的差异，模态内的转换（例如从 T1w 到 T2w MRI 或 LD 到 FD PET）通常比跨模态映射更容易处理
架构设计：各种网络架构设计中仍然存在特定的挑战，比如处理不同的输入维度、多模态的架构设计、局部和全局上下文的获取和处理不配对图像第方面
数据集的挑战：基于监督的学习方法需要将源图像和目标图像对齐的配对图像；然而，获得不同领域的图像模态之间的精确配准是复杂的，并且可能会降低合成图像的质量
计算成本：使用 2D 图像切片训练模型的主要原因之一是资源限制，这可能导致图像切片之间的不连续性以及显着体素相关性的丢失。此外，Transformers 和基于 Diffusion 的模型与其他基于 CNN 的模型相比，它们确实会带来更高的计算负担。