RegGAN：打破医学图像转换困境
- 医学图像转换困境
- 网络结构
- 效果
- 总结
论文：https://arxiv.org/pdf/2110.06465.pdf
代码：https://github.com/Kid-Liet/Reg-GAN.git
医学图像转换困境
一、传统的Pix2Pix方法要求输入图像必须是精确成对且对齐的。
- 每个输入图像X都需要一个精确对齐的目标图像Y来训练生成器。
- Pix2Pix 需要像素级对齐的成对图像，但在医学图像中，由于呼吸运动、解剖结构的变化、不同时间拍摄等因素，这种对齐可能难以实现。
- 如果输入的成对图像未对齐或存在其他形式的噪声，Pix2Pix 的性能可能会受到影响，因为不具备处理这些噪声的内置机制。
二、非成对的 Cycle-consistency 算法（如CycleGAN）：
- 这种模式不需要输入的成对图像完全对齐，可以处理那些在不同时间、不同设备上拍摄的图像。
- 由于不要求输入和目标图像成对对齐，可能会产生多种解决方案
- 这意味着一个MRI图像可能被转换成多个在视觉上看起来合理，但在医学特征上不一致的PET图像。
- 不一致性可能导致误诊或错误的治疗计划，因为医生依赖于这些图像来确定病变的精确位置和代谢活动的强度。
三、RegGAN 允许输入的图像对，是对齐或者未对齐的。
允许非成对：
- 比如，我们没有每个 MRI 图像的确切 PET 对应图像，但需要从 MRI 推断 PET 图像，RegGAN 也能处理这种未配对的数据。
- TA 能学习不同成像模式之间的关系，即使没有精确的一一对应关系。
能够适应，从无噪声到大规模噪声的各种情况：
-
通过在生成器后面加入 配准网络R 来纠正这种未对齐，使得即便是在噪声影响下也能进行有效的图像到图像的转换。
-
图像会由于各种原因产生噪声，如眼球微小的运动而出现模糊、头部微小的移动导致未对齐、扫描器差异、扫描参数的变化等
不仅对数据集的要求不严格，还能满足医学图像分析的高精度要求。
无论数据集是否对齐，RegGAN 都比 Pix2Pix、Cycle-consistency 模式好。
关键方法：“损失修正”和“噪声模型转换”
- 这是 RegGAN 处理带噪声数据的核心方法，它将噪声视为变形误差并在网络架构中进行显式建模，通过配准网络来纠正和适应这些噪声。
- 配准网络是RegGAN架构中的一个关键部分，专门用于识别和纠正输入图像之间的空间错位。
- 网络目标是确定如何调整一个图像，使其与另一个图像空间对齐。
- 输入图像在开始时是未对齐的，网络的输出是矫正过的，与目标图像对齐的版本。
比如，我们有一组CT图像和相应的MRI图像，但这些图像由于患者在不同时间被不同设备扫描，因此它们之间存在未对齐的问题。
在 RegGAN 中，我们不需要事先手动对这些图像进行对齐。
相反，我们将这些未对齐的图像对输入到RegGAN。
配准网络将学习必要的空间变换，自动调整生成的图像以匹配目标图像，从而克服了未对齐的问题。
这样，无论原始数据的对齐质量如何，RegGAN最终都能产生高质量的、空间上对齐的输出图像。
网络结构
上图是，三种不同模式的生成对抗网络（GANs）用于图像到图像的转换：
(a) Pix2Pix
- G：生成器，将输入图像 X 转换为目标图像 G(X)。
- Dy：判别器，用来判断生成的图像 G(X) 是否足够接近真实目标图像 Y。
- L1 loss：表示生成的图像 G(X) 和真实图像 Y 之间的像素级损失，用于训练生成器 G 使其输出与真实图像尽可能相似。
- Adv loss：对抗损失，用于训练判别器 Dy 以更好地区分生成的图像和真实图像。
(b) Cycle-consistency (如CycleGAN)
- G 和 F：互为反向的两个生成器，G 负责从 X 到 Y 的转换，而 F 负责从 Y 到 X 的反向转换。
- Dx 和 Dy：两个判别器，分别针对两个不同的域（X 和 Y）。
- Cycle-consistency loss：循环一致性损失，确保图像在经过两个相反方向的转换后能够回到原始状态，以此来训练 G 和 F。
- Adv loss：对抗损失，用于训练判别器 Dx 和 Dy。
© RegGAN
- G：生成器，将输入图像 X 转换为目标图像 G(X)。
- Dy：判别器，判断生成的图像 G(X) 是否足够接近真实目标图像 Y。
- R：配准网络，用于调整生成器 G 的输出，以更好地适应未对齐噪声的分布。
- Correction loss：修正损失，用于训练配准网络 R，帮助生成器适应目标图像的噪声分布。
- Adv loss：对抗损失，用于训练判别器 Dy。
效果
三种不同图像转换模型 CycleGAN©、Pix2Pix和RegGAN，在不同噪声水平下的性能。
性能指标包括，归一化平均绝对误差（NMAE）、峰值信噪比（PSNR）和结构相似性指数（SSIM）。
- 箭头向下，值越小越好，最好值用黑体加粗
- 箭头向上，值越大越好，最好值用黑体加粗
表中列出了七种不同的噪声设置，从Noise.0（无噪声）到Noise.5（最高噪声水平），以及一个非仿射噪声设置Noise.NA。
从表中看出：
- 在无噪声的条件下（Noise.0），所有模型都显示出相对较好的性能，但是随着噪声水平的增加，CycleGAN©和Pix2Pix的性能逐渐下降。
- 在所有噪声条件下，RegGAN 的性能都保持相对稳定，并且在多数情况下优于其他两种方法。
- 对于非仿射噪声（Noise.NA），RegGAN 的性能也表现出鲁棒性，这表明 RegGAN 可以有效处理各种类型的变形误差。
在医学图像转换上，非常好用。
- 对于成对且对齐的条件下，RegGAN 的性能至少与 Pix2Pix 相当，都优于 CycleGAN©。
- 对于成对但未对齐的条件下，RegGAN 的性能优于 CycleGAN©，CycleGAN© 的性能又优于 Pix2Pix。
- 对于未配对的条件下，RegGAN 的性能同样优于 CycleGAN©，而CycleGAN© 的性能优于 Pix2Pix。
总结
具体问题： 医学图像转换中的数据未对齐、噪声干扰和未配对图像。
解法名字： RegGAN
RegGAN = 处理未对齐数据的配准网络 + 适应噪声分布的损失修正 + 处理未配对数据的鲁棒性。
通过将配准网络集成到生成对抗网络框架中，并结合损失修正，RegGAN能够有效解决医学图像转换中的未对齐、带噪声和未配对数据问题。
这使得RegGAN在各种条件下都能维持稳定的高性能，这一点是传统 Pix2Pix 和 CycleGAN© 所无法做到的。
