读论文《Hi-Net: Hybrid-fusion Network for Multi-modalMR Image Synthesis》

news2024/9/22 15:40:11

论文题目：Hi-Net:用于多模态磁共振图像合成的混合融合网络

论文地址：arxiv

项目地址：github

原项目可能在训练的时候汇报version的错，这是因为生成器和辨别器的优化有些逻辑错误，会改的话多加一个生成操作可以解决，项目已复现，看情况是否更新，

大家有问题可以留言

目的：通过融合多模态数据来提高模型性能，特别是在数据质量较差和患者退出频繁，难以为每个患者收集所有模态的情况下。

摘要：

磁共振成像(MRI)是一种广泛使用的神经成像技术，可以提供不同对比度(即模式)的图像。事实证明，融合这种多模态数据对于提高许多任务中的模型性能特别有效。然而，由于数据质量差和患者频繁退出，收集每个患者的所有模式仍然是一个挑战。医学图像合成是一种有效的解决方案，它从现有的图像中合成缺失的图像。在本文中，我们提出了一种用于多模态磁共振图像合成的新型混合融合网络(Hi-Net)，它学习从多模态源图像(即现有模态)到目标图像(即缺失模态)的映射。在我们的Hi-Net中，使用特定于模态的网络来学习每个单独模态的表示，并使用融合网络来学习多模态数据的共同潜在表示。然后，设计一个多模态合成网络，将潜在表示与每个模态的层次特征紧密结合，作为合成目标图像的生成器。此外，为了有效地利用多模态之间的相关性，提出了一种分层多模态融合策略，其中提出了混合融合块(MFB)自适应加权不同的融合策略(即元素求和、乘积和最大化)。大量的实验表明，该模型优于其他最先进的医学图像合成方法。

引言（Introduction）

论文讨论了医学成像在临床应用中的重要性，特别是MRI技术。
MRI有多种模态，每种模态捕获了不同的解剖学特征。
结合多种模态可以提供更全面的数据集，有助于改善医学任务。

方法（Methodology）

Hi-Net包括三个主要组成部分:模态特定网络（上下的蓝色）、多模态混合网络（中间左边深蓝）和多模态合成网络（中间右边肤色）。

        模态特定网络用于学习模态特定属性，

        多模态融合网络旨在学习多个模态之间的相关性。

        多模态综合网络由生成器和鉴别器组成，其中生成器网络对目标图像进行综合，鉴别器对合成图像和真实图像进行区分。

1. 模态特定网络（Modality-specific Network）

每个模态（例如T1、T2等）都有一个特定的网络，用于学习该模态的表示。
该网络采用自编码器结构，目的是使用学习到的高层特征表示来重建原始图像。
可以找到模态特定网络的详细说明，使用一个3 × 3的过滤器，stride为1,padding为1，还加入了批归一化，之后分别在编码器和解码器中使用LeakyReLu和ReLu激活函数。池化和上采样层使用2 × 2滤波器。
重建损失函数使用ℓ1范数来衡量原始图像和重建图像之间的差异。
重构损失函数:重构损失提供了侧输出监督，以保证特定于模态的网络学习到每个单独模态的判别表示

2. 多模态融合网络（Multi-modal Fusion Network）

提出了一种逐层融合网络，用于在不同层（例如，浅层和高层）之间有效利用不同模态的相关性。
引入了混合融合块（Mixed Fusion Block, MFB）来自适应地加权不同模态的输入。
MFB模块结合了逐元素求和、逐元素乘积和逐元素最大化这三种融合策略，并通过卷积层自适应地加权这些融合结果。
MFB模块的结构(其中“+”、“x”、“Max”和“c”分别表示元素求和、元素乘积、元素最大化和连接操作)。

3. 多模态合成网络（Multi-modal Synthesis Network）

使用生成对抗网络（GAN）模型来合成目标模态图像。生成器（Generator）G'尝试从输入Fn生成图像，而鉴别器（Discriminator）D试图区分生成的图像和真实图像。
生成器的目标函数包括误导鉴别器的第一项和使用ℓ1范数衡量生成图像与真实图像差异的第二项。
鉴别器的输入是与生成器输出大小相同的2D图像，其架构包括多个卷积层。