Modality-Adaptive Feature Interaction for Brain Tumor Segmentation with Missing Modalities

摘要

多模态磁共振成像（MRI）在脑肿瘤分割中起着至关重要的作用。然而，缺失模态是临床实践中常见的现象，导致肿瘤分割性能下降。考虑到模态之间存在互补信息，模态之间的特征交互对肿瘤分割很重要。
方法
本文提出了具有多模态代码的模态自适应特征交互（MFI），以在不同模态缺失情况下自适应地交互模态之间的特征。MFI是一个简单而有效的单元，基于图结构和注意力机制，用于学习和交互图节点（模态）之间的互补特征。同时，所提出的多模态代码指示每个模态是否缺失，引导MFI学习不同缺失情况下节点之间的自适应互补信息
将MFI与多模态代码应用于U型架构的不同阶段，我们设计了一种新的网络U-Net-MFI，以分层和自适应地交互多模态特征，用于具有缺失模态的脑肿瘤分割。

本文方法

Modality-Adaptive Feature Interaction

在U-Net-MFI的某一阶段的特征空间中，MFI的输入是N个模态的多模态特征{f1，…，fN}，其中fi∈RC×H×W×L，其中C是通道数，W，H，L表示当前阶段3D体积特征的宽度、高度和切片尺寸。以这些模态特征和多模态代码h作为输入，我们首先为一个模态的每个节点建立一个图，然后设计消息传递，以学习合并其他模态的特征。所提出的多模态代码h指示是否观察到不同的模态，将指导MFI学习过程。

Graph Representation

给定多模态特征和多模态代码，我们构建了一个图G=（V，E），其中V表示通过其特征表示模态的图节点，E表示表示节点（模态）之间关系的邻接边矩阵

Graph Edge Computation

该过程用于计算成对图节点（即模态）之间的边权重。对于图的每个第i个节点，我们首先在多模态代码的指导下计算其压缩节点特征，用于边权计算，压缩节点特征定义为

sp：空间池化
h：多模态结点（0，1代表是否缺失）
计算用于特征交互的模态之间的边缘权重：

φi是线性层

Modality Feature Updating

基于边缘权重，该过程是交互节点的模态特征fi（i=1···N），以导出每个节点（即模态）的更新特征。以第i个节点为例，我们将Ri＝{ri1，…，riN}馈送到softmax层以获得归一化的注意力得分，然后输出特征{ξfi}计算为：

注意，更新后的特征fi是输入特征fi与基于残差跳跃连接的其他模态的“借用”特征的相加。这实现了我们关于模态之间的特征交互的想法。总之，MFI旨在从多模态代码引导的多模态图像特征中学习互补特征。将MFI模块插入U-Net-MFI的分层多模态特征空间有助于深入捕捉这些互补特征进行分割。

实验结果