文章目录
- NestedFormer: Nested Modality-AwareTransformer for Brain Tumor Segmentation
- 摘要
- 方法
- Global Poolformer Encoder
- Nested Modality-Aware Feature Aggregation
- Modality-Sensitive Gating
- 实验结果
NestedFormer: Nested Modality-AwareTransformer for Brain Tumor Segmentation
摘要
背景
多模式MR成像通过提供丰富的互补信息，在临床实践中被常规用于诊断和研究脑肿瘤。先前的多模态MRI分割方法通常通过在网络的早期/中期连接多模态MRI来执行模态融合，这几乎没有探索模态之间的非线性相关性。
本文方法
- 提出了一种新的嵌套模态感知转换器（NestedFormer），以明确探索用于脑肿瘤分割的多模态MRI的模态内和模态间关系。
- 基于Transformer的多编码器和单解码器结构，我们对不同模态的高级表示执行嵌套多模态融合，并在较低尺度上应用模态敏感门控（MSG）以获得更有效的跳过连接。
- 多模态融合是在本文提出的嵌套模态感知特征聚合（NMaFA）模块中进行的
代码地址
方法
- 多个编码器以获得不同模态的多尺度表示
- NMaFA融合模块以探索多模态高级嵌入内部和之间的相关特征
- 门控策略以选择性地将模态敏感的低分辨率特征传输到解码器
Global Poolformer Encoder
集合图2和公式就知道了：
LN：layer normalization
GP：全局池化
Nested Modality-Aware Feature Aggregation
详情可以去原文了解，就是对模块进行融合，基于通道的
一个基于三个方向：
一个基于模态
Modality-Sensitive Gating
实验结果
