[论文地址] [代码] [MICCAI 21]

Abstract

学习与疾病相关的表征在基于图像的癌症诊断中起着至关重要的作用，因为它具有可信、可解释和良好的概括能力。一个好的表征不仅应该与疾病无关的特征相分离，而且还应该包含病变的属性信息（如形状、边缘），这些信息在临床诊断癌症时经常被首先识别。为了学习这样的表征，我们提出了一个带有图卷积网络的分解自动编码器(Disentangle Auto-Encoder withGraph Convolutional Network,DAE-GCN)，它在基于AE的框架中采用了GCN模型指导下的分解机制。具体来说，我们明确地将编码的特征分为疾病相关的特征和其他特征。在这些参与图像重建的特征中，我们只采用疾病相关的特征进行疾病预测。此外，为了考虑病变的属性，我们建议在训练过程中利用这些属性并采用GCN来学习它们。以乳腺肿块良/恶性分类为例，我们的DAE-GCN有助于提高癌症预测的性能和可解释性，这可以通过在一个公共数据集DDSM和三个内部数据集上的最先进性能得到验证。

---

Intro

对于基于深度学习的疾病诊断而言，通过backbone提取到的特征可以分为三类，分别为：

• 与病灶有关的宏观特征(macroscopic disease-related features)，例如病灶的大致形状
• 与病灶有关的微观特征(microscopic disease-related features)，例如病灶内部的纹理
• 与病灶无关的特征(disease-irrelevant features)，也就是正常的组织

一个例子如下所示：

容易发现，与病灶无关的特征对于最终的疾病良恶性分类是没什么用途的。如果想让模型拥有与人类专家类似的决策过程(即先观察满足哪些特定特征，再作出决策)，则可以显式地将网络学到的特征解耦并进行不同的组合。

---

Method

本文方法的框架如下：

将图像输入特征提取器backbone(ResNet34)中，得到通道数为512的特征。将其切为三部分，宏观特征(绿色的$h_{ma}$)，微观特征(粉色的$h_{mi}$)，与病灶无关的特征(蓝色的$h_i$)。依据解耦出的这三部分特征，可以进行如下的约束：

• 在对病灶进行分类的时候，我们只对病灶相关的特征感兴趣，即只有$h_{ma}$与$h_{mi}$会参与到病灶分类损失$L_{cls}$的训练过程当中。
• 在计算病灶各宏观特征之间的相关性时，只有$h_{ma}$会参与到图卷积网络$L_{gcn}$的训练过程当中。
• 三种特征要能共同重建整张图像，即$h_{ma}$，$h_{mi}$，$h_i$均会参与到图像重建$L_{rec}$的过程中。这里可以额外注意的一点是，本文做的本质上是分类任务，理论上是不会存在decoder这个东西的，decoder的主要作用适合resnet34 encoder一同构成一个VAE来方便做特征的解耦。

---

Exp

其中Vanilla指直接使用ResNet34进行分类的性能，Chen指仅使用GCN进行分类的性能，Guided-VAE指仅进行disentangle的性能，ICADx,Li均为基于对抗学习的方法。消融实验如下：

可以观察到以下几点：

• (第四行)仅加入Decoder重建原图，也能获得少量的性能增益
• (第五第六行)在已有解耦机制与原图重建的基础上，显式拆分出一个背景向量$h_i$也有助于性能提升

---

Interpretability

解耦机制的另
一个优势是方便做可解释性，如下所示：

第二列：将所有的特征输入网络重建，得到的结果应尽可能接近原图
第三列：只重建与病灶有关的特征。可以发现得到的结果病灶更为明显，而背景被消去了一些
第四列：只重建与疾病无关的特征。可以发现得到的结果基本是一些嘈杂的背景信息
第五列：只重建与病灶有关的宏观特征。注意严格来讲此时结果与第三列相差不大
第六列：只重建与病灶有关的微观特征。注意严格来讲此时结果与第四列相差不大