Task-Relevant Feature Replenishment for Cross-Centre Polyp Segmentation

摘要

a） 领域转移示意图
b） （i）原始数据分布；（ii）极端经典特征自适应；（iii）极端域不变特征自适应；（iv）我们的方法中的特征自适应。

1. 来自不同中心的结肠镜检查图像通常表现出外观变化，使得在一个领域训练的模型无法很好地推广到另一个领域。
2. 为了解决这个问题，提出了一种新的基于任务相关特征补充的网络（TRFR-Net），用于跨中心息肉分割，通过检索任务相关知识来获得足够的辨别能力，并减轻风格变化。
3. 首先设计了一个域不变特征分解（DIFD）模块，放置在每个编码块之后，以提取用于分割的域共享信息。
4. 然后，开发了一个任务相关特征补充（TRFR）模块，从每个DIFD模块的残差特征中提取信息上下文，并动态聚合这些任务相关部分，为广义分割学习提供额外信息。
5. 为了利用结构相似性进一步弥合领域差距，我们设计了一个息肉感知对抗性学习（PPAL）模块来对齐预测特征分布，其中更加强调息肉相关的对齐。
   代码链接

本文方法

所提出的TRFR-Net的架构如图所示。包含用于对抗性学习的生成器和鉴别器。生成器采用编码器-解码器框架，其中采用包括五个编码块的ResNet-34作为特征提取器，并且解码器分支还具有由两个Conv-BN-ReLu组合和每个上采样操作组成的五个块。鉴别器由两个Conv-LeakyReLu组合组成，然后是上采样操作和卷积分类器。

DIFD模块被放置在每个编码块之后，其将输入特征分解为域不变部分（fdi）和侧出域特定部分（fds）。TRFR模块采用特定领域的功能，并输出组合的任务相关功能（ftrr），用于上下文补充。然后，将补充的域不变特征（f+）传递到解码器子网络用于分割预测（p+）。在PAAL中，鉴别器调整输出空间中的特征，以增强域间空间相似性

Domain-Invariant Feature Decomposition (DIFD)

1. 采用实例标准化
2. 建议在通道注意力的指导下重新校准它们
   有重新校准的值μ*以及σ领域不变的特征是fdi：
   
   
   其中，h（·）和 g（·）是学习独立缩放每个通道的μ和σ以进行域不变特征学习的注意力函数
   然后残差，即领域特定特征，可以写成：
   

Task-Relevant Feature Replenishment

在有效缓解跨领域变化的同时，DIFD不可避免地过滤掉了编码在特定领域特征中的一些任务相关信息，从而导致识别能力下降。因此，我们提出了TRFR模块，从特定领域的特征中自适应地提取有助于息肉分割的信息特征，以进行特征补充。首先，我们结合了挤压和激励（SE）块，以将任务相关特征与DIFD模块过滤的特征区分开来。
领域特定特征被压缩为单个向量，该向量由完全连接的层连续学习。利用通道之间的相互依赖性和单个通道的注意力，这些学习到的通道权重使我们能够增强基本上下文，并在通道级别上抑制非结构化上下文。给定来自第i个DIFD模块fdsi∈RC×H×W的输入域特定特征，解藕特征fds-tri可以公式化为：

然后，利用AdaAvgPool-Conv-ReLU组合块从较浅的语义层提取局部上下文信息。

我们还使用Conv-ReLU组合和非局部块来从底部编码块中提取全局上下文信息，以增强具有长程依赖性的特征。最后，在级联之后，开发了Conv-BN-ReLU-Conv组合的卷积块，以动态聚合这些提取的不同语义级别的任务相关特征，从而获得用于息肉分割的最终有效任务相关内容。
我们认为由任务相关信息f+增强的特征比纯域不变特征fdi更具判别力，从而以较小的熵产生更确定的预测。因此，我们提出了TRFR约束损失（TCLoss）来推进TRFR中的特征解纠缠。为了实现这一点，我们分别将补充的特征f+和域不变特征fdi转发到解码器子网络，并获得相应的分割预测p+和pdi。
TCLoss：

Polyp-Aware Adversarial Learning (PAAL)

由于息肉分割具有具有空间相似性的结构化输出，我们在输出空间中开发PAAL，以进一步弥合域间的差距。
考虑到息肉区域具有更大的意义，但由于我们任务中的类别不平衡问题，通常代表性不足，我们认为应该更多地强调潜在息肉区域的对齐
为了实现这一点，我们首先从分割网络的输出预测p+∈RH×W导出息肉显著性指数掩码Mp∈RH

然后，根据鉴别器D（pt+）的输出，生成器的PAALoss修改为

类似地，鉴别器的PAALoss可以公式化为：

总损失函数

结果