论文（CVPR会议）： Unsupervised Instance Segmentation in Microscopy Images via Panoptic Domain Adaptation and Task Re-weighting

（TMI期刊）：PDAM: A Panoptic-Level Feature Alignment Framework for Unsupervised Domain Adaptive Instance Segmentation in Microscopy Images

PDAM: A Panoptic-Level Feature Alignment Framework（全景级特征对齐框架） for Unsupervised（无监督）Domain Adaptive（领域自适应）Instance Segmentation（实例分割）in Microscopy Images（显微图像）

全景级特征：用于描述整个场景的高级特征或全局特征。

任务重加权：在多任务学习中，不同任务可能具有不同的重要性或难度，因此在训练过程中，希望能够给予不同任务不同的权重，以便更好地平衡它们对模型的贡献。

领域自适应：是一种机器学习技术，旨在解决在训练数据与测试数据的分布不匹配时所导致的问题。在领域自适应中，通常有两个或多个不同的数据集，称为域（Domain），每个域都有自己的数据分布。在许多情况下，希望将模型从一个域（通常称为源域）迁移到另一个域（通常称为目标域），并在目标域上表现良好。

一、摘要

研究背景：用于细胞核实例分割的无监督域自适应（UDA）对于数字病理学非常重要，因为它减轻了数据集之间的劳动密集型注释和域转移的负担。

主要工作：在这项工作中，提出了一个Cycle Consistency Panoptic Domain Adaptive Mask R-CNN（CyC-PDAM）架构，通过从荧光显微镜图像中学习，用于组织病理学图像中的无监督细胞核分割。

• 1. 更具体地说，首先提出了一个核修复机制，以消除合成图像中的辅助生成的对象。
• 2. 其次，设计了一个语义分支和一个领域自适应器，实现了全景级的领域自适应。
• 3. 第三，为了避免源偏向特征的影响，我们提出了一种任务重加权机制，动态地为特定于任务的损失函数添加权衡权重。

研究成果：在三个数据集上的实验结果表明，提出的方法明显优于最先进的UDA方法，并表现出与完全监督方法相似的性能。

二、引言

结构：细胞核实例分割研究背景介绍（对病理学的研究价值，手工标注成本高昂等）—> 无监督域自适应（UDA）方法介绍（UDA方法的优点 和 图像迁移学习方法的缺点） —>  引出UDA细胞核实例分割任务面临哪些挑战 —> 引出主要工作（为了解决这些问题提出新的方法） —> 实验细节（数据集和源域的选择） —>贡献

三、方法

3.1 CyCADA with Mask R-CNN（基线）

由于之前的UDA方法都不是专门为实例分割设计的，因此将CyCADA 扩展到基于Mask R-CNN 的实例分割版本，作为基线。（CyCADA是一种领域自适应生成对抗网络）

整体架构：首先设计了一个域自适应Mask R-CNN。这项工作中的Mask R-CNN的主干是由 ResNet101 和 特征金字塔网络（FPN）构建的。受先前用于对象检测的UDA方法的启发，在 FPN 之后添加一个分支用于 图像级自适应，在 实例分支 之后添加另一个分支用于 实例级自适应，如图所示。

对于图像级自适应，FPN输出的多分辨率特征图首先通过平均池化下采样到8 × 8的大小，然后求和以进行图像级自适应。图像级卷积层由4个卷积层和一个用于对抗学习的梯度反转层（GRL）组成。

在实例级自适应中，Mask 分支中的14 × 14 × 256特征图通过平均池化被缩小到2 × 2 × 256的大小，然后调整大小为1024 × 1，以与来自边界框分支的1024 × 1特征求和。实例级的实例层由3个全连接层和一个GRL组成，GRL的输入是上述特征的总和。

Mask分支：边界框分支：

（ semantic branch在 Panoptic Level Domain Adaptation 章节介绍）

3.2 Nuclei Inpainting Mechanism （核修复机制）

问题：合成图像中存在冗余和不期望的核。

方法：为了避免这个问题，设计了一个辅助的对象修复机制，以消除这些不需要的核在合成的组织病理学图像。

过程：将原始合成的组织病理学图像表示为Sraw并且将其对应的掩模表示为M，首先获得所有辅助生成的核的掩模预测Maux，公式化为：

其中ostu（Sraw）表示基于 Otsu 阈值的二进制分割方法。给定一幅图像，Otsu阈值算法自动生成一个阈值，用于背景和前景分割。

然后，在去除这些核之后得到新合成的图像 Sinp ，其可以表示为：

其中 inp 是一种基于快速行进的方法，用于修复对象，通过将Maux中标记的辅助核的像素值替换为未标记背景的像素值。

(a)原始荧光显微镜图像块;（B）对应的细胞核注释;（c）来自CycleGAN的初始合成图像;（d）细胞核修补机制之后的最终合成图像。

3.3 Panoptic Level Domain Adaptation（全景水平域自适应）

问题：由于Mask R-CNN只关注每个对象的局部特征，缺乏整个图像的语义视图，因此在语义级特征中存在域偏差。

方法：提出了一种语义级自适应，以引导模型基于前景和背景之间的关系来学习域不变特征。通过结合语义级和实例级自适应，全景域自适应方法减少了全局和局部视图中的跨域差异。

思想：首先在FPN之后设计一个语义分支用于语义分割预测。Semantic entropy map（语义熵图）通过对抗域搜索来学习语义级别的域不变特征。对齐跨域熵分布有助于最小化目标域中的熵预测，这使得模型适用于目标图像。模块结构如下表所示：

3.4 Task Re-Weighting Mechanism（任务重加权机制）

问题：在PDAM中，检测和分割学习是基于合成图像的。在一些训练迭代过程中，对抗域鉴别器的不稳定学习过程可能导致预测的特征远离决策边界并包含特定于域的因素。

方法：为了解决这个问题，提出了一个任务重新加权机制，通过增加检测和分割损失函数的权衡权重。为了评估所提取的特征是否是域不变的，采用域预测来计算权衡权重。将最终任务预测之前的特征图属于源域和目标域的概率分别表示为ps和pt，并且将任务特定损失函数表示为L，重新加权的任务特定损失Lrw为：

其中，β是一个阈值。根据等式2.如果任务预测之前的特征图是源偏置的（ps → 1），则该任务损失函数被向下加权，以防止模型偏向源域。

3.5 目标函数

Lrpn是RPN的损失函数，包括回归的平滑L1回归损失和分类的交叉熵损失。Ldet是Mask R-CNN的实例分割和检测损失，其中包含实例分类，坐标回归和掩码分割的损失函数。L（sem-seg）是语义分割的交叉熵损失。L（img-da）、L（sem-da）和L（ins-da）是图像、语义和实例级别的域分类的交叉熵损失。

四、实验

4.1 数据集描述和实验准备 

数据集（数据集容量 + 获取方式 + 受试人员）：采用荧光显微镜数据集BBBC039V1 作为源域，组织病理学数据集Kumar 和TNBC 作为目标域。BBBC039V1包含高通量化学筛选下U2OS细胞的200个520 × 696图像。这些图像是灰度的，因为它们是用单个视场的DNA通道染色获得的。Kumar来自癌症基因组图谱（TCGA），包含来自不同患者的30张40倍放大的全载玻片图像的30个注释的1000 × 1000个斑块。这些图像来自18家不同的医院和7个不同的器官（乳腺、肝脏、肾脏、前列腺、膀胱、结肠和胃）。与Kumar的疾病多样性相反，TNBC数据集特别关注三阴性乳腺癌。在TNBC数据集中，有来自居里研究所的11名不同患者的50个注释的512 × 512斑块，放大倍数为40倍。三个数据集的示例图像如图5所示。

4.2 评估指标

评估指标（指标 + 用途目的）为了评估我们的方法，在像素和对象级别采用了三个常用的指标。对于对象级指标，使用聚合Jaccard指数（AJI）和Panoptic质量（PQ）。AJI通过考虑假阳性预测来扩展每个对象的Jaccard指数。PQ最初是为全景分割设计的，它将用于对象检测的F1分数和用于实例分割的IoU分数相乘。因此，PQ反映了检测和分割的性能，并广泛用于细胞核实例分割。对于像素级评估，采用F1分数，这是二进制分割预测的精确度和召回率之间的平均调和平均值。

4.3 对比实验

（对比方法不足之处 + 所提方法优势）如表所示，提出的方法在不同的组织病理学数据集上的性能大大优于所有比较方法。Chen等人在图像和实例级别学习域不变特征。然而，由于荧光显微镜和真实的组织病理学图像之间的差异很大，仅特征级自适应不足以减少域间隙。通过对外观的像素级自适应，所有其他方法都获得了更好的性能。与基线方法CyCADA 相比，我们的CyC-PDAM有6-12%的大幅改进，这是由于我们提出的核修复机制，全景级自适应和任务重新加权机制的有效性。

4.4 消融实验（去模块策略）

基于CyC-PDAM，去除了用于全景水平自适应的核修复机制、任务重新加权机制和语义分支，并使用与Sec相同的设置和数据集训练消融模型。在没有任务重新加权机制（w/o TR）的方法的预测中，存在一些具有不规则尺寸的对象。任务重新加权机制防止模型受到源域中特定于域的特征的影响，因此，将其移除会导致源偏置预测。与我们的方法相比，没有语义分支的模型（w/o SEM）不能在语义层面上学习领域不变的特征，包括核对象的空间分布和背景中的详细信息。

  

五、结论

• 1. 主要工作：本文提出了一个CyC-PDAM架构的UDA细胞核分割的组织病理学图像。
  • 细胞核修复机制（作用）：设计了一种细胞核修复机制，以去除合成图像中的辅助对象，进一步避免假阴性预测。
  • 特征级自适应（作用）：在特征级自适应中，提出了一个语义分支来适应前景和背景的特征，并结合语义和实例级自适应使模型能够在全景级学习域不变特征。
  • 任务重加权机制（作用）：此外，提出了一种任务重加权机制，以减少偏差。
• 2. 实验结果：在三个公共数据集上的实验表明，我们提出的方法比最先进的UDA方法有很大的优势，并达到了与完全监督方法相同的水平。