Sparsely Annotated Semantic Segmentation with Adaptive Gaussian Mixtures

摘要

稀疏注释语义分割（SASS）旨在通过具有稀疏标签（即点或涂鸦）的图像来学习分割模型。现有的方法主要侧重于引入低水平的亲和性或生成伪标签来加强监督，而在很大程度上忽略了标记像素和未标记像素之间的内在关系。我们观察到，在特征空间中彼此靠近的像素更有可能共享同一类。
本文方法

1. 提出了一种新的SASS框架，该框架配备了自适应高斯混合模型（AGMM）。
2. AGMM可以根据标记和未标记像素的分布，有效地为未标记像素提供可靠的监督。
3. 首先使用标记像素及其相对相似的未标记像素构建高斯混合，其中标记像素充当质心，用于对每个类别的特征分布进行建模
4. 然后，我们利用来自标记像素的可靠信息和自适应生成的GMM预测来监督未标记像素的训练，实现在线、动态和稳健的自我监督。
5. 此外，通过捕获分类高斯混合，AGMM鼓励模型以端到端的对比学习方式学习判别类决策边界。
   代码地址
   
   图1：
   （a） SASS任务说明。
   （b） 与现有的SASS框架不同，我们的AGMM利用标记像素的可靠信息，生成用于动态在线监督的GMM预测。f表示模型，P和G分别表示分割和GMM预测。实线和虚线分别表示模型传播和监督。
   
   图2:
   （a） 观察标记像素和未标记像素之间的固有关系
   （b） PASCAL VOC 2012数据集的分类性能。黑线、蓝条和橙条分别表示所有未标记像素、与标记像素相似的未标记像素和与标记像素不同的未标记的像素的IoU

本文方法

AGMM的总体框架：
AGMM包含一个主分割分支和一个GMM分支。
给定输入图像x，分割分支直接输出分割预测P
在训练期间，提取的深度特征f（x）被馈送到GMM分支中，以根据等式生成软GMM预测G
使用分割预测P和GMM预测G进行在线自我监督
在测试过程中，GMM分支被丢弃，因为稀疏标签在推理过程中不可用

GMM Formulation

给定具有K个注释类的输入图像，我们构建具有K个高斯混合分量的GMM。对于第i个高斯混合分量，我们首先计算属于第i类的标记像素xli的平均特征作为平均值µi：

其中f（x）是像素x的深层特征，其由分割模型的分类层之前的特征产生。一旦获得µi，第i个分量的方差σi可以计算为：

其中Pi表示第i个类别的分割预测分数，d公式化为：

其测量标记的像素和未标记的像素之间的距离。类似于等式1和2，然后我们构建GMM来对标记和未标记像素的特征分布进行建模。使用GMM，我们生成GMM预测G，如下所示：

与典型GMM相比，我们放弃了正则化项1√2πσ2。这样，我们可以保证对于每个类，GMM预测得分gi在0到1的范围内，使我们能够对分割预测P进行自我监督。这些GMM预测G是软得分的形式，表示每个像素x属于哪个类别的高斯混合。

Training with AGMM

给定GMM预测G，我们将它们分配给具有分割预测P的自监督。我们采用交叉熵形式来公式化自我监督损失函数Lself如下：

然后，我们还分配稀疏标签yl来监督G，如下所示：

此外，为了学习判别性高斯混合，我们提出了一个对比损失Lcon来扩大不同高斯混合质心之间的距离，如下所示：

有了这些损失函数，我们使用GMM预测G和分割预测P来相互监督。用于GMM预测G的总损失函数LGM M可以总结如下：

因此，我们的GMM-SASS框架中的总体损失函数L公式如下：

实验结果