[迁移学习]UniDAformer域自适应全景分割网络

news2024/9/26 1:27:22

原文的标题为：UniDAformer: Unified Domain Adaptive Panoptic Segmentation Transformer
via Hierarchical Mask Calibration，发表于CVPR2023。

一、概述

域自适应全景分割是指利用一个或多个相关域中的现成标注数据来缓解语义分割数据标注复杂的问题。本文提出了一种UniDAformer域自适应全景分割网络，其基于Transformer，可以用一个统一的架构同时实现域自适应实例分割和语义分割。

通过引入分层掩膜校准(HMC)，UniDAformer可以实现在线自我训练。本网络具有以下几个特点：

①使用一个统一架构实现域自适应全景分割

②减少了错误预测

③可以实现端到端的训练和推理

相较于传统的域自适应网络（二分支，下图(a)），UniDAformer（单一分支，下图(b)）仅需要一个单一网络即可实现域自适应分割的任务，极大的减少了训练和推理的难度（减少了一个分支的参数量）。

本文涉及到三个领域：

①Panoptic Segmentation（全景分割）：为每一个像素分配语义类别和唯一标识。

②Unsupervised Domain Adaptation（无监督域自适应,UDA）：利用已标记的源于数据来学习未标记的目标域数据。

③Self-training（自训练）：一种主流的无监督域自适应技术，具体做法是利用伪标签重新训练网络。

二、模型&方法

1.损失函数

源域记作： $D_s=\{(x_s^i,y_s^i)\}$ ；目标域记作 $D_t=\{x_t^i\}$ ；交叉熵损失函数可以定义为： $L_{sup}=l(G(x_s),y_s)$ （仅使用源域进行训练）

2.无监督训练

整个无监督训练分为两个数据流：使用动量模型 $G^m$ 校准伪模板；使用校准后的模型G进行无监督训练（使用自训练损失函数 $l_{self}$ ）。

具体做法为：

①将未标记的图片 $x_t$ 输入动量模型 $G^m$ 中，生成一组伪掩码 $\hat{y}_{t}$ ；

②将伪掩码 $\hat{y}_t$ 发送到HMC模块(分层掩码校准模块，Hierarchical Mask Calibration)中，生成校准后的伪掩码 $\hat{y}_{{t}'}$ ，HMC模块会由粗到精校准伪掩码；

③将图像 $x_t$ 和校准后的伪掩码 $\hat{y}_{{t}'}$ 进行扩充（变形、裁切、缩放等），得到 $x_{aug}$ 和 $\hat{y}_{{aug}'}$ ；

④使用自训练损失函数 $L_{self}$ 来训练模型 $G$

其中动量模型 $G^m$ 为 $\theta G^m \leftarrow \gamma \theta G^m + (1-\gamma)\theta G$ ， $\gamma$ 为动量系数。

3.分层掩码校准(HMC)

HMC将物体和其预测(things and stuff predictions)统一视为掩码，并由粗到细对每层的掩码进行校正。校准分为三个阶段：区域、超像素、像素。

①区域校准（Region-wise Calibration）

通过重新加权类别概率来调整掩码类别；其使用的公式为：

$\hat{c}_t ^k = \underset{c}{argmax} (w^{(c,k)}\bigotimes p^c)$ ；其中 $p^c$ 为类别概率， $\bigotimes$ 为逐元素乘， $w^{(c,k)}$ 表示每个伪掩膜的概率的校准权重（对应第c类），权重 $w$ 的计算公式为：

$w^{(c,k)}=Softmax(-||v^k_r-\delta^c ||_1)$ ；其中， $v_r^k$ 为区域特征向量， $\delta^c$ 为特征向量第 $c$ 个质心 $\delta ^c$ 的距离， $||\; ||_1$ 为L1距离。

其中区域特征向量 $v_r^k$ 使用全局平均池化GAP，将特征掩码 $\hat{M}$ 内的特征汇聚成区域向量 $v_r^k$ ，公式如下：

$v_r^k = GAP(\hat{M} \bigotimes f_t^k)$ ，其中 $f_t^k\in R^{E\times H \times W}$

其中质心 $\delta^c$ 的计算公式为：

$\delta^c=\frac{\sum_{x_t \in D_t}\sum_{k \in K}v_m^r\cdot \mathbb{I}(\hat{c}=c)}{\sum_{x_t \in D_t}\sum_{k \in K}\mathbb{I}(\hat{c}^k=c)}$ ；其中 $\mathbb{I}$ 为指示函数，当向量 $v_m^k$ 属于 $c$ 类时返回1，不属于时返回0；