本文为CVPR2022的论文。国际惯例，先贴出原文和源码：
原论文地址
https://arxiv.org/pdf/2111.13673.pdf源码地址https://github.com/SysCV/transfiner
一、概述
传统的Two-Stage网络，如Mask R-CNN虽然在实例分割上取得了较好的效果，但其掩码依旧比较粗糙。Mask Transfiner将图像区域分解为四叉树，网络仅处理检测到的易错树节点(error-prone tree node)和错误自纠正(self-corrects their errors)。这使得Mask Transfiner可以以第计算成本预测高精度的实例掩码。
二、相关概念
实例分割中，大部分的像素点分类错误均可归结于下采样造成的空间分辨率损失。这导致在物体边缘位置，掩码的分辨率较低。为了解决这个问题，本文中提出了两个概念：信息损失区域(Incoherent Regions)和四叉树（Quadtree）。
1.信息损失区域
为了描述这些区域，本文对掩码本身进行下采样来模拟网络中下采样造成的信息丢失。从上面的图例我们可以看到，对原掩码进行一次2倍的下采样后再进行一次2倍的上采样，橙色部分(原图上标红框)为分类错误的点。而经过实验，大部分的误差均几种在信息损失区域。
信息损失区域的检测：本文涉及的轻量化检测模块如下图所示，可以有效的在多尺度特征金字塔上检测信息损失区域。
将最小特征(smallest features)和预测的粗糙对象掩码(coarse object mask predictions)拼接(concat操作)起来作为输入。
①经过一个全卷积网络(FCN,由四个3x3卷积组成)和一个二分类器来预测最粗糙的信息损失掩码。
②对检测到的低分辨率掩码进行上采样(使用1x1卷积)，并与相邻层中的高分辨率特征进行融合。
2.四叉树
在本文中，四叉树被用来细化图像中的信息损失区域。其连接这两个不同层次的特征金字塔中的预测掩码。如下图所示。基于检测到的信息损失点，可以构建一个多层次的四叉树，以检测到的最高层次的特征图作为根结点，这些根节点可以被映射到低层次特征图上细分的四个象限（这些图具有更大的分辨率和局部细节）。
三、网络结构
Mask Transfiner的网络结构如下图（属于网络大框架的部分以红框标出）：
本网络基于分层的FPN(Feature Pyramid Networks-特征金字塔)，Mask Transfiner的对象并不是单级的FPN特征，而是将RoI特征金字塔上的信息损失区域中检测到的稀疏特征点作为输入序列，并输出其对应的分割标签。
1.RoI金字塔
本文利用了骨干网络提取的分层特征图中的2到5层的特征图。基于对象检测器给定的实例建议，通过FPN在{ ,
,
}三个不同层级的特征图上提取RoI特征，这三层的RoI特征的尺寸分别为{28,56,112}，并使用这三个特征来构建RoI金字塔。
其中，起始层 i 的计算公式为：，其中
，W和H为RoI的宽高。
低层次的特征中有较多的上下文和语义信息；而高层次的特征中则包含更多局部特征。
2.输入节点序列
该序列由来自四叉树的三个不同级别的信息损失节点构成。序列的大小为CxN,其中C为特征通道的维数，N为节点的总数。该序列由节点编码器(Node Encoder)压制而成。
3.节点编码器
节点编码器会使用以下四种信息对四叉树的每个节点进行编码。
①从当前层次的FPN提取的细粒度特征
②来自最初的粗掩码预测区域提供的语义信息
③节点之间的关系和距离信息（由RoI中的相对位置编码封装）
④每个节点的上下文信息和自身的信息
本文在每个节点的3x3邻域中提取特征并使用全连接层进行压缩。如下图所示，细粒度特征，粗分割线索和上下文特征首先通过全连接层融合，再将位置嵌入添加到其中。
4.序列编码器和像素解码器
每个序列编码器具有多头注意力模块和全连接前馈神经网络。
像素解码器为一个小型的双层MLP(多层感知机)，其可以解码每个节点的输出查询，并预测最终的掩码标签。
四、损失函数
基于四叉树，本文使用的损失函数为：
其中表示预测的信息损失点与真实标签之间的L1损失函数；
为检测信息损失区域的交叉熵损失函数；
包括了检测器的定位和分类损失；
表示初始粗分割预测的损失。
