【论文速递】IJCV2022 - CRCNet:基于交叉参考和区域-全局条件网络的小样本分割

【论文原文】：CRCNet: Few-shot Segmentation with Cross-Reference and Region-Global Conditional Networks

获取地址：https://link.springer.com/article/10.1007/s11263-022-01677-7

博主关键词： 小样本学习，语义分割，孪生网络

推荐相关论文：

- 无

摘要：

小样本分割的目的是学习一种只需要少量训练图像就可以推广到新类的分割模型。在本文中，我们提出了一种用于小样本分割的交叉参考和局部全局条件网络(CRCNet)。与以往只预测查询图像掩码的工作不同，我们提出的模型同时对支持图像和查询图像进行预测。 我们的网络通过交叉引用机制可以更好地找到两幅图像中同时出现的物体，从而帮助完成小样本分割任务。为了进一步改进特征比较，我们开发了一个局部-全局条件模块来捕获全局和局部关系。此外，我们还开发了掩码优化模块，对前景区域进行循环优化预测。在PASCAL VOC 2012、MS COCO和FSS-1000数据集上的实验表明，我们的网络达到了最新的性能。

关键词 -小样本学习，图像分割。

简介：

自ImageNet分类挑战[8]取得巨大成功以来，深度神经网络已广泛应用于视觉理解任务，如图像分类[14,22]、目标检测[43]、语义分割[26]和图像字幕。由于大规模标记数据集的数据驱动特性，经常需要训练深度模型。然而，在具有像素级注释的任务(如语义分割、实例分割和视频分割)中，收集标记数据可能是非常昂贵的。此外，数据收集通常是针对一组特定的类别。以前课上学到的知识很难直接转移到看不见的课上。直接微调训练模型仍然需要大量新的标记数据。另一方面，为了解决这一问题，提出了小样本学习。本文的目标是少量图像分割。小样本分割的目的是寻找类别的前景区域与提供的支持图像相同，只看到少数标记的例子。

许多文献[9,24,62,63]将小样本分割任务表述为引导分割任务。引导信息从查询图像中前景预测的标记支持集中提取，通常采用不对称的双分支网络结构实现。以查询真值掩码为监督，对模型进行优化。但是，这种不对称结构只是利用支持图像来引导查询图像，并没有充分利用支持图像和查询图像信息。我们的工作认为，查询集和支持集的角色可以在小样本分割模型中切换。具体来说，支持图像可以指导查询集的预测，相反，查询图像也可以帮助对支持集进行预测。受图像共分割文献[3,12,20,39,51]的启发，我们提出了一个对称的交叉参考网络，两个头部同时对查询图像和支持图像进行预测。网络设计与以往作品的差异如图1所示。我们的网络设计的关键组件是交叉引用模块，它通过比较两张图像的共现特征来生成增强的特征表示。在两幅图像中，对下游前景进行了增强表示。同时，交叉引用模块还对两幅图像中同时存在的物体进行了预测。该子任务在训练阶段提供了一个辅助损耗，以方便交叉引用模块的训练。
在这里插入图片描述

度量学习已广泛应用于小样本学习[49,63];然而，在所有像素对之间进行比较是一个巨大的时间成本。为了解决这一问题，我们利用前景平均池化操作从支持图像集中捕获全局表示，检索查询图像中的类别信息。特别地，我们融合目标类别的特征来生成类别相关向量。 由于小样本分割的目标只是找到所分配对象类别的前景掩码，因此任务相关向量作为分割目标类别的条件。

仅将支持映像的全局表示与查询映像合并将导致一些限制。它将忽略对象部分之间的局部相似性。由于遮挡、视点变化和其他原因，一个物体可能只与同一类别的其他物体部分相似——只有部分相似。全局特征可能无法捕获这种部分级的相似性关系。为了减轻这些限制，我们研究了查询图像和支持图像之间的区域级比较，以进一步增强条件模块。 受[62]的启发，我们开发了一个局部-全局条件模块，以有效地将全局信息和局部信息合并到比较模块中。

由于物体外观存在着巨大的差异，因此在图像中挖掘前景区域可以分为多个步骤。我们开发了一个有效的掩码优化模块来迭代优化我们的预测。在最初的预测中，网络被期望定位高置信度的种子区域。然后将置信度映射保存为模块中的缓存，并用于以后的预测。每次做出新的预测时，我们都会更新缓存。在运行掩膜优化模块后，我们的模型可以更好地预测前景区域。我们通过经验验证了这种轻量级模块可以显著提高性能。

在提供多张支持图像的k-shot图像分割中，以往的方法[9,24,63]通常使用1-shot模型对每一张支持图像单独进行预测，并融合其特征或预测掩码。在我们的论文中，我们建议使用标记的支持示例对我们的网络的部分进行微调。 由于网络可以对两个图像输入进行预测，我们最多可以使用k^2个图像对来微调我们的网络。我们基于微调的方法的一个优点是，它可以受益于增加支持图像和持续提高精度。相比之下，当提供更多的支持图像时，基于融合的方法可以快速饱和。在我们的实验中，我们在1shot、5shot和10shot的设置中验证了我们的模型。

本文的主要贡献如下:

我们提出了一种新的交叉参考网络，它可以同时对小样本图像分割任务中的查询集和支持集进行预测。通过挖掘两幅图像的共现特征，我们提出的网络可以有效地改善结果。
我们开发了一个掩码优化模块，该模块具有置信度缓存，能够周期性地优化预测结果。
我们提出了一种k-shot学习的微调方案，该方案是处理多幅支持图像的有效解决方案。
我们开发了一个局部全局条件模块，它捕获查询图像和支持图像之间的局部和全局关系，以获得进一步的改进。

本文的部分结果发表在会议版[35]上。本文从几个重要方面扩展了我们早期的工作:

我们扩展了提出的CRNet[35]算法与局部-全局条件模块，以有效地结合全局和局部信息查询图像掩码预测。
我们在FSS-1000(表15)和MS COCO(表11，表12和表13)上进行了新的实验，以进一步评估我们的算法。
我们在**few-shot弱监督分割任务** 上进行了一个新的实验。实验表明，我们的新算法在Pascal VOC和FSS-1000数据集上都达到了新的境界(表14)。
我们进行了全面的消融研究和分析，如Sigmoid在交叉参考模块中的有效性分析(表6)，支持掩码在局部条件模块中的有效性实验(表7)，PFENet的微调方案有效性实验(表5)，Pascal VOC的更多消融研究(表8)和MS COCO(表12)，以调查我们网络的各个组成部分。

在这里插入图片描述

Fig. 2. 我们网络架构的pipeline。我们的网络主要由一个孪生编码器、一个交叉引用模块、一个条件模块和一个掩码细化模块组成。我们的网络采用对称设计。孪生编码器将查询和支持图像映射为特征表示。交叉引用模块挖掘两个图像中的共现特征以生成增强表示。条件模块将与类别相关的特征向量融合成特征映射，以强调目标类别。掩码优化模块将最后一次预测的置信度映射保存到缓存中，并循环优化预测的掩码。