【论文速递】ICLR2018 - 用于小样本语义分割的条件网络

【论文原文】：CONDITIONAL NETWORKS FOR FEW-SHOT SEMANTIC SEGMENTATION（Workshop track - ICLR 2018）

【作者信息】：Kate Rakelly Evan Shelhamer Trevor Darrell Alexei Efros Sergey Levine

获取地址：https://openreview.net/pdf?id=SkMjFKJwG

博主关键词： 小样本学习，语义分割，条件网络

推荐相关论文：

- 无

摘要：

few-shot学习方法的目标是在低数据状态下获得良好的性能。结构化输出任务，如分割，由于其高维和输出之间的统计依赖性，对小样本学习提出了困难。为了解决这个问题，我们提出了co-FCN，这是一个通过端到端优化学习的条件网络，可以执行快速、准确的小样本分割。网络条件建立在一个带标注的支持图像集上，通过特征融合对一个未标注的查询图像进行推理。一旦学会，我们的条件反射方法就不需要对新数据进行进一步优化。注释被限制在一个单独的向前传递中，这使得我们的方法适合交互使用。我们用密集和稀疏注释来评估我们的co-FCN，即使只给出一个正像素和一个负像素，它也能达到具有竞争力的准确性，减少了分割新概念的注释负担。

简介：

卷积网络正在推动对事物和地点的视觉识别方面的进展，这在一定程度上是由收集昂贵且耗时的大型标记数据集实现的。few-shot学习有望提高数据效率;在极端情况下，一次性学习只需要一个新概念的单个注释。为了快速适应新的领域或任务，目前的一些方法依赖于元学习或学会学习。虽然这些方法很有前途，但重点是分类，而对结构化输出任务的研究很少。由于输出空间的高维，以及输入中像素的空间相关性导致的输出之间的统计依赖关系，目前的方法在很大程度上不能即开即用地应用于结构化输出设置。

语义分割是视觉识别中具有挑战性的核心任务。端到端优化的网络已经实现了最先进的性能，但依赖于大量的像素级标记数据集，这些数据集的收集特别繁重，使得注释负担的减轻实际上非常重要。因此，我们解决了由Shaban等人(2017)首次提出的小样本语义分割问题。在我们的co-FCN网络中，我们增加了FCN (Shelhamer et al.， 2016)架构，并加入了一个条件分支，以合并few-shot标注。测试时无梯度流动;给定一个新的few-shot任务，求解它是网络中的一次向前传递。在训练过程中，我们通过从密集标记的语义分割数据集中采样来模拟few-shot任务。
在这里插入图片描述

Fig. 1. co-FCN在网络的单次向前传递中进行小样本分割。调节分支(顶部)将支持图像和(密集或稀疏)标注按通道连接起来，并将它们编码为特征(如图所示)或参数。分段分支(底部)在这个编码条件上密集分段查询。对于训练(未显示)，从密集标记的数据集合成few-shot任务。该损失将查询图像的预测分割与目标进行比较，目标是由查询的支持和真实语义分割共同定义的。这两个分支是端到端联合学习的。

我们的工作与一次性和交互式的细分方法有关。Shaban等人(2017)是第一个解决小样本语义分割的人。它们假设密集的像素级小样本注释。我们的方法在只有一个正像素和一个负像素的情况下达到了几乎相同的精度。Caelles等人(2017)展示了微调对视频对象分割的有效性，但要求在测试时对每个输入进行优化，在计算和注释方面成本太高。Xu等人(2016)学习了最先进的交互式对象分割，但仅限于在单个图像中传播注释，并且不能跨图像传播。我们的贡献包括处理稀疏的像素级注释，调节特征与参数，以及评估更强的分割和元学习基线。