【论文速递】TNNLS2022 - 一种用于小样本分割的互监督图注意网络_充分利用有限样本的视角

【论文原文】：A Mutually Supervised Graph Attention Network for Few-Shot Segmentation: The Perspective of Fully Utilizing Limited Samples

获取地址：https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=9733415
CSDN下载：https://download.csdn.net/download/qq_36396104/87379693

博主关键词： 小样本学习，语义分割，图注意力网络，互监督

摘要：

全监督语义分割在许多计算机视觉任务中表现良好。然而，这是耗时的，因为训练一个模型需要大量的像素级注释样本。小样本分割最近成为解决这个问题的一种流行方法，因为它只需要少量带注释的样本就可以推广到新的类别。然而，如何充分利用有限的样本仍然是一个悬而未决的问题。因此，本文提出了一种相互监督的小样本分割网络。首先，对中间卷积层的特征映射进行融合，增强特征表示能力;其次，将支持图像和查询图像组合成二部图，采用图注意网络避免空间信息丢失，增加支持图像像素数，指导查询图像分割;第三，利用查询图像的注意图作为先验信息，增强支持图像分割，形成相互监督的机制。最后，将中间层的注意图进行融合，送入图推理层进行像素类别推断。在PASCAL VOC-5i数据集和FSS-1000数据集上进行了实验，结果表明了该方法的有效性和性能优于其他基线方法。

关键词 -小样本学习，图注意网络，图推理，图像分割，相互监督体制(MSR)。

简介：

DEEP神经网络在目标检测、语义分割和自动字幕等计算机视觉任务中取得了显著的成功。这些方法依赖于大规模的人类标注数据集的可用性，例如PASCAL VOC [1]， ImageNet[2]和COCO[3]。然而，注释这些数据集非常耗时、繁琐且容易出错。语义分割已应用于许多计算机视觉任务，如自动驾驶[4]、人机交互[5]、图像搜索引擎[6]、手术用医疗设备[7]。由于密集的像素级预测问题，用于语义分割任务的标注需要更多的劳动。近年来，基于全卷积网络(FCN)[8]的最先进的语义分割框架取得了显著的进展;然而，缺乏注解良好的数据集阻碍了实际应用中的性能改进。为了降低标注成本，提出了一些带有粗标注的弱监督方法;这些方法包括边界框[9]、涂鸦[10]、点[11]和图像级别标签[12]。虽然这些方法确实降低了数据注释的难度，但训练数据集仍然需要额外的处理，而且这些模型不能适应新的类别。例如，自动驾驶模型无法适应不同国家的驾驶规则，计算机辅助诊断算法无法准确诊断新的疾病类别，网络异常检测算法无法发现新的安全漏洞类型。对于新的类别，网络必须重新训练。然而，当只有少数新样本可用时，网络容易过拟合。随着元学习技术的发展，在仅有少量标注样本的情况下，如何取得满意的分割结果已成为研究的热点。元学习的目标是学会学习，它模仿人类从少数甚至一个样本中识别新类别的能力。小样本学习是将元学习应用于监督范式，主要用于图像分类。 从另一个角度来看，语义分割可以看作是一个像素级的分类问题。Shaban et al.[14]提出了一种单shot语义分割方法，仅使用一张图像及其对应的像素级注释即可获得像素级分割掩码。这可能是第一次将小样本方法应用于分割任务。Rakelly等人[15]提出了Co-FCN方法，仅使用密集和稀疏注释实现少镜头分割。这些方法将支持图像的特征压缩成一个向量，通过掩码平均池化操作来指导分割。然而，掩码平均池化操作不可避免地会丢失支持图像中的空间信息。考虑到在小样本学习范式中样本有限，充分利用上下文信息并快速聚焦于关键对象特征是很重要的。 Zhang等[16]整合了中间层的信息，增强了特征的多样性。近年来，注意力机制被广泛应用于分割任务中，用于聚焦关键目标区域。Hu等人[17]提出了一种基于注意的小样本语义分割方法，该方法将注意机制应用于支持分支和查询分支之间的多尺度特征。Wang等[18]用图形注意取代了传统的注意。他们发现，激活的像素往往只集中在支持图像的一个非常小的区域。因此，只使用少量像素来指导查询图像分割，这对分割性能产生了不利影响。因此，作者在训练过程中调整激活区域，以利用支持图像中更多的前景对象像素。他们认为高权重像素应该被抑制，低权重像素应该被加强。但是，它们的权重调整策略并不合理，会引入噪声像素，导致查询图像分割不正确。支持图像的非判别区域容易导致查询图像的语义混叠。 例如，背景像素被错误地分割为前景像素。

在这里插入图片描述

Fig. 1. Overview of graph attention.

为了克服这些缺点，我们设计了一个小样本学习框架。在我们提出的方法中使用了典型的双分支结构，其中每个分支充当一个特征提取器网络。在该方法中，特征提取器网络被划分为几个中间层，以获得多尺度特征。从不同中间层获得的特征图被发送到图注意模块(GAM)。GAM旨在鼓励更多的前景像素来指导分割，如图1所示。提取器网络生成的特征向量被映射到图的节点上。我们定义了两种不同类型的边来构造图:图内边和图间边。图内边通过邻居创建机制生成，图内边连接在支持图的标记节点和查询图的所有节点之间。支持图像和查询图像的图结构共同构建二部图，将网格数据转换为图数据。然后，利用基于空间信息的图卷积网络来表示图数据。节点通过聚合自己的特征和邻居的特征来表示。通过计算图的边权值，将标签从支持图像传播到查询图像。这样做有利于充分利用有限的样本，同时避免空间信息的丢失。 然后，为了避免引入不正确的分割，提出了一种创新的权值调整方法，鼓励支持图像中有更多的标注像素来指导查询图像的分割过程。 然后，在每个中间层上引入双分支互监督网络。在将支持图像发送到GAM之前，使用支持掩码丢弃支持图像的背景。然后，利用该结果指导查询图像的分割。同样，生成的查询图像注意图用于删除查询图像的背景。从而形成一个相互监督的区域(MSR)，并通过逐步迭代得到多层前景注意图。MSR打破了传统的仅使用支持图像来指导分割的方法。 查询图像参与网络训练，提高分割性能，有利于充分利用有限的样本。此外，采用混合损失函数加快了网络的收敛速度。最后，融合来自不同中间层的注意图，并将其发送到图推理层(GRLs)来推断像素类别。我们的主要贡献总结如下。

1)利用支持图像和查询图像的特征映射构造二部图，并设计GAM计算它们之间的边权值。然后，根据边缘权值将标签从支持图像传播到查询图像。此外，我们提出了一种权重调整策略，以鼓励更多的前景像素参与分割过程。

2)采用MSR充分利用中间层的多层信息，鼓励支持图像和查询图像相互学习。最后，对两个损失进行了相加，加快了小样本学习网络的收敛速度。

3)我们在Pascal VOC-5i和FSS-1000数据集上演示了我们的方法的有效性，并实现了最先进的性能。

本文其余部分的组织如下。第二部分介绍了相关技术和最新进展。第三节详细说明了拟议的网络。第四部分报告实验设置和结果。第五节讨论了结果并提出了今后的工作建议。

在这里插入图片描述