【论文速递】CVPR2021 - 基于自引导和交叉引导的小样本分割算法

news2024/11/24 5:35:13

【论文速递】CVPR2021 - 基于自引导和交叉引导的小样本分割算法

【论文原文】:Self-Guided and Cross-Guided Learning for Few-Shot Segmentation

作者信息】:Bingfeng Zhang, Jimin Xiao , Terry Qin

获取地址:https://openaccess.thecvf.com/content/CVPR2021/papers/Zhang_Self-Guided_and_Cross-Guided_Learning_for_Few-Shot_Segmentation_CVPR_2021_paper.pdf

博主关键词: 小样本学习,语义分割,自引导,交叉引导

推荐相关论文:

- 无

摘要:

小样本分割由于其对带有少量注释样本的不可见对象类分割的有效性而引起了广泛的关注。现有方法大多使用掩码全局平均池(GAP)将带注释的支持图像编码为特征向量,以方便查询图像分割。然而,由于平均操作,这个管道不可避免地会丢失一些鉴别信息。在本文中,我们提出了一种简单而有效的自引导学习方法,其中挖掘丢失的关键信息。具体来说,通过对标注后的支持图像进行初始预测,将覆盖前景区域和未覆盖前景区域分别用掩码GAP编码为主支持向量和辅助支持向量。通过主支持向量和辅助支持向量的聚合,对查询图像具有较好的分割效果。受到我们用于1shot分割的自引导模块的启发,我们提出了一个用于多镜头分割的交叉引导模块,其中最终的掩模使用来自多个注释样本的预测融合,高质量的支持向量贡献更多,反之亦然。该模块在无需重新训练的情况下提高了推理阶段的最终预测。大量的实验表明,我们的方法在PASCAL-5i和COCO-20i数据集上都达到了最新的性能。源代码可在https://github.com/zbf1991/SCL获得。

简介:

随着深度神经网络特别是全卷积网络[18]的发展,语义分割技术取得了很大的进展。目前最先进的语义分割方法需要足够和准确的像素级标注数据,可以产生令人满意的分割掩码。然而,这些方法严重依赖于大量带注释的数据。在不可见的类或注释数据不足时,它们的性能会急剧下降。

小样本分割[8,14,20,24]是解决这一问题的一种很有前途的方法。与全监督语义分割[3,5,11,13]只能分割训练集中相同的类相比,小样本分割的目的是利用一个或几个带注释的样本来分割新的类。具体来说,将小样本分割中的数据分为支持集和查询集两个集。该任务需要从查询集中分割图像,给定支持集中的一个或多个带注释的图像。因此,这项任务的关键挑战是如何利用来自支持集的信息。大多数方法[6,17,30,35,32,26]采用暹罗卷积神经网络(SCNN)对支持图像和查询图像进行编码。为了应用支持图像中的信息,他们主要使用mask Global Average Pooling (GAP)[38]或其他增强方法[19],将所有前景[30,35,16]或背景[30]提取为一个特征向量,作为原型计算余弦距离[36]或对查询图像进行密集比较[35]。

使用从支持图像中提取的支持特征向量确实便于查询图像分割,但它携带的信息不足。图1显示了支持图像和查询图像完全相同的极端示例。然而,即使是现有的最好的方法也不能准确地分割查询图像。我们认为,当我们使用掩码GAP或其他方法[19]将支持图像编码为特征向量时,由于平均运算而丢失一些有用的信息是不可避免的。使用这样的特征向量来指导分割,并不能对像素点进行精确的预测,这需要丢失的信息作为支持。此外,对于多镜头的情况,如5shot分割,通常的做法是使用5个独立支持图像的预测的平均值作为最终预测[36]或5个支持向量的平均值作为最终支持向量[30]。但是,不同的支持图像的质量是不同的,使用一个平均的操作力所有的支持图像共享相同的贡献。

在这里插入图片描述

在本文中,我们提出了一种简单而有效的自引导和交叉引导学习方法(SCL)来克服上述缺点。具体来说,我们设计了一个自引导模块(Self-Guided Module, SGM)来从支持集中提取全面的支持信息。通过对带有初始原型的注释支持图像进行初始预测,将覆盖前景区域和未覆盖前景区域分别用掩码GAP编码为主支持向量和辅助支持向量。通过主支持向量和辅助支持向量的聚合,对查询图像具有较好的分割效果。

受到我们提出的SGM的启发,我们提出了一个用于多镜头分割的交叉引导模块(CGM),我们可以使用其他注释的支持图像来评估每个支持图像的预测质量,这样高质量的支持图像将在最终的融合中贡献更多,反之亦然。与其他复杂的方法如注意力机制[35,34]相比,我们的CGM不需要重新训练模型,在推理时直接应用它可以提高最终的性能。大量的实验表明,我们的方法在PASCAL-5i和COCO-20i数据集上实现了新的最先进的性能。

我们的贡献总结如下:

  • 我们观察到,使用平均运算来获取支持向量,不可避免地会丢失一些有用的关键信息。为了缓解这一问题,我们提出了一种自引导机制,通过强化这些容易丢失的信息来挖掘更全面的支持信息,从而对查询图像预测准确的分割掩码。
  • 我们提出了一个交叉引导模块来融合来自不同支持图像的多个预测,以完成多shot分割任务。无需对模型进行重新训练,可以直接在推理过程中使用,从而提高最终的性能。
  • 我们的方法可以应用于不同的基线,直接提高他们的性能。使用我们的方法在PASCAL-5i数据集(mIoU用于1次拍摄:61.8%,5次拍摄:62.9%)和COCO-20i数据集(mIoU用于1次拍摄:37.0%,5次拍摄:39.9%)上实现了这项任务的最新性能。

【论文速递 | 精选】

论坛地址:https://bbs.csdn.net/forums/paper

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/384129.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

来香港饮茶吹水先,免费报名Zabbix Meetup香港站!

Zabbix Meetup 来到香港啦! 春暖花开,Zabbix计划5月来到香港,和你一起饮茶吹水! 时间:5月某日,周几方便? 预计14:00-17:00 形式:线下交流会,免费,线下&…

测评自养号优势,亚马逊,速卖通、美客多、Newegg等跨境卖家必看!

随着跨境电商的发展,越来越多有实力的商家加入到跨境电商的行列,导致行业竞争越来越大,成本投入也越来越高,原来的跨境蓝海已经变红海,卖家都不得不靠“烧钱”来提升排名,吸引流量从而维持销量。那么卖家如…

企业电子招投标采购系统——功能模块功能描述

​ 功能模块: 待办消息,招标公告,中标公告,信息发布 描述: 全过程数字化采购管理,打造从供应商管理到采购招投标、采购合同、采购执行的全过程数字化管理。通供应商门户具备内外协同的能力,为外…

Python数据工程师与数据分析有什么区别?

不少朋友都很困惑,大数据工程师和Python的数据分析师有什么区别,哪一个的就业好薪资高?现在我们一起来探讨下这个问题。 首先我们来区别下大数据工程师和数据分析师: 1、概念区别 Python数据分析师培训出来的数据分析师&#x…

1-springboot基础-练习

1-spring stater project创建 设置springboot项目的下载地址:https://start.aliyun.com/ 创建项目 创建HelloController RestController publicclass HelloController {GetMapping("/hello")public String hello() {return "hello Spring Boot"…

AcWing蓝桥杯辅导课:第三讲 数学与简单DP

AcWing 1205. 买不到的数目 思路: 裴蜀定理: 对任何整数aaa、bbb,存在整数xxx、yyy,使得axby(a,b)ax by (a, b)axby(a,b), (a,b)(a, b)(a,b)表示aaa、bbb的最大公因数,令d(a,b)d(a, b)d(a,b)。若 d1d 1d1&#xff…

Mysql-DML语句

DML语句 数据操作语言DML(Data Manipulation Langua) 是SQL语言的一个分类,用于对表的数据进行增,删,改,查 创建表 CREATE TABLE 语句用于创建数据库中的表。 语法: CREATE TABLE 表名称 ( …

速度vs精度:在AutoDock Vina中,不同对接盒子Box Size 、 Exhaustiveness对配体姿势精度的影响

速度vs精度:在AutoDock Vina中,不同对接盒子Box Size 、 Exhaustiveness对配体姿势精度的影响 介绍: 在Autodock Vina的中,用户需要提供两个关键的相关参数: 1)盒子大小(Box Size),即对接搜索…

已获近百亿订单,均胜电子新一代智能网联产品领跑市场

伴随着整车智能化的升级,以及ADAS逐步向高阶自动驾驶的演进,5G车联网进入了发展的快车道。 根据《高工智能汽车研究院》数据显示,2022年前装标配5G联网功能搭载交付41.74万辆(其中,V2X功能搭载量达到17.01万辆&#x…

集装箱箱号识别API免费,中国上海人工智能企业CIMCAI中集飞瞳,集装箱人工智能平台全球近4千企业用户,箱况检测残损识别缺陷检验

集装箱箱号识别API免费,中国上海人工智能企业CIMCAI飞瞳引擎™集装箱人工智能平台全球近4千企业用户,全球领先的飞瞳引擎™AI集装箱识别云服务,集装箱残损识别箱况检测缺陷检验,小程序拍照检测或支持API接口二次开发,应…

2022年考研结果已出,你上岸了吗?

官方公布:2022年考研人数为457万。 2月20号左右,全国考研分数已经陆续公布,现在已经过去一周左右的时间了,你上岸了吗,还是在等调剂,或者已经知道落榜不知道何去何从? 考研的热潮在近几年席卷…

服务器配置 | 在Windows本地打开服务器端Tensorboard结果

文章目录方法1:直接cmd使用ssh登录远程服务器方法2:利用Xshell设置本地端口进行监听方法3:利用MobaXterm设置本地端口监听这里介绍三个方法,在在Windows本地打开服务器端Tensorboard结果 方法1:直接cmd使用ssh登录远程…

Web3中文|交易暂停!BUSD再受重创!

本周一,美国加密交易所Coinbase在推特上宣布,由于稳定币不符合上市标准,Coinbase将从3月13日起暂停BUSD的交易。一位发言人告诉CoinDesk:“我们是基于内部的审查和监控做出这一决定的,在审查BUSD时,我们认为…

无线WiFi安全渗透与攻防(四)之kismet的使用

系列文章 无线WiFi安全渗透与攻防(一)之无线安全环境搭建 无线WiFi安全渗透与攻防(二)之打造专属字典 无线WiFi安全渗透与攻防(三)之Windows扫描wifi和破解WiFi密码 kismet 如果要进行无线网络渗透测试,则必须先扫描所有有效的无线接入点。刚好在Kali Linux中&am…

清理c盘空间的方法总结,最详细的c盘清理攻略

清理C盘空间是电脑维护的重要步骤之一,C盘是Windows操作系统的核心部分,保存了许多重要的系统文件,因此空间不足会影响计算机的性能和稳定性。下面是一些清理C盘空间的方法分享。 一.清理c盘空间的方法 1、清理临时文件 在使用Windows系统时…

【Leetcode 剑指Offer】第 8 天 动态规划(简单)

动规剑指 Offer 10- I. 斐波那契数列动态规划动态规划的优化【两种赋值】剑指 Offer 10- II. 青蛙跳台阶问题剑指 Offer 63. 股票的最大利润考虑效率优化【时间空间】python初始化无穷大或无穷小值写在前面: 动规分析必备:状态定义、状态转移方程、初始状…

Vue3 + setup + ts 使用总结

阅读vue的英文官网 中文的vue官网比vue的英文官网差很多,这个其实很容易理解,毕竟vue是服务于全球的开源项目之一。 所以程序员的第一生产力还是英语 不管学什么都要去获取第一手资料,不要看中文官网,直接去看英文官网 vite初…

微服务架构简介

微服务 软件架构是一个包含各种组织的系统组织,这些组件包括 Web服务器, 应用服务器, 数据库,存储, 通讯层), 它们彼此或和环境存在关系。系统架构的目标是解决利益相关者的关注点。 image Conway’s law: Organizations which design systems[...] are constrained…

jenkins集成tapd插件

文章目录1. 在tapd上关联jenkins1.1 公司管理员登录tapd,进入设置—开发集成—服务集成1.2 下载插件,并在jenkins上安装。2. 在tapd上关联jenkins在jenkins配置tapd插件2.1 生成Jenkins API Token3. 进入某个项目,启用流水线并配置3.1 选择je…

第二章 opengl实现三角形

OpenGL三角形关注参数图形渲染管线顶点输入顶点着色器编译着色器片段着色器着色器程序链接顶点属性元素缓冲对象三角形关注参数 顶点数组对象:Vertex Array Object,VAO 顶点缓冲对象:Vertex Buffer Object,VBO 元素缓冲对象&…