CVPR 2019|APCNet:基于全局引导的局部匹配度自适应金字塔上下文网络

news2024/11/8 20:34:56

🏆本篇论文发现了一种全局引导的局部匹配度(Global-guided Local Affinity (GLA))特征,用于构造上下文语义信息。基于此特性,作者设计了自适应上下文模块,构建自适应金字塔上下文网络(APCNet)。在不使用COCO数据集预训练模型的情况下,获得了2019年PASCAL VOC2012最高的分数84.2%

文章目录

    • 解决的问题
    • 思路和主要过程
      • 最优上下文向量的理想性质
      • APCNet:Adaptive Pyramid Context Network
    • 实验结果

image-20221208200231258

会议/期刊:CVPR2019

论文题目:《Adaptive Pyramid Context Network for Semantic Segmentation》

论文链接:Adaptive Pyramid Context Network for Semantic Segmentation

开源代码:Junjun2016/APCNet: Adaptive Pyramid Context Network for Semantic Segmentation (APCNet CVPR’2019) (github.com)

解决的问题

  1. 局部卷积感受野较小,且主要描述核心区域,忽略边界周围的背景。

  2. 不同物体可能有相似的特征,如木桌和椅子有相似的纹理,会造成歧义

    如下图,图片中的马和雪容易相互影响

    image-20221208195745684

    同时,在以前的工作中,利用局部像素分配权重的方式,忽略了上下文信息。

  3. 不同数据集有不同的语境,传统的特征域自适应效果差,作者希望探索什么是最佳语境。

思路和主要过程

最优上下文向量的理想性质

为了解决第三个问题,最近的一些工作DeepLabV3+、PSANet将上下文向量聚合到局部卷积特征以提高分割性能。

这些方法在构造上下文向量的方式上各不相同,并且在不同的数据集上执行不同的操作。所以有一个自然的问题,什么是语义分割的最佳语境。作者试图通过研究最优上下文向量应该表现出的理想性质来解决这个问题。最优上下文向量原则上应该可以描述与局部特征互补的、与分割相关的图像内容,同时,该向量应该与尽可能少的无关信息紧凑。具体地说,论文总结了以下三个关键属性:

  • 多尺度

    image-20221208201734841

  • 适应性:如何自动识别重要的区域

  • GLA:全局引导的局部匹配度

    image-20221208201754007

作者还总结了先前网络中这三个属性的分布情况

image-20221208201148989

PS:MS: multi-scale, GLA: global-guided local affinity.

APCNet:Adaptive Pyramid Context Network

image-202212082011489sa

  1. 将输入图片经过主干网络卷积后,得到特征矩阵X(Feature Map),特征矩阵X分解为多个不同尺度,馈送到自适应上下文模块(ACM)以估计每个局部位置的自适应上下文向量。

  2. 对于不同s的ACM模块,又分为两个支路

    • 1️⃣第一条(上路)是经过一个 1 ∗ 1 1*1 11 的卷积,得到 h ∗ w ∗ 512 h*w*512 hw512 的特征矩阵,然后再平铺为一个长度为512的全局向量g(x),g(x)表示图片中的全局信息

    • 将特征矩阵x和g(x)相乘。此步骤的意义是:利用局部特征x(i)和全局向量g(x),来计算每个局部位置i的全局亲和量 a i a_i ai(我觉得翻译成匹配度更好一点)

    • 将GLA的亲和系数 a s a_s as 由3D矩阵( h ∗ w ∗ s 2 h*w*s^2 hws2)reshape成2D矩阵 h w ∗ s 2 hw*s^2 hws2,等待输入。这个过程就是计算 f s ( x i , g ( x ) , j ) f_s(x_i,g(x),j) fs(xi,g(x),j) 的过程


    • 2️⃣第二条(下路)经过自适应池化+卷积,获取全局信息,得到 s ∗ s ∗ 512 s*s*512 ss512 的卷积,然后再reshape成 s 2 ∗ 512 s^2*512 s2512 的2维矩阵 y s y^s ys,然后再和 f s ( x i , g ( x ) , j ) f_s(x_i,g(x),j) fs(xi,g(x),j)相乘

    • 最后reshape得到一个3维矩阵 z s z^s zs,这样,一个s的ACM模块就构建好了。它的输入输出都是一个 h ∗ w ∗ 512 h*w*512 hw512的矩阵

  3. 将特征矩阵X(Feature Map)和ACM(s=1、2、3………)矩阵拼接在一起,得到分割结果

上图用数学可以表示为:

image-20221208234702329

实验结果

在不经过COCO预训练的情况下,mIoU达到84.2%

image-20221208201824760

在ADE20K验证集上,达到45.38%的mIoU

image-20221208201926364

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/74076.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

手工测试2年面临职场危机,3个月进阶自动化测试后,老板终于留我了...

​前言 从学校到职场已经3年时间了,大学学的计算机专业,最开始事项从事java开发的,最终被现实打败,然后就从事了软件测试,现在已近过去了2年,为什么说是2年了,大学毕业有一段空窗期&#xff0c…

大数据面试之HDFS常见题目

大数据面试之HDFS常见题目 HDFS常见题目 1 HDFS读流程和写流程 1.1 读流程(下载) 文字描述: ​ 客户端将要读取的文件路径发送给 NameNode,NameNode 获取文件的元信息(主要是 block 的存放位置信息)返回…

美团外卖推荐智能流量分发的实践与探索

总第548篇2022年 第065篇美团外卖推荐团队在推荐算法的长期落地实践中,针对外卖业务情境化特点对排序模型进行深入探索与优化。本文介绍了面向情境化建模的“情境细分统一模型”建模思路,通过用户行为序列建模以及专家网络两个模块的优化,实现…

简单实用:css+html绘制常见图表

提到绘制图表&#xff0c;大家可能想到ECharts&#xff0c;其实&#xff0c;一些简单的图表可以直接通过csshtml实现&#xff0c;下面手把手带大家绘制&#xff0c;初学者也能轻松掌握。 1 csshtml绘制柱形图 我们先写一个超简单的html文件。 <div class"bargraph&q…

多维数组地址映射问题的求解(3维、4维为例)——数据结构

在上篇我大概介绍了多维数组的地址映射问题&#xff0c;但是不够完善&#xff0c;很多朋友还没有彻底学会&#xff0c;表示很头疼。这一方面的总结确实比较少&#xff0c;而且也很麻烦&#xff0c;但是不要怕&#xff0c;看完我的总结&#xff0c;相信你一定会有一直醍醐灌顶的…

《2022中国PaaS市场研究及选型评估报告》正式发布

《中智观察》第1741篇推送作者&#xff1a;海比研究院编辑&#xff1a;晓晓编审&#xff1a;赵满头图来源&#xff1a;中国软件网从2006年概念兴起至今&#xff0c;云计算已经在国内走过整整十五年的历程。云计算的三大模式SaaS、PaaS、IaaS从陌生到熟悉&#xff0c;从研发到应…

ML Journal6—OpenCV中的GUI功能

图像入门这是将在本教程中使用的图像borz.jpgimport cv2 as cv import sysimg cv.imread(borz.jpg) if img is None:sys.exit("Could not read the file.") cv.imshow("Display Window", img) k cv.waitKey(0) if k ord("s"):cv.imwrite(&quo…

《自己动手写CPU》学习记录(5)——第5章/Part 1

目录 引言 致谢 流水线的数据相关问题 问题分析 RAW类型 1、相邻指令数据相关 2、间隔1条指令数据相关 3、间隔2条指令数据相关 修改后的代码 译码模块 指令执行模块 顶层模块 测试 测试代码 生成.data初始化文件 仿真结果 引言 随章节进度继续推进&#xff0c…

【视频】马尔可夫链原理可视化解释与R语言区制转换MRS实例|数据分享

原文链接&#xff1a;http://tecdat.cn/?p12280马尔可夫链是从一个“状态”&#xff08;一种情况或一组值&#xff09;跳到另一个“状态”的数学系统。本文介绍了马尔可夫链和一种简单的状态转移模型&#xff0c;该模型构成了隐马尔可夫模型&#xff08;HMM&#xff09;的特例…

近期方案研究总结(那些你用的到的排列组合)

方案一 这个方案只一个位置一个号码&#xff0c;标的物即一个位置八十期不重即可以切入&#xff0c;以这样的思路去进行扩充。 纬度一 两期重复形态为&#xff1a;11、22、33、44、55、66、77、88、99、1010。 数上升一形态为&#xff1a;12、23、34、45、56、67、78、89、910…

微服务框架 SpringCloud微服务架构 28 数据同步 28.6 测试同步功能

微服务框架 【SpringCloudRabbitMQDockerRedis搜索分布式&#xff0c;系统详解springcloud微服务技术栈课程|黑马程序员Java微服务】 SpringCloud微服务架构 文章目录微服务框架SpringCloud微服务架构28 数据同步28.6 测试同步功能28.6.1 直接开干28 数据同步 28.6 测试同步…

云安全系列5:2023 年需要了解的 40个云安全术语

云安全具有广泛而复杂的特点&#xff0c;它有许多特定的术语和首字母缩略词。我们在这里整理了一些云安全术语。将其用作指南&#xff0c;可帮助您了解云安全的细微差别并更便于学习相关内容。 Agent 代理是专门的软件包或应用程序&#xff0c;部署到设备或机器上以完成与安全…

IDEA:Idea 集成 EasyYApi 插件实现接口文档的生成与更新

我是 ABin-阿斌&#xff1a;写一生代码&#xff0c;创一世佳话&#xff0c;筑一览芳华。如果小伙伴们觉得不错就一键三连吧~ 声明&#xff1a;文章原文来源处&#xff1a; https://blog.csdn.net/weixin_40863968/article/details/122432678https://www.jianshu.com/p/cd91590…

10个知识点让你读懂Spring MVC容器

DispatcherServlet 的配置参数 可以通过的属性指定配置参数&#xff1a; namespace参数&#xff1a;DispatcherServlet对应的命名空间&#xff0c;默认是WEB-INF/-servlet.xml。在显式配置该参数后&#xff0c;新的配置文件对应的路径是WEB-INF/.xml&#xff0c;例如如果将name…

Android 移植iperf3.13 测试网络

iperf,测试网络性能的&#xff0c;不同于 webrtc里面的gcc 算法预估网络带宽&#xff0c;iperf是实际占用网络来传输数据测量实际的网络性能。 官网&#xff1a;https://iperf.fr/ 官方就有 android 的下载 https://iperf.fr/iperf-download.php#android&#xff0c; 但是看起…

绕线机算法模型(Simulink仿真验证+PLC代码实现)

绕线机应用的详细内容大家可以参看下面这篇博客,这里不再赘述。本文主要借助Simulink仿真分析和解决工程实际问题。希望对大家学习Simulink有所帮助。限于水平和能力所限,文中难免出现错误和不足之处,诚恳的希望大家批评和指正。 S7-200 SMART PLC和V20变频器绕线机控制应用…

Linux(在 Linux 上搭建 java 部署环境(安装jdk/tomcat/mysql) + 将程序部署到云服务器上的操作)

目录 &#x1f432; 1. 在 Linux 上搭建 java 部署环境 &#x1f984; 1.1 安装 jdk &#x1f984; 1.2 安装 tomcat &#x1f984; 1.3 安装 mysql &#x1f432; 2. 将[博客系统]部署到云服务器上 &#x1f984; 2.1 先在云服务器上,创建和之前 windows 上一样的数据库…

德勤、阿里为数据智能时代造势,是风口还是韭菜?

前不久&#xff0c;德勤和阿里高调发布了业内首个DAAS报告《DAAS数字化新世代的最优解》&#xff0c;强调“企业不应该继续将数据智能建设当作‘选择题’&#xff0c;而是一道‘必答题’&#xff01;” 德勤管理咨询中国首席执行官戴耀华&#xff08;右&#xff09;与阿里巴巴集…

自学编程技术如何选择书籍?

首先自学编程的话&#xff0c;也是要先确定要选择适合自己的编程语言。然后再购买相应的编程教材&#xff0c;不知道怎么选择的话&#xff0c;可以直接选择黑马的原创书籍。 《C语言开发基础》 内容简介 本书是对《C语言开发入门教程》一书的全新改版&#xff0c;本次改版结合…

智能驾驶穿越“寒冬”:Argo AI们倒下,复睿智行们崛起

作者 | 曾响铃 文 | 响铃说&#xff08;xiangling0815&#xff09; 寒气还在智能驾驶领域蔓延。 在过去的一段时间&#xff0c;裁员、倒闭、破产、市值下跌、巨头撤离等等一系列不好的消息在智能驾驶行业频频爆出&#xff0c;一批老牌的智能驾驶企业更是倒在了黎明前。 智能…