Ultra-high Resolution Image Segmentation via Locality-aware Context Fusion

news2024/10/7 19:19:14

极高图像语义分割。
作者使用了一个高分辨率分割的pipeline,将原始的超高分辨率图像分成一块一块的用于局部分割,然后将局部的分割结果融合形成最终的高分辨率分割。
方法:1:作者引入了一个局部感知上下文融合(LCF)用于处理局部块:2:作者提出了交替局部增强模块(ALE)去完善产生的结果。
其中LCF模块用于研究局部快和上下文区域之间的关系,LCF块包含两步,局部感知上下文关系(LCC),和多尺度上下文融合(MCF)。
LCC设计是用来捕捉局部和全局的位置关系,MCF是用来平衡和结合不同尺度背景下的局部特征。但是不同尺度的背景下计算局部特征将会带来大量的冗余信息,为了去解决这个问题,提出了ALE,通过对多尺度上下文进行剪切和上缩放局部特征来避免冗余信息。
模型的主要处理流程:
在这里插入图片描述
模型整体的结构:
在这里插入图片描述
模型包含了三个encoder-decoder特征提取器,不同大笑的上下文区域通过缩放到相同的大小来较少计算量,然后送入到网络中用于特征的提取,经过提取的特征再分别送入到LCF和ALE,去增强局部特征。最后输入到decoder中。
patch是如何选取的:
在这里插入图片描述
**LCF:**包含LCC和MCF
LCC:设localpatch为I,中等背景为M,大背景为L。
I和他的背景U可以通过外积来计算相关性,通过建立逐像素的关系。下图的左半部分。
在这里插入图片描述
因为Mu是位置不可知的,包含了大量的无效信息,为了结合位置信息,其中一个方法是增加位置编码,作者使用门控位置编码动态的传递相对位置信息。M可以重新计算为:
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
MCF:多背景融合
通过特征提取和LCF模块,我们可以获得局部特征在这里插入图片描述
为了有效的结合和利用局部特征,我们提出了MCF模块,所有的特征首先拼接起来,然后通过一个压缩和分离模块,首先将拼接起来的特征通过1x1卷积进行压缩,然后压缩的特征通过1x1卷积重建到原始的维度,然后通过softmax获得三个权重图。生成的权重图再与结果图相乘,最后相加。
在这里插入图片描述在这里插入图片描述
ALE:交替局部增强
ALE作用可视化:
在这里插入图片描述
ALE结构:
在这里插入图片描述
ALE是为了减少LCF产生的错误信息,使用局部特征交互模块(LFI)优化上下文特征,最终产生一个更加清晰的局部表征。LFI基于空间注意力机制,通过不同大小的卷积核,有效的使用不同的参考特生优化目标特征。
L,M,I其中两个作为参考,剩下的一个作为目标。
在这里插入图片描述
参考特征经过1x1卷积生成token,然后经过拼接生成参考特征,再进过一个卷积生成注意力图。和传统的卷积不同,我们使用不同窗口大小的卷积核,可视化不同大小的卷积核:
在这里插入图片描述
我们将拼接后的参考特征进行切片,然后通过逐深度卷积。生成Xtar。
在这里插入图片描述
实验:backbone采用的segformer和VGG16.

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/101742.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

怎么提升360网站权重?怎么查询网站在360权重

怎么提升360网站权重? 一、增加网站流量 1、做高指数的关键词排名。 2、关键词的合理布局。 3、关键词的布局必须注意密度。 4、网站关键词的页面布局必须合理。二、网站页面内容布局 网站页面的内容可以说是网站的灵魂。网站的好坏完全取决于网站的内容是否能给访问…

Redis6新数据类型Bitmaps

Redis6新数据类型1.Bitmaps2.命令1.Bitmaps 简介:现代计算机用二进制(位)作为信息的基础单位,1个字节等于8位,例如“abc”字符串由3个字节组成,但实际在计算机存储时将其用二进制表示,“abc”分别对应的ASCII码是97、…

​草莓熊python turtle绘图(圣诞元旦倒数雪花版)附源代码

​草莓熊python turtle绘图(圣诞元旦倒数雪花版)附源代码 本篇目录: 一、前言 二、​草莓熊python绘图(圣诞元旦倒数雪花版)效果图 三、源代码保存方法 四、代码命令解释 (1)、绘图基本代码…

LaTeX教程(四)——文档内元素

文章目录1. 表格2. 插入图片3. 盒子4. 浮动体1. 表格 LaTeX的表格不想Word能够做到所见即所得,当表格较小还好,一旦表格内容逐渐增多,那么编写表格就变得十分麻烦了,为此,一般都是用在线表格并生成LaTeX代码的形式来得…

Linux——管道和重定向

一、Linux的文件 linux中奉行一切皆文件,包括目录、链接(类似windows的快捷方式)、设备文件。 在内核中,所有打开的文件都使用文件描述符(一个非负整数)标记。文件描述符的变化范围是0~OPEN_MAX – 1。早期的unix系统…

前端CDN和DNS

DNS的基础知识 统一资源定位符(URL) scheme: 方案,包括http,https协议。 host:主机 port:端口 path:路径 query:查询 fragment:片段,访问网址时候定位某个位置 DNS (Do…

Java 开发环境配置

在本章节中我们将为大家介绍如何搭建Java开发环境。 Windows 上安装开发环境Linux 上安装开发环境安装 Eclipse 运行 Javawindow系统安装java 下载JDK 首先我们需要下载 java 开发工具包 JDK,下载地址:Java Downloads | Oracle,在下载页面…

Kaggle房价预测 特征工程模型聚合

目录 一:Kaggle数据集准备 二:数据集分析 三:空值处理 四:空值填充 五:查找所有字符列 六:实例化独热编码对象 七:方差过滤 八:特征数据提取 九:查看特征之间…

跨域/解决跨域方法

一、同源策略 同源策略(Same Origin Policy)是一种约定,它是浏览器最核心也是最基本的安全功能。同源策略会阻止一个域的javascrip脚本和另一个域的内容进行交互,是用于隔离潜在恶意文件的关键安全机制;关于这一点我们后面会举例说明。如果缺…

C语言—指针

指针用来存放一个内存地址&#xff1b; 指针的类型就是要存放地址的变量的数据类型&#xff1b; #include <stdio.h>int main() {int a 123;char b H;int *pa &a;char *pb &b;printf("%d\n", *pa);printf("%c", *pb); } pa要存放int类…

评估篇 | 单元测试评估也能复用到集成测试?脚本帮你高效评估

上次我们分享了单元测试用例的复用&#xff0c;单元测试的用例可以复用到集成测试&#xff0c;那单元测试的评估是否也可以复用到集成测试&#xff1f;答案是可以的。 TPT中提供了多种多样的评估方式&#xff0c;其中的脚本评估使我们复用测试评估成为可能。脚本评估&#xff…

@EnableCaching如何一键开启缓存

EnableCaching如何一键开启缓存手动挡CacheManagerCache使用演示小结自动挡CachingConfigurationSelectorAutoProxyRegistrarProxyCachingConfigurationCacheOperationSourceCacheOperationBeanFactoryCacheOperationSourceAdvisorCacheInterceptor小结手动挡 我们首先来看看S…

成本、利润分析法在企业管理中的应用

1 、成本、利润分析法的主要内容 成本、利润分析法主要是指&#xff0c;利用数学模型&#xff0c;对关于企业成本、利润的要素分析&#xff0c;然后计算出要素的改变对企业成本、利润的影响&#xff0c;进而对企业决策提出建议的一种方法。在成本、利润分析法中&#xff0c;最主…

基础IO——文件描述符

文章目录1. 文件描述符fd1.1 open返回值2. 理解Linux下一切皆文件3. 文件描述符的分配规则4. 重定向的本质4.1 使用 dup2 系统调用4.2 追加重定向4.3 输入重定向1. 文件描述符fd 1.1 open返回值 我们先来看下面的例子&#xff1a; 运行结果如下&#xff1a; 我们知道open的…

磺基-CY5 马来酰亚胺 Cyanine5 Maleimide

磺基-CY5 马来酰亚胺 Cyanine5 Maleimide Cyanine5 maleimide是单一活性染料&#xff0c;有选择性的与硫醇基团&#xff08;比如蛋白和多肽的半胱氨酸&#xff09;结合以进行标记。我们使用水溶的Sulfo-Cyanine5 maleimide标记抗体和其他敏感蛋白。Cyanine5是Cy5的类似物&am…

Pb协议的接口测试

Protocol Buffers 是谷歌开源的序列化与反序列化框架。它与语言无关、平台无关、具有可扩展的机制。用于序列化结构化数据&#xff0c;此工具对标 XML &#xff0c;支持自动编码&#xff0c;解码。比 XML 性能好&#xff0c;且数据易于解析。更多有关工具的介绍可参考官网。 P…

Java8新特性学习

文章目录Lambda表达式为什么使用Lambda表达式Lambda表达式语法语法格式一&#xff1a;无参数&#xff0c;无返回值语法格式二&#xff1a;有一个参数&#xff0c;并且无返回值语法格式三&#xff1a;若只有一个参数&#xff0c;小括号可以省略不写语法格式四&#xff1a;有两个…

Docker容器数据卷

是什么 卷就是目录或文件&#xff0c;存在于一个或多个容器中&#xff0c;由docker挂载到容器&#xff0c;但不属于联合文件系统&#xff0c;因此能够绕过Union File System提供一些用于持续存储或共享数据的特性&#xff1a;卷的设计目的就是数据的持久化&#xff0c;完全独立…

LSTM(Long Short-Term Memory)

长短期记忆&#xff08;long short-term memory&#xff0c;LSTM&#xff09;&#xff0c;LSTM 中引入了3个门&#xff0c;即输入门&#xff08;input gate&#xff09;、遗忘门&#xff08;forget gate&#xff09;和输出门&#xff08;output gate&#xff09;&#xff0c;以…

华为时习知,让企业培训更简单!

在数字经济的发展过程中&#xff0c;人才始终是不容忽视的关键因素&#xff0c;企业对数字化人才培养的需求也愈加迫切。然而企业培训说起来简单&#xff0c;要做好却绝非易事。企业可能会面临员工分散各地、流动性大、关键岗位人才培训等复杂培训场景问题&#xff0c;无法高效…