论文笔记 ICLR 2024 MogaNet: Multi-Order Gated Aggregation Network

news2024/10/21 11:42:58

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

配图中有2个分支,一个是subtract的输出和缩放因子(γs)相乘之后的结果,另一个是1×1卷积输出的结果,这两个分支的输出进行element-wise addition,这两个分支的输出分别代表什么?

在这里插入图片描述

为什么”增强局部与全局特征的差异性“可以提高识别、检测、分割的性能?

在这里插入图片描述

在这里插入图片描述

类似地,图中Multi-Order Gated Aggregation中的两个分支Fϕ(·)和Gψ(·),一方面保留了输入的主要信息,另一方面通过Gψ(·)分支增强了多尺度特征。

在这里插入图片描述

似乎在特征融合或特征增强的模块设计中,一个分支保留输入的主要信息,另一个分支进行输入特征增强或融合,最后将两个分支的输出进行融合,这种操作非常常见,其设计思想借鉴了残差连接。

在这里插入图片描述

然后是Channel Aggregation Block(CA Block)Multi-Order Gated Aggregation Block(Moga Block)的输出可以作为Channel Aggregation Block(CA Block)的输入。这种设计符合MogaNet的整体结构逻辑,即先通过Moga Block进行空间维度和上下文特征的多阶交互聚合,再通过CA Block在通道维度上进行自适应的特征重新分配和聚合。具体来说:

1. Multi-Order Gated Aggregation Block 的作用

  • Moga Block专注于通过不同大小的卷积核(如5×5、7×7)和空洞卷积,捕捉不同空间尺度的特征,并对这些特征进行聚合。它主要处理的是特征的空间维度上下文交互

2. Channel Aggregation Block 的作用

  • CA Block则进一步处理这些聚合后的特征,重点是对通道维度进行重新分配和自适应加权。它通过通道间的差异性计算(如通过1×1卷积降维、GELU激活和残差加权),优化通道间的特征表达。

3. 输入与输出的关系

  • 在MogaNet的结构中,Moga Block的输出(经过空间聚合和上下文交互后的特征)会作为CA Block的输入。在CA Block中,模型进一步调整通道间的特征关系,最终生成更具表达力的输出。因此,Moga Block和CA Block在网络中是串联工作的,Moga Block处理空间维度和上下文信息,而CA Block则负责优化通道维度的特征。

4. 总结

  • Moga BlockCA Block 是网络中两个紧密关联的模块。Moga Block 输出的特征经过聚合后会被送入CA Block,在通道维度上进行进一步的优化和处理。这个设计的目的是确保特征在空间和通道两个维度上都能被充分利用和优化。

在这里插入图片描述
在这里插入图片描述

怎么利用这篇论文提出的模块进行改进?

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2213905.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

1486. 数组异或操作

1486. 数组异或操作 题目含义:根据整数 n n n 和 s t a r t start start 构造一个数组,数组元素为 n u m s [ i ] 2 i s t a r t , i ∈ [ 0 , n − 1 ] nums[i] 2i start, i \in [0,n-1] nums[i]2istart,i∈[0,n−1];最后返回这个数组…

电脑 WiFi 上网,开发板和电脑直连,如何才能让开发板也有网络

目录 问题 解决方法 1.设置电脑为WLAN共享模式 2、设置以太网IP 3、设置开发板IP及网关 4、测试 5、开发板重启之后会自动清空 /etc/resolv.conf文件中的内容问题解决 问题 电脑 WiFi 上网,开发板和电脑直连,如何才能让开发板也有网络 解决方法 1.设置电脑…

父子情深!汤姆克鲁斯已经结束英国的奢华生活搬回美国跟儿子团聚

汤姆克鲁斯似乎一直专注于在英国的奢华生活方式。过去五年里,他拍摄了许多电影,还被看到与皇室成员和一线明星一起参加派对。但消息人士称,他可能正在准备搬回美国,以便更接近他的儿子康纳。 在跨过大西洋的五年后,他…

使用electron+vue开发桌面应用

electron是什么 electron由Node.jsChromiumNative APIs构成。你可以理解成,它是一个得到了Node.js和基于不同平台的Native APIs加强的Chromium浏览器,可以用来开发跨平台的桌面级应用。 它的开发主要涉及到两个进程的协作——Main(主&#x…

力扣题解(鸡蛋掉落)

887. 鸡蛋掉落 已解答 困难 相关标签 相关企业 给你 k 枚相同的鸡蛋&#xff0c;并可以使用一栋从第 1 层到第 n 层共有 n 层楼的建筑。 已知存在楼层 f &#xff0c;满足 0 < f < n &#xff0c;任何从 高于 f 的楼层落下的鸡蛋都会碎&#xff0c;从 f 楼层或比它…

JVM可视化监控

1 JConsole 一、介绍 JConsole 是一种 Java 监控和管理控制台工具&#xff0c;可以用于监视 Java 虚拟机&#xff08;JVM&#xff09;的性能和资源利用情况。它提供了一种图形化界面&#xff0c;可以实时查看 JVM 的运行状态、内存使用情况、线程活动、垃圾回收等信息&#xf…

Spring 实现 3 种异步流式接口,干掉接口超时烦恼

大家好&#xff0c;我是小富&#xff5e; 如何处理比较耗时的接口&#xff1f; 这题我熟&#xff0c;直接上异步接口&#xff0c;使用 Callable、WebAsyncTask 和 DeferredResult、CompletableFuture等均可实现。 但这些方法有局限性&#xff0c;处理结果仅返回单个值。在某…

每日OJ题_牛客_小乐乐改数字_模拟_C++_Java

目录 牛客_小乐乐改数字_模拟 题目解析 C代码 Java代码 牛客_小乐乐改数字_模拟 小乐乐改数字_牛客题霸_牛客网 (nowcoder.com) 描述&#xff1a; 小乐乐喜欢数字&#xff0c;尤其喜欢0和1。他现在得到了一个数&#xff0c;想把每位的数变成0或1。如果某一位是奇数&#…

Python 工具库每日推荐【PyAutoGUI】

文章目录 引言Python桌面自动化库的重要性今日推荐:PyAutoGUI工具库主要功能:使用场景:安装与配置快速上手示例代码代码解释实际应用案例案例:自动化图像识别和点击案例分析高级特性失败安全机制相对坐标操作扩展阅读与资源优缺点分析优点:缺点:总结【 已更新完 Python工…

如何远程查看孩子的电脑使用?

越来越多的家庭拥有了多台电脑和智能设备。家长们往往没有办法时刻陪伴在孩子身边&#xff0c;监督他们的上网行为。而远程控制电脑可以帮助家长在任何时间、任何地点对孩子的电脑进行监控和管理&#xff0c;确保他们能够安全、健康地使用互联网。 通过远程控制软件&#xff0c…

锦锐科技CA51F7系列笔记

1、PWM &#xff08;1&#xff09;芯片一共有6个PWM通道&#xff08;PWM0~PWM5&#xff09; &#xff08;2&#xff09;IRCH时钟&#xff08;IRCH 频率为 16MHz&#xff09; &#xff08;3&#xff09;IRCL时钟&#xff08;IRCL频率为100KHz&#xff09; &#xff08;4&…

JavaScript 命令模式实战:打造可撤销的操作命令

一. 前言 在前端开发中&#xff0c;命令模式&#xff08;Command Pattern&#xff09;作为一种行为型设计模式&#xff0c;可以帮助我们将请求封装成一个对象&#xff0c;从而实现调用对象和执行对象之间的解耦&#xff0c;方便扩展和修改。 本文将和大家分享 JavaScript 中的…

实战子网掩码划分问题

拓扑要求总部有2个业务段&#xff0c;分部也有3个业务 还有互联地址段&#xff0c;还有管理地址段&#xff01;&#xff01;&#xff01;&#xff01; 23117 个段 192.168.1.0/24 怎么划分呢&#xff1f; 1 根据要求划分地址段 192.168.1.0/24 要划分7个网段那就…

linux------缓冲区与C库的原理

前言 一、缓冲区 缓冲区的作用是提高效率&#xff0c;因为将数据写入到设备&#xff0c;是需要调用系统接口的&#xff0c;如果每次写入缓冲区的数据就调用一次系统调用&#xff0c;涉及到系统调用这时操作系统就会介入&#xff0c;用户态转为内核态&#xff0c;这个过程需要时…

自然语言到 SQL 的曙光:我们准备好了吗?

发布于&#xff1a;2024 年 10 月 08 日 各位读者&#xff0c;国庆假期已过&#xff0c;我们打工人要开启奋斗新征程了&#xff0c;今天小编也是刚上班假期综合征还没过去&#xff0c;就被抓过来读论文&#xff0c;还好我在假期没闲着&#xff0c;整理了几篇关于 NL2SQL 的最新…

周易解读:两仪01

两 仪01 上一节里面&#xff0c;我们讲解了太极的知识。关于太极呢&#xff0c;它是可以有着多方面的含义。在这里呢&#xff0c;我们主要地&#xff0c;选取它的宇宙生成中的一种含义&#xff0c;认为太极是有所萌动&#xff0c;有所积累&#xff0c;但是呢&#xff0c;就是…

【YOLOv11】实战一:在LabVIEW 中使用OpenVINO实现YOLOv11

‍‍&#x1f3e1;博客主页&#xff1a; virobotics(仪酷智能)&#xff1a;LabVIEW深度学习、人工智能博主 &#x1f384;所属专栏&#xff1a;『LabVIEW深度学习实战』 &#x1f4d1;推荐文章&#xff1a;『LabVIEW人工智能深度学习指南』 &#x1f37b;本文由virobotics(仪酷…

单体应用、SOA 和微服务架构的区别

在软件架构的发展历程中&#xff0c;单体应用、面向服务架构&#xff08;SOA&#xff09;和微服务架构都有着各自的特点和适用场景。了解它们之间的区别&#xff0c;有助于我们在不同的项目需求下做出更合适的架构选择。 一、单体应用 &#xff08;一&#xff09;定义与特点 …

DAY8 Final等

Final关键字 final修饰静态变量&#xff0c;这个变量今后被称为常量&#xff0c; 可以记住一个固定值&#xff0c;并且程序中不能修改了&#xff0c;通常这个值作为系统的配置信息。常量的名称&#xff0c;建议全部大写&#xff0c;多个单词用下划线连接。 public static final…

PaddleOCR的包装生产日期识别_随记1

一、前言 项目难点 没有训练数据图像质量层次不齐: 角度倾斜、图片模糊、光照不足、过曝等问题严重 二.、环境搭建 本任务基于Aistudio完成, 具体环境如下&#xff1a; 操作系统: LinuxPaddleOCR: PaddleOCR_2.7text_renderer: masterpaddlepaddle-gpu2.6.0cuda版本是11.8,…