BEVFusion中特征融合模块是如何应用通道注意力机制的?

news2024/11/16 23:29:48

BEVFusion总体结构如下图所示,在相机和lidar的输入都已经被网络提取特证之后,就要对两种特征进行融合,

在这里插入图片描述

在BEV Fusion中图像支路得到的是 Camera BEV Features,点云支路得到的是 LiDAR BEV Features,除了2d和3d各自的检测支路之外,下一步我们要做什么呢,那就是融合,也就是 Fusion Module 模块。接下里啊就来仔细来看下这个模块。

在这里插入图片描述

特征融合是怎么进行的呢?

融合其实很简单,一个级联,一个是卷积做一下特征提取就结束了。
然后我们引入了一个叫 Adaptive Feature Selection,翻译过来叫做特征的自适应选择,其实这就是一个 Attention组件,使用的就是注意力机制
谓的注意力机制包括空间注意力、通道注意力、混合注意力还有 self-attention 等等,关于这些attention就看一下另一个帖子我不赘述了。

空间注意力、通道注意力、混合注意力和 Self-Attention

稍微整理了一个回答,贴在了下面

BEVFusion 中引入的 Adaptive Feature Selection其实偏向通道层面,对通道维度进行了加权,考虑的是哪个通道更重要, 是点云上的通道呢,还是图像上的通道呢,
通过这样一个权重的预测,对通道特征去进行重新的加权, 我们从图中可以看到 ⊙ 是一个 Channel-wise 的,是一个通道的相乘,会关注一个重要的通道而忽略不重要的通道

所以在这里融合模块其实可以一定程度上体现 BEVFusion 的作者在 Motivation中阐述的一个想法,那就是点云和图像是没有主次之分的,可能对于这个场景而言,我们可能认为点云更重要,我们喜欢点云,可能对于下一个场景而言图像更重要,我们喜欢图像,那我们就多关注一点图像,那无论怎么做,它是一种网络自适应的过程,而不是说我们人为定义好了,比如我们就用点云或者就用图像,或者从点云到图像或者从图像到点云,它不是这么做的,它是一种自适应挑选的过程。那融合完成后,我们就可以得到融合特征,自然就可以用来做预测。
出处https://blog.csdn.net/qq_40672115/article/details/134891133

说的还是比较清楚的,细究的话那就是在经过了channel的直接拼接(级联)之后,我们通过这一段输出的其实就是对于通道的权重了,在这里学习注意力之后,再与下面一行相乘,得到的就是带有通道注意力的特征了。

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1688207.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

C语言指针的介绍1

前言 嗨,我是firdawn,本章将简单介绍,指针对应的实际意义,以及指针的简单使用和如何避免野指针,下面的图是本章的思维导图,那么,让我们开始吧! 一,内存和地址 1.1 程…

使用 CapSolver API 服务解决 Arkose Labs FunCaptcha 验证码

使用 CapSolver API 服务解决 Arkose Labs FunCaptcha 验证码 FunCaptcha 以其复杂的图像验证而闻名,对自动化系统构成了巨大的挑战。CapSolver 的 API 服务利用先进的 AI 技术轻松应对和解决 FunCaptcha 挑战。本指南探讨了 CapSolver 如何实现无缝自动化&#xff…

基于SpringBoot的社区医院管理系统

基于SpringBootVue的社区医院管理系统的设计与实现~ 开发语言:Java数据库:MySQL技术:SpringBootMyBatis工具:IDEA/Ecilpse、Navicat、Maven 系统展示 首页 医生预约 管理员界面 医生界面 摘要 基于Spring Boot的社区医院管理系…

如何通过IP地址来防范“杀猪盘”?

随着人工智能技术的逐渐成熟,给人们的生活带来了很多方面,但同时犯罪分子也紧跟“潮流”,据报道,以东南亚为主要地区的犯罪集团聚集地已开始使用人工智能聊天机器进行“杀猪盘”行动。这一现象导致国内诈骗案件持续发生&#xff0…

vue2好用的日期选择插件vue2-datepicker

中文文档&#xff1a;vue2-datepicker/README.zh-CN.md at master mengxiong10/vue2-datepicker GitHub npm下载地址&#xff1a; npm install vue2-datepicker --save 示例&#xff08;去除默认样式&#xff09; <style scoped> .datePicker{width: 15vw;backgrou…

用Sora等AI视频大模型赚钱的48种方式

不废话&#xff0c;直接上干货&#xff01; \1. 定制视频创作服务&#xff1a;为寻找在社交媒体平台上脱颖而出的企业和个人提供定制视频制作服务&#xff0c;或用于个人使用。根据特定主题或行业量身定制视频&#xff0c;例如旅行、教育或产品营销。 \2. **教育内容包&#…

python期末作业:批量爬取站长之家的网站排行榜数据并保存,数据分析可视化

爬虫作业,含python爬取数据和保存文件,数据分析使用pyecharts做数据可视化 整体上分析网站的排名,直观看各个网站的热度。 数据分析之后大致的效果: 整个项目分为两个大的部分,第一部分就是抓取网站排名数据,然后保存为Excel、csv等格式,其次就是从文件中…

【linux特殊符号】

文章目录 学习目标一、Linux的特殊符号1.系统变量2.引号 总结 学习目标 1.学会查看系统变量 2.学会各种引号 3.一、Linux的特殊符号 1.系统变量 windows系统变量&#xff1a;echo %path% linux系统变量&#xff1a;echo $PATH2.引号 " " 双引号&#xff0c;换行…

centos ping: www.baidu.com: 未知的名称或服务

可以检查 /etc/sysconfig/network-scripts/ifcfg-ens33和/etc/resolv.conf这两个文件里面的内容&#xff1a; 这个就不多说了&#xff0c;可以看教程合集的000文档 还有一个原因就是路由网关没有配置&#xff1a; netstat -rn 如果GATEWAY这里没有显示你的网关信息&#xff08…

有道:一季度业绩超市场预期,生成式AI商业化落地进程加快

5月23日&#xff0c;教育科技公司网易有道&#xff08;NYSE&#xff1a;DAO&#xff09;公布了2024年第一季度未经审计的财务报告。报告期内&#xff0c;受益于“AI”加“教育”双轮驱动&#xff0c;业绩表现超市场预期&#xff0c;业务健康度大幅改善。 财报显示&#xff0c;…

体量小但增速快,国内OTA平台与国际巨头差在哪?

5月3日&#xff0c;Booking、Expedia等国际OTA平台相继发布2024年第一季度财报。5月21日&#xff0c;携程发布2024年第一季度财报。至此&#xff0c;国内外主要OTA平台一季度成绩单均已披露。 受益于全球旅游市场复苏&#xff0c;三家OTA平台一季度营收同比均正向增长。增长之…

Unity LayerMask避坑笔记

今天使用Physics2D.OverlapAreaNonAlloc进行物理检测时候&#xff0c;通过LayerMask.NameToLayer传入了int值的LayerMask&#xff0c;结果一直识别不到&#xff0c;经过Debug才找到问题&#xff0c;竟是LayerMask的“值”传输有问题&#xff0c;记录一下。 直接贴代码输出结果&…

最大负载1kg!高度模块化设计!大象机器人智能遥控操作机械臂组合myArm MC

引入 近年来&#xff0c;市面上涌现了许多类似于斯坦福大学的 Alopha 机器人项目&#xff0c;这些项目主要通过模仿人类的运动轨迹来进行学习&#xff0c;实现了仿人类的人工智能。Alopha 机器人通过先进的算法和传感技术&#xff0c;能够精确复制人类的动作&#xff0c;并从中…

ViLT学习

多模态里程碑式的文章&#xff0c;总结了四种多模态方法&#xff0c;根据文字和图像特征特征抽取方式不通。 文章的贡献主要是速度提高了&#xff0c;使用了数据增强&#xff0c;文本的mask 学习自b站朱老师的论文讲解

搭建电商电子商务平台有哪些好用的电商API数据采集接口?

电商API接口主要用于帮助开发者将电商功能集成到自己的应用程序中&#xff0c;实现诸如商品检索、商品价格数据获取、订单处理、支付、物流跟踪等功能。以下是一些常用的电商API接口提供商&#xff1a; 主流电商平台API&#xff1a; 淘宝开放平台&#xff1a;提供淘宝、天猫、…

网络安全架构之零信任安全

网络安全架构之零信任安全 文章目录 网络安全架构之零信任安全零信任安全时代背景安全世界“新旧时代”各种攻击风险层出不穷网络安全边界逐渐瓦解内外部威胁愈演愈烈 零信任架构零信任的理念在不可信的网络环境下重建信任构建自适应内生安全机制以身份为基石业务安全访问持续信…

智能禁区监控:计算机视觉在人员禁区闯入检测中的应用

基于视觉分析的人员禁区闯入行为检测算法主要依赖于计算机视觉技术和深度学习算法。这些技术结合高性能的摄像头和图像处理硬件&#xff0c;实现了对监控区域内人员行为的自动识别和分析。具体来说&#xff0c;这种检测算法利用摄像头捕捉的视频数据&#xff0c;通过深度学习模…

倍思科技获14项红点设计奖,引领中国移动数码品牌创新风潮

近日,国际红点设计大奖公布了2024年获奖名单,中国移动数码品牌倍思科技凭借其出色的产品设计实力,一举斩获14项红点设计奖。这些获奖产品涵盖了充电、音频、车用等多个品类,展现了倍思科技在创新设计和实用功能方面的卓越成就。 红点设计奖作为世界知名设计竞赛,素有“设计界的…

采用Java语言开发的(云HIS医院系统源码+1+N模式,支撑运营,管理,决策多位一体)

采用Java语言开发的&#xff08;云HIS医院系统源码1N模式&#xff0c;支撑运营&#xff0c;管理&#xff0c;决策多位一体&#xff09; 是不是网页形式【B/S架构]才是云计算服务? 这是典型的误区! 只要符合上述描述的互联网服务都是云计算服务&#xff0c;并没有规定是网页…

DelayQueue原理分析

1.简介 DelayQueue同样也是适用于并发环境下的容器之一&#xff0c;该容器属于阻塞队列的一种&#xff0c;其底层数据结构是PriorityQueue&#xff0c;主要应用于执行定时任务和缓存过期删除的场景。 DelayQueue也是线程安全的&#xff0c;它通过内部的ReentrantLock实现了线程…