BEV+Transformer感知架构共识下,传感器「火药味」再升级

news2024/11/17 21:18:13

高阶智能驾驶战火愈演愈烈,正带动感知方案卷入新一轮军备竞赛。

根据高工智能汽车研究院最新发布数据显示,2023年1-9月,中国市场(不含进出口)乘用车前装标配(软硬件)NOA交付新车37.73万辆,同比上年同期增长151.20%。未来几年内,NOA(从高速到城区)的普及化将是高阶智能驾驶市场的主旋律。

叠加技术、市场和政策等多方因素,智能驾驶质变加速。大模型算法的应用,不断突破自动驾驶ODD的上限,从感知到决策控制端到端的自动驾驶模型有望成为未来发展方向。

具体到感知端,传感器配置持续“内卷”,多传感器信息融合成为关键课题。基于BEV+Transformer做特征融合,有利于解决图像尺度问题和遮挡问题,更好地实现向量空间的构建,逐渐成为智能驾驶感知的主流范式。

另外,在AI大模型的助力下,通过算法提前融合摄像头、激光雷达、毫米波雷达、超声波雷达等不同传感器的数据信息特征,进一步提升了智能驾驶的感知能力。同时,借助大模型优化CornerCase的处理,以及动态语义地图,可减少对高精地图依赖。

有业内专家表示,基于Transformer模型,智能驾驶有望实现感知与决策一体化,实现端到端的大模型,即模型输入传感器数据、直接输出控制信号,以避免智能驾驶开发架构现存的累计错误或任务协调不足等问题。

而上述智能驾驶趋势,也驱动着摄像头、超声波雷达、毫米波雷达、激光雷达等传感器的变革。有关各细分传感器的应用痛点、成本问题、市场增量机会等话题,热度有增无减。

元橡科技冠名的2023(第七届)高工智能汽车年会专场一,来自德赛西威、毫末智行、元橡科技、睿创微纳、元视芯、哆来目、晟泰克、魔视智能、复睿智行、亮道智能、禾赛科技、威孚高科等行业专家,围绕车载摄像头、超声波雷达、毫米波雷达、激光雷达等传感器的新变革、新趋势,发表了精彩的主题演讲。

其中,赛西威智能驾驶事业部产品负责人赵洋发表了《车载摄像头未来趋势的思考》主题演讲。

图片

德赛西威智能驾驶事业部产品负责人赵洋

他表示,作为智能驾驶系统不可或缺的核心传感器之一,摄像头的性能在不断升级,具体表现在技术成熟、性价比高、采集信息丰富,同时单车用量大幅提升。

随着新结构设计、新材料应用,以及芯片、产品制造工艺流程升级,摄像头向着高像素、小Pixel Size方向发展。且随着单车传感器配置数量不断攀升,降本压力持续下放,高像素、散热快,高效的自清洁和多场景覆盖、多功能复用,是摄像头的三大技术需求新变革。

具体表现在,大算力芯片快速发展、大模型算法的应用,以及“大屏”时代,高像素摄像头可以提供极致的用户体验价值;L3/L4级自动驾驶商业化加速,摄像头高效的自清洁功能产品竞争力的核心;Transfer + BEV视觉算法架构的快速迭代以及产品内卷,功能下沉,摄像头复用是必然趋势。

毫末智行上海研发中心负责人孙宣峰发表了《自动驾驶 3.0 时代,大模型重塑汽车智能化技术路线》主题演讲。

图片

毫末智行上海研发中心负责人孙宣峰

根据介绍,毫末智行此前已发布第二代三款HPilot 智能驾驶产品:HP170、HP370和HP570,可满足高、中、低不同价位的市场需求,并且均会在2023-2024年先后量产上车。毫末智行的目标是把“极致性价比”’打出来,依托近年积累的工程经验和对用户使用数据的深入挖掘”,让中阶智驾便宜更好用,让高阶智驾好用更便宜。

孙宣峰表示,支持毫末HPilot智驾产品实现快速进化的关键,就是毫末始终坚定智能驾驶基础设施的持续投入,以大数据、大模型、大算力为技术方向,以数据驱动为核心,重视产品能力与用户体验的统一,坚持海量多模态数据的持续反哺,坚持迈向从感知到认知、端到端自动驾驶大模型的技术路线,坚持超级智算中心的持续扩容与不断升级。

元橡科技联合创始人&CTO 任杰发表了《高精双目3D点云驱动高阶智驾规模化量产落地》主题演讲。

图片

元橡科技联合创始人&CTO 任杰

智能驾驶功能场景从简单封闭走向复杂开放和高频,高速NOA向城市NOA演进,以及主机厂对魔毯舒适类功能体验的关注提升,双目立体视觉技术的优势被明显释放。尤其是在具备魔毯和城市NOA的高阶智驾方案中,双目将成为重要的感知方案。

比如,针对鬼探头/快速切入场景,双目具备低延时和高稠密度特点,可以快速发现异常,极大缩短车辆反应时间,降低鬼探头/快速切入障碍物的风险。而在城市道路复杂路面,双目可精准识别任意凹坑凸起,可提供“安全性”+“舒适性”双重保障。

具体到细分功能,借助双目高精稠密3D点云优势,可以实现增强型LCC。双目方案能在车身完整出现更早检测出加塞车辆,可精准判断对方车辆姿态、距离从而更好判断对方意图,LCC控制更安全、更舒适。

元橡科技的双目立体视觉系统结合Meto NET神经网络及DeepFusion技术架构,可以对车辆前方行驶路面的平整度和凹凸异物进行检测,输出高可靠高精度的方位、尺寸和高程信息,将相关结构化结果数据输出给车辆底盘主动悬架控制系统,从而实现减震和驾驶模式自动调节功能,实现了L2+和魔毯的高度集成,车辆的驾乘舒适底盘安全性得到了全面提升。

睿创微纳产品负责人肖航发表了《红外传感器为 ADAS 主动安全助力》主题演讲。

图片

睿创微纳产品负责人肖航

面向高阶智驾市场,主动安全能力智驾功能的稳定性成为各家短期的核心竞争力,但目前主流传感器在光线影响、天气影响和活体识别上的缺陷,给智驾功能带来了极高的不稳定因素,而红外传感器可以提供稳定的感知数据,弥补现存感知缺陷。

据其介绍,针对夜视、雨天、大雪天、眩光、雾天、烟/扬尘等痛点场景,借助红外AI算法,红外传感器表现优异。比如在雾天,红外传感器受干扰较小,能够比较清晰的看到道路结构、车辆、路灯等物体,尤其是进隧道时能够提前观测到隧道内道路情况。

睿创微纳作为国内少有的红外方案供应商,拥有行业领先的红外图像处理算法、行业创新突破AI算法,具备长波、中波、短波红外以及激光、微波、太赫兹等多光谱传感研发能力,发布了全球首款8μm 1920×1080非制冷红外探测器芯片。

围绕《新智能时代的汽车CIS创新》主题,元视芯创始人&CTO郑健华发表了演讲。

图片

元视芯创始人&CTO郑健华

辅助驾驶系统的迭代需求呈多样化,推动了CIS向着低光成像更好、低功耗、高动态、高帧率等方向发展。

在感知层面,无论是纯视觉路线,还是由摄像头、激光雷达、超声波雷达与毫米波雷达等多传感器组成的融合方案,视觉感知都居主要地位,而车载CIS的成熟度相对较高,不仅具备成本优势,还可借助CIS+ISP二合一方案,解决对算法的依赖问题。

元视芯的自研ISP算法,覆盖ISP图像处理全链路(ISP Pipeline)RAW域、YUV域,通过先进的片上ISP功能实现AGC、AEC、降噪、边缘增强等功能,全面提升低照成像效果,对用户使用的痛点做有针对性的改善。

哆来目CPO张启航分享了《人眼仿生技术赋能AEB》主题演讲。

图片

哆来目CPO张启航

他首先介绍了运动信息对环境感知的作用,人眼仿生技术赋能AEB具备高安全、低成本两大优势。

一方面,搭载了人眼仿生技术,可对于任意角度的车辆、无保护左转、鬼探头、近距离加塞等场景进行检测;另一方面,通过双通道感知融合,人眼仿生技术可释放硬件潜能,实现低算力低成本嵌入式平台部署。

值得一提的是,基于人眼的双通道感知机制,哆来目团队研发出了对应的物体识别算法和运动感知算法,并将两种算法深度融合,最后形成了独具特色的视觉仿生技术,可以让搭载其视觉仿生技术的汽车具有人类一样的感知能力。

晟泰克副总经理曹丽松发表了《超声波雷达应用新探索》主题演讲。

图片

晟泰克副总经理曹丽松

随着智能驾驶的发展,2021年-2023年,超声波雷达的单车平均安装数量从4.9颗增加到5.6颗,预计2025年超声波雷达单车平均安装数量将增至7颗,超声波雷达市场进入高速增长期。

不过,随着智能驾驶传感器性能不断集成和提升,也驱动着车载超声波雷达需要寻求新的应用突破。目前,晟泰克围绕毫米波雷达的技术、成本优势,开发出了低速前后向F/RAEB、涉水感应系统、隐藏式超声传感器、后排提醒功能Rear Occupant Alert、电动尾门感应传感器、声波手势识别等新应用。

比如,针对低速F/RAEB,超声波雷达弥补了毫米波雷达在低速和近距离处感知能力下降的问题,提高了防撞系统的可靠性,并且随着AK2超声波传感器的成熟和量产,超声波雷达探测性能已经达到到5.5m。

《行泊一体感知融合方案演进及落地》为题,魔视智能乘用车产品负责人王淳发表了演讲。

图片

魔视智能乘用车产品负责人王淳

他表示,电子电气架构的集成化趋势明显,其中域融合已然大势所趋,行泊一体必将成为未来市场主流。

其中,魔视智能的一体化域控制器高算力行泊一体方案,能够充分运用算力资源应对自动驾驶任务中多传感器,多模态输入,多任务处理,多尺度分析的底层特性。同时运用自适应的网络设计空间,增加网络模型的大小,提升算法的表现性能,并将深度学习运用于跟踪及预测甚至决策规划和控制,以获取卓越的精度、普适性以及泛化性。

具体到行车视觉感知,魔视智能的深度学习算法能够支持2百万/8百万摄像头输入;而在泊车环视感知,魔视智能的深度学习算法能够支持1百万/2百万摄像头输入,可精准输出停车位地锁、移动障碍物、车辆、行人、交通指示、挡轮杆、可行使区域等全自动泊车系统所必须的感知结果。

复睿智行研发总监李臣云发表了《复睿智行毫米波雷达破局之路》主题演讲。

图片

复睿智行研发总监李臣云

他表示,业界热议的激光雷达与4D毫米波雷达之争,本质上是激光雷达成本下探与4D毫米波雷达的性能提升的竞速。

目前来看,4D雷达需要达到更高的探测灵敏度、更好的俯仰探测能力,以及更远的探测距离,且第“4D”在实际量产应用中还有待推进。而复睿智行通过使用创新超分辨算法,使雷达能够将目标与地面多径分离开,同时准确测出目标高度与地面多径引起的假目表高度,实测数据结果显示,目标轨迹清晰。

相比以往的传感器融合,复睿智行所使用的高性能4D雷达及前融合方案,可提供更真实、更丰富的环境探测信息,可降低逆光和低光照等环境因素对感知结果的影响,以及大幅减少训练所需的样本数据量,降低系统成本,加速智驾功能升级。

亮道智能CMO江南逸带来了《亮道数据工厂解决方案,应对大规模数据真值生产的技术挑战》主题演讲。

图片

亮道智能CMO江南逸

据江南逸介绍,自动驾驶数据闭环面临的挑战包括:其一,超大规模数据量;其二,敏捷与速度就是产品力;其三,成本投入不可忽视;其四,全球法律法规的要求。对于产业发展中遇到的问题,亮道智能给出了针对性的数据闭环解决方案。

具体来看,亮道智能的数据闭环解决方案中,核心包括大数据管理平台(基于公有云/私有云服务的云平台)、AI感知算法训练(AI感知算法训练的数据闭环)、场景管理与分析系统(挖掘海量场景)、AI Driver 驾驶策略仿真平台(通过AI Driver生成海量仿真场景基于Long Short-Term Memory (LSTM)模型)等。

禾赛科技汽车事业部高级总监蒋武新发表了《激光雷达如何加速赋能更安全、更智能的ADAS功能》主题演讲。

图片

禾赛科技汽车事业部高级总监蒋武新

为什么智能驾驶需要激光雷达?在蒋武新看来,激光雷达类似智能汽车、机器人的“眼睛”,为预测、规控提供高质量感知输入,具备抗干扰(不受光线变化影响)、真三维(直接获取高精度距离信息)、高置信度(直接判断物体是否存在)等突出优势,可赋能AEB、ACC、LKA、高速NOA、城市NOA等智驾功能,对比纯视觉,激光雷达融合算法精度领先2-3年。

根据介绍,目前公司获得的定点超过 50 款车型,2023年9月禾赛的全球首款纯固态激光雷达量产上车。值得注意的是, 在禾赛科技看来,公司领跑ADAS市场的核心竞争力为“自建工厂+自研芯片”。对于前者,其认为,在新兴产业制造应是研发的一部分,对于后者,原因则为性能、成本和供应链安全。

围绕《智驾普及新路径,4D 成像雷达感知技术应用及发展》威孚高科新能源与网联技术研究院屈操发表了主题演讲。

图片

威孚高科新能源与网联技术研究院屈操

目前,汽车EE架构正在走向集成式,集中式传感器融合(前融合)成为必然趋势,4D毫米波雷达的安装难度,模块化、高度集成化将成为重点探索的方向。

从产品优势来看,4D成像雷达支持“R+L+V”原始数据级融合,提供更丰富的原始点云,最大限度地提高系统获取的信息量,从而实现比目标级融合更好的决策,提升系统安全性。

而随着前端射频通道的增加,雷达后端信号处理算法算力需求成倍提升,针对雷达处理杂波能力弱、分辨率低、点云密度低等痛点问题,威孚4D成像雷达采用Arbe的芯片组能够提供先进且完整的解决方案,包括接收器、发射器和外理器芯片,解决了传统MIMO雷达通道提升后导致的成本、功耗、算力和场景应用限制。

另外,作为支撑以 NOA 为代表的高阶智能驾驶落地的关键技术,高精度定位系统开始上量。

在元橡科技冠名的2023(第七届)高工智能汽车年会专场一,高工智能汽车研究院(GGAI)还联合行业头部企业,正式发布了《2023 年中国车载高精度定位行业发展蓝皮书》。(关注公众号,回复:高精定位,下载)

图片

根据高工智能汽车研究院统计数据,2023年1-9月,国内新车高精度定位系统搭载量59.71 万辆,同比增长153.56%,渗透率从2022年的1.91%上升到4.03%。预计到2025年前装标配高精度定位搭载量将达到176.25万辆,渗透率达到8.09%。

分价格区间来看,高精度定位系统主要搭载在30万元以上的车型,并开始加速向20-30万元车型渗透。未来随着高精度定位系统成本的进一步下降,高精度定位市场存在较大增长空间,其中20-40万价格区间将成为高精度定位赛道增长的主要增量空间。

瞄准新赛道发展中出现的窗口期,国内玩家们纷纷加码布局,涌现出一批优秀的初创科技公司,如北云科技、导远电子、华测导航等组合导航供应商,觉非科技等软件 Tier1,以及六分科技等服务商。

会上,围绕高阶智驾的定位需求变化、高精度定位的产品形态终局、高精度定位的市场门槛变化等话题,觉非科技创始人刘斌、华测导航副总经理邓海峰、六分科技产品事业部总经理胡功胜发表了各自看法。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1359276.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Linux下NUMA 内存管理初步理解

LINUX 系统在多核下,以及NUMA架构技术下 如何管理物理内存? 经过初步了解 发现系统对内存有以下工作 1 映射 2 内存碎片 3 内存回收 4 内存池 5 冷热页 6 水位线和保留内存 7 支持内存条热插拔 8 大页管理 这些功能给人感觉,尤其是DBA感觉是重新实现了数据缓存池的功…

机器学习(三) -- 特征工程(1)

系列文章目录 机器学习(一) -- 概述 机器学习(二) -- 数据预处理(1-3) 机器学习(三) -- 特征工程(1-2) 未完待续…… 目录 系列文章目录 前言 一、特征…

大数据开发的专业术语

🌹作者主页:青花锁 🌹简介:Java领域优质创作者🏆、Java微服务架构公号作者😄 🌹简历模板、学习资料、面试题库、技术互助 🌹文末获取联系方式 📝 系列专栏目录 [Java项…

画中画视频剪辑:创意与技术的完美结合,批量制作视频不再难

随着科技的飞速发展,视频制作已成为信息时代的一种重要表达方式。其中画中画视频剪辑技术更是以其独特的创意性和技术性,为观众的视觉体验带来了全新的冲击。它不仅为创作者提供了更广阔的创意空间,同时也降低了视频制作的门槛。现在一起来看…

VSCode Jupyter print 函数输出在错误的单元格(cell)

问题描述 最近在复现一个开源项目时,发现执行过该项目中的代码单元格后,其余单元格的print函数输出也会续在该单元格后。而正常情况下print函数输出应该位于其所属的单元格。下图中,我将出现问题的单元格执行后清空了输出,但是在…

深度解析 Compose 的 Modifier 原理 -- Modifier.composed()、ComposedModifier

众所周知:原理性分析的文章,真的很难讲的通俗易懂,讲的简单了就没必要写了,讲的繁琐难懂往往大家也不乐意看,所以只能尽量找个好的角度(比如从 Demo 代码示例出发)慢慢带着大家去钻源码&#xf…

书生·浦语大模型全链路开源开放体系

书生浦语大模型全链路开源体系_哔哩哔哩_bilibili 大模型全链路开源开放体系等你来探索~ https://github.com/internLM/tutorial 书生浦语全链条开源开放体系 1)数据: 书生万卷 2TB数据,并行训练,极致优化涵盖多种模态与任务 预训练: I…

聚道云软件连接器助力某动漫行业公司实现财务自动化

客户介绍 某动漫行业公司是一家专注于文化创意领域,致力于为人们提供独特、有趣的文化产品。公司拥有一支充满活力和创造力的团队,他们以卓越的创意和精湛的技术,创造出了一系列令人惊叹的作品。未来,该公司将继续秉承这一理念&a…

低代码开发平台支持复杂的业务逻辑和API对接吗

当今数字化时代,企业和组织面临着日益复杂的业务需求。为了应对这些挑战,低代码开发平台应运而生。白码低代码开发平台是一种高效、灵活且可扩展的开发工具,能够支持复杂的业务逻辑和第三方API对接,为企业带来更快速、更灵活的解决…

Rust 字符串 初步了解

rust 的字符串 。字符串不是复合类型, String 和 &str : String 具有所有权,是存储在堆上的。&str 没有所有权,是对 String 的引用。字符串字面量也是 &str 类型,存储在栈上。 切片(slice&a…

线性代数 --- 为什么LU分解中L矩阵的行列式一定等于(+-)1?

以下是关于下三角矩阵L的行列式一定等于-1的一些说明 证明:在LU分解中,下三角矩阵L的行列式一定是. 在证明之前,我这里先补充几条关于行列式的性质: 性质1:对于三角矩阵而言,不论是上三角矩阵还是下三角矩…

Qt6学习笔记:对象树

使用QObject及其子类创建的对象是以对象树的形式来组织的。创建一个QObject对象时若设置一个父对象,它就会被添加到父对象的子对象列表里,一个父对象被删除时,其全部的子对象都会自动删除。QObject类的构造函数里有一个参数用于设置对象的父对…

PyTorch基础操作

一、Tensor 在 PyTorch 中,张量(Tensor)是一个核心概念,它是一个用于存储和操作数据的多维数组,类似于 NumPy 的 ndarray,但与此同时,它也支持 GPU 加速,这使得在大规模数据上进行科…

数据结构和算法-希尔排序(增量序列 算法实现 性能分析 稳定性)

文章目录 希尔排序过程小结增量序列不是固定的 算法实现算法性能分析稳定性小结 希尔排序 基本有序,就是存在有序的子序列 通过增量4得到各个子表 对各个子表分别进行插入排序 缩小增量,再除2,此时的子表 对各个子表插入排序 缩小增量&…

数据库设计——DQL

D Q L \huge{DQL} DQL ⭐⭐⭐⭐⭐ DQL:数据库查询语言,用来查询数据库中的记录,非常的重要,对于数据库的操作修改相对来讲还是较少部分,绝大多数操作都是数据查询。 整体的语法结构: 基本查询 示例&#…

2024最新Java基础面试题大全(一)

1、String可以被继承&#xff1f; 不能被继承&#xff0c;因为String类有final修饰符&#xff0c;而final修饰的类是不能被继承的。 public final class String implements java.io.Serializable, Comparable<String>, CharSequence {// 省略...  }2、常见集合类 Java…

C语言编译器(C语言编程软件)完全攻略(第十七部分:Dev C++使用教程(使用Dev C++编写C语言程序))

介绍常用C语言编译器的安装、配置和使用。 十七、Dev C使用教程&#xff08;使用Dev C编写C语言程序&#xff09; 前面我们给出了一段完整的C语言代码&#xff0c;就是在显示器上输出“C语言中文网”&#xff0c;如下所示&#xff1a; #include <stdio.h> int main() {…

Java 新手如何使用Spring MVC RestAPI的加密

目录 前言 为什么需要加密RestAPI&#xff1f; 使用Spring Boot创建RestAPI 使用HTTPS加密RestAPI 使用Spring Security增加安全性 使用JWT实现令牌身份验证 使用Postman测试加密的RestAPI 总结 前言 作者简介&#xff1a; 懒大王敲代码&#xff0c;计算机专业…

HarmonyOS应用开发之DevEco Studio安装与初次使用

1、DevEco Studio介绍 DevEco Studio是基于IntelliJ IDEA Community开源版本打造&#xff0c;面向华为终端全场景多设备的一站式集成开发环境&#xff08;IDE&#xff09;&#xff0c;为开发者提供工程模板创建、开发、编译、调试、发布等E2E的HarmonyOS应用/服务的开发工具。…

【谷歌云】注册谷歌云 创建Compute Engine

文章目录 一、Google Cloud注册1.1 账号信息1.2 付款信息验证1.3 验证成功 二、Compute Engine创建2.1 启动Compute Engine API2.2 创建实例2.3 新建虚拟机实例2.4 等待实例创建完成2.5 查看虚拟机配置信息2.6 创建防火墙规则2.7 SSH远程连接虚拟机 三、参考链接 一、Google Cl…