自动驾驶3.0时代,大模型将重塑竞争格局,谁将笑到最后?

news2024/11/28 15:52:39

“毫末DriveGPT发布200天左右的时间,已经完成了亿级公里量产驾驶数据训练,累积高达480万段Clips的高质量测试。”

在2023(第七届)高工智能汽车年会上,毫末智行上海研发中心负责人孙宣峰在发表《自动驾驶 3.0 时代,大模型重塑汽车智能化技术路线》的主题演讲时透露。

图片

自动驾驶3.0时代与2.0时代相比,其开发模式和技术框架都将发生颠覆性的变革。在自动驾驶2.0时代,以小数据、小模型为特征,以Case任务驱动为开发模式。而自动驾驶3.0时代,以大数据、大模型为特征,以数据驱动为开发模式。

相比2.0时代主要采用传统模块化框架,3.0时代的技术框架会发生颠覆性变化。

首先,自动驾驶会在云端实现感知大模型和认知大模型的能力突破,并将车端各类小模型逐步统一为感知模型和认知模型,同时将控制模块也AI模型化。

随后,车端智驾系统的演进路线也是一方面会逐步全链路模型化,另一方面是逐步大模型化,即小模型逐渐统一到大模型内。然后,云端大模型也可以通过剪枝、蒸馏等方式逐步提升车端的感知能力等等。最终在未来车端、云端实现端到端的自动驾驶大模型。

据介绍,毫末自动驾驶生成式大模型DriveGPT(中文名:雪湖·海若)包括感知大模型认知大模型两大方面。

DriveGPT通过引入多模态大模型与大语言模型,实现文、图、视频多模态信息的整合,获得识别万物的通用感知能力,并持续提升。

“只有识别的范围够广,我们才能从这些识别物中选出对自动驾驶最相关的物体,再基于这些物体来优化驾驶决策。” 孙宣峰指出。

在认知阶段,基于通用语义感知大模型提供的“万物识别”能力,DriveGPT通过构建驾驶语言(Drive Language)来描述驾驶环境和驾驶意图,再结合导航引导信息以及自车历史动作,并借助外部大语言模型LLM的海量知识来辅助给出驾驶决策。

在演讲中,孙宣峰还介绍了毫末基于大模型的应用实践,包括驾驶场景理解、驾驶场景标注、驾驶场景生成、驾驶场景迁移等等。

毫末DriveGPT的驾驶场景理解可以秒级从百亿图库中筛选出任意数据,为大模型挖掘海量高质量训练数据;驾驶场景标注借助大语言模型的能力来实现在开集场景中Zero-Shot的快速精准的自动标注,不仅实现了针对新品类的Zero-Shot快速标注,而且精度还非常高,预标注准召达到80%以上。

对于驾驶场景迁移,基于毫末的感知大模型,以真实的采集图像作为引导,通过文本语言来描述希望生成的目标场景,可高效的实现多目标场景生成。据介绍,基于生成数据,在黑夜、雨天等场景的感知效果提升30%。

另外,毫末与火山引擎联合打造雪湖绿洲(MANA OASIS),是中国自动驾驶行业最大智算中心,每秒浮点运算达67亿亿次,存储带宽每秒2T,通信带宽每秒800G。

综合来看,毫末完成了大模型、大数据、大算力平台的布局,构建了智能驾驶完整新基建,率先冲刺自动驾驶3.0时代。

目前,毫末辅助驾驶产品HPilot已搭载至超过21款车型落地,到目前2023年12月,量产智能驾驶行驶里程突破1亿公里,已经对DriveGPT大模型带来了质变的影响。

同时DriveGPT也在搭建良好的生态,目前已经有生态伙伴17家,“仅在自动化标注方面,DriveGPT就能帮助生态伙伴提效90%以上。”孙宣峰表示。

今年10月,毫末正式发布了第二代HPilot三款极致性价比的智驾产品:HP170 、HP370 和HP570,可足高中低价位车型量产需求,将分别在2023年和2024年先后量产上车。

资料显示, HP170是行业首个能够实现高速、城市快速路上的无图NOH并做到单MCU方案行泊一体的智驾系统;毫末HP370定位为5000元级的“极致性价比”城市记忆行车和记忆泊车一体化的智驾产品。该方案可视作毫末城市NOH的最小集,也是 毫末城市NOH 的强有力补充,仅需一次学习,就可完成 用户日常路线 的记忆;而HP570平台在原本HP550平台的基础上成本可下降三分之二,在性能不打折的前提下实现全场景无图城市NOH,仅通过导航地图 来实现城市全场景覆盖。

“我们的目标是,让中阶智驾便宜更好用,让高阶智驾好用更便宜。”孙宣峰称。

以上也意味着,如毫末城市NOH这类基于大模型、大数据的重感知技术方案,在性能提升的同时却能将价格达到极致低位,才能全面促进高阶智驾的大规模量产。

高工智能汽车研究院最新发布数据显示,2023年1-9月,中国市场(不含进出口)乘用车前装标配(软硬件)NOA交付新车37.73万辆,同比上年同期增长151.20%,预计明年还将保持高速增长。

2024年伴随着整车电子电气架构加速迈入中央计算-区域控制架构阶段,在自动驾驶3.0时代,随着大模型开启在车端的落地应用,高阶智驾逐步进入规模量产期,这不仅将重塑智能驾驶技术架构,也会带来系统开发模式的变革,对产业也将带来巨大影响。

在高工智能汽车研究院看来,大模型加持的高阶智驾规模化开启,还将带来新的市场变量,重塑竞争格局。而高阶智驾的终局比拼,无论是城区NOA,还是L3/L4级自动驾驶,谁能在系统成本最优的前提下,实现规模化落地,将决定谁能留到最后。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1392633.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

NAS入门(学习笔记)

文章目录 AutoMLNAS初期NAS当前NAS框架One-Shot NAS权重共享策略 Zero-Shot NASZen-NASNASWOTEPENAS 参考资料 AutoML 深度学习使特征学习自动化 AutoML 使深度学习自动化 自动化机器学习 (automated machine learning) 是一种自动化的数据驱动方法, 并做出一系列决策。 按…

Flutter 综述

Flutter 综述 1 介绍1.1 概述1.2 重要节点1.3 移动开发中三种跨平台框架技术对比1.4 flutter 技术栈1.5 IDE1.6 Dart 语言1.7 应用1.8 框架 2 Flutter的主要组成部分3 资料书籍 《Flutter实战第二版》Dart 语言官网Flutter中文开发者社区flutter 官网 4 搭建Flutter开发环境参考…

如何提高匹配的速度

基于形状的匹配,改进了无数次,其实已经很满意了。 想起刚入门机器视觉那会儿,我们写的代码,无论c还是c#的,都是调用人家的函数,从来没想过,自己有一天把这些函数代替了。 那时候调用evision的…

GaussDB技术解读系列:5分钟带您了解DRS录制回放

一、什么是DRS录制回放? DRS录制回放是将源数据库发生的真实业务流量,在目标数据库模拟执行,从而观察和检验目标数据库的功能和性能表现。录制回放主要分为录制、回放两个阶段,录制过程是从源数据库上将所需时间段内的全部SQL原语…

3、深入解析Redis Cluster集群运维与核心原理

在今天的大规模分布式系统中,Redis Cluster已经成为了许多企业选择的分布式缓存方案之一。了解Redis Cluster的运维及核心原理对于确保系统的高可用性和性能至关重要。本文将深入探讨Redis Cluster集群的运维细节和核心原理,以帮助读者更好地理解和优化R…

rabbitmq基础教程(ui,java,springamqp)

概述:安装看我上篇文章Docker安装rabbitmq-CSDN博客 任务一 创建一个队列 这样创建两个队列 在amq.fanout交换机里面发送数据 模拟发送数据 发送消息,发现一下信息: 所以得出理论,消息发送是先到交换机,然后由交换机…

软件开发架构

【 一 】软件开发架构图 【 1】ATM和选课系统 三层的开发架构 前段展示台 后端逻辑层 数据处理层 【二】软件开发架构的步骤流程 需求分析:在软件开发架构设计之前,需要对应用系统进行需求分析,明确用户需求、功能模块、业务流程等内容。…

Java可视化物联网智慧工地综合云平台源码 私有化部署

智慧工地平台围绕建筑施工人、物、事的安全管理为核心,对应研发了劳务实名制、视频监控、扬尘监测、起重机械安全监测、安全帽监测等功能一体化管理的解决方案。 智慧工地是聚焦工程施工现场,紧紧围绕人、机、料、法、环等关键要素,综合运用…

MongoDB调优

三大导致 MongoDB 性能不佳的原因 1)慢查询2)阻塞等待3)硬件资源不足1,2通常是因为模型/索引设计不佳导致的。排查思路:按1-2-3依次排查。 影响 MongoDB 性能的因素 MongoDB 性能监控工具 Free Monitoring 从版本 4.0 开始&am…

Template Engine-06-模板引擎 Handlebars 入门介绍

拓展阅读 java 表达式引擎 logstash 日志加工处理-08-表达式执行引擎 AviatorScriptMVELOGNLSpELJEXLJUELJanino QLExpress 阿里表达式引擎系统学习 什么是 Handlebars? Handlebars 是一种简单的模板语言。 它使用模板和输入对象生成 HTML 或其他文本格式。Ha…

C Primer Plus 第6版 编程练习 chapter 15

文章目录 1. 第1题1.1 题目描述1.2 编程源码1.3 结果显示 2. 第2题2.1 题目描述2.2 编程源码2.3 结果显示 3. 第3题3.1 题目描述3.2 编程源码3.3 结果显示 4. 第4题4.1 题目描述4.2 编程源码4.3 结果显示 5. 第5题5.1 题目描述5.2 编程源码5.3 结果显示 6. 第6题6.1 题目描述6.…

使用easyexcel 导出多级表头demo

先看效果&#xff1a; 1、引入maven依赖 <!--EasyExcel --> <dependency><groupId>com.alibaba</groupId><artifactId>easyexcel</artifactId><version>3.2.1</version> </dependency> 2、实体类 package com.…

c语言 编译与链接

编译与链接 翻译环境和执行环境翻译环境1.1预编译1.2编译1.3汇编&#xff08;ASM&#xff09;2.链接 执行环境最后给大家附上一张关于本节知识内容的图供大家更好理解~ ![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/522d488885ba44d99aa504d6b21c88d5.png) &…

yolov8+deepsort的代码实现

按照官方描述&#xff0c;YOLOv8 是一个 SOTA 模型&#xff0c;它建立在以前 YOLO 版本的成功基础上&#xff0c;并引入了新的功能和改进&#xff0c;以进一步提升性能和灵活性。具体创新包括一个新的骨干网络、一个新的 Ancher-Free 检测头和一个新的损失函数&#xff0c;可以…

Python新手常见问题——列表中删不掉的0

1.测试代码 运行代码 nums1 [1,2,3,0,0,0] print(type(nums1))for i in nums1:if i 0:nums1.remove(i) print(nums1)效果如下 2.疑问&#xff1a; 上面代码&#xff0c;为什么把nums1里面的0移除不干净 3.原因&#xff1a; 在 Python 中&#xff0c;不建议在循环中直接…

蒙特卡洛概率抽样简介

蒙特卡罗方法是一类对概率分布进行随机抽样的技术。 在许多问题领域中&#xff0c;描述或估计概率分布相对简单&#xff0c;但计算所需的数量却很棘手。这可能是由于多种原因造成的&#xff0c;例如domain的随机性质或随机变量的指数级数量增长。 相反&#xff0c;可以通过使…

学校智慧能源消耗管理系统,破解学校节能降耗难题

随着碳达峰、碳中和工作的主要任务&#xff0c;学校作为能源集中地&#xff0c;且能源情况较为复杂的建筑&#xff0c;有效降低能源消耗、减少能源使用成本&#xff0c;已经成为学校一项紧迫的任务。 学校能耗痛点有哪些&#xff1f; 1、规模大 学校是集教学、科研、生活于一…

zabbix客户端配置及自定义监控

部署zabbix客户机 1.服务端和客户端都配置时间同步 yum install -y ntpdate ntpdate -u ntp.aliyun.com 2.服务端和客户端都设置 hosts 解析 cat > /etc/hosts << EOF 172.16.23.16 localhost 172.16.23.17 zbx-server EOF 3.被监控端 //设置 zabbix 的下载源&…

leedcode刷题笔记day1

题目大意&#xff1a; 暴力解法 两个for循环&#xff08;也是我一看到题目想到的方法&#xff09; 枚举在数组中所有的不同的两个下标的组合逐个检查它们所对应的数的和是否等于 target 复杂度分析 时间复杂度:O(n2)&#xff0c;这里 n 为数组的长度 空间复杂度:O(1)&#x…

精彩推荐 | 【深入浅出Docker原理及实战】「原理实战体系」零基础+全方位带你学习探索Docker容器开发实战指南(实战技术总结)

Dockerfile实战总结 前提介绍实战总结方案创建容器时传入环境变量调整宿主机和容器的时间差异解决办法 指定容器的rootfs的大小快速管理容器和镜像快速删除容器的原理--format格式化输出输出所有容器的name输出所有容器名包含test的容器查看退出状态的容器删除所有容器删除/启动…