【AI大模型】自动辅助驾驶的“大模型”时代

news2024/11/15 18:03:57

🎈边走、边悟🎈迟早会好

一、自动辅助驾驶实现与设计

1. 系统架构

1.1. 传感器系统
  • 摄像头:提供前视、侧视、后视等多角度图像数据,用于检测车道线、交通标志、行人和其他车辆。
  • 雷达(RADAR):提供前方物体的速度和距离信息,特别在低能见度条件下表现良好。
  • 激光雷达(LiDAR):生成高精度的3D点云数据,详细描绘周围环境的三维结构。
  • 超声波传感器:用于近距离探测,常用于停车辅助和低速行驶时的障碍物检测。
1.2. 计算平台
  • 中央处理单元(CPU)和图形处理单元(GPU):用于处理来自传感器的数据,运行深度学习模型和决策算法。
  • 边缘计算:在车辆内部进行数据处理,以减少对云计算的依赖,提高响应速度。

2. 数据处理

2.1. 感知
  • 计算机视觉:利用深度学习模型(如卷积神经网络,CNN)对摄像头图像进行处理,识别交通标志、车道线、行人和其他车辆。
  • 点云处理:通过处理LiDAR生成的点云数据,进行三维物体检测和环境建模。
  • 传感器融合:将来自不同传感器的数据融合,创建全面的环境模型。
2.2. 定位
  • 高精度地图:提供详细的道路信息,包括车道结构、交通标志等。
  • 全球定位系统(GPS):提供车辆的实时位置。
  • 惯性测量单元(IMU):提供车辆的加速度和角速度信息,帮助提高定位精度。

3. 路径规划和控制

3.1. 路径规划
  • 全局路径规划:基于高精度地图和目的地,计算从当前地点到目的地的最优路径。
  • 局部路径规划:在实时环境中,计算如何避开障碍物,选择安全的行驶路径。
3.2. 车辆控制
  • 控制算法:包括加速、刹车和转向控制,确保车辆按照规划路径行驶。
  • 决策制定:实时评估环境数据,做出如超车、变道、停车等驾驶决策。

4. 驾驶辅助功能

  • 自适应巡航控制(ACC):自动调整车速以维持与前车的安全距离。
  • 车道保持辅助(LKA):保持车辆在车道中心。
  • 自动泊车:自动完成停车过程,通常包括平行停车和垂直停车。
  • 紧急制动系统:在检测到可能的碰撞风险时,自动启动刹车系统。

5. 测试和验证

  • 模拟测试:在虚拟环境中测试系统的反应和行为,验证算法的有效性。
  • 封闭道路测试:在受控环境中进行实际驾驶测试,确保系统在现实世界中的可靠性。
  • 开放道路测试:在真实道路上进行测试,收集数据并进一步优化系统。

6. 法规和伦理

  • 法规遵循:遵守不同国家和地区的交通法规,确保系统符合相关标准。
  • 伦理考虑:在自动驾驶决策中处理伦理问题,例如如何在发生碰撞时选择最小化伤害的方案。

7. 持续更新和改进

  • 数据收集:通过实际驾驶数据不断优化和训练模型。
  • 软件更新:通过无线软件更新(OTA)持续改进系统功能和性能。

实现挑战

  1. 技术复杂性:处理各种驾驶场景和复杂环境。
  2. 安全性:确保系统在所有条件下的可靠性。
  3. 法律和伦理:解决自动驾驶的法律和道德问题。

二、AI技术在自动驾驶中的应用  

2.1 深度学习算法在自动驾驶中的应用

深度学习是自动驾驶系统的核心技术之一,用于处理和分析来自车辆传感器的数据。具体应用包括:

  1. 物体检测与识别

    • 目标检测:使用卷积神经网络(CNN)如YOLO(You Only Look Once)、SSD(Single Shot MultiBox Detector)等,检测并识别道路上的物体,包括行人、其他车辆、交通标志和信号灯。
    • 物体分类:识别物体的类型,如行人、车辆、交通标志等,为决策系统提供必要的信息。
  2. 图像分割

    • 语义分割:将图像中的每个像素分类,识别出道路、车道线、建筑物等区域。
    • 实例分割:在语义分割的基础上,区分不同实例,如区分同一类别的不同车辆。
  3. 车道检测

    • 车道线检测:使用深度学习模型识别车道线的位置和类型,为车道保持辅助系统提供输入。
  4. 环境建模

    • 3D重建:通过深度学习从摄像头或LiDAR数据中重建车辆周围的三维环境模型,用于更精确的导航和路径规划。

2.2 数据分析与模式识别

数据分析和模式识别在自动驾驶系统中主要用于理解和预测环境变化,并做出相应的决策:

  1. 行为预测

    • 交通参与者行为预测:分析其他车辆和行人的行为模式,预测他们的下一步动作,提高驾驶决策的准确性。
    • 异常检测:识别道路上的异常情况或突发事件,如急刹车、快速变道等。
  2. 交通流量分析

    • 实时交通信息:分析交通流量数据,预测交通拥堵情况,优化行驶路径。
    • 历史数据分析:基于历史交通数据识别规律,优化路径规划和驾驶策略。
  3. 模式识别

    • 驾驶模式识别:识别驾驶员的驾驶风格,优化自动驾驶系统的响应。
    • 环境模式识别:识别不同的环境模式,如城市道路、高速公路、乡村道路等,调整驾驶策略。

2.3 实时决策与路径规划

实时决策和路径规划是确保自动驾驶系统安全和高效运行的关键:

  1. 路径规划

    • 全局路径规划:基于高精度地图和目标地点,计算从当前位置到目标地点的最优路径。
    • 局部路径规划:在实时环境中,动态调整行驶路径以避开障碍物、交通信号灯和其他车辆。
  2. 实时决策

    • 决策树与强化学习:使用决策树、强化学习等算法在动态环境中做出实时决策,如变道、超车、避障等。
    • 紧急情况处理:在遇到紧急情况时,快速做出响应决策,如自动紧急制动或避让。
  3. 路径优化

    • 多目标优化:综合考虑安全性、效率和舒适性,优化行驶路径。
    • 交通规则遵守:确保路径规划和决策遵循交通规则和法律法规。

2.4 车辆控制与系统集成

车辆控制和系统集成确保各个组件协同工作,实现自动驾驶功能:

  1. 车辆控制

    • 动态控制:控制车辆的加速、刹车和转向,以实现路径规划的要求。
    • 闭环控制系统:基于车辆状态的反馈,实时调整控制指令,确保车辆按照预期轨迹行驶。
  2. 系统集成

    • 多传感器融合:将来自不同传感器(摄像头、雷达、LiDAR等)的数据融合,生成全面的环境感知。
    • 软件平台:集成传感器数据处理、决策制定、路径规划和控制算法,形成统一的自动驾驶系统平台。
  3. 安全性与冗余

    • 冗余系统:设计冗余系统以确保关键组件的可靠性,如双重传感器系统、备份控制单元等。
    • 安全监控:实时监控系统的运行状态,检测异常情况,确保系统的安全性和稳定性。
  4. 人机交互(HMI)

    • 用户界面:提供清晰的驾驶状态信息和系统反馈,确保驾驶员能够理解系统的工作状态和决策。
    • 警报和通知:在必要时向驾驶员发出警报或通知,以确保驾驶员能够及时干预。

AI技术的应用使得自动驾驶系统能够处理复杂的驾驶任务,提高安全性和效率。未来的发展将继续提升这些技术的能力,实现更高级别的自动驾驶。

三、自动驾驶技术迭代路径

自动驾驶算法核心模块概览

自动驾驶算法模块可分为感知、决策和规划控制三个环节,其中感知模块为关键的组成部分,感知模块负责解析并理解自动驾驶所处车辆周边的交通环境,是实现自动驾驶的基础和前提,感知模块的精准程度,直接影响 并制约着自动驾驶系统的整体安全性和可靠性。感知模块主要通过摄像头、激光雷达、毫米波雷达等各类传感器获取输入数据, 然后通过深度学习等算法,准确解析出道路标线、其他车辆、行人、交通灯、路标等场景元素,以供后续流程使用。与感知模块相比,决策和规划控制等模块的作用更为单一和被动。这些模块主要依据感知模块输出的环境理解结果,通过算法 决策生成驾驶策略,并实时规划车辆的运动轨迹和速度,最终转换为控制命令,以实现自动驾驶。因此,在自动驾驶研发过程 中,工程师投入的时间和精力主要放在提升感知算法上的精度上。

CNN

011-2016:CNN引发自动驾驶领域的首次革新浪潮,随着深度学习和计算能力的提升,卷积神经网络(CNN)在图像识别任务上的出色表现引发了自动驾驶领域的首次革新浪潮。2011 年,IJCNN的论文《Traffic Sign Recognition with Multi-Scale Convolutional Networks》展示了CNN在交通标志识别方面的潜力;2016 年,Nvidia团队发表的《End-to-End Deep Learning for Self-Driving Cars》成为最早将CNN应用于端到端自动驾驶的工作之一。 

CNN极大提升了自动驾驶车辆的环境感知能力。一方面,CNN在图像识别与处理方面的卓越表现,使车辆能够准确分析道路、交 通标志、行人与其他车辆;另一方面,CNN有效处理多种传感器数据的优势,实现了图像、激光雷达等数据的融合,提供全面 的环境认知。叠加计算效率的提高,CNN模型进一步获得了实时进行复杂的感知与决策的能力。 但CNN自动驾驶也存在一定局限性:1)需要大量标注驾驶数据进行训练,而获取足够多样化数据具有难度;2)泛化性能有待 提高;3)鲁棒性也需要经受更复杂环境的考验;4)时序任务处理能力:相比较而言RNN等其他模型可能更占优势。

RNN、GAN

2016-2018:RNN和GAN被广泛应用到自动驾驶相关的研究,推动自动驾驶在对应时间区间内快速发展 ,RNN相较于CNN更适合处理时间序列数据:RNN的循环结构可以建模时间上的动态变化,这对处理自动驾驶中的轨迹预测、行为 分析等时序任务非常有用。例如在目标跟踪、多智能体互动建模等领域,RNN和LSTM(RNN的改进版本)带来了巨大突破,可以 预测车辆未来的运动轨迹,为决策和规划提供支持。 

GAN的生成能力缓解自动驾驶系统训练数据不足的问题:GAN可以学习复杂分布,生成高质量的合成数据,为自动驾驶领域带来 了新思路,用于缓解自动驾驶系统训练数据不足的问题。例如GAN可以生成模拟的传感器数据、场景信息,测试自动驾驶算法的 鲁棒性,也可以用于交互式模拟场景生成。 RNN+GAN,可以实现端到端的行为预测和运动规划:RNN负责时序建模,GAN负责数据生成,两者相互协同,可以为自动驾驶系 统提供更全面和可靠的环境感知、状态预测和决策支持。

BEV

2018-2020:基于鸟瞰视角(BEV)的模型在自动驾驶领域获得了广泛的研究和应用 • BEV模型的核心思想是将车辆周围的三维环境数据(如来自激光雷达和摄像头的点云、图像等数据)投影到俯视平面上生成二维 的鸟瞰图。这种将三维信息“压平”成二维表示的方式,为自动驾驶系统的环境感知和理解带来了重要优势: 鸟瞰图提供了比直接的原始传感器数据更加直观和信息丰富的环境表示,可以更清晰地观察道路、车辆、行人、标志等元 素的位置和关系,增强自动驾驶对复杂环境的感知能力,全局的俯视视角更有利于路径规划和避障系统进行决策,根据道路和交通状况规划更合理稳定的路径 • BEV模型可以将来自不同传感器的输入数据统一到一个共享表示中,为系统提供更加一致和全面的环境信息。

Transformer+BEV

2020年以来, Transformer+BEV结合正在成为自动驾驶领域的重要共识,推动自动驾驶技术进入崭新发展阶段, 将Transformer模型与BEV(鸟瞰视角)表示相结合的方法,正在成为自动驾驶领域的重要共识,推动完全自主驾驶的实现,一方面,BEV可以高效表达自动驾驶系统周围的丰富空间信息;另一方面,Transformer在处理序列数据和复杂上下文关系方 面展现了独特优势,在自然语言处理等领域得到成功应用。两者结合可以充分利用BEV提供的环境空间信息,以及 Transformer在多源异构数据建模方面的能力,实现更精确的环境感知、更长远的运动规划和更全局化的决策。

占用网络模型

2022年,特斯拉率先在自动驾驶系统中使用了占用网络模型,实现了对道路场景的高效建模 ,特斯拉在2023年AI Day公开了occupancy network(占用网络)模型,基于学习进行三维重建,意图为更精准地还原自动驾 驶汽车行驶周围3D环境,可视作BEV视图的升华迭代: BEV+Transformer的不足:鸟瞰图为2D图像,会缺失一些空间高度信息,无法真实反映物体在3D空间的实际占用体积, 故而在BEV中更关心静止物体(如路沿、车道线等),而空间目标的识别(如物体3D结构)难以识别 。

占用网络:现存三维表示方法(体素、网格、点云)在储存、结构和是否利于学习方面均不够完全理想,而占用网络基 于学习将三维曲面表示为深度神经网络分类器的连续决策边界,可以在没有激光雷达提供点云数据的情况下对3D环境 进行重建,且相较于激光雷达还可以更好地将感知到的3D几何信息与语义信息融合,得到更加准确的三维场景信息。

 

 四、大模型对自动驾驶行业的赋能与影响

大模型对自动驾驶行业的赋能

自动驾驶领域的大模型发展相对大语言模型滞后,大约始于2019年,吸取了GPT等模型成功经验, 以GPT为代表的大模型通常包含亿级甚至百亿级参数,采用Transformer结构进行分布式训练,以提升模型能力。GPT的成功激发了 自动驾驶研究者利用类似架构进行端到端学习,甚至涌现出专为自动驾驶设计的预训练模型。这些努力为自动驾驶行业带来新思 路,大模型通过强大的数据分析和模式识别能力,增强了自动驾驶系统的安全性、效率和用户体验,实现了更准确的环境感知、 智能决策。

大模型对自动驾驶行业的赋能

大模型的应用加速模型端的成熟,为L3/L4级别的自动驾驶技术落地提供了更加明确的预期, 模型的成熟使得自动驾驶系统更加稳定和可靠,为商业化应用奠定了基础。随着深度学习和神经网络技术的迅速发展,模型在 感知、决策和控制等方面取得了显著进展,向着高效地处理大量传感器数据,准确识别交通标志、行人、车辆等、实现环境感 知的方向发展。此外,模型也能够辅助实时路径规划和决策制定,使车辆能够在复杂的交通环境中安全行驶。 

大模型的应用为L3/L4级别的自动驾驶技术落地提供了更加明确的预期,尤其特斯拉在前沿技术领域的探索,正在成为实现 L3/L4级别自动驾驶落地的风向标。特斯拉提出的Transformer+BEV+占用网络算法让车辆能够更精准地理解复杂的交通环境, 为L3/L4级别的自动驾驶系统提供更强的环境感知能力,从而在城市道路和高速公路等特定场景中更自信地行驶。

各车厂自动驾驶布局节奏

技术逐步成熟,政策有望为高级别自动驾驶落地提供催化,L3/L4级别自动驾驶技术作为自动驾驶领域的重要里程碑,一直备受关注。尽管技术已经达到一定成熟阶段,但其落地仍受政 策影响,目前正处在计划之中。然而,随着技术的不断发展,若政策能够顺应趋势,将有望推动各家车厂加速自动驾驶布局的 节奏。 

L3级别自动驾驶要求车辆在特定环境下实现自主驾驶,而L4级别更进一步,使车辆在特定区域内能够完全自主驾驶。技术发展 已经使得L4级自动驾驶汽车具备在特定场景下实现自主驾驶的能力,目前已经获批在特定道路上进行商业化试点运营。目前政策仍未放开个人使用L3/L4级别的自动驾驶,但随着自动驾驶技术逐步成熟,安全性能显著提升,政策环境有望催化 L3/L4级别自动驾驶技术的量产落地,对于政策的乐观预期亦有助于加速车厂在高级别自动驾驶领域的布局节奏。

 

 🌟感谢支持 听忆.-CSDN博客

🎈众口难调🎈从心就好

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1966689.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【python】PyQt5中QRadioButton的详细用法教程与应用实战

✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯,先赞后看哦~🎈🎈 🏆 作者简介:景天科技苑 🏆《头衔》:大厂架构师,华为云开发者社区专家博主,…

论文速递 | Operations Research 6月文章合集

编者按: 在本系列文章中,我们梳理了运筹学顶刊Operations Research在2024年6月份发布的9篇相关文章的基本信息,旨在帮助读者快速洞察领域新动态。 推荐文章1 题目:Tight Guarantees for Multiunit Prophet Inequalities and On…

list模拟实现--用节点封装的迭代器问题

目录 一、list的使用 1.1list的构造 1.2list的iterator ​编辑 1.3 list的capacity 1.4 list的element access ​编辑 1.5list的mdifiers ​编辑 二、list的迭代器失效问题 三、list的模拟实现 3.1定义一个节点类 3.2用节点去封装迭代器 编译器对->的优化问题 …

JavaScript做网页是否过期的处理

通过路由上的参数生成唯一md5和路由上token做验证_md5 token-CSDN博客 前言:基于这篇文章我们做网页是否超时,网页是否过期的处理。打开一个网页允许他在一定时间内可以访问,过了这个时间就不可以访问了,encrypt是h5加密方法&…

数据仓库基础理论—维度建模(图文详解)

数据仓库基础理论—维度建模 维度建模是数据仓库设计中的一种核心方法,旨在以业务角度组织数据,使其更易于理解、查询和分析。 1. 维度模型的基本概念 1.1 事实表(Fact Table): 事实表是维度模型的核心&#xff0…

ARM编程指令二

一、算术指令 1. add指令 功能: 将两个操作数相加,并将结果存储在目标寄存器中。 ADD R0, R1, R2 // R0 R1 R22. sub指令 功能: 将第二个操作数从第一个操作数中减去,并将结果存储在目标寄存器中。 SUB R0, R1, R2 // R0 R1 - R23.ADC指令- 带…

强化学习机械臂

一.前言 这里记录一下我学习强化学习的一些知识,并希望在今后可以通过仿真成功验证算法,如果时间允许的情况下希望可以结合到真实机械臂上。 二.学习过程 机械臂强化学习实战(stable baselines3panda-gym) 这里我先用anaconda创…

【原创教程】电气电工常用剥线钳和压线钳(入门篇)

今天我们来看一下电气电工经常会用到的工具,剥线钳和压线钳。 首先我们看剥线钳做什么用?主要就是剥线,让内部的铜丝裸露。我们来看一下,我们经常用到的剥线钳。 1、带刃口剥线钳 2、自动剥线钳 3、鸭嘴剥线钳 下面看压嘴剥线钳…

Nodejs的使用

1.安装nodejs服务器。 java 项目可以运行在 tomcat 服务器,开始完成前后端完全分离。前端有自己独立的工程。我们需 要把前端独立的工程运行起来。 --- 运行在 nodejs 服务器下。 理解为 tomcat 服务器 安装成功后在命令窗口查看 1.1 安装npm java 项目需要依赖…

finalshell连接kali-Linux失败问题略谈

如果你正在使用fianlshell或者xshell等终端软件远程连接Linux进行工作,但是突然有一天,你死活连不上了,报错提示如下: java.net.ConnectException: Connection refused: connect 就像这样: 哪怕是重装虚拟机&#xff0…

HardSignin _ 入土为安的第十二天

有壳 55 50 58 用010 把vmp改成upx ctrlf2,查找main函数 点第三个 Ctrlx交叉引用 把花指令改了90 一共三处 找db按c 找函数按p封装,按f5反编译函数 smc 用pythonida绕一下 from ida_bytes import * addr 0x00401890 for i in range(170):patch_byte(addr i,…

排序算法----冒泡,插入,希尔,选择排序

冒泡排序 原理 冒泡排序实际上是交换排序,将大的数据通过交换的方式排到一边,依次进行 代码实现 void Swap(int* p1, int* p2) {int temp *p1;*p1 *p2;*p2 temp; }void BullerSort(int* a, int n) {for (int end n - 1; end > 0; end--){for …

卷积神经网络理论(CNN)·基于tensorflow实现

传统神经网络的输入是一维的数据(比如28*28的图片,需要转化为一维向量)。 而卷积神经网络的输入是一个三维的(比如RGB)。 结构 卷积神经网络有以下结构: 输入层卷积层池化层全连接层 输入层 顾名思义,输入层就是输入数据(可以是图片等数…

仅缺一位作者,年内书号

《工程测量学概论》缺第三 《风景园林设计与施工技术研究》缺第二 《对外汉语教学方法与实践研究》缺第三 《基于视觉传达设计下的民间艺术发展研究》缺第三 《英语教学基础与翻译技巧》缺第三 《博物馆学体系与博物馆探究学习》缺第三 《新时期高校辅导员工作与队伍建设研究》…

迈向数智金融:机器学习金融科技新纪元的新风采

个人名片: 🐼作者简介:一名大三在校生,喜欢AI编程🎋 🐻‍❄️个人主页🥇:落798. 🐼个人WeChat:hmmwx53 🕊️系列专栏:🖼️…

怎么通过 ssh 访问远程设备

文章目录 什么是 SSH背景环境配置前置准备在 linux 系统中安装 ssh 组件 什么是 SSH ssh 全称是 Secure Shell, 有时候也被叫做 Secure Socket Shell, 这个协议使你能通过命令行的方式安全的连接到远端计算机。当连接建立就会启动一个 shell 会话,这时你就能在你的…

Kubernetes中间件监控指标解读

监控易是一款功能强大的IT监控软件,能够实时监控和分析各种IT资源和应用的状态,为企业提供全面而深入的监控服务。在Kubernetes中间件监控方面,监控易提供了详尽的监控指标,帮助用户全面了解Kubernetes集群的运行状态和性能表现。…

一键PDF翻译成中文,划重点轻松get

现在信息多得跟海一样,PDF文件里全是宝贵的资料和文章。但是,看着满屏幕的外国字,你是不是也头疼过?别发愁,今天咱们就来好好聊聊pdf翻译成中文的工具,帮你轻松搞定语言障碍,一点按钮&#xff0…

电测量数据交换DLMS∕COSEM组件第61部分:对象标识系统(OBIS)(上)

1.范围 GB/T 17215.6的本部分规定了对象标识系统(OBIS)的总体结构并将测量设备中的所有常用数据项映射到其标识代码。 OBIS为测量设备中的所有数据都提供唯一的标识符,不仅包括测量值,而且还包括仪表设备的配置或获取测量设备运行状态的抽象数据。本部分定义的ID代码用作标…

论文解析——CRNN算法

论文paper地址:An End-to-End Trainable Neural Network for Image-based Sequence Recognition and Its Application to Scene Text Recognition 本文的主要目的是识别图片中的序列文字的识别。CRNN的主要贡献在于提出了一个网络架构,这种架构具有以下…