自动驾驶学习笔记(十三)——感知基础

news2025/1/20 19:13:23

#Apollo开发者#

学习课程的传送门如下,当您也准备学习自动驾驶时,可以和我一同前往:

 《自动驾驶新人之旅》免费课程—> 传送门

《Apollo Beta宣讲和线下沙龙》免费报名—>传送门

文章目录

前言

传感器

测距原理

坐标系

标定

同步

融合

部署

总结


前言

        见《自动驾驶学习笔记(八)——路线规划》  

        见《自动驾驶学习笔记(九)——车辆控制》

        见《自动驾驶学习笔记(十)——Cyber通信》

        见《自动驾驶学习笔记(十一)——高精地图》

        见《自动驾驶学习笔记(十二)——定位技术》

传感器

        相机、毫米波雷达、激光雷达和超声波雷达这几种传感器的性能对比如下图:

        事件相机是近年出现的新型应用,事件相机只观测场景中的“运动”,确切地说是观察场景中的“亮度的变化”。event camera只会在有亮度变化时,输出对应pixel的亮度变化(1或0),具有响应快、动态范围宽、无motion blur等优势,其成像结果如下图所示:

测距原理

        时间飞行法(TOF)是主流方案,通过脉冲在目标与雷达之间的飞行时间差计算距离。优势:原理简单,技术及产业链成熟探测距离长,响应快。劣势:计时器精确度要求高,易受环境影响雷达间串扰。

        调频连续波法(FMCW)是主流替代方案,通过多普勒效应测量频率差。优势:信噪比高,分辨率高,速度信息,可编码,抗雷达互扰,功耗低,人眼安全。劣势:前沿技术,成熟方案少,产业链初期。

        三角测量法,通过将光源与相机配对来捕获三维测量数据。优势:结构简单、测量速度快、具有实时处理能力、使用灵活、适应力强。劣势:在精度以及分辨率上仍然有不足。

坐标系

        自动驾驶中各个坐标系的应用如下图所示:

        数据坐标系:根据传感器原理不同,每种传感器都会有自己的数据坐标系,如相机将三维世界中的坐标点映射到二维图像平面的像素坐标系。

        传感器坐标系:以传感器为中心的三维笛卡尔坐标系。

        车辆坐标系:Apollo中采用右-前-天定义。原点:后轴中心为坐标系中点。X:面向车辆前方,右手方向为正。Y:车辆前进方向为正。Z:垂直地面,车顶方向为正。

        EUN坐标系的原点在地球表面,x和y轴在当地水平面内,分别指向东和北,z轴朝上,在局部范围不是很大的情况,比如几十km内,我们认为每一个原点的东北天坐标系是平行的。

        UTM投影坐标系全称为“通用横轴墨卡托投影”UNIVERSAL TRANSVERSE MERCATOR PROJECTION,是种“等角横轴割圆柱投影”,圆柱割地球于南纬80度、北纬84度两条等高圈,投影后两条相割的经线上没有变形,而中央经线上长度比0.9996。该投影方法按经度分为60个带,每带6度,从西经180度起算。如下图所示为全球的UTM投影,北京所在的区域在第50个投影带上。每个投影带上的一个坐标(x,y,z)可以唯-地表示地球上一个点,高度使用WGS84坐标系统中的大地高度。

        Frenet坐标系下,车辆运动可以分解为沿中心线运动和垂直于道路中心线运动两个部分。因此,我们可以使用变量 s和d描述车辆在道路上的位置。s坐标表示沿道路的距离(也称为纵向位移),d坐标表示道路上的左右位置(也称为横向位移)。

标定

        传感器标定的目的即是把感知到的周围环境统一到车身坐标系下。

        不同模型的传感器后造成不同的数据畸变,例如:小孔模型( Pinhole ),全向相机( Onknidirectional )。畸形的数据如下图所示:

        去畸变:校正光线在经过透镜边缘后发生弯折,造成的图像边缘弯曲。

        内参标定:图像坐标系到相机坐标系的映射,供应商可提供,或者通过棋盘标定板测定

        外参标定:传感器相对于车身或其他传感器坐标系的位姿Rt

同步

        各个传感器采样的频率不一致,还需要同步到一个节拍上来使用,如下图所示:

融合

        融合是将多传感器检测到的目标在时间和空何两个尺度上达成同一。

        时间:每个传感器的频率不一致,如LiDAR是10Hz,Camera是30Hz,Radar是10Hz。

        空间:各传感器的感知结果投影到车身坐标系。

        融合的的策略有三种,如下图所示:

        前融合:原始信号融合,一般用于同类传感器融合,原始信息不损失,计算量大,融合难度大。

        特征融合:传感器信号进行独立特征提取后进行融合,最近比较流行BEV。

        后融合:每种传感器独立进行感知检测,在结果层进行融合,原始信息损失较大,计算量小,难度低。

部署

        不同的自动驾驶功能,应用的传感器部署方案如下图所示:

        外资车企的感知部署方案:

        自主品牌车企的感知部署方案:

总结

        以上就是本人在学习自动驾驶时,对所学课程的一些梳理和总结。后续还会分享另更多自动驾驶相关知识,欢迎评论区留言、点赞、收藏和关注,这些鼓励和支持都将成文本人持续分享的动力。

        另外,如果有同在小伙伴,也正在学习或打算学习自动驾驶时,可以和我一同抱团学习,交流技术。


        版权声明,原创文章,转载和引用请注明出处和链接,侵权必究!

        文中部分图片来源自网络,若有侵权,联系立删。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1280173.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

一个用c#瞎写的sftp工具

0.下载地址 https://wwus.lanzouj.com/iOZUv1gkgpze 密码:123456 1.能进行单个和批量下载, 没有弄上传 2.速度奇差,可能是某些地方没弄好.有一定的进度显示,但是不太准. 3.很多地方没弄好,有能力的自己弄一下 4.在app.config文件配置sftp

大小堆的实现(C语言)

目录 前言 一种完全二叉树:堆 堆的概念 堆的性质 建堆的时间复杂度 建堆的空间复杂度: 小堆的实现 必要补充 堆的初始化 堆的销毁 向上调整算法 堆的插入 向下调整算法 堆的删除 获取堆顶元素 获取堆中元素个数 堆的判空 最终代码 He…

SpringSecurity 三更草堂 学习笔记

SpringSecurity从入门到精通 0. 简介 Spring Security 是 Spring 家族中的一个安全管理框架。相比与另外一个安全框架Shiro,它提供了更丰富的功能,社区资源也比Shiro丰富。 一般来说中大型的项目都是使用SpringSecurity 来做安全框架。小项目有Shiro的…

数据结构奇妙旅程之顺序表和链表

꒰˃͈꒵˂͈꒱ write in front ꒰˃͈꒵˂͈꒱ ʕ̯•͡˔•̯᷅ʔ大家好,我是xiaoxie.希望你看完之后,有不足之处请多多谅解,让我们一起共同进步૮₍❀ᴗ͈ . ᴗ͈ აxiaoxieʕ̯•͡˔•̯᷅ʔ—CSDN博客 本文由xiaoxieʕ̯•͡˔•̯᷅ʔ 原创 CSDN …

第一百八十六回 DropdownMenu组件

文章目录 1. 概念介绍2. 使用方法2.1 DropdownMenu2.1 DropdownMenuEntry 3. 示例代码4. 内容总结 我们在上一章回中介绍了"如何禁止页面跟随手机自动旋转"相关的内容,本章回中将介 绍DropdownMenu组件.闲话休提,让我们一起Talk Flutter吧。 …

TeXworks 初次使用 debug方法

下载Texlive,打开TeXworks editor 编译排版,可能会报很多错: 1. ! Fatal Package fontspec Error: The fontspec package requires either XeTeX or (fontspec) LuaTeX. (fontspec) (fontspec) …

【前沿技术】扩散模型是什么

0. 前言 扩散模型的灵感来自非平衡热力学。他们定义了一个马尔可夫扩散步骤链,以缓慢地将随机噪声添加到数据中,然后学习逆转扩散过程以从噪声中构建所需的数据样本。与VAE或流动模型不同,扩散模型是通过固定程序学习的,并且潜在变…

【学术精选】地球系统科学顶级国际会议 IGARSS 2024

顶级会议推荐 英文名称:International Symposium of Geoscience and RemoteSensing, IGARSS 2024 英文简称:IGARSS 2024 中文名称:国际地球科学与遥感研讨会 ​会议信息 重要日期: Community Contributed Session Proposal Dea…

基于ZLMediaKit的webrtc实时视频传输demo搭建

环境 ubuntu 20.04 ​ gcc version 9.4.0 ​ cmake version 3.16.3 部署ZLMediaKit流媒体服务器 安装openssl 首先可以检查一下自己的openssl的版本如果是1.1.1以上就可以忽略这一步 wget https://www.openssl.org/source/openssl-1.1.1k.tar.gz tar -xvzf openssl-1.1.1k…

基于springboot 学生学情预警系统-计算机毕设 附源码57567

springboot 学生学情预警系统 摘 要 科技进步的飞速发展引起人们日常生活的巨大变化,电子信息技术的飞速发展使得电子信息技术的各个领域的应用水平得到普及和应用。信息时代的到来已成为不可阻挡的时尚潮流,人类发展的历史正进入一个新时代。在现实运…

Python如何使用pip安装模块和包与绘图时如何显示中文

Python如何使用pip安装模块和包 使用pip安装python模块和包 方式一:1.进入命令行2.敲入pip命令:pip install 包名 。由于python官网下载速度太慢,可以通过添加参数从清华镜像下载包(-i https://pypi.tuna.tsinghua.edu.cn/simpl…

Web漏洞分析-SQL注入XXE注入(上)

随着互联网的不断普及和Web应用的广泛应用,网络安全问题愈发引起广泛关注。在网络安全领域中,SQL注入和XXE注入是两个备受关注的话题,也是导致许多安全漏洞的主要原因之一。本博客将深入研究这两种常见的Web漏洞,带您探寻背后的原…

curl --compressed报错,此版本不支持此命令

出现这个问题是因为微软windows自带的curl不支持这个选项,验证如下 执行where curl 时,可以看到输出为 C:\Windows\System32\curl.ee 解决方法是使用其它curl,下载地址如下 curl for Windows https://curl.se/windows/ 然后把安装目录的bin目录放到path环境变量里最开始, 让…

十大经典系统架构设计面试题

十大经典系统架构设计面试题_架构_程序员石磊_InfoQ写作社区翻译自:https://medium.com/geekculture/top-10-system-design-interview-questions-10f7b5ea123d在我作为微软和Facebhttps://xie.infoq.cn/article/4c0c9328a725a76922f6547ad 任何 SDI 问题的提示 通过…

能源企业管理ERP系统都有哪些?可以帮助企业解决哪些难点

能源企业在不同的发展阶段面对的经营压力以及遇到的管理问题各异,随着部分产品结构的复杂化,日常经营管理工作也愈加繁琐。 有些能源企业内部存在信息传递不畅、经营数据统计不及时、部门协作效率低、多仓库和多平台数据不统一等情况,而这些…

web:very_easy_sql(sql、ssrf、gopher协议sql注入)

题目 页面显示如下 显示不是内部用户,无法识别信息 查看源码,找到一个use.php 访问之后显示如下 随便输入了一个,发现url有参数显示 试一下靶机的网址,返回nonono 联系之前原始页面写的“不是内网用户,无法别识身份”…

简单句子成分、阅读技巧

四、段落的主旨题:问这一段讲了什么(一般都在段落的第一句话或最后一句话) 词汇题的答案一般都在生词的上一句或者下一句 做题步骤: 1、先标段落 2、看题,划出关键词 3、去原文定位,标注中文意思 4、第一遍…

半导体工艺发展概述

集成电路发展到今天,经历从1940年的PN结发现,到1950年BJT三极管发明,再到1963年CMOS电路发明。从单纯基于Si的半导体电路,再到GaAs, GaN,SiGe, InP等化合物半导体集成电路。不断的通过化学材料配比,基本单元…

vs 安装 qt qt扩展

1 安装qt 社区版 免费 Download Qt OSS: Get Qt Online Installer 2 vs安装 qt vs tools 3 vs添加 qt添加 bin/cmake.exe 路径 3.1 扩展 -> qt versions 3.2

使用外部编辑器编辑执行MAXScript代码的方法

如何使用外部编辑器编辑执行MAXScript代码?这里我们要借助一个3dMax插件程序MXSCOM,MXSCOM允许从外部代码编辑器编辑和执行3ds Max MaxScript和Python文件。 2005年,Simon Feltman发布了第一个MXSCOM,这是一个小型的Visual Basic …