【自动驾驶系列丛书学习】2.《自动驾驶汽车环境感知》学习笔记

《自动驾驶技术概论》学习笔记

致谢：作者：甄先通、黄坚、王亮、夏添

--------------------------------------------------------------------------------------------------------

笔记目录

《自动驾驶技术概论》学习笔记

1.自动驾驶环境感知概述

2.环境感知——硬件

2.1摄像头

2.2激光雷达

2.3毫米波雷达

2.4超声波雷达

2.5惯性导航

本书系统介绍了自动驾驶汽车环境感知技术。从自动驾驶环境感知概述开始，介绍了车载传感器及传感器标定、计算机视觉与神经网络、环境感知与识别、自动驾驶道路复杂场景语义理解，以及多传感器融合，并通过范例实践验证，可为具备一定基础的人员提供自动驾驶环境感知系统的开发指导。

清华大学出版社此书链接：http://www.tup.tsinghua.edu.cn/booksCenter/book_08301201.html

系列丛书

学习笔记只是随手记录一下阅读的心得，碰到感兴趣的技术要点详细记录，拓宽拓宽眼界，增长增长见识，从自动驾驶的概论到感知-定位-决策-控制，这几个方面学习学习自动驾驶啦~~

未读章节：不标记颜色

已读章节：底部标绿色

感兴趣点：底部标黄色

--------------------------------------------------------------------------------------------------------

《自动驾驶技术概论》

第一章自动驾驶环境感知概述
1.1自动驾驶环境感知介绍
1.2车载感知系统组成简介

第二章车载传感器介绍
2.1摄像头
2.1.1概述
2.1.2工作原理
2.1.3优缺点
2.1.4摄像头在自动驾驶汽车上的应用
2.2激光雷达
2.2.1概述
2.2.2工作原理
2.2.3优缺点
2.2.4激光雷达在自动驾驶汽车中的应用
2.3毫米波雷达
2.3.1概述
2.3.2工作原理
2.3.3优缺点
2.3.4毫米波雷达在自动驾驶汽车中的应用
2.4超声波雷达
2.4.1概述
2.4.2工作原理
2.4.3优缺点
2.4.4超声波雷达在自动驾驶汽车上的应用
2.5惯性导航
2.5.1概述
2.5.2工作原理
2.5.3优缺点
2.5.4惯性导航在自动驾驶汽车上的应用
2.6本章小结
参考文献

第三章传感器标定
3.1概述
3.2摄像头的标定
3.2.1摄像头内参数标定
3.2.2摄像头间外参的标定
3.3激光雷达的标定
3.3.1激光雷达与激光雷达之间的外参标定
3.3.2激光雷达与摄像机的标定
3.4联合标定实验
3.5本章小结
参考文献

第四章计算机视觉与神经网络
4.1无人驾驶与计算机视觉
4.1.1生物视觉
4.1.2边缘检测
4.1.3图像分割
4.1.4神经网络与深度学习
4.1.5深度学习与传统学习
4.1.6计算机视觉在自动驾驶中的应用
4.2深度前馈网络
4.2.1 神经元
4.2.2网络结构
4.2.3深度前馈网络
4.2.4参数学习
4.3卷积神经网络
4.3.1卷积的概念
4.3.2卷积神经网络的性质
4.3.3卷积神经网络基本结构
4.3.4典型卷积神经网络
参考文献

第五章环境感知与识别
5.1环境感知与识别概述
5.2障碍物检测
5.2.2基于激光雷达的障碍物检测
5.2.3基于视觉和激光雷达融合的障碍物检测
5.3车道线检测
5.3.1基于传统计算机视觉的车道线检测
5.3.2基于深度学习的车道线检测
5.3.3︰基于激光雷达的车道线检测
5.4红绿灯检测
5.4.1基于传统视觉方法的红绿灯检
5.4.2基于深度学习的红绿灯检测
5.4.3高精地图结合
5.5场景流
5.5.1概述
5.5.2深度估计
5.5.3光流估计
5.6基于V2X的道路环境感知技术
5.6.1V2X技术
5.6.2路侧感知技术
5.7红绿灯检测实验
5.7.1Apollo红绿灯数据集
5.7.2实验流程
5.8本章小结
参考文献

第六章自动驾驶道路复杂场景语义理解
6.1 ApolloScape数据集
6.2可行驶区域检测
6.2.1基于传统计算机视觉的可行驶区域检测
6.2.2基于深度学习的可行驶区域检测
6.3复杂场景理解
6.3.1问题分析与应用场景
6.3.2CNN+LSTM实现
6.4动态场景理解
6.4.1多目标跟踪
6.4.2路径实时预测
6.4.3行人手势识别
6.5基于PointNet的点云分类和语义分割实验
6.5.1应用模型介绍
6.5.2实验环境·
6.5.3PointNet＋＋代码运行
6.6本章小结
参考文献

第七章多传感器融合
7.1概述
7.2多传感器信息融合基础理论
7.2.1多传感器信息融合概述
7.2.2多传感器融合结构
7.2.3多传感器融合算法
7.3多传感器后融合技术
7.3.1Ulm自动驾驶:模块化的融合方法
7.3.2FOP-MOC模型
7.4多传感器前融合技术
7.4.1MV3D
7.4.2AVOD
7.4.3F-PointNet
7.5本章小结
参考文献

-------------------------------------------------------------------------------------------------------

1.自动驾驶环境感知概述

自动驾驶系统入门（一） - 环境感知 - 知乎 (zhihu.com)

自动驾驶感知——环境感知的基本概念_环境感知技术概述-CSDN博客

自动驾驶四大核心技术分别是环境感知、精确定位、路径规划、线控执行。环境感知系统设计是自动驾驶发展的一个关键环节,也是自动驾驶体现智能的主要方面之一。

其实应该可以分为两个部分，硬件和软件

在硬件上，感知主要是摄像头、激光雷达、毫米波雷达、惯导IMU等，这些硬件的选型，性能，以及技术上的提升，原理等等

在软件上，主要就是基于硬件采集到的数据，进行算法的处理和提升，输入是图片、视频、点云等信息，利用深度学习、神经网络、强化学习等进行处理，最后产生有用信息的输出

~~ps:在搜索资料的时候看到自动驾驶方向确实有很多课题可以做~~

2.环境感知——硬件

可以参考一下我的《多传感器融合感知技术学习》笔记专栏：http://t.csdnimg.cn/RL1xQ

2.1摄像头

有高级语言的功能，就像是人的眼睛，能够看到五颜六色的世界

车载摄像头的优点十分明显:技术成熟,成本低,采集信息十分丰富,包含最接近人类视觉的语义信息。

其缺点主要是摄像头受光照、环境影响十分大,很难全天候工作,在黑夜、雨雪,大雾等能见度较低的情况下,其识别率大幅度降低。车载摄像头的另一缺点就是缺乏深度信息,三维立体空间感不强。

最新综述！基于视觉的自动驾驶环境感知（单目、双目和RGB-D）-阿里云开发者社区 (aliyun.com)

2.2激光雷达

Apollo激光雷达感知：探索自动驾驶的“眼睛”-腾讯云开发者社区-腾讯云 (tencent.com)

激光扫描测量是通过激光扫描器和距离传感器来获取被测目标的表面形态的。激光扫描器一般由激光发射器、接收器、时间计数器、微计算机等组成。

激光雷达通过脉冲激光不断地扫描目标物,就可以得到目标物上全部目标点的数据,使用这些数据进行图像处理后,就可以得到精确的三维立体图像。另外,激光束发射的频率一般是每秒几万个脉冲以上。举例而言，一个频率为每秒一万次脉冲的系统,接收器将会在一分钟内记录六十万个点。

激光雷达的一些参数：

2.3毫米波雷达

这博主写得很全面：自动驾驶感知——毫米波雷达_毫米波雷达输出什么数据-CSDN博客

毫米波雷达是工作在毫米波波段(millimeter wave)探测的雷达,其与普通雷达相似,通过发射无线电信号并接收反射信号来测定与物体间的距离。毫米波频率通常在30～300GHz(波长为1~10mm),波长介于厘米波和光波之间,因此毫米波雷达兼有微波雷达和光电雷达的一些优点,非常适合于自动驾驶汽车领域的应用。因为毫米波雷达具有较强的穿透性,能够轻松地穿透保险杠上的塑料,所以常被安装在汽车的保险杠内。

77GHz及79GHz雷达是未来车载毫米波雷达的发展方向，国内正处于快速追赶时期

毫米波雷达优点:
(1)高分辨率,小尺寸。由于天线和其他的微波元器件尺寸与频率有关,因此毫米波雷达的天线和微波元器件较小,小的天线尺寸可获得窄波束。
(2)与红外﹑激光,电视等光学导引头相比,毫米波导引头穿透雾、烟,灰尘的能力强,测距精度受天气因素和环境因素影响较小,可以基本保证车辆在各种日常天气下的正常运行。
(3与常常用来与毫米波雷达相比的红外系统相比,毫米波雷达的一个优点是可以直接测量距离和速度信息。

毫米波雷达缺点:
(1)与微波雷达相比,毫米波雷达的发射机的功率低,波导器件中的损耗大。
(2)行人的后向散射截面较弱,如果需要探测行人,雷达的探测阈值需要设低,其负面效应可能会有更多虚报物体出现。
(3)毫米波器件昂贵,现阶段不能大批量生产装备。

一些公司