特斯拉 FSD 背后的技术(1)—从 BEV 到占用网络

在今年 tesla 的 AI Day 给我这个业余自动驾驶爱好者给留下了深刻印象，在看过之后，通过收集资料对其中阐述的技术进行简单的了解，在这里拿出来跟大家分享一下，有点长，所以划分了一下 3 个部分。

从 BEV 到占用网络

激进无保护安全左转

有着一双手的擎天柱

先说一下我们能够从 AI Day 学到什么?

有了想写 ANet 的冲动

每一次在特斯拉的 AI Day 上，特斯拉的自动驾驶团队给出他们关于自动驾驶的解决方案，总会成为业界的风向标，随后也是大家研究的方向。那么这些方案到底有多新奇呢？其实这些解决方案所采用的技术，可以说是情理之中，意料之外，为什么这么说呢？

我们就拿去年的 AI Day 上，特斯拉关于自动驾驶的解决方案来说吧。大家都知道，想要实现自动驾驶，车辆至少要对其所在环境有一个清晰的，准确的了解。这就是少不了需要对周围环境进行 3D 重建。大多数公司借助于激光雷达来构建 3D 环境，或者直接使用高精度地图。

好，我们回过头来，看看卡帕西当时给出的解决方案是什么，就是我们熟悉 regNet、BiFPN、transformer 等这些技术，绕过传统的图像拼接技术，用 8 个摄像头采集的图像构建出了一个对周围环境映射的向量空间来实现对周围环境 3D 重建。

如果这时，大家认为这不就是一些熟知的技术堆叠吗？那你又想多了，即使现在知道了答案，也很难复现他们的效果，这也就是特斯拉厉害之处。所以对于一些技术，一定是将其原理吃透，才能将他们运用的得心应手。我想这是特斯拉技术团队成功的一点原因吧，也是我们缺乏的，需要提升的，也就是对于关键技术需要深入理解，不能仅停留在表面上。

在如何将各种技术整合和落地上，这点真的要佩服特斯拉，说特斯拉是最好的基于视觉自动驾驶公司，并非言过其词，好了这期就说到这里。

从 BEV 到占用网络

无论去年的 BEV 也好，还是今年的 occupancy network 占用网络，都是弥补特斯拉因没有安装激光雷达无法准确地还原其行驶周围 3D 场景的不足。有了激光雷达就可以比容易地，较准确地重建 3D 空间。上一集已经说环境 3D 重建对于自动驾驶的重要性。

除了激光雷达以外，还有就是通过高精度地图，自动驾驶来了解其所处环境。不过高精度地图维护成本比较高，需要频繁更新，而且即便有了高精度地图，也需要对周围动态目标进行感知。所以特斯拉更推崇实时建图方式来帮助车辆熟知周围的环境。那么今天我们来看一看特斯拉是如何做到的呢？

大家可能还记得去年的亮点，如何对 8 个摄像头采集图像进行有效融合。也就是跨过传统图像缝合技术，直接通过将所有摄像头采集图像通过矫正后，一并输入到神经网络来提取特征，然后利用基于自注意力机制的 transformer 将这些特征进行关联从而投影到一个向量空间，最终拿到一张反应周围环境的鸟瞰图。

不过这里要说一句，虽然鸟瞰图可以很好还原周围环境，提供自动驾驶所需的信息，但是毕竟还是一个 2D 图像，类似一张平面的地图。既然是 2D 的图像那么相比 3D 空间就少了一个维度，也就是说明一定会缺失一些空间高度上信息，无法真实地反应物体在 3D 空间实际占用的体积是多少。

所以 BEV 中，特斯拉更关心的是那些静止物体，例如路沿、车道线和栅栏等。所以在介绍占用网络之前，特斯拉技术团队先抛出一些现在 BEV 层面上很难解决的问题。例如一些空间目标，例如空中悬挂的交通标识牌、周围物体的一些 3D 结构，和因为遮挡而无法识别，而这些被遮挡运动物体会对随后规范有影响等等。

针对这些问题，在接下来介绍中我们将一一找到答案。在解释特斯拉如何使用占用网络前，我们简单介绍一下什么是占用网络，不会特别深入，只是为了大家更好理解接下来的内容。

占用网络

占用网络是并不什么新的随着深度神经网络的到来，基于学习的三维重建方法逐渐变得流行。不过到现在为止关于如何表示 3维空间还没有达成一致，不想我们用一个 3 维矩阵就可以很好表示图像，虽然这种方式表达 2D 图像，缺少了很多语义信息。但是这种方式已经被大家认可，并且已经证实其有效性。

但是和图像不同的是，在3D中没有规范的表示，既能高效地进行计算，又能有效地存储，同时还能表示任意拓扑的高分辨率几何图形。

现存的表示方法能够大概分成三类：体素、网格、点云，这些 3 维表示方法在储存、结构和是否利于学习等方面。各有一些优点和不足，并不理想直到占用网络出现

作者提出了占用网格，一种新的基于学习的三维重建方法。占位网络隐式地将三维曲面表示为深度神经网络分类器的连续决策边界。

在占用网络出现之前，因为没有激光雷达提供点云数据，很难对周围环境进行 3D 重建。那么占用网络的出现就很好得解决了这个问题。

上图中浅蓝色区域为 tesla 的可视区域

蓝色小块堆叠形成物体为运动物体，在画面里不难看出这些是道路上运动的车辆和周围静止物体在占用网络中是明显区别

通过占用网络，特斯拉可以把一些当前场景下遮挡静止物体和动态物体也用体块来表示出来，这样就增加 tesla 的视野域，让特斯拉可以对接下来路径规划有了更多信息。

而且占用网络相比激光雷达的优势在于可以更好地将感知到的3D几何信息与语义信息融合，这是因为占用网络相对于激光雷达产生稀疏点云可以得到更准确 3维场景。

另外一个问题是，在计算机视觉领域，我们输出的检测模型都是使用一个标准的方方正正的矩形来表示，无论是汽车，人物，信号灯等，当计算机视觉系统检测完成后，总是按照一个矩形框来实时显示画面。但是当汽车顶上有杂物，或者卡车旁边有挂钩等，计算机视觉系统一般会屏蔽掉此部分的特性，但是在道路上面，这样的物体确实存在，若被忽略，肯定会出现车祸等问题。

关于占用网络看到这里，自己对于占用网络提取也有点感触，就是我们平时看问题和解决问题方式，大多时候总是惯性思考，有时候所谓开阔思路，也是沿着主线跳来跳去，而不是像特斯拉这样换一个角度来看问题，思考问题。

其实对于深度学习，为了让模型见多识广，不断扩张他感知领域，就需要不断将路面上可能出现目标类别添加数据集来重新训练模型，这样一来可能会带来数据不均衡很多问题，假设即便我们能够让训练收敛拿到一个比较理想模型，那么我们就能把所有类别都标注出来吗?显然是不现实的。例如从车辆上滑落不规则几何体，这样是无法标注的，可能这具体是啥，无人驾驶并不关心，自动驾驶可能只关心他位置所占空间，是静止还是运动就够了。恰恰这些占用网络给出这些答案。