在上篇，我们回顾了自动驾驶汽车的发展历史，介绍了自动驾驶汽车的工作原理。得益于 AI 技术的突破，自动驾驶汽车飞速发展，运算速度也从 2007 年的 230 FLOPS 跃升至 2022 年的 254 TOPS，向软件定义汽车发展。现在，让我们从汽车到后台的数据中心，了解自动驾驶汽车如何学习、识别现实世界中的物体并做出反应。

训练＋仿真，自动驾驶“学海无涯”

海量数据支撑 AI 训练架构

深度学习让汽车能够像人类一样与世界互动。基于数据中心和超级计算技术，汽车能够通过 AI 训练基础架构来进行训练、学习。

在正式上路前，自动驾驶汽车需要在数据中心进行大量驾驶数据的训练。开发人员将基于这些数据，进行反复训练和验证，从而确保在自动驾驶汽车上运行的深度神经网络能够准确地感知相关信息。然后，这些网络会进行大量仿真测试，以确保自动驾驶车辆能在现实世界中正常运行。

接下来，让我们深入了解自动驾驶算法的开发过程。

第一步，从数据采集入手。单个测试车辆运行 6 小时会产生 32TB 数据，当测试对象扩展为每天都会行驶 6 小时的 50 辆车时，这一数字将飙升为 1.6PB。这些数据，需要传输、编码和存储，然后才能进行进一步的处理。

第二步，对数据进行梳理。开发者必须对这些数据进行筛选，他们需要逐帧浏览数据，从中选取对于训练来说较为实用的实例。这里说的“实用”，指的是该帧所包含的数据为深度神经网络从未接触过的新数据，或是在当前训练数据中较为缺乏的数据。通常，实用数据约占总采集数据的 10%，这个过程非常耗时。

第三步，数据标记。当数据筛选完毕后，必须对筛选出的数据进行标记，即对图像的每个组成部分进行识别与标记。这样，当深度神经网络基于该数据进行训练时，可以正确识别出相应的组成部分。此外，在验证过程中，还能通过这些标记对神经网络进行仔细检查，确保该网络能够正确识别行人等。

第四步，训练。完成预处理流程后，即可开始训练深度神经网络。在此过程中，开发者需要长时间运行这些网络来处理海量图像，以便能够在任何照明条件、天气条件、地理位置下，均能准确可靠地识别出相关交通标志。

第五步，回放。训练完成后，这些网络会通过“回放”流程接受验证。开发者会回放驾驶数据，以检查这些网络的准确性。

第六步，仿真。最后，在仿真环境中，运行包含所有神经网络的软件，了解它在实际驾驶环境中的表现，并将它运用于实际公路驾驶中。

可以看到，这个流程非常复杂。不管是从前期的数据采集、打标、清理，还是到后期的算法验证、测试，以及中间各种功能模型的训练和开发，不同的阶段，会涉及到不同的复杂的工具和框架。对于自动驾驶算法设计者来说，端到端无缝流畅的开发环境，将大大提高研发效率。

仿真技术丰富场景模拟

了解完训练，那么仿真过程究竟是如何运作的呢？

在虚拟现实中构建仿真场景

上文也提到，深度神经网络必须能够应对各种天气、道路或光线条件。由于真实驾驶可能需要很长时间才能覆盖所有可能发生的情况，因此无法通过真实驾驶来进行针对性的测试，这个时候，我们就需要仿真。

NVIDIA 构建了一个高保真仿真试验场，用于测试这些罕见的场景，也就是所谓的“边缘案例”或 “长尾场景”，例如，一只鹿在清晨从车前跑过、从天而降的一棵树、从卡车上掉下来的鸡等等，简单来说，就是人们希望自动驾驶汽车能够安全应对的各种千奇百怪的情况。

将实际道路测试与仿真技术结合，是未来部署自动驾驶汽车的关键所在。NVIDIA 将通过 DRIVE Sim 实现这一点。DRIVE Sim 采用物理准确的高保真仿真技术，通过安全、可扩展且经济高效的方式，推动自动驾驶汽车上路。DRIVE Sim 运用 RTX、Omniverse 和 AI 等 NVIDIA 的核心技术，打造基于云的强大计算平台，可以生成一系列寻常或罕见的现实世界场景，从而满足自动驾驶全面验证的需求。除了利用从现实世界中收集的数据，DRIVE Sim 还可以生成预先标记的合成数据集，用户可以绕过整个预处理流程，根据需求定制测试场景，填补当前开发流程中的空白。

上文介绍了许多关于仿真的内容，以下是两段视频，帮助大家了解实际操作。

思腾合力，赞3

思腾合力

持续开发造就无限可能

从数据采集到仿真的开发流程并不是线性的，而是一个持续的开发周期。汽车在行驶时会不断收集数据，然后这些数据会用于优化和训练深度神经网络的新功能，这些功能通过 OTA 无线更新到汽车上，从而真正实现软件定义汽车。

软件定义架构将彻底改变客户体验。从前如果购买一辆车，在驶离 4S 店的那一刻，这辆车便已达到其技术巅峰，虽然未来新功能会不断推出，但是这些功能都将搭载在该车辆的未来型号上，而不是所购买的这辆汽车。现在，软件定义架构完全改变了这种局面，客户在车辆的整个生命周期内，都能享受到最新推出的新技术、新功能。软件定义汽车将颠覆汽车行业，开启新的商业模式。

自动驾驶汽车开发—持续的开发流

软件定义与AI合力

自动驾驶汽车未来可期

通过上文，大家已经了解到自动驾驶技术的工作原理及开发方式，未来 10 年可能会有什么趋势？

软件定义汽车大势所趋

未来将会推出许多值得关注的新技术。具体来说，汽车制造商将在未来几年开始推出软件定义汽车。2020 年，梅赛德斯-奔驰宣布将于 2024 年基于 DRIVE Orin 平台，生产软件定义汽车。今年 2 月，捷豹路虎也宣布将于 2025 年推出软件定义汽车。此外，一些新能源汽车公司已经宣布要推出类似的架构，越来越多的汽车将会采用这个极具突破性的软件定义架构。

“软件定义”引领未来

同时，车载计算也将继续发展。正如前文所述，这些计算平台需要具备可扩展性，以便车企能够将其目前基于 DRIVE Orin 开发的软件，移植到可实现 2000 TOPS 运算的新一代计算平台 DRIVE Thor 中，从而继续使用这些软件。

回顾自动驾驶汽车的发展历程，不禁令人感叹创新速度的迅猛。令人欣喜的是，在各个阶段中，自动驾驶行业都能够不断利用最新的创新成果，其中智能座舱的发展尤其值得关注：

AI 座舱魅力无限

车载技术将变得越来越强大。具体来说，驾驶舱内置的辅助功能将实现智能化。以下图片展示的是 NVIDIA DRIVE Concierge。DRIVE Concierge 具有独特的设计，可以充当驾驶员和乘客的数字助手，协助乘客进行预订、为乘客推荐当地特色、拨打电话和发出提醒。无论是将钱包落在车上，还是外出购物时忘记在下午 4 点的线上会议等，DRIVE Concierge 都可以发出提醒。总而言之，DRIVE Concierge 可为车上的驾驶员和每位乘客提供个性化服务。

NVIDIA DRIVE CONCIERGE

DRIVE Concierge 基于 Omniverse Avatar 实现以上功能。Omniverse Avatar 能将语音 AI、计算机视觉、自然语言理解、推荐引擎和仿真技术相结合。基于 Omniverse Avatar 创建的虚拟形象，是具有光线追踪 3D 图形效果的交互式角色，可视可听，可就广泛的主题进行交谈，并理解自然语言意图。通过 Omniverse Avatar，人们将能够与汽车进行自然对话。此前需要通过物理控制或使用触控屏实现的许多功能，现在只需下达语音命令即可完成。