城市NOA转向BEV，头部Tier 1如何笑傲江湖？

主讲｜蒋沁宏

编辑｜Amy

编者注：

本文是HiEV出品的系列直播「硬核拆解BEV」第三期问答环节内容整理。商汤绝影量产行车智能驾驶研发负责人蒋沁宏，与连线嘉宾寒武纪行歌自动驾驶总监李想、宏景智驾高级工程经理柴可宁、主持嘉宾周琳展开深度交流，并进行了答疑。

本期商汤科技的分享内容《BEV三大关键：数据、迁移和芯片部署》，可前往#视频号：HiEV观看直播回放。

关于「硬核拆解BEV」系列直播的更多内容，可在公众号后台回复「回放」查阅。

一、BEV对芯片的核心诉求

Q：近两年自动驾驶落地并上车，与此同时，涌现多个芯片玩家，例如地平线、寒武纪和黑芝麻，大家共同为自动驾驶行业努力。那么像商汤绝影这样的智驾解决方案供应商，对国产芯片有何核心诉求？

蒋：过去一年多，我们在芯片使用上存在一些痛点，主要是两方面。

首先，是整个芯片对硬件设计，包括对算子的支持，我们希望能考虑到目前一些算法的发展趋势。大家有目共睹，整个模型趋势是向All-in-One方向发展的，新模型必然带来新需求。

例如早先的 AI芯片，更多会考虑对 CNN、Pooling 等的优化。而现阶段可能要更往前一步，例如考虑到引入Transformer 算法后，可能对芯片的带宽要求更高，并需要能够支持 BEV 算法的相关算子。这也是算法供应商对国产芯片的强需求。

其次，是生态支持。新芯片需要建立新生态，而打磨是长周期的过程。

而且新芯片必然会碰到多个新问题，这些问题不止与模型推理相关，还有量化的对齐、传感器的接入和预处理等。我认为在工具链和文档不完备的情况下，很需要一些完善的售后服务和快速响应。

Q：深有体会，所以我们在芯片设计阶段，会尽可能前瞻性地考虑这些。那像商汤绝影这样综合的解决方案公司已经做过很多项目，使用了国内外不同的芯片方案，能点评一下使用体验或优缺点吗？

蒋：从芯片本身来讲，大家风格不同。有的芯片不管是在算力、CPU还是带宽上，都比较均衡，但没那么突出；而有的芯片某一方面可能会很优秀，例如AI算力，但其他方面少许偏科。这都是芯片公司根据趋势做的设计。

所以我认为，第一，没有完美的芯片，不管什么芯片都有一些对应的算法、方案能够完成部署，其部署难度也取决于芯片本身。

第二，芯片差异可能在于文档的可完善性，以及从生态角度来看，国内外芯片还是存在差距的，毕竟人家深耕已久。

而国内芯片团队则能给予较大支持力度，能够共同做优化、团队响应快，这也是国产芯片的优势。

二、算法供应商如何支持主机厂的自研需求？

Q：自动驾驶技术趋势发生了变化，前两年都在堆算力，要上1000Tops，要配置5个激光雷达。但今年大家逐渐趋于理性，不再讲堆料，而是降本，同时继续做技术方案的探索、迭代甚至升级，比如城市NOA开始探索无地图的方案。

自动驾驶趋势变化快，您作为自动驾驶老兵，认为自动驾驶技术方案终局如何？对于芯片公司以及算法供应商，可能需要提前做哪些准备和规划？

李：我先讲个人感受，再讲宏观方法论。

比如硬件算力和传感器。这好比当年一起做L4的Robotaxi，最开始不管是从安全性，还是项目风险的角度出发，先把算力和传感器埋进去。虽然当时讲硬件预埋，是给大家留下更多功能想象，但更多是为了保证项目稳定和车辆安全。而这本质上是先摸清算力的底线。

因为乘用车最终讲究性价比和客户买单，那么就要：

理清性价比的临界点

保证方案和功能实现时最具性价比的算力

确定最终预算

这是市场所关注且过去两年落地时堆料多的原因之一。

另一原因是，OEM有同辈压力。如果硬件预埋能保证功能交付时间节点，那肯定要做。但长期看，OEM也要摸清性价比的界线。这也是芯片公司和解决方案公司要努力的方向。

第二个问题，技术创新的角度，整个行业在前进，今年很多玩家在讲mapfree，例如元戎启行、华为。

全国的高速高精地图花个小几千万就可以买到，但是城市的高精地图有以下特点：

本身成本高昂

更新成本高，为保鲜度要定期更新

如果城市NOA通过验证发现不需要高精地图，那有将有助于产品落地。

方法论角度，通过与OEM的合作，我发现（整个产业）是一个To B、To C的产业，不单纯是To B的。所有人要思考OEM怎样让用户买单，这才符合大家共同的商业模式。

第一，长期来看，研发费会逐步降低，营收要靠订阅收取，但订阅率如何提高，是我们和OEM共同要面对的。

第二，科创和技术创新讲究「人无我有」。但从近几年自动驾驶的发展看，各家功能级的差异还未能跨出一代。而创新能否真正解决用户需求或痛点，则和订阅率挂钩。

第三，性价比。中国产业的发展路线都是从创新到卷性价比，去年大家开卷行泊一体，未来可能会有舱驾一体。而我比较好奇，未来舱驾一体能否在中国实现，哪家车厂会第一个有魄力做出来并量产？

而大方向上，算力也有下降趋势，技术侧终要为产品侧服务。因此，产品侧的预判和方向，技术侧仍要拆解，芯片和解决方案方皆要提前做预埋和准备。

Q：BEV落地过程中，BEV跟传统的单目2D算法，是共存还是彻底替换的关系？

蒋：问题很好，这也是我们目前在做技术迭代或算法迭代时遇到的问题。我认为，这要分任务类型抉择。

首先，对于同一类感知任务且下游依赖相对统一，比如PVB目标感知它的下游只有融合，肯定是替代关系。没必要出了BEV的PVB，还要出2D的PVB，最后可能只有一个下游在用。

其次，还有一些任务，受到下游的算法影响。众所周知模型、方案的迭代很快，而下游算法例如标定，它的更替相对要慢。比如车道线，现在BEV直接检测出车道线，给到规划控制用。但车道线还有另一种用法，比如在线标定时它其实用的是一些2D车道线，对于这些任务来说，因为下游还未完成算法的更替，我出这套BEV方案时，还要额外做一些2D任务。

还有一些任务，出于技术或是真值的局限性，在任务没重要到用BEV 3D做时，还是用2D做。例如交通灯标志牌，我们获得其 3D的真值还是较为困难，而2D方案也可以通过多帧联合优化来解算3D位置。

另外一点，要考虑如何迭代高效。因为做多任务学习，必然会有一些任务更新迭代很快，而另一些则相对较慢，例如PVB和TSR的迭代节奏就不同，此时就需要解决不同研发人员之间版本更新的冲突。要保证更新不影响部署，研发资源就需要协调和妥协。

所以，从总体上来看，（BEV算法与传统算法）在部分任务上是共存关系，部分任务上可能是替换关系。

Q：很多OEM有自研BEV的需求，作为算法供应商，或者像我们这样的系统供应商/域控供应商，应该扮演怎样的角色去满足车厂BEV自研需求？

蒋：这并不冲突，从当前的商业模式下，很多人认为，我们跟主机厂自研的需求之间的关系看起来是可替代的。

从技术演进的角度来看，这两者之间并不是零和博弈的。从商业模式角度来说，我们在项目研发过程中，会衍生出一些新的商业模式。

另外，作为解决方案供应商的角度，我们在算法上的领先和探索是核心优势。我刚刚有提到，我们在端到端和大模型上做的一些布局和思考，不局限于智驾这一个领域。而在这些方面的领先性，让我们可以跟主机厂探索进一步合作，从而可以带给C端用户一些用户价值。

商业的成功是利他，利他最后可能才是利我。

三、未来域控向单SOC集中式发展

Q：域控形态非常多样，有的域控是单SOC的，有的是多个SOC的，可能需要外挂一颗MCU解决功能安全等问题，有的直接是一体化的，那无论是从行泊一体，还是驾舱一体角度出发，您认为，域控最终的理想形态是怎样的？

柴：首先从算法升级和技术角度来考虑，我们认为，未来域控肯定是更倾向于单SOC这种芯片式集中域控方式发展的。

因为无论是像这种感知端的BEV，包括前融合技术，还是接下来决策规划一体式的后端架构，往往需要在独立的中高算力芯片上高效运行。如果是比较小的、多个的ASOC或多个芯片，那么效率就没那么高。

还有就是，之前泊车和驾舱一体的芯片去年又开始火起来了，未来我们非常看好驾舱一体。驾舱一体其实相当于把驾舱泊车和行泊一体进一步整合，随着以后座舱或者驾舱一体芯片的升级，和整个功能安全架构设计的升级，舱驾一体化肯定能进一步降低成本，提升客户体验。

我认为，从市场和消费者的角度来说，其实这个东西做了以后，消费者能否感知到实际的提升比较重要。

蔚来汽车发布了Banyan车机系统2.0.0版本，它整合了Orin X和8155的算力，它把很多的8155上的一些AI语言模型都迁到了Orin X上，整个算力通过异构的方式集合起来，在往驾舱一体方向发力。

升级以后，从消费者体验来说，我感觉车机更丝滑，语音交互更智能，其实消费者是会在这个地方买单的。

Q：驾舱一体使用了8155芯片和传统的自动驾驶芯片，如果打通的话，难点在哪里？

柴：一个难点是，从芯片公司角度考虑，驾舱和智驾是两拨公司，可以看到很多芯片公司在AI芯片方面的下一代的布局，例如英伟达、高通，国内的地平线、芯驰、寒武纪和安霸等。

还有就是应用方面，从我们自身经验来看，这对软件能力、工程要求还是较高的，比如我要在一个单J3的芯片上做行车和泊车一体，其实行车和泊车的感知算法是没办法同时跑的，肯定存在切换的过程，而如何通过高效的软件设计，让切换在用户端是无感的，这就比较考验各家实际落地能力。我觉得，主要在芯片端和使用端的这两点上。

Q：我想问下宏景智驾，BEV带来大量感知数据，从供应商的角度来讲，解决方案供应商如何与主机厂一同把这些数据处理好？包括数据隐私问题，应该怎样去做数据处理，作为供应商应该怎样去配合车厂？

柴：BEV需要大量真值数据，获取原始数据很容易，但如何用好很困难，无论是算法供应商，还是主机厂都要有很强的数据利用和闭环能力。

比如，如何用原始数据去做大规模的无监督的预训练，自动化的云端标注系统，需要做好数据的埋点和回灌。

举个例子，我认为在开发阶段可以用LiDAR提供真值，装一个真值系统去生成大量数据。但在量产之后，我们还需要给车厂提供OTA，他发现反馈的图像在目标检测和车道线3D地图检测方面做得并不好，那我们也需要对相关数据进行优化。

纯视觉的3D场景重建加标注的难题是量产BEV的公司必须修炼的内功，还有就是数据合规和数据使用权肯定属于车厂的财产。

作为供应商或者合作伙伴，如何基于车厂的大量数据帮他们通过OTA提升性能，然后在客户端体现，这是我们要思考的问题。

四、BEV落地后，有哪些预判？

以下是商汤绝影量产行车智能驾驶研发负责人蒋沁宏回答观众问题的内容整理。

Q1:继BEV之后，我们预判感知会有一些新趋势，不知道蒋老师怎么看？

A：我刚刚也有提及在BEV方面上，大家还是以往DL方案上发展。趋势来看，还是要向端到端的方向发展。越来越多的算法会加到模型里，包括预测和算法，我们现在就在做这部分工作。

而作为算法供应商，跟（学术界）做研究不同的点在于，我们需要额外考虑，不能单纯追求效果。比如在所谓的端到端的框架下，我们还是要追求控制和规划的确定性，这也是作为真正的行业从业者需要考虑的。

Q2:主机厂从研发BEV到量产上车，部分系统开放功能周期通常要多久？

A：因为我们不是主机厂而是供应商，我们给主机厂做BEV，从整个算法来讲，我们的算法预研肯定不是这个时期开始的。

从开始做，到算法在项目上的开发，再到最后上车，按照之前的节奏来看大概需要半年。

这里面涉及到的不仅是方案上线和部署，历史的case、数据、性能等都需要重新做，而且整个行业都很在意的主动安全、AEB等很严肃的东西都需要做大量的验证，我认为，整个周期至少要半年。

Q3：蒋总，您提到会把激光雷达作为真值，而BEV很大程度上强化了视觉算法，视觉在整个感知里重要性增强，那么你怎么看后续系统对激光雷达和高精地图的依赖程度？

A：这其实是两个东西。

首先，像商汤最早做智驾开发系统设计的时候，就把在线建图的输出跟高精地图的输出格式做了统一。从我们的角度来说，高精地图其实是不保鲜的，需要逐渐把高精地图拿掉。

和激光雷达不太一样，视觉算法对障碍物（如 PVB 等）的检测和还原过程，本质是对数据的拟合，见过的可以拟合，没见到的就没办法。从安全性的角度来考虑，激光雷达从原理上就保障了对障碍物的识别精度。另外，城区NOA场景其实很复杂，例如广州的城中村，有的地方到处都是石墩子、人车混行的复杂场景，现阶段的视觉算法对于障碍物的感知精度，与激光雷达对比还是比较有限的。