通用人工智能+智能车舱，商汤绝影带来怎样一番景象？

本文来源：智车科技 

/ 导读 /

进入4月，中国科技圈迎来最卷的时刻，这可能中国AI史上一个重要节点。ChatGPT、GPT-4的出圈掀起了通用人工智能（AGI）的技术狂潮，引爆了一场以大模型为代表的生成式AI狂飙，也催生了新的研究范式。

转瞬之间，国际、国内巨头都竞相加入了这场大模型竞赛，阿里、腾讯、字节、商汤、360等大厂无一例外，纷纷祭出AI大语言模型及产品。

作为人工智能软件公司，商汤前不久刚刚推出了“日日新SenseNova”大模型体系，它涵盖了自然语言生成、文生图、感知模型标注以及模型研发功能。与此同时，智能车舱正在变革之中，也需要有AI大模型的支撑。

商量、秒画“上车”，商汤绝影打造“第三生活空间”

据IHS预测，到2030年，全球智能车舱市场规模将达到681亿美元；另据ICVTank预测，中国智能车舱市场将在2025年达到1030亿元规模，按照目前增长速度来看，中国或将成为全球最大智能车舱市场，这为国内汽车软件厂商带来了更大的机遇。

商汤科技一直在打造从智驾到智舱的智能汽车量产落地新范式。这次的上海车展，商汤绝影携驾、舱、云三位一体产品体系已经是第三度亮相，不仅为我们展现了全栈智能驾驶解决方案，还带来了行业首发的六大智能车舱新品，语言大模型“商汤商量SenseChat”和AI内容创作平台“商汤秒画SenseMirage”也登上未来展示舱。在以极“智”感知能力诠释未来汽车全新体验的同时，有近30款商汤绝影合作车型大秀车展，彰显了绝影业内少有的智能驾驶+智能车舱的实力。

根据2022年商汤科技财报，过去的一年，绝影智能驾驶和智能车舱产品完成27款车型适配和量产交付，新增定点数约超过800万台，覆盖30多家车企的80多款车型。

通过与合作伙伴共同深挖车载感知数据价值，绝影正在将商汤智慧产业生态输出到智能汽车服务，实现与汽车产业和生态的共生共赢。

当下，智能车舱已成为用户体验的放大器、新车销量的催化剂，这话一点不假。事实上，开发智能车舱的挑战并不亚于自动驾驶，因为它是消费者最直接、最切身的体验，能够让用户“用了都说好”，不让某些功能沦为鸡肋，这是一个不太容易企及的高标准。

在商汤绝影智能车舱副总裁许亮看来，目前智能车舱应用有三块，一是语音，二是视觉，三是多媒体。他说，商汤一直在寻找视觉应用的平衡点，通过多模融合的视觉感知优势来弥补传统车舱体验的不足。

如何引领智能车舱的创新，关键在于利用融合视觉、语音和自然语言理解的多模态交互。在这方面，商汤“日日新SenseNova”大模型体系为车舱提供了更智能、更人性化的多模态人车交互体验。

而车展上展示的绝影未来展示舱也是深度融合了商汤大模型体系，借以重构了人们对未来车舱体验，这也是人们需要看到的真正智能化的“第三生活空间”。

当体验嘉宾来到绝影未来展示舱前，商汤AI数字人会主动问候并引导嘉宾落座。在展示舱内，商汤语言大模型“商量SenseChat”就会与其交流互动，还会推荐个性化体验内容，包括儿童喜欢的一些内容；在行车过程中收到邮件时，商量则会化身“邮件助手”，自动提炼关键信息；它还是位聪明的“会议助理”，可以自动生成会议纪要，大大节省用户行车时处理工作的时间和精力。

作为千亿级参数的自然语言处理模型，“商量SenseChat”使用大量数据训练，并充分考虑了中文语境，能够更好地理解和处理中文文本。展会现场，“商量”展示了出色的多轮对话和超长文本的理解能力。

“秒画”文生图创作平台是展示舱的又一大功能，它源于商汤AIGC模型的强大能力，能够自动生成不同风格的照片，让人们出行充满乐趣。

“秒画”光影真实、细节丰富、风格多变的强大的文生图能力，可支持6K高清图的生成；客户还可根据自身需求训练生成模型。

六大新产品赋予了车舱哪些智能？

在传统车舱中，语音交互的所谓智能更多是一种机械指令式互动，没办法做到很多互动。比如问车载导航系统周边有没有一些好吃的东西、好看的电影院，过去的架构是没有答案的。商汤绝影为行业带来了技术突破的机会。

商汤绝影首发的唇语唇动识别、隔空手势（Air Touch）可以在很大程度上弥补语音的不足，另外的哨兵模式、智能救援、AR K歌、智能屏保，更极大地提升了用户体验。

在车舱中，人声干扰、播放音乐、高速风噪、高速胎噪等场景不可避免，都会使语音交互出现误触发。商汤绝影首创的基于纯视觉的“唇语唇动”识别功能堪称无声胜有声。通过多模融合算法，用户用唇语发出超过40个命令词和唤醒词即可实现多种车内交互。

目前主流的哨兵模式虽已成为越来越多车型的安全功能标配，但传统感知光线变化的检测方式经常发生误报的情况。商汤绝影将AI与环视相机结合，通过智能甄别车辆四周存在的威胁，在夜间等低照度场景下也能提供更好的性能表现，有效减少误报发生，还可根据设置的敏感度实现不同级别警告。

驾驶员极端情况虽然很少，可一旦发生就是巨大的人身财产损失。绝影智能车舱“智能救援”产品可通过驾驶员姿态、生理指标及车辆信号等多维度信息对驾驶员健康状况进行判断，如出现极端情况，车辆会停靠路边，并紧急呼叫联系实施救援，及时挽救车内人的生命。

“空中鼠标”利用光学引擎，在空中挥舞即可操作。如今，这种鼠标级别的精准操控和实时响应已经融入车舱。用户通过各种手势就能隔空完成点击确认、拖曳等各类屏幕操作，为人机交互带来更多便捷。

长途旅行难免无聊，商汤与唱吧合作的首款车内音乐元宇宙应用“商汤唱吧”车载App，能够实现AR显示、社交分享等功能，营造有趣的舱内互动，让路程不再无聊。

商汤智能屏保也结合了3D技术引擎和AI感知技术，驾乘者能够看到绚烂的画面，后排儿童也有了趣味屏保、知识问答等寓教于乐的互动内容。

综上，商汤为视觉找到了两个机会点：一是用视觉弥补传统技术的不足，实现更好的人机交互体验；二是解决原来不能解决的问题，让视觉给车舱带来全新的体验。

其实，用户对使用摄像头泄露隐私的问题多少会有些担心，许亮回应道，从数据采集到训练模型、标注和集成测试，整个软件开发流程已通过了汽车领域信息安全认证。而且，所有的数据都是第三方采集，只做比对或逻辑判断，用于感知决策，不记录车主数据。在实际应用中，舱内99%以上视觉算法和模型迭代都是在端算力芯片实现，不需要云端的任何支持，因此，大可不必担心。

为推动生物特征识别技术在智能车舱的应用，全国信息技术标准化技术委员会生物特征识别分技术委员会（TC28/SC37）发起成立了生物特征识别汽车应用标准研究组（以下简称“研究组”），中国汽车工程研究院股份有限公司为组长单位。近期，商汤绝影被增选为副组长单位。

截至目前，商汤绝影已通过ASPICE CL2级评估，获得ISO/SAE21434:2021信息安全流程及产品认证和多个ISO26262 功能安全产品认证，是AI行业少数获得三证的企业，为行业树立了典范。

从智驾到智舱助力车企智能化落地

现在大家都在热议的舱泊一体、舱驾一体也离不开智能车舱的融合。在许亮看来，要真正实现舱泊一体、舱驾一体，首先要解决几个最重要的瓶颈问题。

首先，智能驾驶更关注功能安全，从开始设计时就要考虑功能安全等级，以保证产品的稳定性和可靠性；智能车舱中一些功能与实时通信强相关，有很高的功能安全等级；而一些从手机端迁移过来的生态，功能安全要求并不高。

许亮认为，重要的一点在于，在商汤的整体布局中，既有智能驾驶业务，又有智能车舱业务，很早就从软件体系架构上规避了可能出现的问题，提供给车厂的车舱软件方案和智能驾驶方案同时具备功能安全，为打通功能提供了便利条件。

其次，智驾和智舱需要考虑两域融合怎么做，现在行业主流的技术路线有两条：从舱内拓展到舱外，或从舱外深入到舱内，“不管是哪条技术路线，最终都会找到一个平衡点，而商汤在这方面早有技术储备。”

第三，智能驾驶和智能车舱是车厂的两个核心研发领域，都投入了大量研发资源和人力，而这两块却相对独立。由于功能安全等级不同，产品成熟度要求也不一样，在规划域控方案时很少在公司内部产品层面打通。商汤在为很多车厂提供智能驾驶和智能车舱解决方案时，更多考虑的是软件的可靠性，从功能安全、两域融合接口的软件层面来解决问题。

许亮举例说，智能驾驶要避障，就要紧急刹车，而传统ACC（自适应巡航系统）不太考虑车舱内有没有儿童、老人等，都是同样的制动反应。现在很多车厂都希望在这样的条件下驾驶模式变得柔和些，包括加速和减速，为用户提供更平缓的行车体验。这也是商汤目前跟很多车厂的合作点所在。

在车舱智能化进程中，投入和产出是车厂不得不考虑的问题，谁都希望智能化一上车量产就赢得满堂喝彩，但现实却很骨感。车厂投入了非常多的资源和人力，涉足了SoC生态开发、工具链部署、域控和软件集成等等环节，却往往是既延迟了产品上市时间，功能和效果也未必尽如人意。

因此，出于成本和功能考量，很多车企都愿意与商汤这种具有AI能力的厂商合作，快速搭建起一整套从智驾到智舱的体验优秀平台。这也是商汤绝影已与30多家车企合作，拥有超50个生态合作伙伴，智能驾驶和智能座舱产品累计前装定点数量超3100万台的由来。