大模型重塑车载语音交互:赛道巨头如何引领新周期?

news2024/9/22 5:26:38

车载语音交互赛道正进入新一轮竞争周期。

高工智能汽车注意到,传统车载语音交互赛道当前基本已进入成熟期,主要为任务型助手,包括从单轮对话到多轮对话,单音区到多音区,从单一的导航、多媒体娱乐等座舱功能扩展智能驾驶、车身控制等,用户体验逐步面临天花板,缺乏实质性突破。

2023年,经由ChatGPT引爆后,大模型技术崛起(深度学习从原来基于规则驱动的专家模型,转为基于数据驱动),本身即位于深度学习赛道的车载语音交互,迎来新一轮发展周期,向AI虚拟副驾驶/沉浸式驾驶伴侣迈进。且,车载语音交互,被认为是大模型上车的首选赛道。

赛轮思正加码布局。一般而言,算力、数据是大模型竞争的底层基座,具体应用和产生的价值是实现商业化破局的核心,作为全球车载语音交互赛道的巨头,赛轮思正给出自己的赛道突围方式。

2023年12月19日,赛轮思宣布推出由英伟达技术驱动、具有开创性的汽车级大型语言模型CaLLM™(Cerence Automotive Large Language Model),为主机厂当前面临的多个关键挑战提供解决方案:通过与现有嵌入式系统和新生成式AI功能的云集成,部署新的用户体验,加速产品上市周期。

此次合作,英伟达无疑可解决算力的问题,CaLLM™可解决应用与算法的问题。在赛轮思看来,作为全球第一个车载级、专注于车与人机交互的LLM,其核心优势为依赖赛轮思车载智能助手广泛部署以及在车载人机交互领域深入的经验,打造的可深度定制的跨语言跨平台的端云一体的车载智能助手解决方案。

“通过NVIDIA 业界领先的AI框架和平台相配合,结合我们独有的数据集、与汽车制造商的深厚关系以及广泛的市场渗透率,使我们处于领先的位置,更好的发挥开创性、汽车级的LLM、CaLLM™和自研的车载计算平台的优势。” 赛轮思首席技术官 Iqbal Arshad表示。

图片

01

联手英伟达打造汽车级LLM平台

赛道发生剧变之时,往往也意味着巨大的机会窗口。

在赛轮思看来,车载语音交互赛道正面临“从以性能指标为优先,提升为是否可深度定制、是否能快速部署、是否能提供极致的人机交互体验全方位的竞争。大模型(特别是适用于车载领域的大模型),是未来人车交互系统的核心竞争力,这也是赛轮思聚焦的方向”。

“CaLLM™是赛轮思全新车载计算平台的基础,该平台是车载交互的未来”,赛轮思称。

据介绍,传统车载语音解决方案需要多步骤交互作为不同的独立步骤进行,从而导致过多的手动交互并给驾驶者带来很高的认知负担,赛轮思的新平台将用户所有种类的交互整合到一个无缝、直观的对话界面中,帮助主机厂将现有的应用平稳过渡到一个更直接的对话界面,并为用户提供生成式AI驱动的新服务。

其进一步表示,CaLLM™能够支持汽车功能、特性和要求,并可以通过训练、微调和专属的应用,为汽车制造商进行深度定制。此外,它还可以为用户提供个性化以及本地信息检索,例如Cerence Car Knowledge生成式AI应用。

在NVIDIA DRIVE 上运行的CaLLM™,是赛轮思新一代车载计算平台的基础。随着汽车制造商和移动出行OEM应用生成式AI和 LLM以提升用户体验,CaLLM™满足了用户多项关键需求,并拥有独特的汽车级智能答问能力。

一般而言,算力、数据是大模型竞争的核心竞争要素,赛轮思如何破局?

具体来看,CaLLM™尝试集合赛轮思和英伟达两大细分赛道巨头的优势。在算力平台方面,赛轮思利用NVIDIA AI Foundation构建CaLLM™,其中包括NVIDIA AI Foundation Models、 NVIDIA AI Enterprise软件和NVIDIA加速计算。

操作上,其一,赛轮思将首先利用NVIDA DGX Cloud和 NVIDIA DGX系统在其广泛的数据集上训练CaLLM™,然后开发车载用户体验所需的功能;

其二,为了实现响应极快的用户体验,赛轮思将通过NVIDIA AI Enterprise在NVIDIA加速基础设施中部署 CaLLM™,这是一个端到端、云原生、安全的软件平台,可通过NVIDIA NeMo 框架和NVIDIA TensorRT-LLM 优化库,加速对LLM 的训练、微调和推理。

“通过英伟达在云计算和边缘技术方面的核心专长,赛轮思可以在其车载用户体验平台中更快速地训练、扩展和部署这些模型,从而实现更安全、更智能、更愉悦的驾乘体验。” NVIDIA汽车事业部副总裁Ali Kani表示。

数据方面,得益于近25年在汽车行业的深厚积累,赛轮思拥有经过微调、不断增长的、包含数十亿个token的汽车数据集。据悉,其提供的集成车载用户体验,远远超越一般通用LLM。

02

迈向车载语音交互2.0

事实上,赛轮思探索下一代车载语音交互已久。

回溯来看,作为细分赛道的巨头,赛轮思始终致力于车载语音交互的创新和落地。从结果层面,根据赛轮思对外释放的信息,凭借先进的AI技术和全球语言支持,其与全球80多个汽车制造商和一级供应商合作。近5亿辆在道路上行驶的汽车使用了Cerence技术,占全球汽车产量约53%。

产品层面,基于Cerence Assistant,2021年11月,赛轮思即推出Cerence Co-Pilot,核心是主动AI,突破传统基于唤醒词的被动式交互,利用实时数据、内置智能、用户偏好和车辆传感器信息实现一系列创新功能;下一代Cerence Companion,则将实现人机交互新突破,实现多模态、多感官交互。

2022年11月,Open AI发布ChatGPT3.5,2个月时间月活用户突破1亿,引发了贯穿2023年的大模型热潮,车载语音交互赛道玩家纷纷入局。同样在2022年11月,赛轮思发布了“Destination Next” 新战略,欲通过AI驱动的产品,为驾驶者带来更多创新的沉浸式多模态交互体验。

赛轮思首席执行官Stefan Ortmanns 博士在2023年中发表观点称,车载语音正处在“从典型的出行助理解决方案到沉浸式伴侣体验”的过程中,其中离不开 AI 的驱动,而这个过程中间阶段就是虚拟副驾驶 (Co-Pilot)阶段。显然,此次CaLLM™的发布,意味着赛轮思在赛道探索上又迈出实质性一步。

高工智能汽车注意到,作为细分赛道的国际巨头,本地化布局至关重要。

具体来看,赛轮思在持续就加强中国市场的布局。根据赛轮思披露的信息,其全球员工超过1700名,中国总部设于上海,有近500名员工,其中技术研发的占大部分,3个主要的研发基地分别设于上海、成都和北京,包括设于上海的世界级别设计和研发中心,还有6个主要的工程服务中心。

根据介绍,赛轮思在华市场拥有完整的产品、研发、工程、销售和专业服务能力。值得一提的是,Cerence Assistant以及Cerence Co-Pilot都是由中国研发团队负责开发,成果与全球共享,同时参与声学模型和语言模型的建模等,包括策略地利用生成式人工智能和大型语言模型LLMs以及类似ChatGPT的技术。

“中国是赛轮思最重要的战略市场之一,对中国市场的重视、以及对高速增长的中国汽车市场充满信心。未来我们将继续加大对本地客户的支持力度,竭诚为我们的客户提供更好的服务。” 2023年6月,赛轮思首席执行官Stefan Ortmanns 博士再度访华时称。

尤为值得注意的是,赛轮思在赋能车企出海方面的突出优势。

事实上,伴随电动化、智能化浪潮,国内车企正强势突围,出海成为横亘在进一步发展面前的一道必答题,由于世界各地的驾驶者的语言、用车理念各异,车企出海的长期战略,也需要针对不同市场需求开发符合当地用户使用习惯的车载功能和应用。

赛轮思可帮助车企解决这一痛点。作为细分赛道的国际巨头,赛轮思在全球有24个办事处, 在中国、加拿大、欧洲和印度设立了主要的研发中心。具体业务上,在全球语言方面,赛轮思的优势更为明显,目前可以提供34种 “全栈式”语言 、65 种TTS和110种文本IO支持,。

对于车企客户而言,赛轮思拥有丰富的经验、强大的专业服务团队和第三方整合资源,只需要较短的开发周期,通过可扩展的AI核心产品架构,全面满足OEM在集成最新的AI技术、升级嵌入式和云技术的需求,打造品牌的差异化,并大大缩短新产品上市时间。

值得一提的是,基于遍布全球的业务,赛轮思在提供跨越语言、文化和地域的解决方案同时, 还为车企的出口市场提供深入的本地化专业知识,对于国内车企制定扩展海外市场的策略上别具意义,其产品和解决方案均符合欧洲GDPR《通用数据保护条例》标准,并在全球范围内密切关注政府法规。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1421582.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

[嵌入式系统-6]:龙芯1B 开发学习套件 -3-软件层次架构

目录 一、龙芯软件架构 1.1 通用软件架构 1.2 龙芯软件架构 1.3 龙芯各种应用程序 1.4 龙芯SOC芯片硬件:龙芯1B 1.5 PMON软件 1.6 龙芯IDE管辖的软件 (1)CPU Core驱动程序 (2)SOC芯片外设驱动程序 &#xff…

人工智能(pytorch)搭建模型23-pytorch搭建生成对抗网络(GAN):手写数字生成的项目应用

大家好,我是微学AI,今天给大家介绍一下人工智能(pytorch)搭建模型23-pytorch搭建生成对抗网络(GAN):手写数字生成的项目应用。生成对抗网络(GAN)是一种强大的生成模型,在手写数字生成方面具有广泛的应用前景。通过生成…

Adobe Camera Raw forMac/win:掌控原始之美的秘密武器

Adobe Camera Raw,这款由Adobe开发的插件,已经成为摄影师和设计师们的必备工具。对于那些追求完美、渴望探索更多创意可能性的专业人士来说,它不仅仅是一个插件,更是一个能够释放无尽创造力的平台。 在数字摄影时代,R…

数据结构——栈和队列(C语言)

栈种常见的数据结构,它用来解决一些数据类型的问题,那么好,我来带着大家来学习一下栈 文章目录 栈对栈的认识栈的模拟实现栈的练习方法一方法二 栈 对栈的认识 栈(stack)是限定只能在表的一端进行插入删除操作的线性…

苍穹外卖项目可以写的简历和如何优化简历

文章目录 重点写中规写添加自己个性的项目面试会问道的问题 我是一名双非大二计算机本科生,希望我的分享对你有帮助,点赞关注不迷路。 简历编写一直是很多人求职人的心病,我自己上学期有一门课程是去校内企业面试,当时我就感受出…

性能脚本设计

性能脚本设计 目标 - 性能脚本设计技巧 1. 为什么要设计性能脚本? 1.1 需求 100虚拟用户对(查询学院-所有)接口测试,以每秒启动10个用户,统计服务器平均响应时间和错误率1.2 问题 100虚拟用户请求服务器的时候,如何统计服务器响应时间和…

Unity_Timeline使用说明

Unity_Timeline使用说明 首先要找到工具吧?Unity2023.1.19f1c1打开如下: (团结引擎没找见哪儿打开,可能是引擎问题吧?有知道的同学可以告诉我在哪儿打开) Timelime使用流程: 打开之后会提示您…

18.通过telepresence调试部署在Kubernetes上的微服务

Telepresence简介 在微服务架构中,本地开发和调试往往是一项具有挑战性的任务。Telepresence 是一种强大的工具,使得开发者本地机器上开发微服务时能够与运行在 Kubernetes 集群中的其他服务无缝交互。本文将深入探讨 Telepresence 的架构、运行原理,并通过实际的案例演示其…

Python XPath解析html出现⋆解决方法 html出现#123;解决方法

前言 爬网页又遇到一个坑,老是出现乱码,查看html出现的是&#数字;这样的。 网上相关的“Python字符中出现&#的解决办法”又没有很好的解决,自己继续冲浪,费了一番功夫解决了。 这算是又加深了一下我对这些iso、Unicode编…

HarmonyOS使用Web组件加载页面

1、加载网络页面 在Web组件创建时,指定默认加载的网络页面 。在默认页面加载完成后,如果开发者需要变更此Web组件显示的网络页面,可以通过调用loadUrl()接口加载指定的网页。 默认在Web组件加载完“www.baidu.com”页面后,点击按…

flask_django基于python的城市轨道交通公交线路查询系统vue

同时,随着信息社会的快速发展,城市轨道交通线路查询系统面临着越来越多的信息,因此很难获得他们对高效信息的需求,如何使用方便快捷的方式使查询者在广阔的海洋信息中查询,存储,管理和共享信息方面有效&…

python fastapi swagger 连接超时

问题描述 运行python项目时,访问fastapi swagger出现连接超时。 https://cdn.jsdelivr.net/npm/swagger-ui-dist4/swagger-ui.css https://cdn.jsdelivr.net/npm/swagger-ui-dist4/swagger-ui-bundle.js 解决方案 第一步 下载文件 https://pan.baidu.com/s/1Ef…

微信小程序如何实现点击上传图片功能

如下所示,实际需求中常常存在需要点击上传图片的功能,上传前显示边框表面图片显示大小,上传后将图形缩放到边框大小。 实现如下: .wxml <view class="{{img_src==?blank-area:}}" style="width:100%;height:40%;display:flex;align-items: center;jus…

K8S之Pod的介绍和使用

Pod的理论和实操 pod理论说明Pod介绍Pod运行与管理Pod管理多个容器Pod网络Pod存储 Pod工作方式自主式Pod控制器管理的Pod&#xff08;常用&#xff09; 创建pod的流程 pod实操通过资源清单文件创建自主式pod通过kubectl run创建Pod&#xff08;不常用&#xff09; pod理论说明 …

springboot整合mqtt实现消息订阅和推送

前言 mica-mqtt-client-spring-boot-starter是一个基于Spring Boot的MQTT客户端启动器&#xff0c;它集成了mica-mqtt客户端&#xff0c;提供了在Spring Boot应用程序中使用MQTT协议进行消息通信的能力。以下是关于mica-mqtt-client-spring-boot-starter的简介&#xff1a; 特…

Spring-boot项目+Rancher6.3部署+Nacos配置中心+Rureka注册中心+Harbor镜像仓库+NFS存储

目录 一、项目概述二、环境三、部署流程3.1 Harbor部署3.1.1 docker安装3.1.2 docker-compose安装3.1.3 安装证书3.1.4 Harbor下载配置安装 3.2 NFS存储搭建3.3 Rancher平台配置3.3.1 NFS存储相关配置3.3.2 Harbor相关配置3.3.3 Nacos部署及相关配置3.3.4 工作负载deployment配…

在 Android 中使用 C/C++:初学者综合指南

在 Android 中使用 C/C&#xff1a;初学者综合指南 一、为什么有人在他们的 Android 项目中需要 C/C 支持&#xff1f;二、了解 C 如何集成到 Android 应用程序中三、C和Java程序的编译3.1 Java3.2 Android ART 和 DEX 字节码 四、使用 JNI 包装 C 源代码五、CMake和Android ND…

326. Power of Three(3 的幂)

题目描述 给定一个整数&#xff0c;写一个函数来判断它是否是 3 的幂次方。如果是&#xff0c;返回 true &#xff1b;否则&#xff0c;返回 false。 整数 n 是 3 的幂次方需满足&#xff1a;存在整数 x 使得 n 3 x n 3^x n3x 问题分析 要证明一个整数是三的幂次方&#…

【计算机网络】【练习题及解答】【新加坡南洋理工大学】【Computer Control Network】

说明&#xff1a; 仅供学习使用。 一、题目描述 题目共4问&#xff0c;描述网络通信中的 帧传输时延&#xff08;Frame Delay&#xff09;、传播时延&#xff08;Propagation Delay&#xff09;&#xff0c;以及 链接利用率&#xff08;Link Utilization&#xff09; 的相关…

《游戏-03_2D-开发》

基于《游戏-02_2D-开发》&#xff0c; 继续制作游戏&#xff1a; 首先要做的时切割人物Idle空闲状态下的动画&#xff0c; 在切割之前我们需要创建一个文件夹&#xff0c;用来存放动画控制器AnimatorContoller&#xff0c; 再创建一个人物控制器文件夹用来存放人物控制器&…