3月21日，AI Cloud Day：百度智能云千帆产品发布会在北京举办。会议聚焦百度智能云千帆大模型平台最新进展，分享思考与实践。百度智能云在发布会期间宣布：

>>满足企业“效价比”核心诉求，千帆ModelBuilder大模型服务全面升级，3个轻量级大模型、2个垂直场景模型集体问世；

>>大幅降低AI原生应用开发门槛，千帆AppBuilder全面升级；

>>携手北京市石景山区，共建全国首个百度智能云千帆大模型产业创新基地，助推区域产业腾飞。

会上，百度副总裁谢广军发表了以“百度智能云千帆，产业创新新引擎”的主题演讲，分享了千帆AppBuilder、ModelBuilder的最新产品进展。谢广军在演讲中表示：大模型技术在过去一年飞速发展，随着逐步落地千行百业，2024年将成为国内大模型产业应用爆发的元年。针对企业最关心的大模型落地场景、使用成本、应用开发、应用效果四大挑战，百度智能云千帆平台在大模型、AI原生应用开发两个方面给出了最新“解题思路”，助力企业业务核心场景，实现最优效价比。

百度副总裁谢广军

以下为演讲实录：

各位领导、来宾、媒体朋友们，大家上午好，很高兴今天在石景山首钢园，和大家一起沟通和探讨大模型的发展趋势，以及百度最近一段时间的思考和实践。

自去年3月27日发布千帆大模型平台到今天刚好一年的时间，过去这一年，国内外的大模型都在迅速发展，尤其应用的爆发趋势更加明显。从发展趋势来看，有这么几个特点：

>>第一，大模型的技术在不断进步优化，通过模型架构改进、训练算法的调优等，大模型的效率和性能都得到了显著提升。

>>第二，行业应用场景的成熟，大模型在各种行业已经开始落地应用，这些实践经验激发了更多行业的兴趣和投入。

>>第三，政府、投资机构对人工智能技术的支持不断增加，为大模型的研发、部署和应用提供了更多资源和机会。

>>第四，人们对人工智能技术的理解和接受度不断提高，用户对于智能化、个性化服务的需求，也推动了大模型在各种场景中的应用。

在过去一年与企业的实际接触过程中，我们发现：企业面临着几大挑战：

• 落地场景的探索

• 应用开发的门槛

• 推理和训练的成本

• 落地应用的效果

为了解决这些挑战，帮助企业用户落地，千帆给大家提供了一整套的大模型开发工具，从算力到模型、应用开发，层层结合，为企业提供大模型服务的超级工厂，帮助企业降低成本、提高效率和模型应用的效果。

千帆平台自发布以来一直保持着一个高速的增长趋势，跟去年12月比，千帆的日均季度环比增长了97%，翻了接近一倍。

同时，我们也很高兴地跟大家宣布，千帆平台服务客户数，突破了8万，最近一个月就增长了近1万。平台上已经精调出1.3w个模型，并且开发应用数也达到了16w的规模，基于这些数据大家也可以看到，大模型已经真正进入到了快速增长的阶段。

未来，千帆也将帮助企业客户、开发者看到更多的“创新机会”。

随着千帆的客户数量不断增多，我们感受到，大家关心的是怎么把大模型“用起来”，真正给企业业务带来价值。

今天，我就为大家带来全新升级的AI原生应用开发平台AppBuilder，以最好的应用效果、最优的开发体验支撑AI原生应用的繁荣。

千帆AppBuilder，是一个产业级的AI原生应用开发平台，它可以帮助广大的客户和开发者不断降低应用开发门槛。

AppBuilder底层由基础组件和高级组件构成。

在基础组件中，包含大模型组件、AI能力组件等，这些组件都是基于百度多年的技术和实践经验沉淀的。

除了基础组件，AppBuilder还面向典型的应用场景，深入调优建设了一系列高级组件，比如知识问答类的RAG、具备运算能力的代码解释器，以及生成式数据分析GBI等。

基础组件和高级组件共同支撑Agent，一方面可以通过工作流编排实现更为复杂的业务逻辑，另一方面Agent也具备强大的自主任务规划能力。

所有这些底层能力，通过代码态和零代码态两种形态提供服务。同时，多渠道对外集成分发。

千帆AppBuilder具备三大核心优势特点，

>>第一，应用效果领先：具备高精度知识问答效果，及精准的自主任务规划能力；

>>第二，组件多元化且支持自定义接入；

>>第三，产品开放易用。

接下来给大家带来详细的介绍：

讲应用效果就离不开场景，知识问答（也就是RAG）是大模型最典型的应用场景之一。

AppBuilder在这个场景建设了企业级全链路检索增强的应用框架及周边工具，并做了很多深入细致的优化工作，使得知识问答效果达到更好的水平。这里包括底层基座模型的SFT调优，也包括文档解析、语义匹配、问题拆解等各环节的策略优化。

通过这些优化，AppBuilder的RAG在多场景问答准确率、友好回复、准确拒答等方面可接受度达95%以上。

大家可以看到右边这组知识问答效果对比数据，AppBuilder产品的效果，超越了其他同类产品的效果。

另一个非常典型的应用场景是Agent，AppBuilder也构建了具备精准自主任务规划能力的Agent框架，可实现多工具自动编排，准确率90%以上；官方提供可被编排工具近30种，覆盖电商/互娱/办公/专业服务等主流场景。

同时，AppBuilder支持开发者接入自定义工具，通过自动编排与手动编排的结合，实现复杂场景需求的定制；

另外，代码解释器的效率与效果持续提升，相比升级前性能提升40%、数据分析场景可接受度提升到95%。

下面，我们来看一个视频，这个视频核心呈现的就是Agent的精准自主任务规划能力。

我们可以看到，面对不同的任务，Agent通过自主调度不同的工具组件来精准回答用户的各类问题。

AppBuilder具备丰富的组件工具，目前已扩充到55个，这些组件包括基于百度技术积累和自有业务沉淀的大模型能力组件，如多轮改写、复杂Query分解等，AI能力组件，比如TTS、OCR、图像识别等，通过大小模型联合及业务场景化工具组件，共同支撑AI原生应用的开发；

另外，还有百度独家开放的业务组件，如：百度搜索，在这方面百度有着深厚的积累。还有一些业界主流场景的第三方API，比如航班查询、论文查询等；

同时，支持用户接入自定义组件，我们还提供百度基础云的一些组件，比如BES等，这里特别提下向量数据库VDB，它也迎来了一次全新的升级。

向量数据库是企业不可或缺的知识库核心组件，它针对传统知识库问答系统所遇到的性能瓶颈、维护挑战及规模限制等问题提供了有力解决方案。

VDB1.0，这一革命性的数据库内核，不仅集成了全面的运维控制和安全防护能力，还兼容了千帆、LangChain等主流生态系统，使企业能够轻松管理数以千万计的文档知识。

在性能表现上，VDB与同类型开源产品相比，其在不同应用场景下的性能有不同程度的提升，最高可达10倍，真正实现了毫秒级的向量检索速度。

同时，在扩展性方面，支持最大百亿级别的向量数据存储，以及秒级的弹性伸缩响应。这些突出优势确保了VDB能够伴随企业业务的不断发展而升级，持续满足日益增长的业务需求。

再回到AppBuilder，它的第三大优势是开放易用，首先体现在：主流场景的工具组件开放可灵活编排，提供丰富的应用示例，用户一次鉴权全部接入；其次，提供开源的RAG和Agent SDK ，支持二次开发。本次升级后，最快只需要三步即可完成应用的创建与开发，还可一键对接百度灵境矩阵、微信公众号、微信客服、Web端/H5等渠道。这里也特别说一下百度灵境矩阵，此次与灵境矩阵的打通，应用将有机会在百度强大的搜索场景中轻松实现分发和挂载，同时也能融入百度的信息流场景，吸引更多潜在用户的目光。

下面，我们就来看一个从0到1快速搭建应用的示例。

现在很多家长辅导孩子写英语作业就很痛苦，那么我们现在用AppBuilder这样一个平台，就可以创建一个【英语作文批改小助手】来辅助家长。

大家看到，这样一个应用的搭建，不到1分钟即可完成。

目前，已经有好几万的开发者和伙伴，通过AppBuilder创建出各种场景的AI原生应用。

刚才讲解的是如何帮助企业快速去搭建应用。除了降低企业的应用开发门槛，企业还会有另外一个需求，就是我的应用效果怎么能够做好，这个背后是通过我们的各种基座模型的能力去实现的。

今天，在千帆大模型平台上的模型迎来了关键升级和全新模型发布，首先让我们来一起看下文心大模型3.5和4.0的重磅升级。

首先，为大家介绍文心大模型ERNIE 3.5的重磅升级！ERNIE 3.5在我们服务的云客户、AI开发者中均得到了高度认可。

升级后的ERNIE 3.5，在指令遵循、上下文学习和逻辑推理能力都有显著的效果提升，同时我们可以看到企业核心的文案创作、信息抽取、工具调用场景都有不同程度的效果优化。

那除了普遍应用的ERNIE 3.5，另一个受到行业广泛关注的大模型ERNIE 4.0，它在理解、生成、逻辑、记忆能力等方面均达到业界顶尖水平。经权威机构测评，ERNIE 4.0在专项学科能力、安全与责任、以及综合得分均排名第一。它作为目前行业领先、以及中文领域最强模型，已经成为了企业在复杂场景应用的最佳选择。

以上呢，就是我们文心大模型3.5和4.0的升级内容。

那随着我们接触客户及场景越来越多，发现一个趋势，很多的公司或场景，如果用大模型，成本是他们考虑的关键因素，我们发现除了追求极致效果外，在实际场景中，客户的需求还是要降低成本的，所以我们总结了一下这类需求，归纳为效价比。

结合百度持续的技术升级及领域深耕，我们发现，在特定场景下，参数较小的大模型经过精调可以达到甚至超越大模型的效果，而且能为企业大幅降低成本、及响应速度。

所以今天，我们将为大家带来三款轻量级大模型的发布，便于企业通过推理、精调的方式去实现最优效价比。

首先第一款，全新发布ERNIE Speed，这是一个最适合精调的基座模型，同时上下文最高支持128K。

大家可以看到右边的这组数据对比：

以小说角色扮演和英语口语练习的场景为例，可以明显看到精调后的ERNIE Speed效果超越了大参数量级模型ERNIE 4.0。

那如果企业还要追求更快、更轻、成本更低，那第二款ERNIE Lite是企业的首选，同时Lite也是一款非常适合低算力、AI加速卡推理使用的轻量级大模型；

ERNIE Lite是ERNIE-Bot-Turbo模型的升级版；我们可以看到新版的Lite，相较于Turbo在情感分析、多任务学习、自然推理等场景下效果提升了20%左右。

除了效果上的提升，企业在该模型上的推理调用成本，对比升级前降低了53%。

那刚刚已经介绍了2款轻量级大模型，最后1款可以说是极致低成本、低延迟的最佳模型：ERNIE Tiny，它是目前文心系列中部署与精调成本最低的模型，非常适用于检索、推荐、意图识别等高并发、低延时的场景；

举一个例子，在搜索推荐场景下，精调后的Tiny在推荐词激发环节，相较于之前使用ERNIE 3.5模型，对话轮次增长了3.5%，成本下降了32%。

那除了我们的文心大模型升级以及轻量级大模型的发布外，我们此次还基于垂直场景，推出了2个产业级最佳实践的模型：ERNIE Character和ERNIE Functions。ERNIE Character，是专为角色扮演类场景研发的一款大模型，非常适合游戏NPC、客服对话等业务应用。

举一个实际应用案例：目前我们的智能硬件厂商客户，通过Character模型打造智能助理，在人设一致性，以及激发用户聊天欲望等方面，都给业务带来了显著提升；

另外，ERNIE Functions作为一款工具调用场景大模型，优点是结构化回答及合成能力强，并且输出格式稳定。

我们的一个旅游出行客户，通过ERNIE Functions打造了智能客服助手，在执行订票、查询航班状态等多种场景下，调用的准确率达到了92%以上。

今天，我已经发布完5款全新的模型，那么在企业具体应用中，这些模型是如何为企业带来最优效价比的？我来通过一个模型路由的案例，为大家具体说明一下。

模型路由，其实也来源于现在比较流行的MoE。它的核心理念就是通过轻量级大模型降本增效。

大家可以看到左边，在用户输入问题之后，就接入到Router模型中，这个Router模型负责判别用户的意图，来把他分发到不同的大模型中。

以前整个场景都在用大参数模型。现在，我们就有可能基于这种意图判别把很多的垂类场景请求分发到更小尺寸的模型中。那么在企业的实际应用过程当中，模型路由是一个非常划算的方式。

以手机智能助手为例，通过这个模式，用户推理成本可以有效降低15%，同时效果可以和ERNIE 3.5持平。

未来我们也会把这套方案做成产品，让用户通过精调的方式自主选择分流的方案。

最后，我们再用一张图，来回顾和梳理下百度智能云千帆大模型平台的模型矩阵。

>>文心大模型3.5和4.0，它适合通用复杂场景；

>>轻量级大模型中，ERNIE Speed和ERNIE Lite适用于垂直场景的定制训练。ERNIE Tiny更快、更实惠，可用于特定场景的自然语言到指令调用，也适用边缘设备推理场景；

>>垂直场景模型，ERNIE Character适合角色扮演；ERNIE Functions适合对话或问答场景中的外部工具使用和业务函数调用。

模型效果能力越强的模型，成本也会更高；轻量级的大模型在特定场景，经过精调也会达到大参数模型的效果。企业可以在实际应用中，根据业务的需求来灵活选择不同的模型或者模型组合。

今天，我所有的发布内容已经介绍完了。

助力产业创新，千帆竞航未来。

希望千帆能够助力企业和开发者在大模型的浪潮里，竞发向前，共赢未来！

感谢大家！