百度智能云千帆大模型平台引领企业创新增长

news2024/11/20 22:51:04

本文整理自百度世界大会 2024——「智能跃迁 产业加速」论坛的同名演讲。

更多大会演讲内容,请访问:

https://baiduworld.baidu.com


首先,跟大家分享一张图,这个是我们目前大模型应用落地的场景分布。可以看到,大模型广泛渗透到各行各业,场景越来越丰富。

图片

24 年 9 月份,我们发布了百度智能云千帆大模型平台 3.0。包括:模型开发层、模型服务层、应用开发层。提供了最专业的应用开发工具、最丰富的大模型、最全面的工具链。

图片

在企业大模型落地的过程中,要解决很多的问题。最常见的有如何选择模型、如何构建 AI 原生应用、如何优化模型使用效果。我们给大家总结出了 3 大应用落地路径:

  • 模型推理;
  • 模型应用效果优化(包括提示词优化、模型精调、模型能力增强);
  • 大模型应用开发。

图片

首先,讲模型推理。

在模型选择的过程中,我们发现 3 个趋势:

  • 越来越追求效价比,效果更好兼顾成本更低;
  • 根据不同需求,进行大小模型协同;
  • 多模态模式协同工作;

百度智能云千帆大模型平台提供丰富的模型选择,有不同尺寸的大模型、精专垂类模型、以及传统多模态能力等。

图片

第二个路径,模型应用效果优化,分为 3 个手段。最常见的就是提示词优化,包含 Prompt 和 Few-shot 两种方式。

图片

举个例子,法律咨询场景,我给大模型一个指令「你是一个律师,请问经济合同纠纷案的解决流程是什么?」。可以看到大模型给出了一个基础的解决流程的答案。

要上生产环境用大模型代替律师工作,最简单就是通过提示词调优。

可以明显看到,右边增加了人设、风格、指令约束。输出结果更像真人律师,这就是提示词优化的作用。

图片

提示词优化看似容易,其实没有那么简单,有很多的原则来适应模型和应用的需求。

为了进一步降低客户使用门槛,我们今天发布 Prompt 模板。用户可以一键复制,只要稍作改写,大模型的输出效果就会更好。

图片

 

提示词优化有效果天花板。

如果想进一步提升应用场景下模型能力,第二招对模型进行模型训练,也就是我们经常说的模型精调。精调可以使模型风格、行为和应用需求对齐,有效提升模型效果。

图片

千帆 ModelBuilder 提供的就是全流程的、模型训练和模型精调的工具链,包含:数据管理、训练模式、开发工具、评估优化、推理部署、大模型周边系统。

图片

举个例子,宁波传媒使用千帆 ModelBuilder 模型精调工具,打造了一个小记者作文 AI 点评助手。通过视频来看下开发过程和应用效果。

图片

今天,基于我们平台越来越多的场景实践,沉淀了一系列的模型精调样板间,进一步降低模型调优门槛。

企业只需要跟随样板间的步骤,一步一步设置模型训练的参数,就可以训练出符合企业需求的场景化模型。

图片

我们在千帆 ModelBuilder 工具链不断迭代的过程中,又给大家提供了一个新的方法——模型蒸馏。

通过调用旗舰大模型产生的问答对,经过筛选得到有效的训练数据。在降低数据标注成本的同时,通过精调得到成本更低、耗时更优、效果趋近旗舰模型的轻量级大模型。

举个例子,百度电商数字人直播,通过模型蒸馏后,相比旗舰级模型效果能达到 90%,同时达到旗舰级 6 倍的速度,10% 的成本;更好的适应我们场景应用在效果、性能和成本之间的平衡。

图片

客户在使用面临一个问题:模型刚上线符合预期,过了一段时间模型应用效果下降。

为什么下降?——用户请求 query 结构会发生改变。

怎么办?——持续调优。通过千帆 ModelBuilder 提供的工具链,帮企业建立自己的数据飞轮,根据用户反馈,持续迭代模型,让模型越用越聪明。

图片

大模型应用效果优化第三招:模型能力增强。即给模型增加外部能力,比如检索增强能力和工具能力。

图片

这个例子,是北京大学通过千帆 AppBuilder 的企业级 RAG 能力,打造了一个智能 AI 校园助手「小北学长」。

可以看到,这个校园助手的创建,就是外挂了北京大学独有的 30 万+ 知识文件,满足校园内特定场景的知识问答,回答准确率高达 95% 以上。

图片

今天,千帆 AppBuilder 除了提供企业级 RAG 能力,还有企业级 Agent、企业级部署、企业级集成,共 4 大企业级能力。

图片

大家知道 Agent 具备自主思考、自主编排、记忆、反思等能力,能够自主的做任务规划,一定程度上为企业降本增效。

但也有一些场景,需要严格按照企业的 SOP,也就是设定好的工作流来进行任务执行,就是我们今天全新发布的工作流 Agent 能力。

下面我们来看个例子:通过工作流 Agent,模拟航空公司客服人员,做机票退改签。

通过工作流 Agent,可实现流程高可控、低代码灵活编排、全局知识兜底、丝滑话题切换。

图片

构建智能体应用,逐渐变成一个统一范式。

为了进一步降低应用开发门槛,我将带来今天的第三个发布:大模型应用样板间。

这些应用样板间,覆盖高达 100 多个场景。通过模板,一键复制到自己的工作台,稍作改写,就可以落地成企业自己的应用。

图片

除了智能体作为应用载体之外,还有非常多的企业级传统应用,过去是通过写代码的方式开发,今天我们通过大模型也实现了零代码分钟级开发,它就是 AI 速搭平台。

继 9 月份云智大会发布之后,今天又有了全面的能力升级,实现了移动端的适配。

图片

这个示例,是通过 AI 速搭一句话生成图书管理系统。

图片

今天我的发布到此结束,非常希望通过千帆平台,以及我们的一系列样板间,持续为大家提供最低门槛、最高效易用的大模型落地工具,加速企业落地的最后一公里。

希望大家使用千帆,一起来构建更多的企业级 AI 原生应用。

图片

应用已来,千帆助航。百度智能云千帆大模型平台愿在大模型的浪潮里,与企业一道乘风破浪,引领航向。

图片

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2244299.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

得物彩虹桥架构演进之路-负载均衡篇

文 / 新一 一、前言 一年一更的彩虹桥系列又来了,在前面两期我们分享了在稳定性和性能2个层面的一些演进&优化思路。近期我们针对彩虹桥 Proxy 负载均衡层面的架构做了一次升级,目前新架构已经部署完成,生产环境正在逐步升级中&#xf…

C++ lambda(匿名函数)捕获自己

今天写算法题时无意间遇到一种情况,我的深度优先遍历函数要在函数内调用自身,如果是普通函数没什么问题,但如果是 匿名函数 的话会有一些问题,甚至问ai,ai也没打上来,上网搜了半天,才找到这个的解答,故作此文 以费契那波数列为例 // 普通函数式 int fun(int pos) {if (pos …

解决Spring Boot整合Redis时的连接问题

前言 在使用Spring Boot整合Redis的过程中,经常会遇到连接问题,尤其是当Redis服务部署在远程服务器上时。 问题描述 当你尝试连接到Redis服务器时,可能会遇到以下错误: org.springframework.data.redis.connection.PoolExcept…

vue3 路由守卫

在Vue 3中,路由守卫是一种控制和管理路由跳转的机制。它允许你在执行导航前后进行一些逻辑处理,比如权限验证、数据预取等,从而增强应用的安全性和效率。路由守卫分为几种不同的类型,每种类型的守卫都有其特定的应用场景。 其实路…

向潜在安全信息和事件管理 SIEM 提供商提出的六个问题

收集和解读数据洞察以制定可用的解决方案是强大网络安全策略的基础。然而,组织正淹没在数据中,这使得这项任务变得复杂。 传统的安全信息和事件管理 ( SIEM ) 工具是组织尝试使用的一种方法,但由于成本、资源和可扩展性等几个原因&#xff0…

星海智算:Stable Diffusion3.5镜像教程

Stable Diffusion3.5 模型介绍 Stable Diffusion 3.5是由Stability AI推出的最新图像生成模型,它是Stable Diffusion系列中的一个重大升级。这个模型家族包括三个版本,分别是Stable Diffusion 3.5 Large、Stable Diffusion 3.5 Large Turbo和Stable Dif…

STM32电源管理—实现低功耗

注: 本文是学习野火的指南针开发板过程的学习笔记,可能有误,详细请看B站野火官方配套视频教程(这个教程真的讲的很详细,请给官方三连吧) 在响应绿色发展的同时,在很多应用场合中都对电子设备的功…

3D Gaussian Splatting 代码层理解之Part2

现在让我们来谈谈高斯分布。我们已经在Part1介绍了如何根据相机的位置获取 3D 点并将其转换为 2D。在本文中,我们将继续处理高斯泼溅的高斯部分,这里用到的是代码库 GitHub 中part2。 我们在这里要做的一个小改动是,我们将使用透视投影,它利用与上一篇文章中所示的内参矩阵…

【白话机器学习系列】白话 Softmax

文章目录 什么是 SoftmaxSoftmax 函数详解示例编程实现对矩阵应用 Softmax 函数 什么是 Softmax Softmax 函数,又称归一化指数函数,它使用指数函数将输入向量归一化为概率分布(每一个元素的范围都在 ( 0 , 1 ) (0,1) (0,1) 之间,…

thinkphp6配置多应用项目及多域名访问路由app配置

这里写一写TP6下配置多应用。TP6默认是单应用模式(单模块),而我们实际项目中往往是多应用的(多个模块),所以在利用TP6是就需要进行配置,开启多应用模式。 1、安装ThinkPHP6 1.1安装ThinkPHP6.…

无人机航测技术算法概述!

一、核心技术 传感器技术: GPS/GLONASS:无人机通过卫星定位系统实现高精度的飞行控制和数据采集。 高清相机:用于拍摄地面图像,通过后续图像处理生成三维模型。 激光雷达(LiDAR):通过激光扫…

Linux网络——套接字编程

目录 1. 网络通信基本脉络 2. 端口号 ① 什么是套接字编程? ② 端口号 port && 进程 PID 3. 网络字节序 4. 套接字编程 ① UDP版 ② TCP版 5. 改进方案与拓展 ①多进程版 ②多线程版 ③线程池版 ④守护进程化 1. 简单的重联 2. session &…

Excel如何把两列数据合并成一列,4种方法

Excel如何把两列数据合并成一列,4种方法 参考链接:https://baijiahao.baidu.com/s?id=1786337572531105925&wfr=spider&for=pc 在Excel中,有时候需要把两列或者多列数据合并到一列中,下面介绍4种常见方法,并且提示一些使用注意事项,总有一种方法符合你的要求:…

LabVIEW三针自动校准系统

基于LabVIEW的智能三针自动校准系统采用非接触式激光测径仪对标准三针进行精确测量。系统通过LabVIEW软件平台与硬件设备的协同工作,实现了数据自动采集、处理及报告生成,大幅提高了校准精度与效率,并有效降低了人为操作误差。 一、项目背景…

【Java】JDK集合类源码设计相关笔记

文章目录 前言1. Iterable2. RandomAccess2.1 RandomAccess 使用索引进行二分查找 3. Map3.1 HashMap3.2 IdentityHashMap 4. Collections 工具类4.1 Collections.shuffle() 洗牌 前言 目的: 收集JDK集合类的类图。记录一些有意思的设计。将之前写过的文章建立联系。 1. Ite…

macbook外接2k/1080p显示器调试经验

准备工具 电脑 满足电脑和显示器要求的hdmi线或者转接头或者扩展坞 betterdisplay软件 Dell P2419H的最佳显示信息如下 飞利浦 245Es 2K的最佳显示比例如下 首选1152

Stable Diffusion的解读(二)

Stable Diffusion的解读(二) 文章目录 Stable Diffusion的解读(二)摘要Abstract一、机器学习部分1. 算法梳理1.1 LDM采样算法1.2 U-Net结构组成 2. Stable Diffusion 官方 GitHub 仓库2.1 安装2.2 主函数2.3 DDIM采样器2.4 Unet 3…

Github 2024-11-16Rust开源项目日报 Top10

根据Github Trendings的统计,今日(2024-11-16统计)共有10个项目上榜。根据开发语言中项目的数量,汇总情况如下: 开发语言项目数量Rust项目10Go项目1Python项目1Lapce:用 Rust 编写的极快且强大的代码编辑器 创建周期:2181 天开发语言:Rust协议类型:Apache License 2.0St…

Redis作为分布式锁,得会避坑

日常开发中,经常会碰到秒杀抢购等业务场景。为了避免并发请求造成的库存超卖等问题,我们一般会用到Redis分布式锁。但是使用Redis分布式锁之前要知道有哪些坑是需要我们避过去的。 1. 非原子操作(setnx expire) 一说到实现Redis…

Qt、C++实现五子棋人机对战与本地双人对战(高难度AI,极少代码)

介绍 本项目基于 Qt C 实现了一个完整的五子棋游戏,支持 人机对战 和 人人对战 模式,并提供了三种难度选择(简单、中等、困难)。界面美观,逻辑清晰,是一个综合性很强的 Qt 小项目 标题项目核心功能 棋盘…