百度平地起“雷”,突然爆出的QPS数据意味着什么?

news2024/10/8 12:00:58

fe4d0ac02f3bd6148f5484caafea2983.jpeg

鲁迅先生1923年在北师大发表了著名的演讲《娜拉走后怎样》,其中的提问与思考方式振聋发聩,直到今天也依旧有效。面对很多产业现象、技术趋势,我们也不妨多问几个“之后怎样”。

比如说,自ChatGPT爆火之后,中国各个互联网、科技公司竞相推出了自己的大语言模型及相关应用。其实,关于中国能否有ChatGPT我们从未担心过,而问题的关键在于“之后怎样”。

层出不穷的大语言模型,让人眼花缭乱。但如此多的大模型,差异化和竞争力从何而来?能否顺利、低成本实现产业落地?能否有效支持模型的快速迭代?

发布大模型并不是终点,而是一场新长跑的起点。如果不能有效回答这些问题,那么大模型也最终会像其他技术风口一样,倏忽而来,倏忽而去。

243c99b8f9075f4b42d1908d977d9e2a.png

慢慢地,“大模型之后怎样”这个问题,也开始有了答案。4月23日,我们看到一份百度文心一言内部流出的会议纪要。其中显示,从3月开始,文心一言启动邀测后的一个多月内,其模型已经迭代了4次,最近一次带来的推理效果提升了达到123%。

到底是什么支持文心一言完成了这种超越常规的迭代速度?

这个“秘密”或许正是中国大模型走向未来所需要的动力,也是“大模型之后怎样”的某种答案。

内部会议纪要

透露出文心一言的奔跑速度

d0d8f677ca8845d85ad5d5012ff77548.png

根据内部纪要内容显示,文心一言在开启邀测后用户数与同时在线人数都极速增长,面临这种情况,文心一言需要及时获得更快的响应速度。我们知道,机器学习类模型的应用逻辑包含数据准备—模型训练—模型推理几个步骤。文心一言面临的响应挑战,就是需要及时强化模型的推理能力。

adc2b1d6eba0aa9a10d74a3be8ff2e61.jpeg

为了实现这个目标,百度对文心一言进行了模型层与框架层的联合优化,从而在一个月内迭代了4次,实现了模型推理能力的极大提升。

是什么让文心一言获得了这样的奔跑速度?这就要提到百度飞桨“提前”做好的准备。作为深度学习开发平台,飞桨可以支持AI模型从训练到推理的全流程落地。其中,飞桨模型推理服务就可以有效支持大模型升级,这一服务在4月19日刚刚再次迭代,已迭代至3.5版本,它的特点是在业内首创了支持动态插入的分布式推理引擎,从而可以更有效完成庞大数据规模的AI模型进行推理部署。

至此我们可以从这份内部纪要中知道,文心一言能够快速持续迭代,并且低成本落地应用的关键,就藏在这里——飞桨与文心一言联合优化。

22f682e5d83870f7af97a4582ae201ba.png

从结果上看,联合优化带来的价值非常显著。飞桨帮助文心一言实现了模型推理效率提升10倍,模型推理性能提升50%,模型算力利用率提升1倍。其中,模型推理效率提升10倍,意味着推理成本降低为原来1/10,或者可以为10倍数量的用户提供服务;模型推理性能提升50%,意味着飞桨可以帮助文心一言工艺更精密,模型的学习效果与鲁棒性更强;模型算力利用率提升1倍,是由于飞桨向下兼容到芯片,实现全栈联合优化,从而可以极大降低文心一言的算力开销。

从这几个方向可以看出,飞桨为文心一言带来的价值,是持续性且多方面的,其中最重要的是,飞桨让文心一言可以持续性、低成本向前奔跑,不断进化。

这也恰好解释了这个问题:大模型,路在何方?

4cd30c1a617e1a664ede28a4ed0ba723.png

飞桨

让大模型节奏飞起的AI引擎

在ChatGPT全球化爆火,各家厂商、投资人,都在不遗余力地挤上大模型赛道。这种情况当然可以理解,但也必须看到,这条赛道不仅门槛高、入局难,在入局之后构建持续竞争力同样很难。

大模型意味着庞大的算力开支、数据开支,以及更为恐怖的模型迭代成本。入局大模型之后,必须根据用户反馈快速迭代,高效率升级,否则一不小心就会掉队,在第一轮风口过去后陷入行业洗牌,紧跟行业趋势,不断推动模型升级,又会面临巨大的工作量与模型推理成本。

这个两难选择并不遥远,很快就会成为困扰大量新玩家的头疼问题。

而多年部署AI基础设施与基础技术的百度,其优势就在这时显示了出来。飞桨与文心一言的联合优化,让文心一言在训练和推理过程中效率大幅提升,实现了真正的人家起跑,我已经几轮加速,节奏快到飞起。

大模型与AI开发平台,是相辅相成、互为表里的关系。比如有分析人士解读认为,“大模型就仿佛汽车的发动机,光账面上的动力强,参数大是没有用的,要压榨出发动机瞬时最大爆发力(QPS)以及最优的性能表现。深度学习框架就像是生产发动机和变速箱的,可以让发动机整体部件组合更精密、动力更强。自研产品彼此适配度更高,协同会更高效,这可能是效率提升的最根本原因。”依托风口入局大模型,终归会有一种空中楼阁的隐忧,至少难以将全面的技术栈掌握在自己手中,实现更高效、可控的模型升级。

99895eb3374cf25b88afc23421e4105f.png

由此可见,大模型走向成功,除了算力、数据的基础之外,深度学习框架同样扮演着关键角色。面对纷繁而出的大模型,百度文心系列大模型的差异化优势,也就在百度十年搭建的飞桨平台中展露了出来。

而当我们把大模型与飞桨的联动关系,放到科技自立自强的战略高度来审视。又会发现一些别样的答案:飞桨既是百度的AI护城河,也是中国大模型的动力引擎。

中国AI

胜负系于工程化

05809b933e3226108bd1840ccb627079.png

最近,我们能看到很多大语言模型的发布会,差不多每一家都会说,我们目前确实不如ChatGPT,以后继续努力。

那么问题来了,怎么努力?

事实上,努力不是说说就行了,而是要找到方式和方法。ChatGPT代表的算法优势、人才优势、算力优势都是短期很难抹平的,至少看不到可以快速超车的战略空间。中国AI想要走通大模型这条路,就只能扬长避短,而中国AI的优势在哪呢?从百度流出的内部会议纪要中其实已经告诉了我们答案:工程化。

通过飞桨长期坚持的AI工程化路径的掌握与打磨,我们可以看到百度发展大模型的独特优势,同时也可以看到中国AI整体性的战略机遇。

首先,对于百度内部来说,通过飞桨牢牢把控工程化能力,可以提升文心一言的迭代速度,降低算力、人工、数据等开销,从而让文心一言能够在同等成本下服务的用户更多,适配产品的效率更高。这就像同样从一处名叫“大模型”的深海油井取得原油,飞桨就像一艘轮船,船速更快,运量还大,而其他人在用帆船运输。效率意味着成本,成本意味着商业化可能性,这就是飞桨的价值,也是AI工程化能力的魅力。

从百度向外看,飞桨带来的工程化能力,意味着文心系列大模型的推理成本更低,继而导致其在各行业、各场景中的落地成本更低。这对于文心大模型融入行业,通过产业智能化产生价值是个重大利好。大模型走向千行百业,是今天每家公司都在喊的口号,但这个过程中,一定不能把模型落地成本全部转嫁给行业用户。消解这一成本的关键,也在于飞桨代表的工程化路径。

b36bf3d1655b784e53e832143ee82ad8.png

最后,当大模型已经上升为国家战略,我们必须看到AI框架在科技自立自强进程中扮演的角色。如果事关国计民生,每天与无数国人进行问答的大模型,建立在其他国家的框架上,那么其危险系数可想而知。当大模型愈发重要,关注并持续解决深度学习框架卡脖子的隐忧就更加重要。

而从另一个角度看,AI框架与AI开发平台代表的AI工程化能力,是中国AI技术最亮眼、最特殊的部分。这一部分下接芯片,上达应用,通向千行百业的AI开发需求,恰好是AI技术中的战略要冲所在。中国AI能否扬长避短,实现超车,极大概率就系于工程化能力的建设与发挥,系于AI框架与产业智能化的连接中。

中国大模型,就是行业大模型,就是强工程化、强落地性的大模型,只有走通这条路,中国AI才有未来。

d331eb3ec78013a7406576060064996e.gif

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/454628.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

敏捷的动力之源是小而美(powered by GPT)

​ Stacey模型反映了组织运作模式。纵轴是政制,横轴是技术。敏捷偏右下↘,在技术领域与天地斗。反敏捷偏左上,在政制领域与人斗。敏捷是活化,反敏捷是消耗。敏捷的根本障碍是管理文化。理解了这个图就理解了敏捷。要么权力-恐惧-小…

倾斜摄影超大场景的三维模型OSGB格式转换3DTILES,为什么数据文件大小会变大?

倾斜摄影超大场景的三维模型OSGB格式转换3DTILES,为什么数据文件大小会变大? 在将倾斜摄影超大场景的三维模型从OSGB格式转换到3DTILES格式时,数据文件大小可能会比原始数据文件变大的原因主要有以下几个: 1、数据压缩方式不同&a…

Hive基础和使用详解

文章目录 1. hive的启动2. hive -help 命令3. hive -e 命令4. hive -f 命令5. 退出hive窗口6. 在hive窗口中执行dfs -ls /;7. Hive其他参考 1. hive的启动 前置条件: 1.保证hdfs和yarn已启动 2.保证hive的元数据库mysql已启动 启动方式一: hive命令 --切换到hive目…

基础自动化测试脚本开发——Loadrunner如何进行网站脚本开发

一、检查虚拟机ip是否与宿主机ip网段一样 若发现虚拟机IP地址网段与宿主机IP地址不一致时,应在手动改为宿主机IP网段的静态IP地址。 在dos系统下利用ping命令来判断网页的连通性,若连通性不通过,则重新修改分配该虚拟机静态IP地址&#xff08…

二分查找学习总结心得

二分查找一般运用在有序数组中的查找,一般分为开区间、闭区间和半开半闭区间三种写法 闭区间 闭区间是指包含左右两边元素的区间,例如:区间[a, b]包含元素 a b ,称为闭区间。 代码1 # 左闭右闭 区间写法 在数组 nums 中寻找 target def …

LVS负载均衡集群——NAT部署

一、企业群集应用概述 1、群集的含义 • Cluster、集群、群集 • 由多台主机构成,但对外只表现为一个整体,只提供一个访问入口(域名或IP地址),相当于一台大型计算机 2、问题及解决方法 问题: 互联网应用中,随着站…

说说Java日志那些事

日志是每个应用程序在开发的过程中必不可少的组件,通过日志输出可以获取项目的一些运行信息,监控项目的运行指标等,同时,通过学习Java日志框架还可以学习到桥接器与适配器模式等。 日志框架 log4j (日志实现&#xf…

上线控制台,降低使用门槛|Higress 1.0.0 RC 版本发布

作者:澄潭 前言 历时 5 个多月,Higress 推出了首个 RC (Release Candidate,即正式发布的候选)版本 1.0.0-rc,用户可以通过控制台,开箱即用地使用云原生网关。 选用 Higress 作为云原生网关的…

探究GPU同时做渲染与通用计算的并行性

在10年前,随着CUDA与OpenCL的纷纷出炉,GPGPU也着实热了一把。而现今,不少公司更是将GPGPU作为挖矿、搞机器学习的计算利器。于是乎,有许多言论声称GPU将很快取代CPU!那么现代化的GPGPU是否具有如此强大的威力甚至于能取…

sql注入知识---时间盲注

MySQL手注之时间盲注详解 时间盲注原理:注意:基于时间盲注sleep函数函数用法:例子:观察以下语句 基于时间盲注if函数函数用法: 基本步骤:基于时间的盲注案例(sqli-lab less-9)枚举当…

【Vue】学习笔记-组件化编程

学习笔记-组件化编程 模块与组件、模块化与组件化非单文件组件基本使用组件注意事项组件的嵌套VueComponent一个重要的内置关系 单文件组件 模块与组件、模块化与组件化 模块 a.理解:向外提供特定功能的js程序,一般就是一个js文件 b.为什么:j…

实验8---SpringMVC基础

实验八 SpringMVC基础 一、实验目的及任务 通过该实验,掌握SpringMVC框架搭建步骤,掌握SpringMVC控制器的编写方法以及与spring依赖注入结合方法。 二、实验环境及条件 主机操作系统为Win10,Tomcat,j2sdk1.6或以上版本。 三、实验实施…

使用Linux运维常识

一.基础操作 1.终端常用快捷键 快捷键描述ctrl键盘左键向左跳一个单词ctrl键盘右键向右跳一个单词Ctrl c停止当前正在运行的命令。Ctrl z将当前正在运行的命令放入后台并暂停它的进程。Ctrl d关闭当前终端会话。Ctrl l清屏,也可以用clear命令实现Tab自动补全当…

倾斜摄影超大场景的三维模型转换3DTILES格式有哪些好处?

倾斜摄影超大场景的三维模型转换3DTILES格式有哪些好处? 倾斜摄影超大场景的三维模型转换到3D Tiles格式有以下几个好处: 1、数据存储效率高:3D Tiles是一种高效的地理数据存储格式,能够将大规模的倾斜摄影三维模型数据分块存储…

Hive312的计算引擎由MapReduce(默认)改为Spark(亲测有效)

一、Hive引擎包括:默认MR、tez、spark 在低版本的hive中,只有两种计算引擎mr, tez 在高版本的hive中,有三种计算引擎mr, spark, tez 二、Hive on Spark和Spark on Hive的区别 Hive on Spark:Hive既存储元数据又负责SQL的解析&…

【Linux】生产者消费者模型——环形队列RingQueue(信号量)

文章目录 铺垫信号量信号量概念信号量PV操作信号量基本接口 环形队列的生产消费模型引入环形队列访问环形队列代码实现代码改造多生产者多消费者代码 总结 铺垫 之前写的代码是存在不足的地方的: 我们使用线程操作临界资源的时候要先去判断临界资源是否满足条件&am…

QoS部署

1.总部和分部之间视频出现花屏,语音图像不同步的现象是有哪些原因导致的? 如图所示总部和分部之间的流量有FTP数据流量、视频流量和语音流量。如果在总部和分部之间的这几类流量没有做QoS部分或者优先级的区分,那么这些流量基于默认的无差别的流量策略去竞争带宽,如果FTP数…

暴躁兔分享:火爆圈子的XEN,我们如何吃到一波红利的

这周沉闷的熊市突然冲出一个XEN项目。 在这个项目上我们经历了拿到消息,看不懂不做,获取新的信息,发现可以搞,冲的这么一个过程。虽然由于信息查和认知差没有吃到最早拿到信息那波的利润,但是通过分析也跟着喝了一点汤…

网页源代码检查时隐藏 WebSocket 的后端地址

背景 近期在自研如何通过 OpenAI 实现 与ChatGPT 官网一样的聊天对话效果。 用到了 html5websocketpython 三项技术 , 于是用一天时间自学了一下这方面技术。 当实现了功能之后,就得考虑安全问题: 在用 html5 实现与 websocket 通讯时,如何保…

管理后台项目-05-SKU列表-上下架-详情抽屉效果-深度选择器

目录 1-SKU列表 2-SKU上下架 3-SKU详情 1-SKU列表 当用户点击Sku管理,组件挂载的时候,我们需要获取sku列表信息;但是获取列表方法在分页列表改变页码和每页显示大小的时候也需要触发,我们封装为一个方法。 //sku列表的接口 /adm…