推理成本增加10倍?对文心大模型4.0的一些猜想

news2024/12/25 9:00:20

图片

夕小瑶科技说 原创
作者 | 卖萌酱

大家好,我是卖萌酱。

相信不少小伙伴这几天都听到了消息,在期待下周即将发布的文心大模型4.0。我们的几个读者群里也发生了相关的讨论:

图片

图片

图片

讨论的核心主要围绕以下两个话题展开:

  • 文心4.0能不能打过GPT-4

  • 文心4.0会不会收费

作为AI从业者,卖萌酱将基于目前得到的一些有限的消息,来展开一些分析和猜想,供读者们参考。

猜想一:文心4.0很可能成为首个能力真正对标GPT-4的国产大模型

在近期卖萌酱得到的众多消息中,“文心4.0的推理成本比文心3.5增加了8~10倍”这条消息是较为可靠的。众所周知,推理成本主要来自GPU机器的开销和运维成本等。

推理成本增加10倍,意味着GPU机器大概要翻10倍才能抗住相同的访问量。

而为啥要用10倍的GPU机器呢?显然,要么是GPU计算复杂度提升了10倍,要么是GPU空间复杂度提升了10倍。

而我们知道,当下Transformer已经成为业界事实上的模型结构了,在当下的时间节点,百度没有太多理由在模型规模还未达到性能上限的情况下就去魔改模型结构,而且专业的AI从业者也都了解数据&模型规模往往比模型结构更重要。

因此,模型结构不变,就意味着计算复杂度不会有太大变化,因此一定是GPU空间复杂度提升了10倍,也就是模型参数量大了10倍。

ps:在专业的AI从业者看来,以上推理显得有些多余

而坊间不少评测以及笔者自己的使用体验都能感知到,文心3.5的综合能力是在GPT-3.5之上的,预估有1750亿参数量。也就是说,文心4.0的参数量预计将达到1.75万亿规模,与坊间传闻1.8万亿参数量的GPT-4极为接近。

根据卖萌酱对百度上线标准的认知,既然文心3.5的发版超越了GPT-3.5,那么文心4.0的发版大概率也将至少打平GPT-4。

如果真的做到了,那可谓说是国产大模型技术自研的重要里程碑。要知道,GPT-4在语言理解、生成、推理、代码、准确性等方面目前都是业界公认的第一,国内还没有哪个大模型的体验能真正匹敌GPT-4,无论是开源还是闭源模型。

猜想二:文心4.0会成为Pro付费版本,但距离商业化还很远

卖萌酱从推理成本、行业规律、用户体验提升这三个维度做了分析,猜测文心4.0大概率会收费。如果免费开放文心4.0,表面上看是好事,但实际上,这对百度、行业还是用户来说,都不是一个好选择。

根据国外的一项研究"The Economics of Large Language Models",大模型初始的推理成本大约相当于训练成本的三分之一,但随着用户量的激增,推理成本可以轻松变成训练成本的9倍甚至更高。

图片

另外,从行业规律来说,OpenAI的GPT-4、Anthropic的Claude2 Pro面向公众时均选择了收费(20美元/月)。Pro级别的LLM面向C端收费来覆盖高昂的推理成本,已成为了AI行业约定俗成的做法。

除了这两点外,大模型的付费还有助于构建起更高质量的数据飞轮,进而带动大模型效果的深入改善,有效提升用户体验,既造福用户,也有助于构建数据壁垒。这点怎么理解呢?

业内有个基本的共识——大模型训练的不能一味的追求数据量,还要注重数据质量

大量的互联网公有数据和用户使用数据可以为大模型构建起来类人的“通用”能力。然而,大模型若想在长尾话题和复杂话题上获得进一步提升,就要想办法拿到更多稀缺、高质量的用户交互数据。

这些稀缺、高质量的数据从哪里来呢?

逻辑很简单:难以通过免费版文心一言满足的用户需求往往更难、更专业,例如写复杂代码、做复杂决策、做复杂数据分析、写专业文档、咨询专业问题等。而有这些高阶使用需求的人往往具备更高的学历,有更良好的语言表达和思维逻辑,能贡献更高质量的训练样本。

而更牛的用户与更牛的模型产出的更牛的对话,就是稀缺、高质量的数据。

这些更高质量的数据,会让文心4.0变得更牛,满足更多更牛的人的更难的对话需求,进而形成一个“牛模型->牛人->牛对话->更牛模型”的良性循环,大幅加快文心大模型能力的进化速度。

因此,从构建高质量数据飞轮的角度来说,文心4.0作为Pro版本收费也是一个合理的选择,既能覆盖夸张的推理成本,实现良性经营;又能更好的提升模型效果,带来更好的用户体验。

猜想三:引发行业格局巨变,“百模大战”将难以为继

据中国科学技术信息研究所发布的《中国人工智能大模型地图研究报告》显示,截至5月28日,国内10亿级参数规模以上基础大模型至少已发布79个。

这都10月份了,国内的大模型早已超过“一百”之数了。

ps:每天早上醒来打开手机看到“某某公司”发布了“某某大模型”,内心已经麻了

图片

已经有很多业界人士注意到了“百模大战”这种现象似乎热闹过头了,每家公司要是都来搞个大模型只会带来社会资源的浪费 。其实国内根本不需要这么多的底层大模型,如果没有很深的技术壁垒,只是一味地跟风模仿来训练大模型,迟早会因性能差距过大被淘汰。

知乎上有位网友梳理一下近些年互联网发展的历史,借鉴一下其实不难预测,对于国内的底层大模型而言,最终必将是赢家通吃、几家巨头独大的局面。

图片

在猜想二的结尾,笔者提到了在C端构建起高质量的数据飞轮将有效拉动模型效果的提升,大模型在这一点上跟搜索引擎的特点非常像。

而百度作为第一个即将同时构建起“普适数据飞轮”和“专业数据飞轮”的企业,有望将大模型的进化速度做到远远甩开行业竞品。

最终,行业的第一名拿到大头的高质量数据,第二名拿到少量数据,第三名拿到极少数据。而绝大部分的大模型厂商将因为没有可靠的数据飞轮而陷入“闭门造车”、“原地打转”的困境,最终效果远远的落后于头部,甚至打不过头部厂商随手开源的“小模型”,进而死掉。

百模大战,离谢幕不远了。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1098143.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

git操作说明

SourceURL:file:///home/kingqi/桌面/git操作说明.doc 本地建立仓库 mkdir namebao cd namebao pwd git init 初始化 cd .git/ gedit config 本地存储 进入目录上传全部文件 git add . 提交 git commit -m “说明” 远程提交 复制gitee或者github仓库链接 可以直…

前端开发tips

vue配置启动项目自动打开浏览器 打开package.json找到启动命令npm run dev 跟npm run serve(这两种命令都可以) 后面增加 --open Vue项目设置路径src目录别名为 Vue2 编辑vue.config.js内容如下: const { defineConfig } require(vue/cli-service)const path…

使用Cython对Python进行提速优化

因为常常使用Python,经常能感觉到和C,Java来说Python的速度太慢了。其中很大程度上是因为Python的类型是动态的,在解释类型方面花了较长时间。在调研过程中,发现给Python提速一个比较可行的方案是用Cython改写。 Cython的原理&am…

零售数据分析师熬夜整理:人、货、场、供、财这样做

在零售数据分析中,人、货、场、供、财数据分析非常重要,它们分别是指人员、商品、场所、供应和财务,对这些要素进行数据分析,可以更好地了解市场需求、优化商品供应链、调整销售策略和提高盈利能力。零售数据量大、分析指标多且复…

蓝桥·算法双周赛

文章目录 三带一数树数分组健身契合匹配奇怪的线段 一、三带一 本题思路:本题看了数据范围可以直接暴力解决。 #include <bits/stdc.h>int main() {std::ios::sync_with_stdio(false);std::cin.tie(nullptr);std::cout.tie(nullptr);int T;std::cin>>T;while(T-…

C#网络爬虫实例:使用RestSharp获取Reddit首页的JSON数据并解析

Reddit 是一个非常受欢迎的分享社交新闻聚合网站&#xff0c;用户可以在上面发布和内容。我们的目标是抓取 Reddit 首页的数据 JSON&#xff0c;以便进一步分析和使用。 C#技术概述&#xff1a;C#是一种流行的编程语言&#xff0c;它具有流畅流畅的特点&#xff0c;非常适合开发…

用手势识别来测试视力?试试用百度AI来实现想法

文章目录 ⭐ 前言⭐ 灵感来源⭐ 项目准备⭐ 项目实现⭐ 不足与展望 ⭐ 前言 10月17日&#xff0c;以“生成未来&#xff08;PROMPT THE WORLD&#xff09;”为主题的百度世界2023将在北京首钢园举办。百度创始人、董事长兼首席执行官李彦宏将带来以“手把手教你做AI原生应用”…

【微信小程序开发】基础语法篇

&#x1f973;&#x1f973;Welcome Huihuis Code World ! !&#x1f973;&#x1f973; 接下来看看由辉辉所写的关于小程序的相关操作吧 目录 &#x1f973;&#x1f973;Welcome Huihuis Code World ! !&#x1f973;&#x1f973; 一.视图层 1.数据绑定 wxml js 2 .列…

android CountDownTimer倒计时随时随地开启或关闭

前言 业务上有个需求&#xff0c;在心跳被触发时需要记录一个时间 当心跳断开后120s需要断开连接 如果收到心跳包就重置这个定时器的时间 代码实现 private CountDownTimer mTimer; private boolean mIsTimerRunning false;if (!mIsTimerRunning) {// 启动定时器startTimer…

消息队列学习分享

消息队列学习 消息队列来解决问题 &#xff08;1&#xff09;异步处理 消息通知、日志管理、更新统计数据等步骤 &#xff08;2&#xff09;流量控制 如何避免过多的请求压垮我们的系统&#xff1f; 比如一个秒杀系统&#xff0c;网关在收到请求后&#xff0c;将请求放入…

基于Pytest+Requests+Allure实现接口自动化测试

一、整体结构 框架组成&#xff1a;pytestrequestsallure设计模式&#xff1a; 关键字驱动项目结构&#xff1a; 工具层&#xff1a;api_keyword/参数层&#xff1a;params/用例层&#xff1a;case/数据驱动&#xff1a;data_driver/数据层&#xff1a;data/逻辑层&#xff1a…

数字化时代,数据仓库究竟是干什么的?

无论你是否专门从事大数据开发&#xff0c;作为一个开发人员&#xff0c;应该都听说过数据仓库的概念&#xff0c;那你知道为什么会出现数据仓库&#xff1f;数据仓库究竟是干嘛的吗&#xff1f;有什么价值和意义呢&#xff1f;那么本文就带到入门&#xff0c;揭开数据仓库的面…

嵌入式软硬分工与职业发展

嵌入式软硬分工与职业发展&#xff1a; 嵌入式系统分为软件和硬件两个方向。大公司通常明确员工从事嵌入式软件或硬件工作&#xff0c;分工合理利用经验解决问题。小公司可能综合工作&#xff0c;但长期不利深入学习和发展&#xff0c;对个人竞争力不利。嵌入式软件一般指底层…

财报解读:百事业绩继续超预期,无糖布局将带来新爆发?

7月份以来&#xff0c;美国市场通胀“二次反弹”&#xff0c;叠加新型减肥药在北美市场持续风靡&#xff0c;外界普遍预期食品饮料品类的消费将受到冲击。 然而&#xff0c;在此环境下&#xff0c;行业巨头百事仍然交出了一份全面超预期的三季报&#xff0c;并且还有力回应了新…

node 通过axios发送post请求(FormData)

方案一&#xff1a; const axios require(axios) const FormData require(form-data) const fs require(fs)const sdUpscaleOnAzure async (req, res) > {const data new FormData()data.append(image, fs.readFileSync(/temp/ai/sd/download/1.png))let config {hea…

动态规划:10 0-1背包理论基础II(滚动数组)

动态规划&#xff1a;10 0-1背包理论基础II&#xff08;滚动数组&#xff09; 接下来还是用如下这个例子来进行讲解 背包最大重量为4。 物品为&#xff1a; 重量价值物品0115物品1320物品2430 问背包能背的物品最大价值是多少&#xff1f; 一维dp数组&#xff08;滚动数组…

redis作为消息队列的缺点

Redis作为消息队列的不足。 1、基于内存 Redis是一种基于内存的数据库产品&#xff0c;这意味着数据存储在内存中&#xff0c;当内存不足时&#xff0c;Redis会使用基于磁盘的虚拟内存来存储数据。虽然这种虚拟内存机制可以增加Redis的存储容量&#xff0c;但也会降低Redis的…

19.项目开发之量化交易QuantTrade(一)

项目开发之量化交易QuantTrade 数据库创建&项目创建 SpringBoot项目之量化交易QuantTrade创建 创建项目之初&#xff0c;将需要的pom一次性导入 <properties><java.version>1.8</java.version><project.build.sourceEncoding>UTF-8</project.…

福建建筑模板厂家-能强优品木业

福建建筑模板厂家-能强优品木业&#xff0c;是一家专业从事建筑模板生产销售25年的源头工厂。我们以优质的产品和卓越的服务赢得了福建当地建筑施工企业的信赖与合作。作为一家有着丰富经验的建筑模板厂家&#xff0c;我们致力于提供高品质的产品&#xff0c;以满足客户的需求。…

一文2000字手把手教你写一份优质的性能测试报告的编写

性能测试项目实战&#xff08;风暴平台&#xff09; 1、背景 公司之前的测试团队做API的⾃动化测试都是使⽤JMeter等工具来进行&#xff0c;这样的话测试效率⽽⾔不是那么很⾼&#xff0c;⽽ 且在扩展性⽅⾯不是很有竞争⼒的。所以开发了新的测试平台&#xff0c;但是考虑到公…