大模型时代,腾讯云“复制”腾讯|WAIC2023

news2024/11/24 11:55:48

点击关注

文|郝鑫

编|刘雨琦

刚过去的WAIC(世界人工智能大会)俨然成为了大模型厂商的成果汇报大会。

百度文心大模型升级到3.5版本,训练速度提升2倍,推理速度提升30倍;华为云发布盘古大模型3.0,包含L0基础大模型、L1行业大模型和L2场景模型;阿里云发布AI绘画创作模型通义万相;腾讯云MaaS底座、行业大模型场景全面升级;商汤“日日新”大模型升级,金融、医疗等行业场景落地已超20个。

大模型走过从无到有,在当下的阶段,即使是站在同一起跑线的厂商,也走上了不同的分叉路:有人做通用大模型,有人做行业大模型;有人在为大模型的安全运行保驾护航,有人在提供造大模型的工具。

7月7日,在中国信通院发布的《2023大模型和AIGC产业图谱》中,将大模型和AIGC产业链上下游分成了行业应用、产品服务、模型与工具和基础层四个主要部分。

(图源:中国通讯院)

从图上看,大模型就像造房子,很难有一家企业完成所有环节。也就是说,如同互联网的大航海时代一般,大模型生态建设,所有人都有机会。

正如腾讯云副总裁、腾讯云智能负责人、优图实验室负责人吴运声告诉光锥智能:“大模型时代,开放是非常重要的特点。大模型要结合行业落地,需要花费大量的成本,在这种情况下,要想发挥最大的价值,只有开放,通过让各行各业的专家、各类角色的人员加入进来,才能让整个生态体系更健康,从而产生更多的可能性。”

发展的同时,问题也在逐渐暴露出来。相较于国外成熟的大模型市场,中国到现在还未构建起完整的大模型产业链,在底层的数据、芯片、计算能力存在欠缺,在模型训练、部署等环节还十分薄弱。

针对大模型产业链存在的痛点,腾讯云MaaS大模型精选商店升级技术底座,发布向量数据库和星脉网络,创新行业大模型的应用场景。

追本溯源,可以看出腾讯延续互联网时代的思路,腾讯云依然不做通用大模型,要继续做工具箱和连接器。

Always工具箱和连接器

据光锥智能了解到,早在6月19日,腾讯云就公布了行业大模型技术解决方案。该方案依托腾讯云TI平台打造行业大模型精选商店,为客户提供MaaS一站式服务,客户只需要加入自己独有的场景数据,就可以快速生成专属模型,结合实际业务场景需求,开发低成本、高可用的智能应用和服务。

腾讯云MaaS大模型商店重点突出了两个特点,一是精专,二是灵活。

“精专”主要体现在对行业模型的训练上,腾讯云在其技术底座就内置了金融、政务、文旅、传媒、教育等多个行业大模型,这意味着从预训练时期开始,大模型便明确了方向,开始与行业经验结合。

打个比方,就好比大学生一入学就被分到了不同的专业,之后在此基础上继续研究生、博士深造。腾讯云的思路也是如此,把训练的数据先在行业大模型中磨砺一遍,然后再结合企业的私有数据,精调后生成企业专属模型。可以说,行业认知贯穿了模型训练、推理、部署的全过程,由此来提升行业场景的应用能力。

“灵活”主要体现在企业调取、使用模型能力、工具上。互联网时代,马化腾曾将腾讯的角色定位为“工具箱”,在大模型时代,腾讯云TI平台的角色有着异曲同工之处。

工具链决定着企业能不能把大模型能力和自己的业务、产品相结合,为此,腾讯云提供了包括数据标注、训练、评估、测试和部署等大模型工具箱和配套服务。企业可以在本地按需选用和组合工具,在保障安全的前提下进行私有化数据训练,还可根据业务场景需求,按需定制不同参数、规格的模型服务。

以前,腾讯连接了B端商家和C端用户,现在腾讯云也将这种能力复刻到大模型商店。工具组合形成的工具链还只是平台中的一环,连接起企业产品和大模型;另一条主线——数据(私有+公有),则串连起了大模型、企业、产业和用户。

行业应用是起点,也是终点,正如吴运声所言,“不管是什么样的技术,我们最根本的出发点,还是要解决实际的问题。”

大模型加速器

如何在大模型赛道上找到合适自己的节奏,腾讯云似乎已经摸到了脉路。

腾讯集团高级执行副总裁、云与智慧产业事业群CEO汤道生曾表示:“关键还是要把底层的算法、算力和数据扎扎实实做好,而且更关键的是场景落地。”

延续着这样的思路,腾讯云一手抓底层算法、算力和数据,一手落地场景,MaaS大模型商店实现了全面的升级。

在技术底座环节,腾讯云聚焦一个“快”字,发布了星脉网络和向量数据库,为大模型安上了“风火轮”。

大模型进入万亿参数时代,单体服务器算力有限,需要将大量服务器通过高性能网络相连,打造大规模算力集群。

基于此,腾讯云通过对处理器、网络架构和存储性能的全面优化,攻克下了大集群场景下算力损耗问题,正式发布新一代HCC(High-Performance Computing Cluster)高性能计算集群。

该集群采用腾讯云星星海自研服务器,搭载英伟达最新代次H800 GPU,能提升40%的GPU利用率,节省30%-60%的模型训练成本,为AI大模型带来10倍通信性能提升。基于腾讯云新一代算力集群HCC,可支持10万卡的超大计算规模。

据腾讯云透露,腾讯云新一代集群的算力性能较前代提升高达3倍,是国内性能最强的大模型计算集群。

高性能计算群是一种底座能力,其技术的应用体现了通过技术手段的降本增效。

首先,相比于大量分散的计算机,高性能计算集群可以降低硬件成本和运维成本,同时方便集中管理。其次,它可以提升计算、搜索的效率。提供分布式的计算能力,为向量数据库提供支持;还能进行复杂的科学计算和建模,这也是腾讯云“AI for Science”能迅速在天文、甲骨文考释取得成果的原因。

在大模型训练过程中,汤道生谈起过数据质量的问题,他表示:“目前通用大模型一般都是基于广泛的公开文献与网络信息来训练的,网上的信息可能有错误、有谣言、有偏见,许多专业知识与行业数据积累不足,导致模型的行业针对性与精准度不够,数据噪音过大。”

数据对大模型训练的意义不言而喻,当前,除了数据噪声过大,还存在数据处理、数据更新、数据安全等众多问题。

此外,大模型还存在一个致命的缺点——没有长期记忆,C端对话场景还可以重新提问,但应用在行业,就可能造成系统崩溃。

OpenAI 很早就意识到这个问题,通过与Zilliz、Pinecone、Weaviate等向量数据库公司合作,为ChatGPT配置上了“外置缓存”,向量数据库+大模型也被称之为“黄金搭档”。

国外向量数据库大热带动了国内厂商加速,腾讯云也赶上了第一波,发布了国内首个AI 原生向量数据库。

针对大模型场景,它在接入层、计算层、存储层实现了全面AI化:

在接入层,智能化支持自然语言文本的直接检索;

在计算层,通过AI算子替代企业寻找/调优AI算法,将接入工期从一个月缩短到3天;

在存储层,融合智能压缩算法,把向量存储成本降低50%。

企业数据接入需要分为三步,分别为文本切分、向量化以及导入。以前,这三步分别由不同的公司来做,因此周期被拉得无限长,而腾讯云将三步化作一步,直接实现了一站式接入,效率提升了10倍。

不过,从参数来看,目前腾讯云向量数据库性能依旧在初级的阶段。

举个例子,腾讯云向量数据库最高支持10亿级向量检索规模,并将延迟控制在毫秒级。作为对比Milvus最大能支持560亿向量检索规模,支持每秒进行上百万的向量相似性搜索。

但10亿级也可以说是向量数据库的入门级参数。Pinecone 官方demo 表明其可以在 10 亿条向量中实时搜索;Weaviate算法可支持十亿量级的向量索引。

工欲善其事,必先利其器。从最底层一步步砸实技术,看似腾讯云走了一条慢路,但小布快走,实现快速迭代后,带动的将是整个生态系统的提升。

50个场景,腾讯云批量着陆

场景一直是腾讯所强调的产品文化,即做一个产品或者上线一个功能,首先考虑的是,能不能找到场景,找到用户。

同样切入MaaS,站在新的起跑线上,腾讯云通过沉淀的行业Konw-how,瞄准企业应用刚需,推进大模型应用落地,将场景作为训练大模型的磨刀石。

“大模型虽好,但用起来还是有很高的门槛。尤其对一些传统领域企业而言,通用大模型无法精准适配、达到降本增效的预期。企业需要的,是在实际场景中真正解决某个问题,而不是在100个场景中解决了70%-80%的问题。”吴运声道。

腾讯云认为,大模型不只是少数人的游戏,把大模型从“通才”转变为“专才”,对企业来说或许是一个可行的路径。腾讯云在其中承担的角色,就是要将门槛打下来,提供一条龙服务,帮助企业跳过模型训练、部署的“冷启动”阶段。

据光锥智能了解,基于腾讯在互联网行业的长期沉淀,腾讯云已联合金融、文旅、政务、传媒、教育等十多个行业头部客户,共同打造了超过50个行业大模型解决方案,这些都是腾讯 CSIG 的重点服务行业。

在金融风控场景,腾讯云风控大模型融合了腾讯过去20多年黑灰产对抗经验,和上千个真实业务场景,提供了金融风控解决方案。企业可以基于prompt模式,迭代风控能力,从样本收集、模型训练到部署上线,实现全流程零人工参与,目前,建模时间已经做到从2周减少到仅需2天。

在交互翻译场景,基于行业大模型技术,腾讯云无需百万级的训练数据,使用小样本训练也可以获得不错的翻译结果,让每一次交互翻译,都能对下一句的翻译提升发挥实时作用。

以行业场景为切入,技术、应用同时迭代升级,这样的速度明显要更快,效果也更加显著。

据腾讯云在WAIC最新数据,上述金融风控解决方案,相比之前已有了10倍效率的提升,整体反欺诈效果比传统模式有20%左右的提升;腾讯云数智人工厂,内置超过10个AI算法模型,腾讯云MaaS能力,可以让2D数智人分身复刻缩短至24小时。

技术和应用两条腿同时跑,底层大模型支撑应用场景落地,场景也反过来反哺大模型。

正如同腾讯云所强调的一个观点“产业场景是大模型的最佳练兵场”,前期大模型所学习到的行业经验可以在现实应用场景中得到矫正,再次沉淀到腾讯云MaaS平台行业模型底座,重新更新认知,以此循环往复,行业大模型将越调越精,企业也越用越灵。

另一方面,成熟的应用落地场景,或许又将为大模型商业化开拓出新的道路。

事实证明,贪图一时的热闹并不长远,即使是拥有绝对技术壁垒的ChatGPT也面临着流量下滑的命运,OpenAI 创始人更是直言,ChatGPT插件不如预期的原因在于,人们更想把GPT的能力用到自己的应用当中。

开启大模型下一个竞争阶段,场景与商业化能力或将变得更加密切。

正如腾讯云副总裁、腾讯云智能研发负责人吴永坚所认为的:“互联网已经走到从最开始的纯免费阶段,慢慢向某些场景去如何商业化的阶段,这不是大模型带来的,但大模型将我们商业化的途径变得更清晰了。”

欢迎关注“光锥智能”CSDN号,关注前沿科技!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/754420.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

MySQL~索引的优缺点是什么?有哪些优化索引的方法?

1.索引的优缺点 优点:提高查询记录的速度。 缺点: 需要占用空间,索引是一种用空间换时间的做法创建索引和维护索引都需要消耗时间,会降低表的增删查改效率,因为每次进行增删查改,都需要对索引进行维护&a…

Nacos技术

说明:Nacos是微服务框架中的注册中心技术,可用于管理、协调微服务之间的请求,可配合Feign技术,搭建一个完整的微服务框架。 一、安装&启动 可在官网(https://nacos.io/zh-cn/)提供的下载链接&#xf…

【uni-app】自定义导航栏

【uni-app】自定义导航栏 新手刚玩uniapp进行微信小程序,甚至多端的开发。原生uniapp的导航栏,并不能满足ui的需求,所以各种查阅资料,导航栏自定义内容 整理如下: 需要修改的文件如下: 1、pages.json 修…

前端渲染模式CSR,SSR,SSG,ISR,DPR

目录 一、客户端渲染——CSR(Client Side Rendering) 二、服务器端渲染——SSR(Server Side Rendering) 三、静态站点生成——SSG(Static Site Generation) 四、增量静态生成——ISR(Increm…

ASEMI快恢复二极管MUR2080CT参数, MUR2080CT规格

编辑-Z MUR2080CT参数描述: 型号:MUR2080CT 最大峰值反向电压(VRRM):800V 最大RMS电压(VRMS):430V 最大直流阻断电压VR(DC):800V 平均整流正向电流(IF):20A 非重复峰值浪涌电流(IFSM):15…

科技赋能企业,实现数字化转型

科技是第一生产力,数字技术即科技,可以改变传统的商业模式,为各行各业注入新的活力。 推动企业数字化转型,可是实现行业的效率提升,实现跨界重组,重构产业模式,为产业格局重新赋能,最…

批发小程序怎么做

批发订货小程序功能介绍 我们的批发订货小程序是一个集订货浏览权限、一客一价、业务员端口、代客下单、订单汇总和订单打印等功能于一体的专业平台。以下是对这些功能的详细描述: 1. 订货浏览权限:我们的小程序可以为不同用户分配不同的订货浏览权限。…

山寨版 Threads登苹果下载榜第一,黑客借此分发恶意软件

最近,苹果在欧洲下架了一款假冒的Threads应用程序,有意思的是该APP吸引了大量的用户下载,最高峰时曾登录苹果下载榜第一名。 在发现该虚假APP后,苹果已经暂停了其开发者账户,随后更是将SocialKit LTD所有的应用程序全…

做PPT一定要知道这5个素材模板网站。

做PPT绝对不能错过的5个网站、PPT素材、PPT模板、PPT课件、PPT教程等全部都能免费下载,建议收藏! 菜鸟图库 https://www.sucai999.com/search/ppt/0_0_0_1.html?vNTYwNDUx 菜鸟图库网有非常丰富的免费素材,像设计类、办公类、自媒体类等素材…

DBeaver数据库管理工具安装连接PostgreSQL和DM

文章目录 1. 安装2. 连接PostgreSQL3. 连接DM83.1 下载驱动3.2 添加驱动3.3 连接3.4 创建表空间和用户3.5 执行sql 1. 安装 下载地址 https://dbeaver.io/download/ 2. 连接PostgreSQL 配置显示所有数据库 第二个勾选会显示模板数据库 点击测试连接,然后下载驱动…

Helm 安装prometheus-stack 使用local pv持久化存储数据

目录 背景: 环境准备: 1. 磁盘准备 2. 磁盘分区格式化 local storage部署 1. 节点打标签 2. 创建local pv storageClass和prometheus-pv Prometheus-stack部署 1. 下载helm chart包 2. values.yaml 参数解释 3. 部署prometheus-stack 4. 查看…

运行软件plotsr时报错:“ImportError: Incomplete genomic information”

为了对 syri.out (assembly的变异检测结果)进行可视化处理,本人选择了plotsr软件对其基因组重排现象进行可视化: (base) [hgzhonghead01 08.assembly_calling]$ plotsr --sr syri.out --genomes ../data/Sc_R64.fasta --genomes …

什么是搜索引擎?2023 年搜索引擎如何运作?

目录 什么是搜索引擎?搜索引擎的原理什么是搜索引擎爬取?什么是搜索引擎索引?什么是搜索引擎检索?什么是搜索引擎排序? 搜索引擎的目的是什么?搜索引擎如何赚钱?搜索引擎如何建立索引?网页抓取文本处理建…

全网最细,接口自动化测试-数据库操作与日志模块,一篇打通...

目录:导读 前言一、Python编程入门到精通二、接口自动化项目实战三、Web自动化项目实战四、App自动化项目实战五、一线大厂简历六、测试开发DevOps体系七、常用自动化测试工具八、JMeter性能测试九、总结(尾部小惊喜) 前言 进行接口测试时&a…

Unity Shader - SV_POSITION 和 TEXCOORD[N] 的varying 在 fragment shader 中输出的区别

起因 因另一个TA同学问了一个问题 我抱着怀疑的心态,测试了一下 发现 varying 中的 sv_position 和 texcoord 的值再 fragment shader 阶段还真的不一样 而且 sv_position 还不是简单的 clipPos/clipPos.w 的操作 因此我自己做了一个试验: 结果还是不一…

Ext4文件系统介绍 - 实战篇

本文主要通过dd,hexdump和dumpe2fs工具分析ext4的磁盘二进制数据,加深对ext4文件系统的印象,要想理解本建议先阅读下Ext4文件系统介绍 - 理论篇_nginux的博客-CSDN博客。 磁盘超级块数据分析 根据理论篇我们知道ext4 layout中前1024字节是x…

Flask 使用Flask的session来保存用户登录状态例子

使用Python的Flask库实现的登录接口、查询金额接口和注销接口的示例。 当用户发送POST请求到/login接口时,代码会获取请求中的用户名和密码。如果用户名和密码匹配(在示例中是admin和admin123),则会将用户名保存在session中&…

Scratch 放置建筑

Scratch 放置建筑 本程序的功能是放置和删除建筑。点击鼠标时建筑会复制并从初始位置向鼠标指针移动,每次复制都更换外观,距离鼠标指针较近时停止移动并调至垂直方向,延时0.5秒。延时过后鼠标指针接触到建筑每隔0.1秒进行判断,3次…

HOT62-N皇后

leetcode原题链接:N皇后 题目描述 按照国际象棋的规则,皇后可以攻击与之处在同一行或同一列或同一斜线上的棋子。 n 皇后问题 研究的是如何将 n 个皇后放置在 nn 的棋盘上,并且使皇后彼此之间不能相互攻击。 给你一个整数 n ,返…

灵活用工服务平台是怎样的?

灵活用工服务平台是为企业提供灵活用工人员招募、管理和支付等服务的平台。这些平台通常会建立一套在线系统,帮助企业发布岗位需求,筛选和招募合适的灵活用工人员,管理他们的工作时间和报酬。 企业选择做灵活用工的原因有这些: 1…