在大模型落地这件事上,智谱玩出花了

news2024/10/3 23:21:19

434e062f84cfa0507da4aa2c16e59c25.png

7dcf8e6fcfd0c9f063f71a070a8e7e1d.jpeg

96559e61a27872c27c5d7284a372cdf6.png




大数据产业创新服务媒体

——聚焦数据 · 改变商业


2024年6月5日,仅仅用了一上午的功夫,智谱就连发了三个产品,分别是智谱清言、GLM4-9B、智谱MaaS平台。

在这次的发布会与智谱在2024年1月16日开的发布会不太一样,后者更注重技术分享。而本次发布会,与其说是发布产品和技术,更不如说是智谱在展示他们通过对大模型技术的应用,展示了他们在理解“大模型落地”这个关键词上的态度和思路。

在当下的存量市场,智谱越来越明白一个道理,企业没有办法长期依靠光环、补贴、融资这些事物。唯一能帮助企业实现增长,是企业的战略眼光和发展方向。

智谱清言,表面是“APP”实际是“工作台”

智谱清言是一个智能体助手,客户可以与上面的智能体对话,智能体则会执行用户的命令。乍一看可能看不出什么,但是智谱清言属于是一种比较独特的APP。

首先,用户并非是点击某智能体窗口再进行对话,而是直接在对话框里“@”,让整个对话更加便捷。其次,智谱清言各种智能体提供的功能更偏向于实际业务,比如绘制思维导图、搜索关键词分析等等。最后,智谱清言可以@多个智能体,并让这些智能体进行协作,以“群聊”的方式执行用户的命令。

下方这张图,是智谱清言搜索关键词“数据猿”,根据数据猿的业务分析,最后由智谱清言生成的数据猿业务思维导图。

e365d02f6b3fe014c1cb6e84ca1e92ea.jpeg

图:数据猿的业务分析

从结果来看,智谱清言对数据猿的分析较为准确,同时还能绘制出非常清晰的思维导图。证明智谱清言的确具备了替代一些常见办公软件的能力。

以往来看,智能体偏向于情感陪伴和疑问解答,却鲜有触及办公软件这条赛道的。这是一个细分赛道,智谱很清楚一件事,和过去的大模型APP相比,清言肯定是极其独特的。

正是这种独特给了智谱清言一个完全不同的发展方向:虽然是C端产品,但是会向B端销售,类似于企业微信的获客逻辑。

设想一个场景,在一个营销活动中,团队所有任务,比如创意设计、预览展示、活动导图等等都可以用智谱清言来完成。至此,智谱清言就不再是一个APP,更像是一个工作台。

智谱在考虑用户体验

2023年3月14日的时候,智谱曾推出过GLM的量化版本——GLM3--6B。这个版本的参数量仅为62亿,使得用户可以在消费级的显卡上进行本地部署。一年过后的今天,智谱则推出了GLM-4的FP8量化版本,GLM-4-9B。

在预训练方面,智谱引入了大语言模型进入数据筛选流程,最终获得了 10T 高质量多语言数据,数据量是 GLM-3-6B 模型的 3 倍以上。相较于第三代模型,训练效率提高了 3.5 倍。

相较于2023年流行的INT8,FP8量化方法是现阶段更为前沿的量化方式。通过增加尾数位数,FP8在表示范围内既有较高的精度(E4M3),又有较宽的动态范围(E5M2),这使得FP8在处理具有不同数值分布的数据时具有优势。

d0b14709b0ca18a7e824cc6953efd8a9.png

图:GLM4-9B的性能

不过和市面上大多数大模型不同,GLM-4-9B是没有当下最火的MoE架构的。智谱的观点是,MoE会消耗过多显存来替代算力,但是消费级显卡的显存是比较有限的,因此这种取舍是“划不来”的。

而在有限显存的情况下,6B模型性能有限,不满足当下需求。因此,智谱最终将量化后的模型规模提升至9B,并将预训练计算量增加了5倍。

量化是端侧模型部署中常用的一种技术,通过减少数据表示的位数来提高计算吞吐和降低存储需求,从而提升模型在端侧设备上的运行效率。也不难看出,智谱在量化的过程中,他们在寻找显存和算力之间的平衡点,以确保模型可以部署在绝大多数设备的本地。

此前推出量化模型的时候,智谱可能并未想过落地后的事宜,更多的是技术分享。而这次的GLM-4-9B,智谱在思考的并非技术,而是用户体验,即GLM-4-9B在部署到消费级设备的本地后,用户使用起来是否会出现等待时间过长、回答不理想等等问题。

正是这种平衡,给了GLM-4-9B在端侧部署上更多的可能性。鉴于这个量化模型是开源的,智谱应该是用这个模型对市场进行测试,看看各类型端侧用户的实际使用状况是怎样的,再依据反馈,为今后量化谋求一个新的平衡点,直至发布端侧大模型产品。

MaaS平台

智谱在当天还发布了一个平台叫做MaaS,也就是智谱的大模型开放平台。这个平台上可以使用GLM-4-Flash、GLM-4-Air,以及GLM-4。价格也是比较美丽的,比如说普通版的GLM-4-Air,每100万个tokens只需要花1块钱。

在各大厂商都在大打价格战的今天,价格反而失去了其意义,因为各种大模型的价格差距没办法拉开。所以,如果大模型厂商想要不依靠补贴、融资而生存下去,如何获客永远是头号难题。

智谱MaaS平台的获客方式属于是回归初心,他们用的是软件公司最原始的办法:拉长战线拼“一站式”。

所谓拉长战线,就是指平台提供多种套餐给客户选择。预算少、需求低,可以购买GLM-4-Flash或者是GLM-4-Air,预算高、需求大,可以购买GLM-4-Air极速版和LM-4-0520。

此外,大模型在落地过程中,最接近实际商业使用效果的步骤就是微调。MaaS可以允许客户以一个很方便快捷的方式进行“一站式”微调:1.按照模板收集数据,导入数据集以训练模型;2.使用平台的微调工具,对模型进行微调;3.将训练好的模型部署到私有云服务器。

也就是说,这个平台还包含了Toolkit属性,这就让一些开发能力较弱的开发者,依然能够完美驾驭大模型。

20d51165bdfd160ea4c4a1872b780bc9.png

图:智谱微调的性能和价格

MaaS是智谱对大模型在B端落地的认知,他们认为,To B生意的收入来源在于能为客户提供多少价值。所以智谱选择拉长战线,把模型以性能、生成速度进行划分,推翻名为”价格战“的文字游戏,把选择的权力价格客户。

同时MaaS的一站式也为智谱增加了更多获客的可能性。

文:火焰翼人 / 数据猿
责编:凝视深空 / 数据猿

b448f01437c77182c1e10965fe6f42f7.jpeg

fee6e76b6e45126bb2afcf3eb75aeadf.png

2b2569f8cd1ec54cc280873c6beac8d3.png

b431ec60267927a485a1419c5ed06fa0.jpeg

5da75bddec56ca9d14d43bc8a93415b6.png

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1793086.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

计算机网络 期末复习(谢希仁版本)第1章

大众熟知的三大网络:电信网络、有线电视网络、计算机网络。发展最快起到核心的是计算机网络。Internet是全球最大、最重要的计算机网络。互联网:流行最广、事实上的标准译名。互连网:把许多网络通过一些路由器连接在一起。与网络相连的计算机…

QT 使用信号和槽,让QLabel的内容实时与QLineEdit同步,类似vue框架的双向绑定

在窗口里放置一个单行文本编辑器(QLineEdit)和一个标签控件(QLabel),实现的效果就是当编辑器的内容被编辑时,标 签控件同步显 示编辑控件里的内容 1)当 lineEdit 控件被用户编辑时,它…

【Java数据结构】二叉树详解(四)

🔒文章目录: 1.❤️❤️前言~🥳🎉🎉🎉 2.给定一个二叉树, 找到该树中两个指定节点的最近公共祖先 2.1第一种思路 2.2第二种思路 3.根据一棵树的前序遍历与中序遍历构造二叉树 4.根据一棵树的中序…

【Web API DOM03】事件监听

一:什么是事件监听 指程序检测有无某一事件发生,如果发生,就调用一个函数做出反应;也称为绑定事件或注册事件 比如鼠标经过显示下拉菜单、点击侧边栏播放轮播图 二:怎么用事件监听 1 语法规范: 元素对…

Python 全栈体系【四阶】(五十七)

第五章 深度学习 十三、自然语言处理(NLP) 2. 传统NLP处理技术 2.4 关键词提取 关键词提取是提取出代表文章重要内容的一组词,对文本聚类、分类、自动摘要起到重要作用。此外,关键词提取还能使人们便捷地浏览和获取信息。现实…

【C++进阶】深入STL之vector:深入研究迭代器失效及拷贝问题

📝个人主页🌹:Eternity._ ⏩收录专栏⏪:C “ 登神长阶 ” 🤡往期回顾🤡:初步了解vector 🌹🌹期待您的关注 🌹🌹 ❀STL之vector 📒1. 迭…

【Java基础】线程的五大状态

新建状态 使用 new 关键字和 Thread 类或其子类建立一个线程对象后,该线程对象就处于新建状态。它保持这个状态直到程序 start() 这个线程。 就绪状态 当线程对象调用了start()方法之后,该线程就进入就绪状态。就绪状态的线程处于就绪队列中&#xff…

【机器学习基础】Python编程04:五个实用练习题的解析与总结

Python是一种广泛使用的高级编程语言,它在机器学习领域中的重要性主要体现在以下几个方面: 简洁易学:Python语法简洁清晰,易于学习,使得初学者能够快速上手机器学习项目。 丰富的库支持:Python拥有大量的机器学习库,如scikit-learn、TensorFlow、Keras和PyTorch等,这些…

(学习笔记)数仓建模

数仓建模 OLAP数仓分层数据模型数据模型建设方法模型建设具体流程模型数据域事实表设计事实表拉链表 数据模型规范表命名(采用阿里one-data设计)字段命名(采用阿里one-data设计)数据模型标注规范 数据模型发展周期 OLAP OLTP:概念全称OnLine Transaction Processin…

【大模型】Ollama+open-webui/Anything LLM部署本地大模型构建RAG个人知识库教程(Mac)

目录 一、Ollama是什么? 二、如何在Mac上安装Ollama 1. 准备工作 2. 下载并安装Ollama 3. 运行Ollama 4. 安装和配置大型语言模型 5. 使用Ollama 三、安装open-webui 1. 准备工作 2. Open WebUI ⭐的主要特点 3. Docker安装OpenWebUI,拉去太慢…

操作系统教材第6版——个人笔记3

2.1 处理器 2.1.1 处理器与寄存器 处理器部件的简单示意 用户程序可见寄存器 可以使程序员减少访问主存储器的次数,提高指令执行的效率所有程序可使用,包括应用程序和系统程序数据寄存器:又称通用寄存器地址寄存器:索引、栈指针…

妙手ERP接入TEMU美国本土店,支持高效产品刊登、订单管理、库存管理

​​​​​​​ 众所周知,拼多多向来是低价卷王,而TEMU完美继承了拼多多的基因,靠着全托管模式一路狂奔,两年多便扩展至全球60个国家与地区,市场规模预计达到450亿美元,吸引着越来越多的卖家入驻。 在平台…

32C3-2模组与乐鑫ESP32­-C3­-WROOM­-02模组原理图、升级口说明

模组原理图: 底板原理图: u1 是AT通信口,wiif-tx wifi-rx 是升级口,chip-pu是reset复位口,GPIO9拉低复位进入下载模式 ESP32-WROOM-32 系列硬件连接管脚分配 功能 ESP32 开发板/模组管脚 其它设备管脚 下载固件…

Unity DOTS技术(八)状态组件

文章目录 一,简介二.实例 一,简介 因为在ECS中没有回调,因而无从得知组件是否被销毁.所以我们需要使用ISystemStateComponentData. 什么时ISystemStateComponentData状态组件? 当物体被销毁时ISystemStateComponentData组件不会被销毁.因而我们可以在组件被销毁时在该组件中…

搭建大型分布式服务(三十八)SpringBoot 整合多个kafka数据源-支持protobuf

系列文章目录 文章目录 系列文章目录前言一、本文要点二、开发环境三、原项目四、修改项目五、测试一下五、小结 前言 本插件稳定运行上百个kafka项目&#xff0c;每天处理上亿级的数据的精简小插件&#xff0c;快速上手。 <dependency><groupId>io.github.vipjo…

Clo3D导出服装动画,使用Unity3D展示

1.前言 Clo3D是一款应用于时装行业的3D服装设计软件,其强大的布料模拟算法可在3D空间中实现设计、制版、试衣和走秀,大幅提升数字作品逼真度和制作效率。为了让服装动画效果展示在Unity3D上模拟效果&#xff0c;需要Clo3D模拟出逼着的衣服动画。总体流程为Clo3D - Mixamo -Blen…

废酸再生工艺的稳定性强优势

废酸再生工艺&#xff0c;作为现代工业中一项重要的环保技术&#xff0c;其核心目的是将工业生产过程中产生的废酸进行回收、处理和再利用&#xff0c;以实现资源的节约和环境的保护。这一工艺不仅有助于减少废酸对环境的污染&#xff0c;还能为企业带来显著的经济效益。 一、废…

idea实用快捷键(持续更新...)

文章目录 1、快速输入try/catch/finally2、选中多个光标3、实现接口4、方法参数提示5、查看某个类的子类6、弹出显示查找内容的搜索框 1、快速输入try/catch/finally CtrlAltT 2、选中多个光标 ShiftAlt单机多选 End可以全部到行尾&#xff0c;Home则可以全部回到行首 3、实现接…

MySQL的增删改查2

文章目录 1. 数据库约束1.1 约束类型1.2 NOT NULL约束1.3 UNIQUE唯一约束1.4 DEFAULT默认值约束1.5 PRIMARY KEY主键约束1.6 FOREIGN KEY外键约束1.7 CHECK约束 2. 新增3. 查询3.1 聚合查询3.1.1 聚合函数3.1.2 GROUP BY子句3.1.3 HAVING 3.2 联合查询3.2.1 内连接3.2.2 外连接…

慧天卓特:2024年“一带一路”之哈萨克斯坦旱情监测案例分析(FYDI)

引言 联合国防治荒漠化公约组织指出&#xff1a;中亚约有1200万人生活在干旱风险高的地区&#xff0c;面积约为4000万公顷。位于亚洲中部的哈萨克斯坦共和国&#xff08;简称哈萨克斯坦&#xff09;和中国有着长期友好的睦邻和经贸关系&#xff0c;中国是哈萨克斯坦的主要农产…