科技云报道:垂直大模型竞争,能突破数据“卡点”吗?

news2024/10/2 14:30:48

科技云报道原创。

AI大模型火遍全球,中国产业也激发了对人工智能应用的新热情。

随着各大厂商参与竞逐,市场正在分化为通用与垂直两大路径,两者在参数级别、应用场景、商业模式等方面差异已逐步显现。

在这里插入图片描述

企业涌入垂直大模型赛道

通用AI大模型像ChatGPT,能够处理各种领域和场景的自然语言,但由于需要巨大的计算资源和数据量,已经成为国内外大厂的重点项目。

这类企业往往有着强大的技术团队和资金支持,且有着自己的场景和流量优势。比如百度、阿里、腾讯、字节、华为等,在搜索、社交、电商、办公等领域都有着自己的通用AI大模型。

相较之下,创业公司、细分领域企业很难在这样的竞争中获得先发优势或者差异化优势。

而垂直AI大模型只关注某个特定的领域或者场景,它能够利用行业的数据和知识,提供更精准和高效的解决方案,更好地满足用户在某个领域或者场景下的需求和期待,如:医疗、金融、教育等。

同时,它可以利用一些开源或者闭源的通用AI大模型作为基础,然后在其上进行指令微调(instruction tuning),来适应自己的目标领域或者场景。

因此,它的参数规模比通用大模型低一个量级,如果让数据飞轮和模型训练能够很好结合,在某些特定领域甚至比通用大模型的效果更好、成本更低。

在这样的背景下,越来越多的企业加入了垂直大模型的赛道。

5月18日,深信服发布国内首个自研安全大模型,成为安全领域GPT技术应用首秀;

5月5日,学而思宣布正在进行自研数学大模型的研发,命名为MathGPT,面向全球数学爱好者和科研机构;

3月,达观数据公布正在开发曹植系统,专注于金融、政务、制造等垂直领域的大语言模型。

明确的商业化落地场景和更低的算力成本,为各类企业打开了进军垂直大模型的大门。

垂直大模型的考验

垂直大模型的优势在于不够大:算力不够大、算法难度低,但并不代表垂直大模型谁都能做。

众所周知,AI大模型三要素:算力、算法、数据,都是喂养AI的“饲料”。

先说算力。

大模型之所以“大”,就是因为参数众多和数据量庞大。AI大模型所需要的计算量,大致上相当于参数量与数据量的乘积。

过去5年,AI大模型的参数量几乎每年提升一个数量级,例如GPT-4参数量是GPT-3的16倍,达到1.6万亿个。

随着图像、音视频等多模态数据的引入,大模型的数据量也在飞速膨胀。这意味着想要玩转大模型,必须拥有大算力。

而一套垂直大模型的训练和推理成本,做个参考,在数字人垂类技术场景中,可以做到比Open AI同参数规模的模型低一个量级,像启元世界的战略总监王思捷就曾提到:先构建更小的垂类模型(比如百亿参数、十亿参数),让数据飞轮和模型训练能够很好结合,垂类模型在某些领域可能比Open AI的效果更好成本更低。

即便垂直大模型在算力要求上已远远低于通用大模型,但对算力基础设施的投入依然会阻挡部分小公司的入局。

再说算法。

在三要素中,算法的研发难度相对较低,每家公司都有自己实现大模型的路径算法,且有众多开源项目可作为参考,中国公司最容易缩短甚至抹平差距。

最后说数据。

高质量的数据是助力AI训练与调优的关键,足够多、足够丰富的数据,是AI大模型的根基。

OpenAI此前披露,为了AI像人类那样流畅交谈,研发人员给GPT-3.5提供多达45TB的文本语料,相当于472万套中国“四大名著”。这些语料的来源包括维基百科、网络文章、书籍期刊等,甚至还将代码开源平台Github纳入其中。

但是聚焦到细分行业,数据的获取就没那么容易了。

兴业证券公开表示,要训练专业的行业大模型,优质的行业数据、公共数据至关重要。

就国内数据市场而言,据发改委官方批露,我国政府数据资源占全国数据资源的比重超过3/4,但开放规模不足美国的10%,个人和企业可以利用的规模更是不及美国的7%。

而行业数据更是非常核心的私域数据,私域数据量越大,质量越高,就越有价值。

比如,一个医疗公司拥有大量医疗数据、病例数据,那么它就能开发出医疗垂直大模型类的产品。同理,建筑行业的项目数据、金融行业的用户画像数据、海运行业的船位数据等,都是赋能垂直大模型的关键。

但是这些私域数据都攥在企业自己手中,而且为了数据安全和合规,绝大部分机构是要本地化部署才会尝试大模型训练,很难想象企业会把自己的核心数据拿给别人去训练。

此外,如何合理地给数据打上分级标签、做好标注也非常重要。数据分级分类能够帮助产品提效,而高精度的标注数据能够进一步提升大模型的专业表现。

但现阶段垂直行业想要获取高精度标注数据的成本较高,而在公开数据库中,行业专业数据也较少,因此对垂直大模型的建构提出了很高的要求。

总体而言,想要做好垂直大模型,数据的重要性,远超过算力和算法。

数据,已成为企业突破垂直大模型的“卡点”。

手握行业数据领先一步

垂类大模型讲求应用与场景先行的逻辑,而在国内更是强调产业侧的价值。

一方面,在当前中国的智能化浪潮下,产业侧数字化革新本就有广阔的市场需求;另一方面,在toB生态下,基于垂直应用的实践也有利于形成数据飞轮与场景飞轮。

而这一切的前提,是推出垂类大模型的公司在该行业已建立技术壁垒与护城河,即“人无我有”的竞争优势。

如此看来,在垂直行业深耕多年的企业或将有更大的赢面。

这类企业在数据层面、大模型以及知识图谱方面都有较为深厚的积累,对于大模型的优化更具优势。同时,它们对于to B客户需求和落地场景有很深的理解,能够更好地保证垂直大模型产品的可信和可靠,满足企业级对于安全可控合规的需求。

目前,已有一些垂类大模型在金融、教育、医药、营销等场景中得到试炼。

例如,彭博社利用自身丰富的金融数据源,基于开源的GPT-3框架再训练,开发出了金融专属大模型BloombergGPT;

网易有道则面向教育场景,推出自研的类ChatGPT模型“子曰”;

在ChatGPT发布后仅几周,谷歌公布了一个专门用于回答医疗保健相关问题的大型医用语言模型Med-PaLM…

相信随着越来越多企业入局,垂直大模型在各个行业和细分领域中将大量涌现。而那些能将一个垂直领域做专、做透,用高质量的数据持续优化模型,跑通商业闭环,构建起产业生态的企业,最终将把价值链做到足够长。

【关于科技云报道】

专注于原创的企业级内容行家——科技云报道。成立于2015年,是前沿企业级IT领域Top10媒体。获工信部权威认可,可信云、全球云计算大会官方指定传播媒体之一。深入原创报道云计算、大数据、人工智能、区块链等领域。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/544601.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

ADS - lesson 1. Patch antenna

Patch antenna 1. 开启 layout command line editor2. layout command line editor应用3. 画馈线4. 插入端口5. EM 冲冲冲6. 结果 1. 开启 layout command line editor ADS主界面 - Tools - App Manager… - 勾选 “layout command line editor” 然后重启软件 2. layout co…

使用增强版 singleflight 合并事件推送,效果炸裂!

hello,大家好啊,我是小楼。 最近在工作中对 Go 的 singleflight 包做了下增强,解决了一个性能问题,这里记录下,希望对你也有所帮助。 singleflight 是什么 singleflight 直接翻译为”单(次)飞…

(4)STM32的SPI协议及LED点亮

目录 【1】SPI协议 SPI协议 2.SPI时序 【2】LCD液晶显示屏 显示屏 【3】点亮LCD显示屏 颜色填充 ​编辑 图片显示及英文显示 汉字显示 【1】SPI协议 SPI协议 SPI接口是摩托罗拉Motorola 首先提出的全双工三线/四线同步串行外围接口,采用主从模式(Master…

产业安全专家谈|如何为直播电商企业构建全面的风控防护?

微赞是一家专注微信生态的企业级直播营销服务提供商,其核心产品“微赞直播”集引流获客、交易变现、数据分析为综合一体,能够帮助客户开展在线内容营销。为提供客户更好的直播服务,微赞与腾讯安全展开合作,凭借微赞在私域营销领域…

MYSQL 一行数据拆分成多行数据

-- WH 拆分成多行 数据 20230519 SELECT * FROM ( SELECT SKU,Primary_Warehouse, SUBSTRING_INDEX(SUBSTRING_INDEX(WH, ,, n.digit1), ,, -1) as WH FROM TMP_WH_SKU INNER JOIN ( SELECT 0 digit UNION ALL SELECT 1 UNION ALL SELECT 2 UNION ALL SELECT 3 UNION ALL SELEC…

机器学习之KNN、Python实现

文章目录 一、前言二、KNN(1)简介(2)思想: "近朱者赤近墨者黑"(3)算法实现流程(4)k值得选定1. k值得作用2. 交叉验证选取 k值 三、KNN基于sklearn实现(1.&…

苹果XR头显简史:现实困境与未来预期

近几个月来,有关苹果MR头显的消息层出不穷,机构分析师大多认为6月份的WWDC23将会亮相。作为全新品类,苹果AR/VR备受期待的同时也有一些市场顾虑,例如因AR/VR产品成熟度问题,现阶段推出MR头显也饱受争议,甚至…

单例模式与多线程

文章目录 一、 简介二、详细介绍1. 立即加载/饿汉模式2. 延迟加载/懒汉模式3. 使用静态内置类实现单例模式4. 序列化和反序列化的单例模式5. 使用static代码块实现单例模式6. 使用enum枚举数据类型实现单例模式 一、 简介 在标准的23个设计模式中,单例模式在应用中…

传染病学模型 | SIR 、SEIR传染病学模型

文章目录 SIR传染病学模型SEIR传染病学模型参考资料SIR传染病学模型 SIR模型是一种流行病学模型,用于描述传染病在人群中的传播过程。SIR模型将人群分为三个类别:易感者(Susceptible)、感染者(Infectious)和康复者(Recovered)。三个类别之间的转移可以用以下三个微分方…

二、IOC容器(1)

一、IOC操作Bean管理 1.什么是Bean管理? Spring创建对象Spring注入属性Bean管理是2个操作 2.Bean管理操作有两种方式 基于xml配置文件方式实现基于注解方式实现 二、IOC操作Bean管理(基于xml方式) 1.基于xml方式创建对象 使用bean标签&…

new与delete用法详解与底层原理,operator new与operator delete函数,定位new与内存泄漏介绍等

tips 其实进程运行起来或者说程序运行起来都是去执行函数,任务就是不断的去执行函数。C的入口就是main函数,然后在这个函数当中可能碰到程序某些调用其他函数的语句就去调用其他函数。在全局的区域可以去创建变量,定义函数,但就是…

数据结构-栈,队列

栈,队列 1 知识框架2 栈2.1 顺序栈2.2 链式栈 3 队列3.1 顺序队列3.2 循环队列3.3 链式队列 4 数组4.1 二维数组4.2 特殊数组的压缩存储 1 知识框架 2 栈 定义:只允许在一端进行插入或删除得到线性表 栈的数学性质:n个不同元素进栈&#xff…

phpWord使用模板填充数据:包含表格及嵌套表格(多个表格/循环表格)

参考文档 模板处理 基础使用 安装过程省略,首先加载模板: $templateProcessor new TemplateProcessor(ROOT_PATH . uploads/template/自动生成模板.docx); 完整保存流程 首先,要进行测试,起码能够写一个完整的demo,以下是我测…

实验三---面向对象分析与设计——UML用例图与活动图

一、实验目的: 掌握面向对象分析中用例建模的基本思想,学会识别参与者和用例,掌握UML用例图的绘制方法,学会编写用例说明;了解活动图的作用和组成元素,掌握UML活动图的绘制方法,学会使用活动图来…

秒懂算法 | KMP算法(Java描述)

Knuth-Morris-Pratt 算法(简称 KMP)是由高德纳(Donald Ervin Knuth)和沃恩普拉特在1974年构思,同年詹姆斯H莫里斯也独立地设计出该算法,最终三人于1977年联合发表。该算法较Brute-Force算法有较大改进&…

门电路OD门

漏极开路输出的门电路(OD门) 为了满足输出电平的变换,输出大负载电流,以及实现“线与”功能,将CMOS门电路的输出级做成漏极开路的形式,称为漏极开路输出的门电路,简称OD(Open&#x…

【JVM】1. JVM与Java体系结构

文章目录 1.1. 前言🍉1.2. 参考书目🍉1.3. Java及JVM简介🍉1.4. Java发展的重大事件🍉1.5. 虚拟机与Java虚拟机🍉1.6. JVM的整体结构🍉1.7. Java代码执行流程🍉1.8. JVM的架构模型🍉…

4. QT中的鼠标键盘事件 --- 鼠标拖拽案例

1. 说明 在QT的控件或者窗口当中,如果对于当前鼠标或者键盘的功能需要自己定义,可以重写父类当中对应虚函数,主要包括以下几个: //键盘按键按下 virtual void keyPressEvent(QKeyEvent *event); //键盘按键抬起 virtual void ke…

为什么C++这么复杂还不被淘汰?

C是一门广泛使用的编程语言,主要用于系统和应用程序的开发。尽管C具有一些复杂的语法和概念,但它仍然是编程界的重量级选手,在编程语言排行榜中一直位居前列。为什么C这么复杂还不被淘汰呢? C有以下优势 1、C具有高性能 C是一门编…

unity进阶学习笔记:photonServer测试

photonServer是由photon发布的一个网络框架,其封装了UDP和TCP通信机制让用户可以直接调用API实现网络游戏通信 1 photonServer下载安装 进入Photon官网的SDK选项,选择下载Server。目前Server版本已经更新到v5,这里我为了和教程保持一致下载…