14-8 小型语言模型的兴起

news2024/11/19 19:22:38

过去几年,我们看到人工智能能力呈爆炸式增长,其中很大一部分是由大型语言模型 (LLM) 的进步推动的。GPT-3 等模型包含 1750 亿个参数,已经展示了生成类似人类的文本、回答问题、总结文档等能力。然而,虽然 LLM 的能力令人印象深刻,但它们庞大的规模导致效率、成本和可定制性方面的缺点。这为一种名为小型语言模型 (SLM) 的新兴模型类别打开了大门。

让我们深入了解小型语言模型的兴起:

  • 什么是小语言模型?
  • 开发小型语言模型的动机——效率、成本、可定制性
  • 有用的语言模型可以有多小?
  • 训练高效小语言模型的方法
  • 小型语言模型大放异彩的示例应用
  • 支持创建自定义 SLM 的开发人员框架
  • 空间激光雷达发展与部署的未来机遇与挑战

最后,您将了解小型语言模型在以可定制和经济的方式将语言 AI ​​的强大功能带到更专业领域的前景。

什么是小语言模型?

语言模型是针对大型文本数据集进行训练的 AI 系统,可实现生成文本、总结文档、语言间翻译和回答问题等功能。小型语言模型可以满足大部分相同的需求,但模型大小明显较小。但小型语言模型由什么构成?

研究人员通常认为,参数少于 1 亿的语言模型相对较小,有些甚至会将参数限制在 1000 万或 100 万的较低阈值。相比之下,如今规模庞大的模型参数超过 1000 亿,例如上述 OpenAI 的 GPT-3 模型。

较小的模型尺寸使小型语言模型比最大的模型更高效、更经济、更可定制。然而,它们的整体能力较低,因为语言模型中的模型容量已被证明与尺寸相关。确定实际应用的最佳模型尺寸需要在灵活性和可定制性与纯粹的模型性能之间进行权衡。

小型语言模型的动机

如上所述,与大型语言模型相比,小型语言模型在效率、成本和可定制性方面具有先天优势。让我们更详细地分析一下这些动机:

效率

由于参数较少,小型语言模型在以下几个方面的计算效率明显高于 GPT-3 等大型模型:

  • 由于每个输入需要执行的参数更少,因此它们的推理速度/吞吐量更快
  • 由于整体模型尺寸较小,它们需要的内存和存储空间也较少
  • 较小的数据集足以训练小型语言模型。随着模型容量的增长,对数据的需求也随之增长。

这些效率优势可直接转化为成本节省:

成本

大型语言模型需要大量的计算资源来训练和部署。据估计,OpenAI 开发 GPT-3 的成本约为数千万美元,包括硬件和工程成本。由于资源需求,当今许多公开的大型语言模型尚未盈利。

同时,小型语言模型可以很容易地在许多企业可用的商用硬件上进行训练、部署和运行,而无需花费太多资金。它们合理的资源需求开启了边缘计算的应用,它们可以在低功耗设备上离线运行。总的来说,短期内找到小型语言模型盈利应用的潜力更大。

可定制性

小型语言模型相对于大型语言模型的一个关键优势是可定制性。虽然 GPT-3 等模型在许多任务中表现出了强大的多功能性,但它们的功能仍然代表了一种在各个领域之间平衡性能的折衷解决方案。

另一方面,小型语言模型可以很容易地适应更狭窄的领域和专门的应用。凭借更快的迭代周期,小型语言模型使得通过以下方法尝试针对特定类型的数据定制模型成为可能:

  • 预训练——在特定领域的数据集上启动小模型
  • 微调——持续训练以优化最终任务数据
  • 基于提示的学习——针对专门应用优化模型提示
  • 架构修改——调整模型结构以适应特定任务

对于大型模型来说,这些定制过程变得越来越困难。小型语言模型不仅易于访问,还提供了开发人员可以根据其特定需求进行调整的规范。

有用的语言模型可以有多小?

考虑到上述最小化模型尺寸的动机,一个自然而然的问题出现了——我们可以将语言模型缩小到什么程度,同时仍然保持强大的功能?最近的研究继续探索完成不同语言任务所需的模型规模的下限。

许多研究发现,现代训练方法只需 100 万到 1000 万个参数就能让模型具备基本的语言能力。例如,2023 年发布的一个 800 万个参数的模型在既定的 GLUE 自然语言理解基准上达到了 59% 的准确率。

随着模型容量的增加,性能不断提高。 2023 年的一项研究发现,在从推理到翻译的各个领域,一旦语言模型达到约 6000 万个参数,不同任务的有用能力阈值就会一致通过。 然而,在 2 亿到 3 亿个参数规模之后,回报就会减少——增加额外的容量只会带来渐进的性能提升。

这些发现表明,即使是中型语言模型,只要接触到足够多的正确训练数据,也能在许多语言处理应用中达到合理的能力。然后,性能会达到一个平台期,在这个平台上,大量的计算和数据似乎没有提供什么额外的价值。商业上可部署的小型语言模型的最佳点可能就在这个平台期附近,在广泛的能力和精益的效率之间取得平衡。

当然,经过深度而非广泛调整的专门小语言模型可能需要更少的容量才能在小众任务中脱颖而出。我们稍后会介绍一些应用用例。但首先,让我们概述一下有效训练紧凑但功能强大的小语言模型的流行技术。

高效小型语言模型的训练方法

积极训练日益熟练的小型语言模型依赖于在学习过程中增强数据效率和模型利用率的方法。与大型模型的简单训练相比,这些技术最终为每个参数赋予了更多的能力。我们将在这里分解一些流行的方法:

迁移学习

大多数现代语言模型训练都利用了某种形式的迁移学习,其中模型通过首先在广泛的数据集上进行训练来引导能力,然后再专门针对狭窄的目标领域。初始预训练阶段将模型暴露给广泛的语言示例,这对于学习一般的语言规则和模式很有用。

尽管参数预算有限,但小型语言模型可以在预训练期间捕捉到这种广泛的能力。然后,专业化阶段可以针对特定应用进行细化,而无需扩大模型规模。总体而言,迁移学习大大提高了训练小型语言模型的数据效率。

自监督学习

迁移学习训练通常利用自监督目标,其中模型通过预测输入文本序列中被屏蔽或损坏的部分来发展基础语言技能。这些自监督预测任务可作为下游应用程序的预训练。

最近的分析发现,自监督学习似乎特别有效地赋予小型语言模型强大的能力——比大型模型更有效。通过将语言建模呈现为交互式预测挑战,自监督学习迫使小型模型从显示的每个数据示例中进行深度概括,而不是简单地被动地记住统计数据。这在训练期间可以更充分地利用模型容量。

架构选择

并非所有神经网络架构都具有同等的参数效率,可用于语言任务。精心选择架构可将模型容量集中在对语言建模至关重要的领域,例如注意力机制,同时剥离不太重要的组件。

例如,Efficient Transformers 已成为一种流行的小型语言模型架构,它在训练过程中采用了知识蒸馏等各种技术来提高效率。相对于基线 Transformer 模型,Efficient Transformers 实现了类似的语言任务性能,而参数减少了 80% 以上。有效的架构决策可以放大公司从有限规模的小型语言模型中提取的能力。

上述技术推动了快速发展,但如何最有效地训练小型语言模型仍有许多悬而未决的问题。随着小型语言模型扩展到新领域,确定模型规模、网络设计和学习方法的最佳组合以满足项目需求将继续让研究人员和工程师忙个不停。接下来,我们将重点介绍一些开始采用小型语言模型和定制 AI 的应用用例。

小型语言模型大放异彩的示例应用
 

尽管人们对人工智能的热情通常集中在吸引眼球的大型模型上,但许多公司已经通过部署根据其特定需求定制的小型语言模型找到了实用性。我将重点介绍一些代表性示例,例如金融和娱乐领域,在这些领域中,紧凑、专业的模型正在创造商业价值:

更多资讯,请访问 2img.ai

金融机构生成大量数字数据和文档,可以使用小型定制语言模型来提取见解。具有高投资回报率的用例包括:

  • 交易分类器自动使用会计类别对发票项目进行编码,以加快输入簿记系统的速度。
  • 情绪模型从收益电话会议记录中提取意见,通过检测管理层基调的变化来产生交易信号。
  • 自定义实体有助于将非结构化银行对账单系统化为标准化数据报告业务收入,以进行贷款风险分析。

这些应用程序将语言人工智能转化为直接流程自动化,并改进现有财务工作流程中的分析能力——加速盈利模式,而不是仅仅猜测技术前景。风险管理在金融服务中仍然至关重要,更倾向于狭义的语言模型,而不是通用智能。

娱乐

随着创造性过程与先进技术的融合,媒体、游戏和相关娱乐垂直行业成为语言 AI ​​解决方案最具前瞻性的采用者:

  • 小型语言模型利用自然语言生成,自动创建动画的初稿脚本或散文,创作者随后对其进行完善,从而大幅提高个人生产力。
  • 在开放世界游戏中,对话模型会根据用户环境生成动态对话树,从而扩大虚拟现实范围内的交互自由。
  • 更强大的语言分析功能丰富了娱乐元数据,例如通过字幕内容的模式识别电影主题,以便推荐引擎更好地将观众与他们的独特兴趣联系起来。

娱乐的创意空间为探索小型语言模型生成前沿提供了理想的试验台。尽管鉴于模型的局限性,当前的应用仍需监督,但小型语言模型的效率为开发人员提供了充足的空间来探索创意潜力。

ParagogerAI训练营 2img.ai

用于构建自定义 SLM 的开发人员框架

那么,既然前景如此光明,开发人员如何才能真正开始构建专门定制的小型语言模型呢?开源技术让企业跨领域、跨规模地实现定制语言 AI。以下全方位服务平台能够以经济高效的方式创建和部署定制的小型语言模型:

🤗 Hugging Face Hub — Hugging Face 提供统一的机器学习操作平台,用于托管数据集、编排模型训练管道以及通过 API 或应用程序高效部署预测。他们的 Clara Train 产品专注于最先进的自监督学习,用于创建紧凑但功能强大的小型语言模型。

Anthropic Claude — 由专注于模型安全的 ConstitutionalAI 的开发者开发,Claude 只需几行代码即可轻松训练自定义分类器、文本生成器、摘要器等。内置安全约束和监控可抑制部署期间的潜在风险。

✨ Cohere for AI — Cohere 提供了一个开发人员友好的平台,用于从自己的训练数据或导入的自定义集中提取多达 100 万个参数来构建语言模型。客户端托管选项提供端到端隐私合规性。

Assembler — Assembler 提供用于开发专门针对特定数据输入的读取器、编写器和分类器小型语言模型的工具。其简单的 Web 界面掩盖了模型创建和监控的基础设施复杂性。

上述服务体现了现在已准备好探索语言 AI ​​可能性的公司可以实现的交钥匙体验。机器学习专业知识本身很有帮助,但对于合适的合作伙伴来说,这不再是硬性先决条件。这使得更多行业能够从 AI 专业化中创造价值。

特定领域 SLM 的出现

到目前为止,我们已经介绍了小型语言模型的一般功能,以及它们与大规模通用 LLM 相比在效率、定制和监督方面的优势。然而,通过在小众数据集上进行训练,SLM 还擅长处理专门的用例。

随着大型语言模型规模的扩大,它们变得样样精通,但样样不精。它们的知识和表现在不同领域逐渐减弱。此外,将敏感数据暴露给外部 LLM 会带来数据泄露或滥用方面的安全、合规和专有风险。

这些限制促使各行各业的组织使用内部数据资产开发自己的小型、特定领域的语言模型。定制可以更好地满足他们特定的准确性和安全性需求。接下来我们重点介绍一些主要示例。

金融小语言模型

金融公司还部署 SLM 以满足分析收益表、资产估值、风险建模等需求。领域熟练程度是强制性的,但敏感数据不能泄露到外部。

例如,软银旗下的 Fortia 使用客户数据构建了定制的 SLM,以预测货币汇率和套利交易机会。紧密的专注度使其优于通用的 LLM,低延迟可实现自动化。数据安全也至关重要。

专业领域 SLM 的优势

是什么推动了各个组织和行业开发专有领域特定 SLM?有几个关键优势脱颖而出:

卓越的准确性:针对具有一般语料库无法捕捉到的特性的细分数据集进行专门的模型训练,与外部 LLM 相比,其准确性大幅提升。使用权重印记、适配器模块和自我训练等领域自适应技术增强模型可进一步提高准确性。

保密性:依赖通用外部模型会迫使敏感 IP、财务、医疗保健或其他机密数据暴露在外部。但内部训练的 SLM 的严格架构边界可降低数据泄露或滥用的风险。这也提供了合规性优势。

响应能力:组织拥有完整的模型开发生命周期,可进行微调,以精确匹配客户支持流程等专业用例。直接控制可以在数小时或数天内修改和重新部署模型,而无需与外部 LLM 提供商进行长达一个月的协调。敏捷性可加快迭代速度。

成本效益:大型语言模型不仅需要高昂的训练成本,还需要按查询收费。建立自己的模型可以长期摊销费用。尽管一些过大的数据集仍然受益于预先训练的 LLM 基础,但将学习转移到专门的头脑中。

专用 SLM 面临的挑战

专门的 SLM 确实面临着采用障碍,以平衡优势:

数据充足性:许多组织缺乏大量结构化数据集来从头开始训练稳健的模型。在基础模型之上使用少样本学习适配器等替代方法会有所帮助,但一些数据密集型应用程序仍受益于外部通用模型。不过,增强等数据利用技术会有所帮助。

模型治理:开发性能可靠的 SLM 需要对开发人员工作流程、仪表、模型操作和监督进行投资,而这远远超出了当今许多团队的能力。负责任的专业 AI 仍然需要治理扩展专业知识,即使对于小型模型也是如此。进步依赖于 DevOps 的成熟。

维护成本:即使是紧凑型模型也需要维护,因为数据会发生变化。但 SLM 的监控负担和重建要求比 LLM 要轻得多。尽管如此,由于模型被视为消耗品,随着时间的推移,模​​型腐烂会削弱可靠性。致力于生命周期管理是关键。

小型语言模型的未来机遇与挑战

小型语言模型带来的效率、多功能性和易用性,标志着新一轮工业人工智能应用浪潮的开始,该浪潮针对垂直需求而非一刀切的解决方案量身定制。随着开发人员掌握这些新的可定制代码库所带来的影响,创新空间仍然巨大。

然而,考虑到语言模型固有的社会技术复杂性,即使在小规模的情况下,负责任的实施方面的实践和勤勉也至关重要。最后,让我们简要强调一下未来的有希望的机遇和关键挑战:

机遇

  • 定制化可以弥补通用人工智能服务不足的行业的专业空白,而语言辅助可以提高成果。
  • 混合智能与人类领域专家的结合很可能在短期内被证明是最具建设性的,设计人工智能是为了增强而不是取代工作。
  • 高效训练技术和多任务模型架构的持续进步将进一步扩展小型语言模型的功能。
  • 随着更有针对性的商业回报在各个垂直领域更快地显现出来,定制语言人工智能的采用势头可能会超过普遍采用。

挑战:

  • 在敏感用例中过度依赖人工智能可能会忽视人类的专业知识和做出社会明智决策所需的监督。
  • 当应用模型做出超出其专门训练分布的不受支持的推理时,数据质量和概念漂移问题会迅速加剧。
  • 由于大量小模型掩盖了特定输出产生的原因,尤其是根据行业数据进行个性化时,透明度将变得更加难以捉摸。
  • 恶意利用仍然是任何蓬勃发展的技术所面临的一个问题,需要采取措施防止语言模型直接或间接造成伤害。

只要重视负责任的开发原则,小型语言模型就有可能在未来几年内让大量行业变得更好。随着专业化人工智能的出现,我们才刚刚开始看到这些可能性。

结论

  • 小型语言模型的构成以及它们在功能上与当今规模最大的模型相比如何
  • 效率、成本节约和可定制性等动机推动人们采用小型语言模型而不是通用语言 AI
  • 模型小型化的前沿——通过现代训练技术,语言模型可以缩小到多小,同时保留强大的功能?
  • 现实世界中,公司将专门的小型语言模型应用于教育、医药、金融和娱乐等垂直领域的案例
  • 开发人员资源使企业能够从对 AI 的兴趣转向使用定制语言模型进行实施

小型语言模型的体验式技术将语言 AI ​​的广泛热议提炼为可供商业团队和用户使用的实用构建模块。ParagogerAI训练营 2img.ai

该行业仍处于起步阶段,随着专业模型的传播,解锁新应用需要开发人员的创造力和对影响的深思熟虑。但现在出现的可定制语言智能似乎有望推动 AI 生产力的下一阶段。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1896316.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Redis深度解析:核心数据类型与键操作全攻略

文章目录 前言redis数据类型string1. 设置单个字符串数据2.设置多个字符串类型的数据3.字符串拼接值4.根据键获取字符串的值5.根据多个键获取多个值6.自增自减7.获取字符串的长度8.比特流操作key操作a.查找键b.设置键值的过期时间c.查看键的有效期d.设置key的有效期e.判断键是否…

免杀笔记 ---> PE

本来是想先把Shellcode Loader给更新了的,但是涉及到一些PE相关的知识,所以就先把PE给更了,后面再把Shellcode Loader 给补上。 声明:本文章内容来自于B站小甲鱼 1.PE的结构 首先我们要讲一个PE文件,就得知道它的结构…

Appium+python自动化(四十二)- 寿终正寝完结篇 - 结尾有惊喜,过时不候(超详解)

1.简介 按照上一篇的计划,今天给小伙伴们分享执行测试用例,生成测试报告,以及自动化平台。今天这篇分享讲解完。Appium自动化测试框架就要告一段落了。 2.执行测试用例&报告生成 测试报告,宏哥已经讲解了testng、HTMLTestRun…

springboot整合Camunda实现业务

1.bean实现 业务 1.画流程图 系统任务,实现方式 2.定义bean package com.jmj.camunda7test.process.config;import lombok.extern.slf4j.Slf4j; import org.camunda.bpm.engine.TaskService; import org.camunda.bpm.engine.delegate.JavaDelegate; import org.…

开源大模型和闭源大模型,打法有何区别?

现阶段,各个公司都有自己的大模型产品,有的甚至不止一个。除了小部分开源外,大部分都选择了闭源。那么,头部开源模型厂商选择开源是出于怎样的初衷和考虑?未来大模型将如何发展?我们来看看本文的分享。 在对…

Hi3861 OpenHarmony嵌入式应用入门--SNTP

sntp(Simple Network Time Protocol)是一种网络时间协议,它是NTP(Network Time Protocol)的一个简化版本。 本项目是从LwIP中抽取的SNTP代码; Hi3861 SDK中已经包含了一份预编译的lwip,但没有…

基于布雷格曼偏差校正技术的全变分一维时间序列信号降噪方法(MATLAB R2018A)

信号降噪是信号处理的重要步骤之一,目的是提高所获得信号数据的质量,以达到更高的定性和定量分析精度。信号降噪能提升信号处理其他环节的性能和人们对信息识别的准确率,给信号处理工作提供更可靠的保证。信号降噪的难点是降低噪声的同时也会…

如何压缩视频大小,怎么压缩视频

随着科技的进步,我们拍摄的视频质量越来越高。然而,视频带来的一个问题是文件体积巨大,这不仅占用大量存储空间,而且在传输和分享时也造成了不小的困扰。别担心,本文将为你详细介绍几种实用的视频压缩方法,…

xmind2testcase工具将测试用例从Xmind转为CSV导入禅道

使用xmind编写测试用例,使用xmind2testcase工具将测试用例从Xmind转为CSV导入禅道,便于管理。 1.工具准备 第一步:安装python 第二步:安装xmind2testcase工具 运行-cmd-打开命令提示符弹窗,输入安装命令 安装命令&…

粉丝问:教育机构首页UI,安排

教育机构的首页UI应该展现以下内容: 机构简介:在首页上展示教育机构的简介和核心价值观,包括机构的使命、愿景和教育理念。这有助于让访问者了解机构的背景和宗旨。课程和项目:展示机构提供的课程和项目,包括学科课程…

AGI|Transformer自注意力机制超全扫盲攻略,建议收藏!

一、前言 2017年,谷歌团队推出一篇神经网络的论文,首次提出将“自注意力”机制引入深度学习中,这一机制可以根据输入数据各部分重要性的不同而分配不同的权重。当ChatGPT震惊世人时,Transformer也随之进入大众视野。一夜之间&…

PMP--知识卡片--波士顿矩阵

文章目录 记忆黑话概念作用图示 记忆 一说到波士顿就联想到波士顿龙虾,所以波士顿矩阵跟动物有关,狗,牛。 黑话 你公司的现金牛业务,正在逐渐变成瘦狗,应尽快采取收割策略;问题业务的储备太少&#xff0…

测量和检测二合一的劳易测解决方案

劳易测ODT3CL系列是一款基于TOF原理的具有测量功能的传感器。它具有很好的检测性能,能够非常可靠的检测亮色、深色以及高反光的物体。ODT 3CL系列的检测距离可达2000毫米,在量程范围内对目标物体的颜色检测不敏感,检测距离稳定输出。 针对工业…

浅析基于量子成像的下一代甚高灵敏度图像传感器技术

高灵敏度探测成像是空间遥感应用中的一个重要技术领域,如全天时对地观测、空间暗弱目标跟踪识别等应用,对于甚高灵敏度图像传感器的需求日益强烈。随着固态图像传感器技术水平的不断提高,尤其背照式及埋沟道等工艺的突破,使得固态…

相机光学(二十四)——CRA角度

CRA角度 0.参考资料1.什么是CRA角度2.为什么 CRA 会导致luma shading3.为什么 CRA 会导致color shading4.CRA相差过大的具体表现5.CRA Matching6.怎样选择sensor的CRA 0.参考资料 1.芯片CRA角度与镜头的匹配关系(一)   2.芯片CRA角度与镜头选型的匹配关…

谷粒商城学习-07-虚拟机网络设置

文章目录 一,找到配置文件Vagrantfile二,查询虚拟机网卡地址1,查看虚拟机网络配置2,查看宿主机网络配置 三,修改配置文件下的IP配置四,重新启动虚拟机即可生效五,Vagrantfile 的作用1&#xff0…

护眼落地灯哪个牌子好?盘点五款必入不踩雷的护眼大路灯

护眼落地灯哪个牌子好?在这个快节奏的时代,护眼落地灯已经从一种高端选择转变为日常用眼生活中的必须品。不论是提升普通照明,还是针对孩子学习是改善光线质量环境,一款优秀的护眼落地灯都能成为我们生活中的照明神器。怎么选择一…

QT+OpenCV在Android上实现人脸实时检测与目标检测

一、功能介绍 在当今的移动应用领域,随着技术的飞速发展和智能设备的普及,将先进的计算机视觉技术集成到移动平台,特别是Android系统中,已成为提升用户体验、拓展应用功能的关键。其中,目标检测与人脸识别作为计算机视…

固相提取铕和铀

固相萃取(Solid Phase Extraction,SPE)是一种常用的化学分离技术,它利用固体吸附剂(固定相)与样品中的目标化合物(流动相)之间的相互作用力,将目标化合物从样品中分离出来…

【数据结构】(C语言):堆(二叉树的应用)

堆: 此处堆为二叉树的应用,不是计算机中用于管理动态内存的堆。形状是完全二叉树。堆分两种:最大堆,最小堆。最大堆:每个节点比子树所有节点的数值都大,根节点为最大值。最小堆:每个节点比子树…