大模型微调有必要做吗?LoRa还是RAG?

news2024/11/23 12:26:10
  • 我需要对大模型做微调吗?

  • 想自定义大模型时,选择:微调还是RAG还是ICL?

需要对大模型做微调?

  • 在人工智能的世界里,大型语言模型(LLM)已经成为了我们探索未知、解决问题的得力助手。

  • 但是你想自己定义一个属于自己的大模型,它有自己特色的数据训练和回答方式。自己从头训练一个大模型的成本太高

  • 这时候可能需要考虑在已有的大模型上做:微调

  • 就像一个微整容手术一样,变得更帅

判断因素
是否需要特定领域的精确性?如果你的应用需要处理特定领域的数据,如医疗、法律或金融,并且需要高度的准确性和对专业术语的理解,那么微调可能是必要的。如果你的应用是通用的,或者不需要深入特定领域的专业知识,那么可能不需要微调。
是否需要定制化模型行为?如果你需要模型以特定的风格、语调或格式响应,或者需要它表现出特定的行为特征,微调可以帮助你实现这些定制化需求。如果模型的通用行为已经满足需求,或者你不需要特定的响应风格,那么微调可能不是必需的。
是否面临边缘案例的挑战?如果你发现模型在处理某些边缘或罕见案例时表现不佳,微调可以帮助改进这些特定情况的处理。如果模型在所有常见和边缘案例中都表现良好,那么微调可能不是必要的。
是否需要提高模型的可靠性?如果模型在遵循复杂指令或生成期望输出方面存在失败,微调可以提高其可靠性。如果模型已经足够可靠,能够满足你的输出要求,那么可能不需要微调。
是否需要降低成本?如果你希望通过微调将大型模型的技能转移到更小的模型中,以减少计算资源的使用和成本,那么微调是有益的。如果成本不是主要考虑因素,或者你不需要优化模型的大小和性能,那么微调可能不是必需的。
是否需要快速部署新任务?如果你需要模型快速适应新任务或能力,微调可以帮助你实现这一点。如果模型目前的任务已经足够,并且没有立即引入新任务的需求,那么微调可能不是必要的。
是否有足够的训练数据?如果你拥有足够的、高质量的、与任务相关的训练数据,微调可以显著提高模型的性能。如果缺乏足够的训练数据,或者数据质量不高,微调可能不会带来预期的效果。
是否对模型的透明度有要求?如果你的应用需要模型的决策过程是可解释的,微调可以帮助你更好地理解和控制模型的行为。如果模型的透明度不是关键考虑因素,那么可能不需要微调。
是否有足够的资源进行微调?如果你有足够的计算资源和专业知识来进行微调,那么这是一个可行的选项。如果资源有限,可能需要考虑其他方法,如上下文学习或使用现成的模型。

1. 定制化风格与格式

你是否需要一个能够模仿特定人物或服务于特定受众的聊天机器人?通过使用定制数据集对LLM进行微调,我们可以使其响应更加贴近受众的具体要求或预期体验。例如,你可能需要将输出结构化为JSON、YAML或Markdown格式。

2. 提高准确性,处理边缘案例

微调可以用来纠正那些通过提示工程和上下文学习难以修正的错误。它还可以增强模型执行新技能或任务的能力,这些任务在提示中难以表达。例如,Phi-2在金融数据分析上的准确率从34%提高到了85%,而ChatGPT在Reddit评论情感分析上的准确率提高了25个百分点。

3. 针对小众领域的优化

尽管LLM在大量通用数据上进行了训练,但它们可能并不总是精通每个小众领域的专业术语或特定细节。在法律、医疗或金融等多样化领域,微调已被证明可以提高下游任务的准确性。

4. 成本降低

微调可以将大型模型(如Llama 2 70B/GPT-4)的技能提炼到更小的模型中(如Llama 2 7B),在不牺牲质量的情况下降低成本和延迟。此外,微调减少了对长或特定提示的需求,从而节省了令牌,进一步降低了成本。

5. 新任务/能力

微调通常可以通过以下几种方式实现新的能力:

  • 使LLM更好地使用给定检索器的上下文或完全忽略它。

  • 评估其他LLM的指标,如基于事实的、合规性或有用性。

  • 增加LLM的上下文窗口。

微调的五种方法:

微调的五大方法

  1. Freeze 方法,即参数冻结,对原始模型部分参数进行冻结操作;

  2. P-Tuning 方法,参考 ChatGLM 官方代码 ,是针对于大模型的 soft-prompt 方法;

  3. LoRA 方法,的核心思想就是通过低秩分解来模拟参数的改变量,从而以极小的参数量来实现大模型的间接训练;

  4. AdaLoRA 方法是对 LoRA 的一种改进,并根据重要性评分动态分配参数预算给权重矩阵;

  5. QLoRA 方法,是使用一种新颖的高精度技术将预训练模型量化为 4 bit,并添加一小组可学习的低秩适配器权重。

微调方法对比

  • 一般我们说的微调分类会简化成:

  • 1.全参数微调:贵,慢,效果最佳

  • 2.LoRa:快,偏宜,佳

  • 3.改进LoRa:快,偏宜,佳

微调与其他技术对比

微调 vs. ICL

上下文学习(ICL)是一种强大的提高基于LLM系统性能的方法。鉴于其简单性,应该在进行任何微调活动之前尝试ICL。此外,ICL实验可以帮助你评估微调是否会提高下游任务的性能。

微调 vs. RAG

普遍的共识是,当LLM的基础性能不令人满意时,你可能会“从RAG开始,评估其性能,如果发现不足,转向微调”,或者认为“RAG可能优于微调”。然而,我们认为这种范式过于简单化了,因为有许多场景中,RAG不仅不是微调的替代品,而且更多地是微调的补充方法。

对比

特性/技术微调 (Fine-tuning)RAG (Retrieval-Augmented Generation)上下文学习 (In-Context Learning, ICL)
定义对预训练模型进行额外训练以适应特定任务或数据集。结合检索系统和生成模型,以提供更准确的信息。通过在输入中提供示例来指导模型完成特定任务。
使用成本较高,因为需要额外的训练数据和计算资源。较高,需要维护检索系统和训练成本。较低,不需要额外训练,但可能需要更多的输入示例。
准确性通常更高,特别是对于需要特定领域知识的复杂任务。可能更高,特别是在需要外部信息的任务中。可能因示例数量和质量而变化,但通常不如微调准确。
处理边缘案例有效,可以专门针对边缘案例进行训练。有效,可以通过检索相关信息来处理。受限于提供的示例,可能无法覆盖所有边缘情况。
定制化高度可定制,可以针对特定风格或格式进行优化。可定制,但受限于检索系统的能力。可定制,但需要精心设计的示例。
新任务/能力可以学习新任务,但可能需要大量数据。可以处理需要外部信息的新任务。可以处理新任务,但通常需要更多示例。
数据依赖性依赖于训练数据的质量和相关性。依赖于检索系统提供的数据。依赖于提供的示例数据。
更新频率需要定期重新训练以保持知识更新。需要更新检索系统以保持信息最新。无需更新,但示例可能需要更新以反映新信息。
维护难度较高,需要专业知识和资源进行训练和维护。较高,需要维护检索系统和生成模型。较低,主要涉及示例的更新和管理。
适用场景适合需要高度定制化和准确性的场景。适合需要结合大量外部信息的场景。适合快速原型设计和探索性任务。
成本效益分析对于需要高度定制化的应用,成本效益可能更高。对于需要实时检索信息的应用,成本效益可能更高。对于需要快速部署和较少资源投入的应用,成本效益最高。

结论

在大多数情况下,微调和RAG的混合解决方案将产生最佳结果。问题变成了进行两者的成本、时间和额外的独立收益。参考上述问题来指导你的决策,如果需要RAG和/或微调,并通过内部实验来理解通过分析错误可能获得的指标增益。最后,微调的探索确实需要一个健全的数据收集和数据改进策略,我们建议将其作为开始微调的前奏。

方法成本优势劣势特点使用场景
全参数微调- 能够捕捉到数据的细微特征
- 模型性能通常较好- 需要大量计算资源
- 训练时间长
- 容易过拟合- 所有参数都参与训练- 需要大量标注数据
- 适用于对模型性能要求极高的场景
LoRA- 减少参数量,节省计算资源
- 保持模型性能- 可能不如全参数微调的性能- 仅对部分参数进行微调- 资源有限但需要微调的场景
QLoRA- 比LoRA更灵活
- 可以更好地捕捉数据特征- 计算资源需求比LoRA高- 通过量化来减少参数量- 需要在保持性能的同时减少参数量的场景
RAG可高可低- 能够进行检索增强学习
- 可以处理长文本和复杂任务- 需要额外的检索系统
- 训练复杂度增加- 结合检索和生成- 需要处理大量信息和复杂查询的场景
ICL- 通过对比学习提高模型鲁棒性
- 可以处理不同的数据分布- 需要设计合适的对比样本- 通过对比学习进行微调- 需要提高模型泛化能力的场景

如何学习AI大模型?

大模型时代,火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业?”“谁的饭碗又将不保了?”等问题热议不断。

不如成为「掌握AI工具的技术人」,毕竟AI时代,谁先尝试,谁就能占得先机!

但是LLM相关的内容很多,现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学,学习成本和门槛很高

针对所有自学遇到困难的同学们,我帮大家系统梳理大模型学习脉络,将这份 LLM大模型资料 分享出来:包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴,可以 扫描下方二维码领取🆓↓↓↓

👉[CSDN大礼包🎁:全网最全《LLM大模型入门+进阶学习资源包》免费分享(安全链接,放心点击)]()👈

学习路线

在这里插入图片描述

第一阶段: 从大模型系统设计入手,讲解大模型的主要方法;

第二阶段: 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用;

第三阶段: 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统;

第四阶段: 大模型知识库应用开发以LangChain框架为例,构建物流行业咨询智能问答系统;

第五阶段: 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型;

第六阶段: 以SD多模态大模型为主,搭建了文生图小程序案例;

第七阶段: 以大模型平台应用与开发为主,通过星火大模型,文心大模型等成熟大模型构建大模型行业应用。

在这里插入图片描述

👉学会后的收获:👈

• 基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;

• 能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;

• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;

• 能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习框架等技术,这些技术的掌握可以提高程序员的编码能力和分析能力,让程序员更加熟练地编写高质量的代码。

在这里插入图片描述

1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集

👉获取方式:
😝有需要的小伙伴,可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2121073.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

uniapp业务实现

uni.requset添加异常判断提示,以及加载动画 /*** 该函数用于发送网络请求获取数据* 请求失败时会弹出相应的错误提示* 请求成功时会检查返回的数据是否存在错误,并根据错误代码做出相应处理* 如果数据请求成功且无错误,则将返回的数据赋值给pets变量*/fu…

NVIDIA Triton Inference Server 部署 yolov5

文章目录 一、拉取 tensorrt 、yolov5、tritonserver 镜像二、下载 yolov5-6.2、tensorrtx/yolov5-6.2源码三、pt转wts四、wts转engine五、创建triton推理服务器六、创建客户端进行测试 一、拉取 tensorrt 、yolov5、tritonserver 镜像 docker pull hakuyyf/tensorrtx:trt8.2_…

群晖NAS本地部署Photopea在线图片PS编辑工具

文章目录 前言1. 部署Photopea2. 运行Photopea3. 群晖安装Cpolar4. 配置公网地址5. 公网访问测试6. 固定公网地址 前言 本文主要介绍如何在群晖NAS本地部署Photopea在线图片PS编辑工具,并结合cpolar内网穿透实现公网环境远程访问本地部署的Photopea处理图片. Phot…

JAVA开源项目 员工绩效考核系统 计算机毕业设计

本文项目编号 T 021 ,文末自助获取源码 \color{red}{T021,文末自助获取源码} T021,文末自助获取源码 目录 一、系统介绍1.1 业务分析1.2 用例分析 二、演示录屏三、启动教程四、功能截图五、文案资料5.1 选题背景5.2 国内外研究现状5.3 可行…

梧桐数据库|中秋节活动·抽奖领取大闸蟹

有话说 众所周不知,我的工作就是做一个国产的数据库产品—中国移动梧桐数据库(简称WuTongDB)。 近期我们举办了一次小活动,来提升梧桐数据库的搜索量和知名度,欢迎大家来参加,免费抽奖领取大闸蟹哦~~~ 具…

AIGC入门:Comfyui整合包,解压即用!

前言 今天给大家分享的Comfyui的整合包,无需复杂的操作,解压即可使用。 整合包已经打包好了,获取方式放在👇,需要的朋友可以自行领取哦。 什么是Comfyui ComfyUI采用节点式的操作方式,这种方式让用户能…

有哪些好用的终端行为审计系统?

终端行为审计软件是用于监控、记录和分析计算机终端操作行为的工具,它们对于提高企业信息安全管理、防止内部数据泄露和提升内控水平至关重要。 1. 金刚钻信息网站行为审计系统:通过细粒化审计终端用户行为,提供文件操作日志、文件外发日志、…

WRF-LES与PALM微尺度气象大涡模拟、PALM静态数据预备、PALM驱动数据预报、PALM模拟

查看原文>>>WRF-LES与PALM微尺度气象大涡模拟及ChatGPT在大气科学领域应用 针对微尺度气象的复杂性,大涡模拟(LES)提供了一种无可比拟的解决方案。微尺度气象学涉及对小范围内的大气过程进行精确模拟,这些过程往往与天气…

2024年身份验证技术应用的10大发展趋势

文章目录 前言一、无密码身份验证1、流行的无密码身份验证方法二、基于行为的身份识别技术1、主流的行为身份识别技术三、社交媒体授权登录1、应用社交媒体授权登录的好处四、去中心化身份验证1、去中心化身份验证的主要功能和优点五、自适应身份验证六、身份威胁检测和响应(I…

远程搜索:remote-method

为了启用远程搜索,需要将filterable和remote设置为true,同时传入一个remote-method。remote-method为一个Function,它会在输入值发生变化时调用,参数为当前输入值。需要注意的是,如果el-option是通过v-for指令渲染出来…

吐血整理nacos 作为springcloud的配置中心和注册中心

吐血整理nacos 作为配置中心和注册中心 环境版本nacos 版本 nacos启动单机模式启动配置数据库 Spring cloud 连接注册Nacos配置中心导入依赖 注册中心 环境版本 SpringBoot版本SpringCloud版本cloud Alibaba版本2.6.132021.0.52021.0.5.0 参照依据 spring-cloud-alibab 对应…

公众号赠书给您,祝您教师节快乐!

在此教师节即将来临之际,《人工智能怎么学》公众号恭祝各位老师们节日快乐! 为了对各位老师表示最崇高的敬意,特开展教师节赠书活动。您只需要在9月15号22点前扫描下方二维码填写登记表,前5位登记的老师,每人均可获赠…

关于网卡用一会就无法使用的处理

1、背景 使用ubuntu 18操作系统,部署的.net 6的数采程序,使用嵌入式边缘计算终端,有一个网口,一个 wifi,一个中兴随身WIFI。数据程序通过网口与三菱Q系例PLC的转换器网口通讯,采集频率每60秒读一次PLC的点位…

DFS算法专题(二)——穷举vs暴搜vs深搜vs回溯vs剪枝【OF决策树】

目录 1、决策树 2、算法实战应用【leetcode】 2.1 题一:全排列 2.2.1 算法原理 2.2.2 算法代码 2.2 题二:子集 2.2.1 算法原理【策略一】 2.2.2 算法代码【策略一】 2.2.3 算法原理【策略二,推荐】 2.2.4 算法代码【策略二&#x…

【人工智能】Transformers之Pipeline(十六):表格问答(table-question-answering)

​​​​​​​ 目录 一、引言 二、表格问答(table-question-answering) 2.1 概述 2.2 基于BERT的表格问答模型—TAPAS(TAble PArSing) 2.3 应用场景​​​​​​​ 2.4 pipeline参数 2.4.1 pipeline对象实例化参数 2.4…

mysql 限制用户登录次数超过3次就 锁定账户在一段时间内不运行操作

这里是引用 主要实现步骤: 1.目测安装的mysql版本得是5.7.40往上,因为我的版本是5.7.14发现里面没有控制等下限制这个插件,插件具体的查看是在你安装目录下的lib/pugin下面 比如我的:C:\zz\ProgramFiles\MySQL\MySQL Server 5.7\l…

【VSCode扩展】通义灵码运行提示“此应用无法在你的电脑上运行”

🤵 作者:coderYYY 🧑 个人简介:前端程序媛,目前主攻web前端,后端辅助,其他技术知识也会偶尔分享🍀欢迎和我一起交流!🚀(评论和私信一般会回&#…

AI模型“减肥”风潮:量化究竟带来了什么?

量化对大模型的影响是什么 ©作者|YXFFF 来源|神州问学 引言 大模型在NLP和CV领域的广泛应用中展现了强大的能力,但随着模型规模的扩大,对计算和存储资源的需求也急剧增加,特别是在资源受限的设备上面临挑战。量化技术通过将模型参数和…

【Transformer】Post-Norm和Pre-Norm

文章目录 Transformer中使用的Post-Norm大模型常用的Pre-NormPre-Norm一定比Post-Norm好吗?二者区别总结参考资料 Pre-Norm和Post-Norm的区别,是面试官非常喜欢问的问题。下面我们按照时间线,尽可能直白地讲清楚二者的区别。 直观来讲&#x…

【MySQL】MySQL表的增删改查(进阶篇)——之约束条件

前言: 🌟🌟本期讲解关于MySQL表增删查改进阶篇,希望能帮到屏幕前的你。 🌈上期博客在这里:http://t.csdnimg.cn/cF0Mf 🌈感兴趣的小伙伴看一看小编主页:GGBondlctrl-CSDN博客 目录 …