为什么说大模型微调是每个人都必备的核心技能？

news2024/11/17 8:21:38

▼最近直播超级多，预约保你有收获

近期直播：《基于开源 LLM 大模型的微调（Fine tuning）实战》

0 —

为什么要对 LLM 大模型进行微调（Fine tuning）？

LLM 大模型（比如：ChatGPT-4.0）已经很强大了，为什么还需要微调？

主要有如下 4 点原因：

第一、缺乏专有数据，比如：企业内部的私有数据。

第二、缺乏最新数据，比如：GPT-4的训练数据截止到2021年9月。

第三、预训练成本高，比如：GPG-3 预训练成本为140万美金。

第四、提升数据安全性，比如：企业私有数据是不能传递给第三方大模型的，基于开源大模型的微调才能满足业务的需求。

— 1 —

如何对 LLM 大模型进行微调（Fine tuning）？

从参数规模的角度，对大模型进行微调（Fine tuning）有两条技术路线：

第一、对全量的参数，进行全量的训练，叫做全量微调 Full Fine Tuning，简称 FFT。

第二、只对部分参数进行训练，叫做 Parameter-Efficient Fine Tuning，简称 FEFT。

FFT 的原理，就是用特定的数据，对 LLM 大模型进行训练，将 W 变成 W`，W` 相比 W ，最大的改进点就是在上述特定数据领域的表现会好很多。

但 FFT 也会带来一些问题，主要有以下两个：

第一、训练的成本会比较高，因为微调的参数量跟预训练的是一样多；

第二、灾难性遗忘（Catastrophic Forgetting），用特定训练数据去微调可能会把这个领域的表现变好，但也可能会把原来表现好的别的领域的能力变差。比如：把 LLM 大模型的编程能力进行了调优，有可能会导致在文学创造等方面能力降低，如何在微调的过程中，同时兼顾各个能力维度，目前也是学术界研究的热点之一。

PEFT 主要解决就是 FFT 存在的上述两个问题，PEFT 也是目前比较主流的微调方案。

从训练数据的来源和训练方法的角度，LLM 大模型的微调有以下几条技术路线：

第一、监督式微调 Supervised Fine Tuning，简称 SFT，这个方案主要是用人工标注的数据，用传统机器学习中监督学习的方法，对 LLM 大模型进行微调。

第二、基于人类反馈的强化学习微调 Reinforcement Learning from Human Feedback，简称 RLHF。这个方案的主要特点是把人类反馈，通过强化学习方式，引入到对 LLM 大模型的微调中，让 LLM 大模型生成结果，更加符合人类的期望。

第三、基于 AI 反馈的强化学习微调 Reinforcement Learning with AI Feedback)，简称 RLAIF。这个原理和 RLHF 类似，但是反馈的来源是 AI。这里是想解决反馈系统的效率问题，因为收集人类反馈，相对来说成本会比较高、效率比较低。比如：ChatGPT-4.0 通过训练奖励模型来对 LLM 大模型的回答进行打分，激励 ChatGPT-4.0 正向迭代优化。

不同的分类角度，只是侧重点不一样，对同一个 LLM 大模型的微调，也不局限于某一个方案，可以多个方案组合调优。

微调的最终目的，是能够在可控成本的前提下，尽可能地提升 LLM 大模型在特定领域的综合能力。

— 2 —

主流部分参数 PEFT 微调（Fine tuning）方案剖析

第一、Prompt Tuning，它的出发点Prompt-tuning 给每个任务定义了自己的 Prompt，拼接到数据上作为输入，同时 freeze 预训练模型进行训练，在没有加额外层的情况下，可以看到随着模型体积增大效果越来越好，最终追上了 LLM 大模型精调的效果。