大模型常见的LoRA算法原理、实现和运用详解

news2024/9/24 17:17:06

文章目录

1. 前言
2. 算法介绍
- 2.1 微调
- 2.2 核心思想
3. 几个关键问题
- 3.1 LoRA如何应用在Transformer上
- 3.2 LoRA的最佳秩r如何选择
- 3.3 $W$ 和 $\Delta W$ 有什么关系
4. 源码
5. 实际应用
6. 总结
7. 参考

1. 前言

本文是常用算法的快速浏览入门（扫盲），结合论文+代码，从原理、实现以及实际应用上深入介绍。

LoRA（Low-Rank Adaptation）是一种用于在预训练模型基础上进行高效微调（Fine-Tuning）的算法，特别适用于大规模语言模型（LLMs）。LoRA 通过引入低秩矩阵的方式来适应和调整模型参数，从而在保持预训练模型原有能力的同时，显著减少微调的计算成本和存储需求。（以上如果看不明白，往后看完一定能懂！）

简言 LoRA：

（1）适用：预训练之后的微调阶段

（2）优势：减少计算成本和存储需求，同时不引入推理延迟（Inference Latency），方便在不同的微调任务灵活切换

论文原文：https://arxiv.org/abs/2106.09685

2. 算法介绍

2.1 微调

首先理解，为什么大模型需要微调。
（1）预训练的语言模型通常在大规模的通用语料库上进行训练，具备广泛的语言理解能力。微调的目的是让这些模型能够适应特定的任务，如情感分析、文本分类、机器翻译、问答系统等。
（2）某些应用可能涉及到专业领域的语言和术语，如医学、法律、金融等。通过在领域特定的数据集上进行微调，模型能够更好地理解和处理这些特定领域的语言和内容。

我们假设预训练得到的参数权重为 $W_0$ ，在微调阶段，更新权重：

$W_0 + \Delta W$

其中 $\Delta W$ 是微调训练阶段更新的权重大小。

如果直接训练，当预训练模型的 $W_0$ 矩阵的参数量太大时，导致微调 $\Delta W$ 需要计算梯度并维护如此大量的优化器状态，对于动辄几百上千亿的参数量，会消耗大量存储空间。

2.2 核心思想

LoRA 将 $\Delta W$ 进行矩阵变换（忽略缩放 $\alpha /r$ 等）：
$\Delta W = BA$

其中 $\Delta W \in \mathbb{R^{d \times k}}$ ， $\in \mathbb{R^{d\times r}}$ ， $\in \mathbb{R^{r\times k}}$ 。 $r\ll min(d, k)$ ， $r$ 取值一般 1,2,4,8等。

如论文中的下图：

其中 $\Delta W$ ：

在微调训练中，仅需要计算右边的 $A$ 、 $B$ 矩阵，而不需要变动左边的 $W$ （预训练的权重）

这样的权重参数总量 $\Theta$ ：
$\Theta=(d+k) \times r \ll d\times k$

需要维护的权重参数量远远降低了，这个思路是不是有点类似 SVD（奇异值分解）。

论文中表明在 GPT-3 175B 模型上，LoRA 将训练期间的 VRAM 消耗从1.2TB 减少到 350GB。一般对于 Transformer 可以减少 2/3 的内存占用。

训练过程：

3. 几个关键问题

以下也是论文中提到的在更新权重时的几个重要问题，下面结合本人的理解进行阐述！

3.1 LoRA如何应用在Transformer上

Transformer 的详细介绍参考：

《NLP深入学习：大模型背后的Transformer模型究竟是什么？(一)》

《NLP深入学习：大模型背后的Transformer模型究竟是什么？(二)》

Transformer 有几个权重变换矩阵， $W_q$ 、 $W_k$ 、 $W_v$ ，实际应用 LoRA 是作用在哪些矩阵效果最佳呢？

在 WikiSQL 和 MultiNLI 数据集进行验证：

根据实验结果，得出以下结论：

（1）只作用于 $W_q$ 或只作用于 $W_k$ 效果最差；

（2）同时作用于 $W_q$ 及 $W_v$ 效果最好；

（3）秩大、作用于单一矩阵，不如秩小、作用于多种矩阵。

3.2 LoRA的最佳秩r如何选择

以下是实验：

根据实验结果，得出以下结论：

（1）秩非常小都表现出很好的效果，表明更新矩阵 $\Delta W$ 可能具有非常小的“内在秩”；

（2）LoRA 作用于越多的矩阵，表现效果越好；

（3）对于简单模型一味增大秩不具备太大的意义，r=4 和 r=64 效果差距不大，但是 r=64 反而消耗了更大的资源；

经验法则：

在实践经验中，选择 $r$ 的典型范围在 1 到 64 之间（不绝对）。这个范围内的 $r$ 通常可以在性能和效率之间取得较好的平衡。

实验确定：

初始尝试：可以从 $r = 4$ 或 $r = 8$ 开始。这些值通常可以提供良好的性能，同时保持低计算成本。
性能评估：在验证集上评估模型性能，记录各个 $r$ 值对应的性能指标。
优化调整：根据评估结果，逐步调整 $r$ ，如从 $r = 4$ 增加到 $r = 128$ （或更大），观察性能提升情况。

3.3 $W$ 和 $\Delta W$ 有什么关系

论文通过计算降维后的 $W$ 和 $\Delta W$ 的相似程度，得出以下结论：

（1）与随机矩阵相比， $\Delta W$ 与 $W$ 的相关性更强，这表明 $\Delta W$ 放大了 $W$ 中已经存在的一些特征；

（2）低秩矩阵潜在地放大了特定下游任务的重要特征，这些特征在一般的预训练模型中被学习但没有被强调。

4. 源码

源码：https://github.com/microsoft/LoRA

以 Linear 为例，代码比较简单：

5. 实际应用

LoRA 集成到 peft 库中。使用 LoRA，需要增加一个配置，其他代码没有变化。

（1）配置 LoRA 参数：

from peft import LoraConfig, get_peft_model, prepare_model_for_int8_training

LORA_R = 16
LORA_ALPHA = 32
LORA_DROPOUT = 0.05
# Define LoRA Config
lora_config = LoraConfig(
 r = LORA_R, # the dimension of the low-rank matrices
 lora_alpha = LORA_ALPHA, # scaling factor for the weight matrices
 lora_dropout = LORA_DROPOUT, # dropout probability of the LoRA layers
 bias="none",
 task_type="CAUSAL_LM",
 target_modules=["query_key_value"],
)

# Prepare int-8 model for training - utility function that prepares a PyTorch model for int8 quantization training. <https://huggingface.co/docs/peft/task_guides/int8-asr>
model = prepare_model_for_int8_training(model)
# initialize the model with the LoRA framework
model = get_peft_model(model, lora_config)
model.print_trainable_parameters()

（2）训练部分（不变）：

from transformers import TrainingArguments, Trainer
import bitsandbytes

EPOCHS = 3
LEARNING_RATE = 1e-4 
MODEL_SAVE_FOLDER_NAME = "dolly-3b-lora"

training_args = TrainingArguments(
    output_dir=output_dir,
    learning_rate=1e-5,
    logging_steps=100,
    num_train_epochs=EPOCHS,
)

trainer = Trainer(
    model=peft_model,
    args=training_args,
    train_dataset=train_data_tokenized,
    eval_dataset=val_data_tokenized,
    data_collator=data_collator,
    tokenizer=tokenizer,
)
trainer.train()
# only saves the incremental   PEFT weights (adapter_model.bin) that were trained, meaning it is super efficient to store, transfer, and load.
trainer.model.save_pretrained(MODEL_SAVE_FOLDER_NAME)
# save the full model and the training arguments
trainer.save_model(MODEL_SAVE_FOLDER_NAME)
trainer.model.config.save_pretrained(MODEL_SAVE_FOLDER_NAME)