Datawhale X 魔搭 AI夏令营-AIGC方向-LoRA学习笔记

news2024/9/21 20:31:36

LoRA（Low-Rank Adaptation）是一种用于优化大规模预训练模型的微调技术，特别适用于在资源有限的情况下，对模型进行高效且低成本的微调。LoRA的核心思想是通过低秩分解方法，仅微调模型的少数参数，从而显著减少计算成本和内存占用。

1. 背景介绍

随着深度学习模型规模的增加，预训练大模型在各种任务中表现出色。然而，对这些大模型进行微调需要大量的计算资源和存储空间。传统的微调方法通常涉及对模型的所有参数进行调整，这在实际应用中可能并不现实。LoRA旨在解决这个问题，通过对模型参数的低秩分解和增量更新，实现高效的微调。

2. 基本概念

低秩分解：LoRA基于矩阵的低秩分解，将原始的高维参数矩阵近似为两个低秩矩阵的乘积。这种近似能够大幅减少参数的数量，从而降低计算复杂度。

增量更新：在LoRA微调中，模型的原始权重矩阵保持不变，仅在低秩矩阵上进行调整。这种增量式的更新方式可以有效减少模型在微调过程中的参数变化量。

效率提升：LoRA通过降低参数矩阵的秩来减少模型的参数数量，这使得微调变得更加轻量且快速，尤其适用于资源受限的场景。

3. 工作原理

3.1 权重矩阵的低秩分解

假设模型中的某个权重矩阵为 $W_0 \in \mathbb{R}^{d \times k}$ ，在传统的全参数微调中，会直接对 $W_0$ 进行更新。然而，LoRA通过引入低秩矩阵 $A \in \mathbb{R}^{d \times r}$ 和 $B \in \mathbb{R}^{r \times k}$ ，并对原始权重矩阵进行以下分解：

$\Delta W = A \times B$

这里， $r$ 是低秩矩阵的秩，且 $r \ll \min(d, k)$ ，这样可以大幅减少参数量。

将这个增量矩阵 $\Delta W$ 加到原始权重矩阵上：

$W = W_0 + \Delta W = W_0 + A \times B$

在微调过程中，只需更新 $A$ 和 $B$ ，而 $W_0$ 保持不变。这意味着在训练时，模型参数的调整仅集中在两个小矩阵上，大大降低了计算成本。

3.2 参数更新过程

在微调过程中，通常的目标是最小化任务相关的损失函数，相应的参数更新可以通过梯度下降法进行。对于LoRA，损失函数关于 $A$ 和 $B$ 的梯度分别为：

$\frac{\partial \mathcal{L}}{\partial A} = \frac{\partial \mathcal{L}}{\partial W} \times B^T$

$\frac{\partial \mathcal{L}}{\partial B} = A^T \times \frac{\partial \mathcal{L}}{\partial W}$

更新规则为：

$A \leftarrow A - \eta \frac{\partial \mathcal{L}}{\partial A}$

$B \leftarrow B - \eta \frac{\partial \mathcal{L}}{\partial B}$

其中， $\eta$ 是学习率。这种更新方式能够有效地利用低秩矩阵的结构，降低参数量的同时仍然能够实现对原始权重矩阵的有效调整。

4. 与其他微调方法对比

	简介	优势	劣势
全参数微调（Fine-Tuning）	全参数微调是最常见的微调方法，它通过在特定任务数据集上对模型的所有参数进行微调，从而使模型适应新任务	适用广泛：适用于几乎所有类型的任务和模型高精度：能够在目标任务上达到最优的性能，因为所有参数都参与了优化	资源消耗大：需要大量的计算资源和内存过拟合风险：在小数据集上微调可能导致模型过拟合
Adapter	Adapter是在每一层插入一个小型的可学习模块，而不改变原有模型的参数。微调时，仅对这些Adapter模块进行训练，原有模型参数保持不变	参数高效：只需要微调少量新增参数，减少了计算和内存开销模型共享：可以轻松在多个任务间共享同一个预训练模型，只需替换Adapter模块	复杂性增加：需要为每个任务引入新的Adapter模块，管理多个模块可能增加系统复杂性性能可能下降：在某些任务中，性能可能不如全参数微调
Prefix-Tuning	Prefix-Tuning是在模型的输入前面插入一组可学习的“前缀”向量，这些前缀向量通过与输入的实际数据共同参与模型的推理过程来影响输出	参数高效：只需微调少量前缀向量，显著减少参数调整量灵活性：前缀向量可以很容易地适配不同的任务	复杂性增加：可能需要调试和优化前缀长度和结构，以达到最佳性能任务依赖性强：某些任务上可能不如全参数微调和Adapter
LoRA （Low-Rank Adaptation）	LoRA通过对模型中的权重矩阵进行低秩分解并引入增量矩阵进行微调，只需调整少量增量参数，原始模型参数不变	极度高效：大幅减少了微调所需的参数和计算资源适用范围广：可以应用与各种Transformer模型，如BERT、GPT等	模型复杂性增加：引入的低秩矩阵可能增加实现复杂度有限的性能提升：在某些任务中，性能可能不如全参数微调
部分参数微调（Partial Fine-Tuning）	部分参数微调是只对模型的某些层或某些特定的参数（如最后几层或特定模块）进行微调，其它部分的参数保持不变	效率提升：减少了需要微调的参数量，降低计算和内存需求降低过拟合：只微调高层参数，减少了对模型原有表示的过多干扰	性能局限：由于未微调所有参数，可能无法达到全参数微调的性能选择难度：选择哪些参数进行微调可能需要经验和反复试验
学术版微调（Fine-Tuning with Regularization）	在传统的微调过程中加入正则化项，如L2正则化、Dropout等，以防止模型在微调过程中过拟合	防止过拟合：通过正则化手段，可以在小数据集上防止模型过拟合稳定训练：正则化有助于微调过程的稳定性，减少梯度爆炸或消失的风险	调参复杂：需要额外的调参工作，找到合适的正则化系数可能比较困难性能依赖：如果正则化不当，可能导致模型性能下降

简介

优势

劣势

全参数微调

（Fine-Tuning）

全参数微调是最常见的微调方法，它通过在特定任务数据集上对模型的所有参数进行微调，从而使模型适应新任务

适用广泛：适用于几乎所有类型的任务和模型

高精度：能够在目标任务上达到最优的性能，因为所有参数都参与了优化

资源消耗大：需要大量的计算资源和内存

过拟合风险：在小数据集上微调可能导致模型过拟合

Adapter

Adapter是在每一层插入一个小型的可学习模块，而不改变原有模型的参数。微调时，仅对这些Adapter模块进行训练，原有模型参数保持不变