全参微调与LoRA的区别，及7种LoRA变种方法解析

随着LLM的发展和应用，在LLM的预训练模型基础上做微调，使其适用于自己的业务场景的研究越来越多。与全参数SFT相比LoRA是在冻结LLM本身参数的基础上，在旁路增加两个可学习的矩阵，用于训练和学习，最后推理是LLM输出和可学习的矩阵的输出相加，得到最终的输出。它与全参数微调方法区别是：

资源上的差异：

• 全参数微调：需要加载和更新全部LLM参数，需要更高的显存（需要的显存一般是单一参数的4倍），数据量上也需要更多的微调数据；
• LoRA：只需要加载LLM参数，训练两个可学习的低秩矩阵，显存和数据量要求较低，训练速度也更快;

效果上差异：

• 全参数微调：存在灾难性遗忘的风险，理论效果上限更高；
• LoRA：和全参数微调效果差距不大，稳定性和扩展性更好；

2. LoRA原理

LoRA低秩适应微调，该方法的核心思想就是通过低秩分解来模拟参数的改变量，从而以极小的参数量来实现大模型的间接训练。

它的做法是：

1.在原始的Pretrain_LLM旁边增加一个新的通路，通过前后两个矩阵A,B相乘，合并作为输出，即在原始参数、、上增加AB矩阵（同一层QKV的AB矩阵参数共享，不同层不共享）；

2.第一个矩阵A负责降维，第二个矩阵B负责升维，中间层维度为（），从而来模拟所谓的本征秩（intrinsic rank）。

3.用随机高斯分布初始化，用 0 矩阵初始化，保证训练的开始此旁路矩阵依然是 0 矩阵；

• 1.不将AB同时初始化为0，是为了保证训练可以顺利参数更新；
• 2.不将AB同时高斯初始化，是为了让模型一开始AB矩阵不起作用，防止一开始引入噪声；
• 3.B高斯分布初始化，A用0初始化可以吗？目前看可以，如果不对请指正；

4.输出结果是两者相加：

3. LoRA的变种

QLoRA

与LoRA相比：LLM模型采用4bit加载，进一步降低训练需要显存。

QLoRA是进一步降低了微调需要的显存，QLoRA是将模型本身用4bit加载，训练时把数值反量化到bf16后进行训练，利用LoRA可以锁定原模型参数不参与训练，只训练少量LoRA参数的特性使得训练所需的显存大大减少。

LoRA+

与LoRA相比：AB矩阵采用不同的学习率；AB矩阵应用到全部参数矩阵。

LoRA+通过为矩阵A和B引入不同的学习率，更有效的训练LoRA适配器。LoRA在训练神经网络时，学习率是应用于所有权重矩阵（包括embeded和normalization层）。而LoRA+的作者可以证明，只有单一的学习率是次优的。将矩阵B的学习率设置为远高于矩阵A的学习率，可以使得训练更加高效。

t是放大因子，。

LoRA-FA

与LoRA相比：仅训练B矩阵。

LoRA-FA是LoRA与Frozen-A的缩写，在LoRA-FA中，矩阵A在初始化后被冻结，矩阵B是在用零初始化之后进行训练(就像在原始LoRA中一样)。这将参数数量减半，同时具有与普通LoRA相当的性能。

LoRA-drop

LoRA矩阵可以添加到神经网络的任何一层，LoRA-drop则引入了一种算法来决定哪些层由LoRA微调，哪些层不需要。

LoRA-drop步骤：

• 1.对数据的一个子集进行采样，训练LoRA进行几次迭代；
• 2.将每个LoRA适配器的重要性计算为BAx，其中A和B是LoRA矩阵，x是输入；
• 3.如果这个输出很大，说明它会更剧烈地改变行为，如果它很小，这表明LoRA对冻结层的影响很小可以忽略；
• 4.可以汇总重要性值，直到达到一个阈值（这是由一个超参数控制的），或者只取最重要的n个固定n的LoRA层；
• 5.最后在整个数据集上进行完整的训练，其他层固定为一组共享参数，在训练期间不会再更改。

LoRA-drop算法允许只使用LoRA层的一个子集来训练模型。根据作者提出的证据表明，与训练所有的LoRA层相比，准确度只有微小的变化，但由于必须训练的参数数量较少，因此减少了计算时间。

AdaLoRA

在LoRA-drop中作者根据LoRA适配器的重要程度，选择部分不重要的LoRA不参与训练。而AdaLoRA作者则是根据重要程度，选择不同LoRA适配器调整秩的大小（原始LoRA所有层秩都一样）。另外AdaLoRA是根据LoRA矩阵的奇异值作为重要程度指标的。

AdaLoRA与相同秩的标准LoRA相比，两种方法总共有相同数量的参数，但这些参数的分布不同。在LoRA中，所有矩阵的秩都是相同的，而在AdaLoRA中，有的矩阵的秩高一些，有的矩阵的秩低一些，所以最终的参数总数是相同的。经过实验表明AdaLoRA比标准的LoRA方法产生更好的结果，这表明在模型的部分上有更好的可训练参数分布，这对给定的任务特别重要。

DoRA

通常认为LoRA等微调技术不如正常微调（Finetune）的原因是，LoRA被认为是对Finetune微调的一种低秩近似，通过增加Rank，LoRA可以达到类似Finetune的微调效果。但是作者发现LoRA的学习模式和FT很不一样，更偏向于强的正相关性，即方向和幅度呈很强的正相关，这可能对更精细的学习有害。

图中x轴是模型更新方向，y轴是幅度变化，图中的散点是每一层。可以看到FT的训练方式，更新的方向和幅度并没有太大关系（或者小的负相关），而LoRA存在较强的正相关性。

哪一种方向和幅度相关性更好？

这个不确定，但是LoRA的目的是利用较小参数达到和FT一致的效果，所以从相关性上应该LoRA的应该更像FT。所以作者将预训练参数矩阵进行分解，分解成包括大小（magnitude）和方向（directional）两个向量，只在方向上应用LoRA微调。

DoRA的作者通过将预训练矩阵W分解，得到大小为1 x d的大小向量m和方向矩阵V，从而独立训练大小和方向。然后方向矩阵V通过B* A增强（LoRA），然后m按原样训练。虽然LoRA倾向于同时改变幅度和方向(正如这两者之间高度正相关所表明的那样)，DoRA可以更容易地将二者分开调整，或者用另一个的负变化来补偿一个的变化。所以可以DoRA的方向和大小之间的关系更像微调。代码如下

import torch.optim as optim   from torch.utils.data import DataLoader, TensorDataset   import torch   import torch.nn as nn   import torch.nn.functional as F         # This layer is dropped into your pre-trained PyTorch model where nn.Linear is used   class DoRALayer(nn.Module):       def __init__(self, d_in, d_out, rank=4, weight=None, bias=None):           super().__init__()              if weight is not None:               self.weight = nn.Parameter(weight, requires_grad=False)           else:               self.weight = nn.Parameter(torch.Tensor(d_out, d_in), requires_grad=False)              if bias is not None:               self.bias = nn.Parameter(bias, requires_grad=False)           else:               self.bias = nn.Parameter(torch.Tensor(d_out), requires_grad=False)              # m = Magnitude column-wise across output dimension           self.m = nn.Parameter(self.weight.norm(p=2, dim=0, keepdim=True))                      std_dev = 1 / torch.sqrt(torch.tensor(rank).float())           self.lora_A = nn.Parameter(torch.randn(d_out, rank)*std_dev)           self.lora_B = nn.Parameter(torch.zeros(rank, d_in))          def forward(self, x):           lora = torch.matmul(self.lora_A, self.lora_B)           adapted = self.weight + lora           column_norm = adapted.norm(p=2, dim=0, keepdim=True)           norm_adapted = adapted / column_norm           calc_weights = self.m * norm_adapted           return F.linear(x, calc_weights, self.bias)

LongLoRA

LongLoRA 是港中文和 MIT 在 23 年发表的一篇 paper，主要是为了解决长上下文的注意力机制计算量很大的问题。

LLM支持长文本的方法，包括利用NTK等方式进行外推和内插（可参考：位置编码（下）[1]，但为了让模型表现更好，一般还会进行微调。LongLoRA的要点：

• 1.S2-attn注意力：这一点与LoRA无关，是为解决长序列注意力成二次方增加的问题，S2-attn在训练时不计算全局的注意力，而是将所有token分组，每个token只计算该组和相邻组的注意力，降低显存消耗，提升训练速度。（和longformer、Big Bird等处理长文本注意力方法没有太大区别，都是只算该token附近的注意力）；
• 2.LoRA训练（变种）：在潜入层、归一化层也都加入了LoRA权重进行训练；

总结

LoRA系列大模型微调方法是大模型PEFT非常重要的一个研究方向，也是目前工程届应用最广法的微调方法之一，基于LoRA的改进的论文和方法还在不断更新。

在这里插入图片描述

如何学习AI大模型？

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述