LEARNING DYNAMICS OF LLM FINETUNING

一句话总结

作者将LLM的学习动力机制拆解成AKG三项，并分别观察了SFT和DPO训练过程中​​正梯度信号​​和​​负梯度信号​​的变化及其带来的影响，并得到以下结论：

1. ​​SFT通过梯度相似性间接提升无关回答置信度​​；
2. ​​DPO负梯度回传会引发confidence（softmax score) 向模型训练前confidence最高的token聚集：DPO中正样本与 负样本之间的margin虽然在增大，但正样本的confidence的上涨幅度却没有训练前模型最中意的答案的confidence涨得快。

吐槽一下，这篇非常不适合LLM伴读和粗读，因为符号多，符号的描述写的很松散，图表的讲解非常碎（一张图的解释可能会横跨两个subsection），我开始用LLM伴读给我弄的非常混乱，自己粗读发现跳过一两段可能一个符号什么意思就不知道了。最后老老实实一行一行读。虽然作者的工作非常详实，但是……只能说这种写法不坑老实人吧。

↓↓↓这里先补充一下Learning Dynamic的分析逻辑↓↓

学习动力机制（Learning Dynamic）指什么？

Learning Dynamic，简单来说，就是研究每次模型经过一个batch的数据训练后，参数发生了变化，这个变化如何影响模型的表现。具体来说，哪些方面变好了？哪些方面变差了？

用来描述哪些方面变好，哪些方面变差的工具就是先做一个观察数据集，这个数据集是静态的。

观察一个batch的训练后，观察数据集里的<哪些样本>的预测结果有<什么样>的变化，就是研究Learning Dynamic。

为了衔接论文里的公式，这里把上面学习动力机制研究的公式写出来

第一步：定义，参数更新对特定样本的输出的影响
$f(x;\theta )=\pi (z(x;\theta ))$ $\pi$是最后一层的softmax函数,$x_o$指的是观察集的样本。
—>参数更新 $\Delta \theta$ 会导致输入$x$的输出变化是
$\Delta f(x_o;\theta )\approx {\nabla }_{\theta }f(x_o;\theta )\cdot \Delta \theta$

第二步：展开 第一项

${\nabla }_{\theta }f(x_o;\theta )=\underset{\text{softmax雅可比 }{J}_{\pi }(z)}{\underbrace{\frac{\partial \pi (z(x_o;\theta ))}{\partial z}}}\cdot \underset{\text{logits的梯度}}{\underbrace{{\nabla }_{\theta }z(x_o;\theta )}}$

第三步：$\Delta \theta$ 把梯度替换成 当批次样本 { x 1 , . . . , x i , . . . x n } \{x_1,...,x_i,...x_n\} {x1​,...,xi​,...xn​} 带来的梯度

把$\Delta \theta$ 替换成$\Delta \theta =-\eta {\nabla }_{\theta }L(\theta )$ 即学习率乘以梯度

$${\nabla }_{\theta }L(\theta )=\frac{1}{n}\sum _{i=1}^n\underset{\text{通过链式法则：}\frac{\partial L}{\partial z}\cdot \frac{\partial z}{\partial \theta }}{\underbrace{{\left(\pi (z(x_i;\theta ))-y_i\right)}^{\top }\cdot {\nabla }_{\theta }z(x_i;\theta )}}$$

第四步：两个展开式带回源式
$$\Delta f(x;\theta )\approx -\frac{\eta }{n}\sum _{i=1}^n\left[J_{\pi }(z(x;\theta ))\cdot {\nabla }_{\theta }z(x;\theta )\right]\cdot \left[{\left(\pi (z(x_i;\theta ))-y_i\right)}^{\top }\cdot {\nabla }_{\theta }z(x_i;\theta )\right]$$
第五步：把gradient乘积写成NTK项
$$\Delta f(x;\theta )\approx -\frac{\eta }{n}{J}_{\pi }(z(x;\theta ))\sum _{i=1}^n\underset{\text{NTK项 }\mathbf{K}(x,x_i)}{\underbrace{⟨{\nabla }_{\theta }z(x;\theta ),{\nabla }_{\theta }z(x_i;\theta )⟩}}\cdot \left(\pi (z(x_i;\theta ))-y_i\right)$$
最终
$$\Delta f(x_o;\theta )\approx -\frac{\eta }{n}\cdot \underset{\text{softmax非线性效应}}{\underbrace{J_{\pi }(z(x_o;\theta ))}}\cdot \sum _{i=1}^n\underset{\text{样本相关性}}{\underbrace{\mathbf{K}(x_o,x_i)}}\cdot \underset{\text{训练样本误差}}{\underbrace{\left(\pi (z(x_i;\theta ))-y_i\right)}}$$
最终这个式子里面的第一项、第二项和第三项分别对应了文章公式3的 AKG。
其中K的部分，代表了在函数空间中的样本相关性（不是两个样本乍看之下像不像，而是通过梯度核（NTK）映射之后像不像。文章在分析SFT时会一直用这个角度
G是训练样本误差带来的影响，这个在DPO分析中还会被拆成正负两项（因为DPO用的是margin）

关键细节与结论

1. G项给SFT带来的是训练Token的confidence上升

这里的confidence指的是Token的输出概率（softmax之后的score）

看上图中左侧第一张图，灰色是本步骤之前的这个样本的词表上的所有Score的曲线。蓝色就是这一步训练之后，词表上所有词的Score的变化。
这是很符合直觉的，也是论文的前菜.（但是这张图特别不好，把后面要说的东西的分析也放这儿了，看着很乱。大概是因为投稿篇幅的关系，作者压进来了)

2. SFT中 出现在训练集里的y，会在挂羊头卖狗肉的情况下也很自信

文中figure3的这张图，展示的是
$\pi (y_{u^{+}}|x_u)$ -虚线， $\pi (y_j|x_u)$-蓝色线， 和 $\pi (y_{tes{t}^{+}}|x_u)$-橙色线 在训练过程中的变化。（$\pi$是softmax函数，这三条线都对应的是模型分）
其中$\pi (y_{u^{+}}|x_u)$ 就是训练集中样本A 对应的答案A的概率；
$\pi (y_j|x_u)$是训练集中样本A作为context（或者说prompt），后面接样本B的正确答案y_j的时候的score
$\pi (y_{tes{t}^{+}}|x_u)$ 是训练集中样本A作为context，后面接测试集中某个样本的正确答案的时候的score。
如果按照我们的希望🔽

给定样本A的prompt，样本B的正确答案作为output的时候，这个答案是错的，他的confidence不应该上涨。
但在作者的实验记录下，这一数值上涨了。这就是作者认为SFT中一部分幻觉的来源

3. K项给SFT带来的是意思相近和格式相近的答案的confidence的上升

作者在分析的时候使用的是DPO数据集（Antropic-HH 和UltraFeedback），尽管他在训练SFT的时候仅适用了 DPO数据集中的prefer样本$y_{u^{+}}$，但在分析中他同时分析了less prefer（负样本）$y_{u^{-}}$。
下图中，$y_{u^{+}}$ 是DPO样本集中<正样本>
$y_{u^{-}}$ 是DPO样本集中<负样本>
$y_{gpt{s}^{+}}$ 是用GPT针对DPO样本集中<正样本>做的同意改写样本
$y_{gpt{s}^{-}}$ 是用GPT针对DPO样本集中<负样本>做的同意改写样本
$y_{hum}$ 是随机的一个句子（跟训练样本无关）
$y_{{j\ne u}^{+}}$ 是训练集中另一个样本的<正样本>
$y_{{test}^{+}}$ 是测试集中某个样本的<正样本>
$y_{rnd}$ 是随机英文词组成的字符串（连句子都不是）

基于以上符号意义，观察上图，蓝色部分confidence上涨，橙色就是下降。上图中左侧多个列都显示，每训练25步$[x_u;y_u]$就观察一次，发现一些语义或者格式相似（$y_{gpt{s}^{+}}$）的样本的confidence也上涨了。
同时乱序的字符串($y_{hum}$和$y_{rnd}$)训练的时候，其他有正常语义的答案的confidence都会降低。因为，用K来衡量的距离跟这些乱序的答案的距离是很大的，Learning Dynamic的角度上看这些confidence也确实应该下降。
》最炸裂的其实是这个图的最后一列 DPO这列，这列引入的是下面一个结论

4. DPO中的负梯度会给所有未被训练的答案打负分

作者实验中发现，如果下图左1所示，在用DPO训练很多个epoch的过程中，根据训练样本正确答案改写的正样本$y_{gpt{s}^{+}}$ (语义相同)和$y_{gpt{f}^{+}}$ (格式相同)的confidence都在持续下降。
这是与我们的直觉相反的。

同时，上图左2显示，不仅DPO中正样本的改写样本的confidence在持续下滑，负样本的confidence也在持续下滑（仔细看数轴，这组斜率更大）
看上图的左4，在训练中的正样本和负样本的confidence的变化是：正样本的confidence先上涨后下滑，到第四个epoch，连正样本的confidence都比训练前要低了；而负样本的confidence全程咔咔下跌。
那正负样本的confidence都跌了，谁涨了呢？（毕竟是用softmax转换过的score，有人跌就有人涨）
答：看第左5，图中的黑线是模型在DPO之前（如果按照RL的说法，可以说是reference model）最prefer的答案的概率。

整个训练过程，reference model中概率最高的token的概率涨的最猛，比训练的正样本y还猛。

5. 这种错位的虹吸效应的源头是DPO的负梯度影响

文中的大部分拆解都沿用了经典的拆分方案。DPO上做了一个变化，把G分成了正负两部分。

这里有个比较讨厌的东西 ${\chi }_u^{-}$ 这个符号其实是附录中下面高亮部分的意思，就是$x_u$是一样的，y不一样。这么表示其实有点讨厌，一来是符号不在公式附近（在附录B），二来这么写其实挺容易让人误解的。

前面这种奇怪的现象主要来自于负梯度的回传，也就是$G^{-}$的部分。
在附录中，作者还展示了reference model对$y_{u^{+}}$分布形状不同的时候 ，DPO的负梯度带来的影响差别。

上面这个分析有个需要注意的点，就是这个DPO是off-policy的（虽然我们说DPO的时候通常就是off-policy的），即完全是静态的样本集，正样本和负样本都不是通过play逐步变化的。

那如果是on-policy的，也就是随着模型训练，概率分布有变化的时候（或者$y_{u^{+}}=y_{u^{\ast }}$ 或$y_{u^{-}}=y_{u^{\ast }}$ ，$u^{\ast }$指的就是reference model最中意的答案。）负梯度带来的影响是什么样的？
灰线是训练前，蓝线是训练后

看图的第三行，在原先分布是有几个特殊token的概率较高的情况下，$y_{u^{-}}$直接作用到reference模型概率最高的token上时，其他概率相对较高的token的概率被直接抬起来很多。
看图的第四行，在原先分布是有几个特殊token的概率较高的情况下，$y_{u^{-}}$直接作用到reference模型概率很低的token时，原先概率最高的token的概率被大大提升了。而不是所有概率高的token的概率都提升了，而是效用集中到一个token上。

评价

多于1个epoch问题就会逐渐凸显

在作者原文的大部分实验图中，都能看到，尽管DPO带来的挤压效应在多个epoch之后就显得非常病态。在实际训练过程中，其实也是这样的，不管是SFT还是DPO，在已知–>“全参数微调可以让模型在一个epoch之内完成记忆”<–这个前提下，训练超过1个epoch都要非常小心。而且在准备样本的过程中也要考虑，样本实际重复的情况来算实际epoch数。

定点制作DPO数据效果会很好

我这里提供的是论文作者论述以外，一个自己之前实践上的经验：制作两个只有关键知识点不同，其他描述完全相同的样本，比如“上海迪士尼上午9点开园”和“上海迪士尼上午10点开园”，这个会很大程度上提高模型的知识矫正（更新）效率。比unlearning还快。

完全静态的DPO样本集，会很快打乱SFT中已经训练好的模式

同样是跟作者的认知比较像的，如果先训练SFT把想要的模式注入到LLM里，然后用DPO来训，前面SFT的胜利成果可能在很小的样本量下就不行了。原因就在于SFT注入的本身就是一个模型原来并不prefer的格式。而且注入的点可能覆盖面并不够大（小样本的时候）