问题

training_loss异常大，在二分类损失中，收敛在1~2附近，而eval_loss却正常（小于0.5）

分析

参考：
Bug in gradient accumulation training_step in huggingface Trainer?
Fix Gradient Accumulation issue
使用解决了多卡gradient accumulation严重BUG的最新transformer库（以及对应的trl库），DPO训练的时候LOSS变为之前的好几倍
New GA fix causes training loss multiple times higher across the board (5x to 10x higher)

版本：trainsformer==4.46.0

怀疑启用training_args.gradient_accumulation_steps后，training_loss变大。

对比后发现，确实启用GA后，training_loss会变大，差不多是不启用GA的4倍。

这下差不多可以确定，在启用GA后，training_loss乘上了GA。

看到社区也有很多人在讨论这个问题，目前transformers最新版本是4.46.3，不知道是否解决了这个问题。

最新版本是4.46.3，不知道是否解决了这个问题。

transformers怎么这么多bug…

20241122：实测4.46.3版本还是未解决使用GA后，训练损失偏大的问题。