原本pip install deepspeed安装了0.15.1版本的,但是在进行sft训练的时候还是报错。大概就是fuse_adam这个op编译有错,c++版本要大于17什么的,一堆错。看了一堆解决方案尝试后发现如下这样的有用:
1.下载DeepSpeend源码
git clone https://github.com/microsoft/DeepSpeed.git
cd DeepSpeed
2. 升级gcc版本
我原本的gcc是5.3.1,编译的时候一直报错,升级到了 8.3.1发现可以
DS_BUILD_UTILS=1 DS_BUILD_FUSED_ADAM=1 pip install .
最终成功