Add MPI Support for tp-comm-overlap and Cpu-Offload for Mcore Distrib… by jerryli1981 · Pull Request #283 · alibaba/Pai-Megatron-Patch · GitHub

以上是在 llama-70B 上实现的 cpu-offload 方法。 

下面是在主分支上，仿照 LLaMA-70B，在 Qwen2 上实现 cpu-offload 代码。

1、optimizer选项设置：argument.py加入optimizer参数(cpu-adam)

2、optimizer初始化方法：__init__.py加入'cpu-adam'参数加载CPUAdam

3、optimizer CPUAdam方法：

加入CPUAdam文件。

kernel_loader.py

nvme_optimizer.py