官方资源:
- ChatGLM-6B
- ChatGLM2-6B
- ChatGLM3-6B
- 微调教程
网络资源:
- 模型文件下载:第五篇-ChatGLM2-6B|ChatGLM3-6B模型下载
- 白话deepspeed里面的ZeRO1,2,3以及offload以及实战演练,及deepspeed的参数
- 大模型微调实践必看——一文看懂Deepspeed:用ZeRO训练大模型原理解析及参数含义解释
在ChatGLM2-6B/ptuning
目录下:
- 存放数据集AdvertiseGen
- 新建子目录
output
为模型输出目录
安装依赖:
pip install datasets rouge_chinese nltk transformers[torch] sentencepiece cpm_kernels
复现过程遇到的问题:
- Linux下sh文件执行权限不够,该怎么做
- 报错
torchrun: error: unrecognized arguments: --nproc-per-node=1
,修改--nproc-per-node=$NUM_GPUS
为--nproc_per_node=$NUM_GPUS
。 - deepspeed + p-tuning v2 微调:Chatglm-6B+Deepspeed+PTuningv2 多卡高效微调
- deepspeed使用zero3 + offload报错:AttributeError: ‘DeepSpeedCPUAdam‘ object has no attribute ‘ds_opt_adam,在执行代码前加上
DS_SKIP_CUDA_CHECK=1
deepspeed.json配置:
- 参考1:chatglm2 的 deepspeed 多卡微调(ptuning)
- 参考2:ChatGLM-6B微调实践与问题汇总(fine-tune+p-tuning+知识遗忘解决尝试)
另一个参考项目