0. 背景

现在开始学习微调，主要学习 Lora 微调。

这次尝试了修改 ChatGLM2-6B 自我认知，文章中记录了整个微调过程。

1. 部署微调项目

git clone https://github.com/hiyouga/ChatGLM-Efficient-Tuning.git
conda create -n chatglm_etuning python=3.10
conda activate chatglm_etuning
cd ChatGLM-Efficient-Tuning
pip install -r requirements.txt

2. 数据集说明

我们使用 self_cognition 数据集，该数据集包含了 18 条关于模型自我认知的数据，我们的目标是修改模型自身的知识，使模型给出我们希望的答复。

首先，对数据做以下修改，

sed -i 's/ChatGLM-6B/ChatGLM2-6B/g' data/self_cognition.json

# 提示：您可以将 [NAME] 换成您自己的名字，从而让模型回答它的创造者是您。
sed -i 's/\[NAME\]/AI小镇/g' data/self_cognition.json

其次，查看 data/self_cognition.json，这里我们列出两条示例。

[
    {
      "instruction": "你身份是什么？",
      "input": "",
      "output": "我叫ChatGLM2-6B，是一个由AI小镇于2023年独立训练和开发的人工智能助手。我的主要目标是协助用户解决问题和满足他们的需求。"
    },
    {
      "instruction": "你的身份信息能告诉我吗？",
      "input": "",
      "output": "当然可以，我是ChatGLM2-6B，一个由AI小镇创建的人工智能助手。我在2023年研发完成，旨在为用户提供有针对性的回答和帮助。"
    }
]

3. 模型监督微调(Lora)

运行以下命令在单个 GPU 上进行模型监督微调。我们使用 self_cognition 数据集，采用 lora 微调方法，微调后的模型保存在 cognition 文件夹中。为了保证模型微调成功，我们采用 0.001 的学习率，在数据集上训练 10 个 epoch。

CUDA_VISIBLE_DEVICES=0 python src/train_sft.py \
    --do_train \
    --use_v2 \
    --dataset self_cognition \
    --finetuning_type lora \
    --lora_rank 32 \
    --output_dir cognition \
    --overwrite_cache \
    --per_device_train_batch_size 2 \
    --gradient_accumulation_steps 2 \
    --lr_scheduler_type cosine \
    --logging_steps 10 \
    --save_steps 1000 \
    --warmup_steps 0 \
    --learning_rate 1e-3 \
    --num_train_epochs 10.0 \
    --fp16

运行结果日志如下，

在这里插入图片描述

4. 模型效果测试

运行以下命令在单个 GPU 上测试模型效果，它会加载 cognition 文件夹内保存的微调模型权重，并合并进原版 ChatGLM2-6B 模型的参数权重中，同时启动流式交互窗口。

CUDA_VISIBLE_DEVICES=0 \
python src/cli_demo.py \
    --use_v2 \
    --checkpoint_dir cognition

向微调后的 ChatGLM2-6B 模型问一些自我认知问题，我们可以发现它能够给出我们期望的回答。

同时，我们还测试了两个额外的问题，验证结果说明模型的原本知识并没有被严重破坏。

在这里插入图片描述

5. 导出微调模型

如果要将微调后的模型部署在您的项目框架中，请使用 export_model.py 将微调后的权重合并到 ChatGLM2-6B 模型中并导出完整模型。(提示：output_dir 不要使用大写字母)

python src/export_model.py \
    --use_v2 \
    --checkpoint_dir cognition \
    --output_dir ./chatglm2_6b_lora

然后访问 https://huggingface.co/THUDM/chatglm2-6b/tree/main，将 configuration_chatglm.py、modeling_chatglm.py、quantization.py、tokenization_chatglm.py 4个文件下载到 ./chatglm2_6b_lora 目录下面。

然后执行下面命令，修改几个配置值。

sed -i 's/THUDM\/chatglm2-6b--//g' ./chatglm2_6b_lora/config.json
sed -i 's/THUDM\/chatglm2-6b/\.\.\/chatglm2_6b_lora/g' ./chatglm2_6b_lora/config.json
sed -i 's/THUDM\/chatglm2-6b--//g' ./chatglm2_6b_lora/tokenizer_config.json
sed -i 's/THUDM\/ChatGLM2-6B/\.\.\/chatglm2_6b_lora/g' ./chatglm2_6b_lora/modeling_chatglm.py
sed -i 's/THUDM\/chatglm2-6b/\.\.\/chatglm2_6b_lora/g' ./chatglm2_6b_lora/modeling_chatglm.py

6. 调用导出的模型

创建 chatglm2_6b_lora.py，

cat << EOF > chatglm2_6b_lora.py
from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained('./chatglm2_6b_lora', trust_remote_code=True)
model = AutoModel.from_pretrained('./chatglm2_6b_lora', trust_remote_code=True).half().cuda()
response, history = model.chat(tokenizer, "你是谁？", history=[])
print(response)
EOF

执行 chatglm2_6b_lora.py，