一、模型部署
1.进入阿里云人工智能平台PAI。
2.申请免费试用。
3.打开交互式建模 PAI-DSW。
4.新建实例。
5.填写配置。
6.实例准备完成后点击打开。
7.打开实例后点击Teminal。
8.在Teminal中依次输入以下命令并执行。
apt-get update
apt-get install git-lfs
git lfs install
git init
git-lfs init
git lfs install
9.继续在Teminal中输入以下命令来获取项目文件，执行完成后点击Notebook检查项目文件是否成功获取。
https://github.com/THUDM/ChatGLM-6B.git
如果获取太慢或者获取失败，就在github上下载好代码的压缩包到本地上传并进行解压。
unzip ChatGLM-6B-main_0515.zip
10.回到Teminal进入项目文件创建一个model文件夹用于存放模型，创建完成后进入model文件夹拉取模型，由于huggingface可能连接不稳定，这里采用国内的modelscope社区来拉取模型。对应的命令如下。
cd ChatGLM-6B
mkdir model
cd model
git clone https://www.modelscope.cn/ZhipuAI/ChatGLM-6B.git
11.执行完成后点击Notebook进入model文件夹检查模型是否拉取完整，发现模型与项目文件同名，我们将其改为小写。（记得仔细检查下模型是否拉取完整）
若拉取失败，也可用上述方法将文件下载到本地再上传。
12.回到Teminal输入以下命令返回上一级项目文件目录安装依赖。
cd ..
pip install -r requirements.txt
13.安装完成后点击Notebook，在项目文件目录下修改web_demo.py文件（主要是修改模型路径），修改完成后使用 Ctrl + s 保存。
14.最后回到Teminal运行web_demo.py文件。
python web_demo.py
15.执行后可能会出现以下报错，原因是gradio版本过高，需安装一个低版本的gradio。
pip install gradio==3.39.0
16.再次尝试执行web_demo.py文件，得到了一个url，点击url进入模型的web界面，再进行问答测试发现成功部署。
二、模型微调
1.首先来看下github上给出的微调数据集格式。
我们根据其格式编写一些自己的微调数据并保存为train.json文件到桌面，具体如下图所示。
2.回到项目文件，我们看到项目文件已经给了一个ptuning的文件夹。
3.将自己编写的微调数据文件train.json从桌面拖入到ptuning文件夹中。
4.修改ptuning目录下的train.sh文件。
5.点击Teminal输入以下命令进入ptuning目录下运行train.sh文件，进行微调训练。
cd ChatGLM-6B
cd ptuning
bash train.sh
如果提示出现缺少模块错误，提示缺啥就装啥（使用 pip install xx 安装）。训练的过程和训练完成后的界面如下图所示。
6.训练完成后点击Notebook，发现ptuning目录下多出了一个output文件夹，进入output文件夹看到的checkpoint-500 就是我们最后训练得到的微调模型。
7.（该步骤可以跳过）可以对evaluate.sh文件进行修改并运行来对训练得到的微调模型进行评估。
修改完成后点击Teminal，还是在ptuning目录下执行。评估完成后会在output文件中生成generated_prediction.txt文件来汇报评估结果。
bash evaluate.sh8.最后修改ptuning目录下的web_demo.sh文件，再去Teminal中ptuning目录下输入命令运行。修改的参数和运行的命令如下。
bash web_demo.sh9.运行完成后同样也得到一个url，点击url进入微调好的模型的web界面，进行问答测试。问的姓名与自己编写的数据有点差别，但星座准确地答出来了，这与训练过程有关，不过也算有点微调效果了。
最后说下自己也是入门学习大模型，可能理解表述有问题，欢迎指教。以上内容学习于B站up主：Joker大金宝。视频链接如下，如有侵权，联系删除。
在阿里云上部署chatGLM-6B_哔哩哔哩_bilibili
在阿里云上微调chatGLM-6B_哔哩哔哩_bilibili
