本地部署、微调大模型
一、本地部署大模型
1.部署
- 更新git-lfs
apt-get update
apt-get install git-lfs
2. 这里极容易出错，如果报错就初始化git
git lfs install
git init
git lfs install
3.下载ChatGLM-6B源代码
git clone https://github.com/THUDM/ChatGLM-6B.git
4. 安装依赖包
ls
cd ChatGLM-6B
pip install -r requirements.txt
5. 下载模型文件
方法一：使用 Git LFS 从 Hugging Face Hub 将模型下载到本地，这样从本地加载模型的响应速度更快。（但连接及其不稳定，推荐使用方法二）
git clone https://huggingface.co/THUDM/chatglm-6b
方法二：从 ModelScope 中下载
git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git
【01】ChatGLM3-6B部署：利用阿里云部署ChatGLM3-6B模型
-
修改路径
-
启动前端
python web_demo.py
2.注意
- 修改Git代理服务：（127.0.0.1:8087配置为自己的实际代理ip及端口）
git config --global http.proxy 127.0.0.1:8087
git config --global http.sslVerify false
- 恢复Git使用默认代理服务
git config --global --get http.proxy
git config --global --get https.proxy
git config --global --unset http.proxy
git config --global --unset https.proxy
git config --global --get http.proxy
git config --global --get https.proxy
- 安装完所有包后，会自动帮我们安装较高版本的gradio，会报错：
GradioDeprecationWarning: The `style` method is deprecated. Please set these arguments in the constructor instead.
user_input = gr.Textbox(show_label=False, placeholder="Input...", lines=10).style(
这会造成后续模型部署好开始测试时，模型没有回复，所以你需要手动安装较低版本的gradio，例如可以安装gradio3.40.0的包或者可以安装gradio3.50.0的包：
pip install gradio==3.40.0
或
pip install gradio==3.50.0
二、本地微调大模型
1.微调
ChatGLM3-6B大模型部署、微调【0到1小白教程】
2.注意
- windows 下，cmd窗口，获取文件的sha1值：certutil -hashfile filename SHA1
- 微调时启动前端报错：/bin/sh: 1: llamafactory-cli: not found
解决方法：pip install -e.[metrics]
- 微调完运行微调模型没有回复，报错：ValueError: too many values to unpack
解决方法：经排查报错原因是官方的bug导致，最新的包有问题，重新安装下transformers的包并重启问题就可以解决 pip install
transformers==4.40.2
