租用新实例
这里选择的西北 B 区、RTX 409024GB
创建虚拟环境并激活
# 安装虚拟环境至数据盘
conda create --prefix /root/autodl-tmp/envs/chatglm3-demo python=3.10
# 激活虚拟环境
conda activate /root/autodl-tmp/envs/chatglm3-demo
拉取ChatGLM3仓库代码
# 开启学术加速
source /etc/network_turbo
# 拉取代码
https://github.com/THUDM/ChatGLM3.git
# 关闭学术加速
unset http_proxy && unset https_proxy
下载依赖
cd ChatGLM3
pip install -r requirements.txt
# 使用 Code Interpreter 需要安装 Jupyter 内核
ipython kernel install --name chatglm3-demo --user
下载模型
地址：https://huggingface.co/THUDM/chatglm3-6b/tree/main
模型下载后放置目录 /root/autodl-tmp/model
修改ChatGLM3/composite_demo/client.py模型目录
/root/autodl-tmp/model/chatglm3-6b
启动
# 启动
streamlit run main.py --server.port=6006 --server.address=127.0.0.1
解决访问报错
# 解决访问报错问题 https://github.com/THUDM/ChatGLM3/issues/1218
# 降级 transformers 库到 4.40.1
pip install transformers==4.40.1
python -c "import transformers; print(transformers.__version__)"
pip install huggingface_hub==0.19.4
python -c "import huggingface_hub; print(huggingface_hub.__version__)"
启动
# 启动
streamlit run main.py --server.port=6006 --server.address=127.0.0.1
