本地部署 ChatGLM3
- ChatGLM3 介绍
- ChatGLM3 Github 地址
- 部署 ChatGLM3
- 运行综合 Demo
- 对话模式
- 工具模式
- 代码解释器模式
- API 部署
ChatGLM3 介绍
ChatGLM3 是智谱AI和清华大学 KEG 实验室联合发布的新一代对话预训练模型。ChatGLM3-6B 是 ChatGLM3 系列中的开源模型，在保留了前两代模型对话流畅、部署门槛低等众多优秀特性的基础上，ChatGLM3-6B 引入了如下特性：
- 更强大的基础模型： ChatGLM3-6B 的基础模型 ChatGLM3-6B-Base 采用了更多样的训练数据、更充分的训练步数和更合理的训练策略。在语义、数学、推理、代码、知识等不同角度的数据集上测评显示，ChatGLM3-6B-Base 具有在 10B 以下的基础模型中最强的性能。
- 更完整的功能支持： ChatGLM3-6B 采用了全新设计的 Prompt 格式，除正常的多轮对话外。同时原生支持工具调用（Function Call）、代码执行（Code Interpreter）和 Agent 任务等复杂场景。
- 更全面的开源序列： 除了对话模型 ChatGLM3-6B 外，还开源了基础模型 ChatGLM3-6B-Base、长文本对话模型 ChatGLM3-6B-32K。以上所有权重对学术研究完全开放，在填写问卷进行登记后亦允许免费商业使用。
ChatGLM3 Github 地址
https://github.com/THUDM/ChatGLM3
部署 ChatGLM3
克隆代码库，
git clone https://github.com/THUDM/ChatGLM3
cd ChatGLM3
创建虚拟环境，
conda create -n chatglm3 python=3.10 -y
conda activate chatglm3
使用 pip 安装 pytorch，
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121
conda install -y -c "nvidia/label/cuda-12.1.0" cuda-runtime
验证 cuda 可用，
python -c "import torch;print(torch.cuda.is_available());"
使用 pip 安装依赖，
pip install -r requirements.txt
其中 transformers 库版本推荐为 4.30.2，torch 推荐使用 2.0 及以上的版本，以获得最佳的推理性能。
使用 Code Interpreter 还需要安装 Jupyter 内核，
conda install ipython ipykernel
ipython kernel install --name chatglm3 --user
运行综合 Demo
ChatGLM3 Demo 拥有三种模式：
- Chat: 对话模式，在此模式下可以与模型进行对话。
- Tool: 工具模式，模型除了对话外，还可以通过工具进行其他操作。
- Code Interpreter: 代码解释器模式，模型可以在一个 Jupyter 环境中执行代码并获取结果，以完成复杂任务。
运行以下命令在本地加载模型并启动 demo，
cd composite_demo
streamlit run main.py
访问 http://localhost:8501，
对话模式
对话模式下，用户可以直接在侧边栏修改 top_p, temperature, System Prompt 等参数来调整模型的行为。例如，
工具模式
可以通过在 tool_registry.py 中注册新的工具来增强模型的能力。只需要使用 @register_tool 装饰函数即可完成注册。对于工具声明，函数名称即为工具的名称，函数 docstring 即为工具的说明；对于工具的参数，使用 Annotated[typ: type, description: str, required: bool] 标注参数的类型、描述和是否必须。
例如，get_weather 工具的注册如下：
@register_tool
def get_weather(
city_name: Annotated[str, 'The name of the city to be queried', True],
) -> str:
"""
Get the weather for `city_name` in the following week
"""
...
此外，你也可以在页面中通过 Manual mode 进入手动模式，在这一模式下你可以通过 YAML 来直接指定工具列表，但你需要手动将工具的输出反馈给模型。
代码解释器模式
由于拥有代码执行环境，此模式下的模型能够执行更为复杂的任务，例如绘制图表、执行符号运算等等。模型会根据对任务完成情况的理解自动地连续执行多个代码块，直到任务完成。因此，在这一模式下，你只需要指明希望模型执行的任务即可。
例如，我们可以让 ChatGLM3 画一个爱心：
额外技巧：
在模型生成文本时，可以通过页面右上角的 Stop 按钮进行打断。
刷新页面即可清空对话记录。
API 部署
感谢 @xusenlinzy 实现了 OpenAI 格式的流式 API 部署，可以作为任意基于 ChatGPT 的应用的后端，比如 ChatGPT-Next-Web。可以通过运行仓库中的openai_api.py 进行部署：
python openai_api.py
进行 API 调用的示例代码为，
import openai
if __name__ == "__main__":
openai.api_base = "http://localhost:8000/v1"
openai.api_key = "none"
for chunk in openai.ChatCompletion.create(
model="chatglm3-6b",
messages=[
{"role": "user", "content": "你好"}
],
stream=True
):
if hasattr(chunk.choices[0].delta, "content"):
print(chunk.choices[0].delta.content, end="", flush=True)
完结！
