ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型,基于 General Language Model (GLM) 架构,具有 62 亿参数。结合模型量化技术,用户可以在消费级的显卡上进行本地部署(INT4 量化级别下最低只需 6GB 显存)。
项目代码https://github.com/THUDM/ChatGLM-6B
权重开放:https://huggingface.co/THUDM/chatglm-6b
复现过程:
# 新建chatglm环境
conda create -n chatglm
# 激活chatglm环境
conda activate chatglm
# 安装PyTorch环境,按需求https://pytorch.org/:
这里我是:
python 3.11.7
torch 2.2.1
torchvision 0.17.1
# 安装gradio用于启动图形化web界面
pip install gradio
# 安装运行依赖
git clone https://github.com/THUDM/ChatGLM-6B.git
pip install -r requirement.txt
报错信息在这里注意一下版本问题,我踩到了pydantic的报错,找了很久,最后发现是版本问题.
To create a public link, set `share=True` in `launch()`.
Task exception was never retr