chatGLM算是个相对友好的模型,支持中英文双语的对话交流,清华出的
我的教程无需特别的网络设置,不过部分情况因为国内网络速度慢,需要反复重复
chatGLM github地址
一、硬件需求
N卡8G显存以上,最好16G以上,我用的是RTX4090做的测试,生成语言时很流畅,和正常人语速差不多,占用显卡资源不高,大概15%,没优化显存的情况下大概14G。
对内存需求不高,16G内存的设备就能运行。
二、基础环境
我才用conda的方式进行安装,需要首先安装下面的基础环境(这些环境通常已经有了)
windows和linux的安装方法基本一致。
1.conda安装
anaconda安装(win+linux)
2.cuda安装
我用的是11.8的cuda。
如果没有安装,按照我的这个教程:
cuda安装(linux)
cuda安装(windows)
3.pytorch
在下面具体的conda环境中配置
三、安装
没有具体说明的就是windows和linux通用的部分,linux如果权限不够自行提root,windows下的命令默认在cmd中运行,下面不在复述。windows下我放到C分区目录下,linux我放到/usr/local下
1.创建conda环境
conda create -n chatglm python=3.10.8
conda activate chatglm
2.安装pytorch
conda install pytorch torchvision torchaudio pytorch-cuda=11.8 -c pytorch -c nvidia
3.下载源码或者用git
如果是用git下载
windows下
cd C:/
git clone https://github.com/THUDM/ChatGLM-6B.git
linux下
cd /usr/local
git clone https://github.com/THUDM/ChatGLM-6B.git
如果下载的是zip文件,记得改名,下载下来的包后面又main字样去掉,要不后面的命令都是错的
4.安装pytorch
直接下载速度会较慢,需要重复尝试,建议解决网络问题更方便。
conda install pytorch torchvision torchaudio pytorch-cuda=11.8 -c pytorch -c nvidia
5.安装源码
windows进入下面的目录,自行改名
cd C:\ChatGLM-6B
linux进入下面的目录
cd /usr/local/ChatGLM-6B
安装官方的列表内容
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
5.安装其它依赖
有些依赖官方没有写上,但是实际是需要的。
pip install streamlit -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install streamlit-chat -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install chardet -i https://pypi.tuna.tsinghua.edu.cn/simple
6.启动执行
streamlit run web_demo2.py
7.进入web界面
访问ip:8501/
在对话框中输入问题
8.自动下载模型
首次提问后,先会去下载模型(可以在后台看到,耐心等待)
下载模型很快的,默认的网络速度很快,下载完成后就会回答你的问题。
四、其它
1.商用
官方写的是可以免费商用,需要申请,通过后给证书
2.作为api
如果要用api调用,官方也有说明