机器配置
重点关注指标：CPU、内存、GPU、GPU驱动
| 类型 | CPU | 内存 | GPU |
| 机器配置 | 16核 | 125G | NVIDIA A100 80G |
# 查看显卡安装状态
nvidia-smi
安装必要的软件
git
sudo apt-get update
sudo apt-get install gitgit-lfs(大文件管理)
sudo apt-get install git-lfspython 3.10.7
下载解压源码
wget https://www.python.org/ftp/python/3.10.7/Python-3.10.7.tgz
tar –xf Python-3.10.7.tgz
cd Python-3.10.7#构建
./configure --enable-optimizations
make -j 4
make altinstall
#软连接替换
rm /usr/bin/python3
ln -s /usr/local/bin/python3.10 /usr/bin/python3此时终端内输入:
python -V
出现 Python 3.10.7表示python安装成功。
下载模型
下载ChatGLM-6B
git clone https://github.com/THUDM/ChatGLM-6B下载完后，创建thuglm文件夹：
cd ChatGLM-6B
mkdir thuglm2、下载模型文件
进入上一步中创建的thuglm。
cd thuglm
git lfs install
git clone https://huggingface.co/THUDM/chatglm-6b大概等待30分钟下载完毕。
3、安装依赖
返回ChatGLM-6B文件夹。
cd ..
pip install -r requirements.txt运行模型
1、修改模型路径。
vim cli_demo.py更改代码6、7行，把模型目录设置为我们之前下载好的模型目录：thuglm/chatglm-6b
2、运行cli_demo
python3 cli_demo.py即可成功运行
参考文献
THUDM ChatGLM
GitHub - THUDM/ChatGLM-6B: ChatGLM-6B: An Open Bilingual Dialogue Language Model | 开源双语对话语言模型
ChatGLM-6B模型
https://huggingface.co/THUDM/chatglm-6b/tree/main
