机器配置

重点关注指标：CPU、内存、GPU、GPU驱动 

类型	CPU	内存	GPU
机器配置	16核	125G	NVIDIA A100 80G

 

# 查看显卡安装状态
nvidia-smi

 安装必要的软件

git

sudo apt-get update
sudo apt-get install git

git-lfs(大文件管理)

sudo apt-get install git-lfs

python 3.10.7

下载解压源码

wget https://www.python.org/ftp/python/3.10.7/Python-3.10.7.tgz
tar –xf Python-3.10.7.tgz
cd Python-3.10.7

#构建
./configure --enable-optimizations
make -j 4
make altinstall
 
#软连接替换
rm /usr/bin/python3
ln -s /usr/local/bin/python3.10 /usr/bin/python3

此时终端内输入:

python -V
出现 Python 3.10.7表示python安装成功。

下载模型

下载ChatGLM-6B

git clone https://github.com/THUDM/ChatGLM-6B

下载完后，创建thuglm文件夹：

cd ChatGLM-6B
mkdir thuglm

2、下载模型文件

进入上一步中创建的thuglm。

cd thuglm
git lfs install
git clone https://huggingface.co/THUDM/chatglm-6b

大概等待30分钟下载完毕。

3、安装依赖

返回ChatGLM-6B文件夹。

cd ..
pip install -r requirements.txt

运行模型

1、修改模型路径。

vim cli_demo.py

更改代码6、7行，把模型目录设置为我们之前下载好的模型目录：thuglm/chatglm-6b

2、运行cli_demo

python3 cli_demo.py

即可成功运行

参考文献

THUDM ChatGLM

GitHub - THUDM/ChatGLM-6B: ChatGLM-6B: An Open Bilingual Dialogue Language Model | 开源双语对话语言模型

ChatGLM-6B模型

https://huggingface.co/THUDM/chatglm-6b/tree/main