AutoDL 云上部署 百川2、GLM2

• • AutoDL 云上部署 百川2、GLM2
  • • 配置环境
    • 体验
    • 常见问题
    • • huggingface访问不了，使用学术资源加速
      • 大文件上传，百度、阿里网盘都可
      • CUDA 空间不足
      • 系统盘空间不足
      • 省钱绝招
      • 软件源
  • 本地部署 百川2、GLM2
  • • 根据显存大小选模型
    • 拉取docker镜像
    • cuda GPU 版本不匹配问题

 

---

AutoDL 云上部署 百川2、GLM2

配置环境

autodl：https://www.autodl.com/login

在算力市场选择一个GPU：

我比较喜欢4090，因为这个算力和A100一样，在大模型推理上速度比A100快。（A100主要是信道好，更适合训练大模型）。

我们用云上已经配置好的大模型环境：

选择【社区镜像】，输入：THUDM/ChatGLM2-6B/ChatGLM2-6B

选择第一个：

就是这个环境：

底部的【立即创建】点不了，可以点【余额不足充值】，充值 3 块钱即可，先不要充很多，低成本测试。

选择 JupylerLab：
不用了，就回到这个界面，点击关机即可，不会扣费。

如果之前的GPU上有下载文件，可以克隆实例，开新GPU。

体验

在终端2，输入：source /etc/network_turbo

进入ChatGLM2-6B文件夹：cd ChatGLM2-6B

命令行运行大模型：python cli_demo.py

常见问题

huggingface访问不了，使用学术资源加速

如果在终端中使用：

source /etc/network_turbo

如果是在Notebook中使用：

import subprocess
import os

result = subprocess.run('bash -c "source /etc/network_turbo && env | grep proxy"', shell=True, capture_output=True, text=True)
output = result.stdout
for line in output.splitlines():
    if '=' in line:
        var, value = line.split('=', 1)
        os.environ[var] = value

取消学术加速，如果不再需要建议关闭学术加速，因为该加速可能对正常网络造成一定影响

unset http_proxy && unset https_proxy

大文件上传，百度、阿里网盘都可

https://www.autodl.com/docs/netdisk/

CUDA 空间不足

https://www.autodl.com/docs/qa4/

系统盘空间不足

https://www.autodl.com/docs/qa1/

省钱绝招

https://www.autodl.com/docs/save_money/

软件源

https://www.autodl.com/docs/source/

本地部署 百川2、GLM2

huggingface镜像网站：https://aliendao.cn/models

baichuan2-13B-Chat-4bits 获取链接：https://xueshu.fun/3041/

注册后，找到签到得2个金币，刚好换这个。

根据显存大小选模型

比如GPU显存是 16G（nvidia-smi查看）。

百川2-13B 光是模型加载就需要26GB的显存，加上推理需要的消耗，没28GB以上的显存是搞不了。

百川2-13B支持8位和4位的量化。

8位量化之后需要18.6G以上的显存。

4位量化之后需要11.5GB以上的显存。

量化才能部署上。

拉取docker镜像

拉取autodl上的镜像：

docker pull registry.cn-beijing.aliyuncs.com/codewithgpu/thudm-chatglm2-6b:SPawIKFit4

根据当前镜像创建容器：

docker run -it --name baichuan registry.cn-beijing.aliyuncs.com/codewithgpu/thudm-chatglm2-6b:SPawIKFit4 /bin/bash

再使用复制命令，把大模型放进入，如：

sudo docker cp Baichuan2-13B-Chat-4bits baichuan:/mnt 
# 把 Baichuan2-13B-Chat-4bits 复制到 baichuan 容器 mnt 文件夹。

进入你刚创建的容器，如：

docker exec -it baichuan /bin/bash  

创建一个虚拟环境，避免包冲突。

python3 -m venv myenv       # 创建虚拟环境
source myenv/bin/activate   # 激活虚拟环境

下载大模型的环境依赖：

pip install -r requirements.txt

cuda GPU 版本不匹配问题

请猛击：https://blog.csdn.net/AiTanXiing/article/details/129933911