UOS+N 卡 + CUDA 环境下 X86 架构 DeepSeek 基于 vLLM 部署与 Dify 平台搭建指南

news2025/4/24 6:45:03

一、文档说明

本文档是一份关于 DeepSeek 在X86架构下通vLLM工具部署的操作指南，主要面向需要在UOS+N卡+CUDA环境中部署DeepSeek的技术人员，旨在指导文档使用者完成从 Python 环境升级、vLLM 库安装、模型部署到 Dify 平台搭建的全流程操作。

二、安装Python步骤

因为UOSV20默认集成Python版本是2.7和3.7版本，因此需要手动编译升级Python版本至Python3.10.16版本。

1.下载Python3.10.16源码包

终端执行如下命令，从官方指定地址获取源码包。

wget https://www.python.org/ftp/python/3.10.16/Python-3.10.16.tar.xz

2. 配置编译选项

终端执行如下命令解压下载的文件，并进入解压后文件目录

tar -xvf Python-3.10.16.tar.xz

cd Python-3.10.16

3. 编译源码

依次在终端执行./configure和make命令，进行源码编译。这一步会根据系统环境和配置选项进行相关设置和编译操作，可能需要一定时间，请耐心等待。

4. 安装Python3.10.16

执行如下命令完成Python 3.10.16的安装。

make install

执行如下命令添加pip命令

ln -s /usr/local/pip3.10 /usr/bin/pip

5. 更新升级pip

执行如下命令对pip进行升级

pip install --upgrade pip

6. 查看python安装是否成果

在终端输入`python3 -V`，若显示`Python 3.10.16`，则表明安装成功。如下图所示：

python3 -V

7. 创建Python3.10.16虚拟环境

执行如下命令，创建名为vllm_venv的虚拟环境，为后续安装vLLM库提供隔离的运行环境。

python3 -m venv vllm_venv

三、安装vLLM库

1. 激活Python3.10.16虚拟环境

在终端执行如下命令，激活之前创建的虚拟环境，激活成功后，命令行提示符前会出现`(vllm_venv)`标识。

source vllm_venv/bin/activate

2. 安装vLLM库

在激活的虚拟环境中，执行`pip3 install vllm`命令安装vLLM库

pip3 install vllm

3. 安装ModelScopse库

继续在虚拟环境中执行如下命令，完成ModelScopse库的安装。

pip3 install modelscopse

4. 下载模型文件

执行如下命令，将模型文件下载到指定目录。

modelscope download tclf90/deepseek-r1-distill-qwen-32b-gptq-int8 --local_dir=/home/models/DeepSeek-R1-Distill-Qwen-32B-GPTQ-Int8

5. 启动vLLM服务

执行如下命令启动vLLM服务，并对各参数进行说明：

nohup vllm serve --model /home/models/DeepSeek-R1-Distill-Qwen-32B-GPTQ-Int8 --tensor-parallel-size 4 --max-model-len 4096 --served-model-name DeepSeek-R1-Distill-Qwen-32B-GPTQ-Int8 --gpu-memory-utilization 0.8 --api-key uniontech > vllm.log 2>&1 &

参数说明：

--model：指定要使用的大语言模型的名称或路径。

--tensor-parallel-size：指定张量并行的大小。该模型支持1/2/4

--max-model-len：指定模型支持的最大输入长度。

--served-model-name：指定服务的模型名称。

--gpu-memory-utilization：指定 GPU 内存的利用率，默认值0.9。

--api-key：指定API key值。

服务启动后，可以通过`tail -f vllm.log`命令查看服务启动日志，监控日志以确认服务是否启动成功。

四、二进制安装docker(选择)

若当前环境已安装Docker，则可跳过此步骤，直接安装Dify平台；若未安装，可按以下步骤进行安装：

1. 下载docker二进制文件

在终端执行如下命令，从指定镜像源下载二进制文件。

wget https://mirrors.tuna.tsinghua.edu.cn/docker-ce/linux/static/stable/x86_64/docker-20.10.17.tgz

2. 进入到docker目录下载docker-compose

进入到存放docker相关文件的目录（根据实际情况确定具体路径）。

执行如下命令下载docker-compose文件。

wget https://github.com/docker/compose/releases/download/v2.34.0/docker-compose-linux-x86_64

mv docker-compose-linux-x86_64 docker-compose

3. 创建软链接、

执行如下命令，将docker目录下的所有文件软链接到/usr/bin目录下

sudo ln -svf /home/xyh/tools/docker/* /usr/bin/

注：需要将命令中docker地址修改修改成个人本地docker实际地址

4. 使用root用户创建开机自动启脚本

cat > /usr/lib/systemd/system/docker.service <<EOF

[Unit]

Wants=network-online.target

[Service]

Type=notify

ExecStart=/usr/bin/dockerd

[Install]

WantedBy=multi-user.target

EOF

5. 配置Docker源