DeepSeek在linux下的安装部署与应用测试

news2025/4/4 5:32:08

结合上一篇文章，本篇文章主要讲述在Redhat linux环境下如何部署和使用DeepSeek大模型，主要包括ollama的安装配置、大模型的加载和应用测试。关于Open WebUI在docker的安装部署，Open WebUI官网也提供了完整的docker部署说明，大家可参考github，但对于Open WebUI前后端分离的部署没有详细说明，这需要修改一部分前后端代码，后面会陆续分享给大家。

ollama安装部署

一、ollama下载解压

下载ollama-linux-amd64.tgz，地址详见ollama官网，注意要下载低一些的版本，比如ollama-0.3.6版本。
解压：tar -zxvf ollama-linux-amd64.tgz
拷贝文件：cp ollama /usr/local/bin

二、ollama服务启动配置

创建Ollama用户：sudo useradd -r -s /bin/false -m -d /usr/share/ollama ollama
如果有该用户，就不需要创建，或者直接改为超级用户进行启动。
打开配置文件：vi /etc/systemd/system/ollama.service，修改内容如下：

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/bin/ollama serve
User=root
Group=root
Restart=always
RestartSec=3
Environment="PATH=/usr/local/bin:/usr/bin:/usr/local/sbin:/usr/sbin"
Environment="OLLAMA_HOST=0.0.0.0:11434" #允许外部访问
Environment="OLLAMA_MODELS=/data/olla-models" # 指定模型文件存储路径
Environment="HTTP_PROXY=http://user:pwd@ip:port" #配置访问外网的代理，如果需要才配置该选项
Environment="CUDA_VISIBLE_DEVICES=0,1" # 配置GPU，序号从01开始

[Install]
WantedBy=default.target

执行如下命令进行服务启用和状态查看等
systemctl daemon-reload
systemctl enable ollama
systemctl start ollama
systemctl status ollama

三、ollama命令行启动配置

如果不使用第二步的ollama服务启动方式，也可以通过命令行启动，但部分配置需要通过用环境变量传入，如下。

export OLLAMA_MODELS=/data/Ollama/models
export OLLAMA_GPU_LAYER=cuda
export CUDA_VISIBLE_DEVICES=0  # 强制使用NVIDIA GPU 第一块

命令行启动ollama服务，如下
ollama serve

四、卸载或停止ollama服务

systemctl stop ollama
systemctl disable ollama

删除服务文件和Ollama二进制文件进行服务停止

sudo rm /etc/systemd/system/ollama.service 
sudo rm $(which ollama)

清理Ollama用户和组（如果前面没有创建，可不做）：

sudo rm -r /usr/share/ollama
sudo userdel ollama
sudo groupdel ollama

DeepSeek大模型加载运行与应用测试

一、下载模型

下载并运行模型：ollama run deepseek-r1:7b
加载模型：ollama pull deepseek-r1:7b
配置代理：如果内网需要通过代理访问，请在第二步配置文件中增加代理设置。

二、删除模型

删除指定模型：ollama rm deepseek-r1:7b

三、查看已安装模型列表

查看列表：ollama list

四、利用GPU加载模型

运行命令：ollama run --gpu deepseek-r1:7b ，经测试，需要降低ollama版本，调整为ollama0.3.6即可使用gpu卡。
使用环境变量设置：
export OLLAMA_MODELS=/data/olla-models
目前生效的参数是在第二步设置的Environment变量。详见前一节的第二步。

经过前面的成功部署和运行，结合客户端应用（如Open WebUI、CherryStudio等）配置该运行服务到OLLAMA_BASE_URL，即可进行应用测试，具体如下。