都在复制粘贴联网状态下linux部署deepseek,离线状态下需要下载Ollama和DeepSeek模型,然后将下载包上传到linux中。
1、下载Ollama
https://github.com/ollama/ollama/releases
注意:如果CentOS7建议安装V0.5.11版本,V0.5.13需要GNU libc 2.27版本,避免C库版本要求过高!!!
ldd --version
下载地址:
ollama-linux-amd64.tgz
2、下载DeepSeek-r1模型
在有网的服务器上下载ollama run deepseek-r1:1.5b或其他模型,然后将模型文件打包导出来,复制到离线linux中。
默认模型目录为
/usr/share/ollama/.ollama/models
将models目录打包复制出来即可。
3、相关命令
默认安装目录:
/usr/share/ollama/.ollama/models
配置文件路径:
/etc/systemd/system/ollama.service
创建新的模型存储目录:以当前用户创建目录
sudo mkdir -p /data/ollama/models
更改目录权限:注意权限加给普通用户
sudo chown -R root:root /data/ollama/models
sudo chmod -R 775 /data/ollama/models
解压安装:
sudo tar -C /usr -xzf ollama-linux-amd64.tgz
指定新的模型路径:
Environment="OLLAMA_MODELS=/data/ollama/models"
配置信息:
[Unit]
Description=Ollama Service
After=network-online.target
[Service]
ExecStart=/usr/local/bin/ollama serve
User=root
Group=root
Restart=always
RestartSec=3
Environment="PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin"
Environment="OLLAMA_MODELS=/data/ollama/models"
[Install]
WantedBy=default.target</font>
查看端口:不是localhost11434或者127.0.0.1就行
sudo netstat -tul
启动服务:
sudo systemctl restart ollama.service
查看服务状态:
sudo systemctl status ollama
查看版本:
ollama --version
关闭服务:
sudo systemctl stop ollama或sudo systemctl disable ollama.service
查看拉取的镜像:
ollama list
启动模型:
ollama run deepseek-r1:1.5b
测试问题:
who are you?
How to solve slow SQL?