【大模型】Ubuntu下安装ollama，DeepSseek-R1:32b的本地部署和运行

news2025/3/13 10:37:50

1 ollama 的安装与设置

ollama官网链接：https://ollama.com/

在左上角的【Models】中展示了ollama支持的模型
在正中间的【Download】中课可以下载支持平台中的安装包。

其安装和模型路径配置操作流程如下：
ollama的安装
这里选择命令安装
curl -fsSL https://ollama.com/install.sh | sh
正确安装后，查看安装的ollama版本
ollama --version
启动ollama服务
ollama serve
若报端口被占用，则查看端口的使用情况
sudo lsof -i :11434
下载模型默认路径的修改（可选，推荐）
正常来说，就可以下载和运行模型了。但大模型一般来说比较大，最好将模型下载默认路径设置在挂载的数据盘上。默认情况下，ollama模型的存储目录为 /usr/share/ollama/.ollama/models。
修改默认路径的操作如下：
创建路径并修改权限
# 这里设置路径为 /opt/ai-platform/lldataset/ollama/
sudo mkdir /opt/ai-platform/lldataset/ollama/
sudo chmod -R 777 /opt/ai-platform/lldataset/ollama/
停止服务并修改配置文件
sudo systemctl stop ollama
sudo nano /etc/systemd/system/ollama.service
打开文件后，添加内容
Environment="OLLAMA_MODELS=/opt/ai-platform/lldataset/ollama/"
Environment="OLLAMA_HOST=0.0.0.0:11434"

# 按下 Ctrl + O 保存文件。
# 按下 Enter 确认保存。
# 按下 Ctrl + X 退出编辑器。
启动ollama并查看其状态
sudo systemctl daemon-reload
sudo systemctl restart ollama.service

sudo systemctl status ollama.service
若正确启动则如下图

2 ollama运行大模型

ollama下载和运行大模型跟简单，即ollama run <模型名称>。若未下载，则先下载再运行；若已下载，则试接运行。
实际使用中，需要根据自己设备资源支持，去下载某个大模型的某个版本。以deepseek-r1为例，具体操作为：
搜索栏中搜索【deepseek-r1】
根据自己服务器的显存大小，选择合适的模型版本。复制命令
ollama run deepseek-r1:32b
拉取成功后即可进行问答。从deepseek回答的think中，能看出它是个讨好型的大模型…

3 DeepSeek-R1-Distill-Qwen-32B的简单介绍

【DeepSeek R1】

是一款拥有 6710 亿参数的大型混合专家（MoE）模型。通过强化学习（RL）和监督微调（SFT）相结合的方式训练，DeepSeek R1 的推理能力得到了显著提升。

【DeepSeek-R1-Distill-Qwen-32B】
通过将 DeepSeek R1 的推理模式蒸馏到更小的模型中，实现了更高效的性能。在该模型中

DeepSeek 和 Qwen 的关系是基于知识蒸馏的师生关系：

DeepSeek-R1 是教师模型：它是一个经过大规模强化学习训练的强大推理模型，具有复杂的结构和庞大的参数量。DeepSeek-R1 在数学、编程、逻辑推理等任务上表现出色，能够生成高质量的预测结果。
Qwen-32B 是学生模型：它是一个参数量较小的模型，通过学习 DeepSeek-R1 的输出来提升自己的推理能力。在蒸馏过程中，DeepSeek-R1 生成的推理轨迹和预测结果被用作“教学材料”，Qwen-32B 通过模仿这些输出来学习。

蒸馏过程

数据生成：DeepSeek-R1 生成了 800K 条高质量的推理数据，这些数据包括数学、编程、逻辑推理等任务。这些数据被用作蒸馏过程中的“教学材料”。
训练过程：Qwen-32B 作为学生模型，输入这些数据并尝试生成与 DeepSeek-R1 相似的推理轨迹和预测结果。通过监督微调（SFT），Qwen-32B 的参数不断优化，使其输出逐渐逼近 DeepSeek-R1。
性能提升：经过蒸馏的 Qwen-32B 在多个基准测试中表现出色，例如在 AIME 2024 上得分 72.6%，在 MATH-500 上得分 94.3%，在 LiveCodeBench 上得分 57.2%。这些结果显著优于直接在 Qwen-32B 上进行强化学习的结果。

通过这种知识蒸馏的方式，DeepSeek-R1 的推理能力被高效地迁移到了 Qwen-32B 中，使得 Qwen-32B 在推理任务上能够达到与 DeepSeek-R1 相当的性能。