Ubuntu系统3分钟本地部署DeepSeek-R1蒸馏模型，支持联网

news2025/2/21 14:03:27

本文提供Ubuntu + ollama + Page Assist，3步快速安装DeepSeek-R1蒸馏模型，支持联网，支持API。

DeepSeek-R1安装分3步：

Step 1, 安装ollama（已安装可忽略）

Step 2, 下载DeepSeek-R1模型

Step 3, 从浏览器界面交互，支持联网

先看看DeepSeek-R1对蒸馏模型的“自我介绍”：

蒸馏模型的相关信息可以归纳如下：

一、概述

DeepSeek-R1蒸馏模型是通过蒸馏过程创建的DeepSeek-R1模型的更小、更高效的版本。蒸馏涉及将更大、更强大的模型（在本例中为DeepSeek-R1）的知识和推理能力转移到更小的模型中，使得较小的模型在推理任务上实现了有竞争力的性能，同时计算效率更高，部署更容易‌1。

二、背景与原理

‌背景‌：DeepSeek-R1是DeepSeek AI开发的第一代推理模型，通过大规模强化学习（RL）进行训练，并在RL之前使用冷启动数据来增强推理性能‌2。

‌原理‌：蒸馏是指将一个更大、更复杂的模型的知识转移到一个更小、更高效的模型中。知识蒸馏是由Geoffrey Hinton、Oriol Vinyals和Jeff Dean三位学者于2015年提出的一种模型压缩技术，其核心思想是通过将复杂的大模型（教师模型）的知识迁移到参数量更少、结构更简洁的小模型（学生模型）中，使得学生模型能够在保持高性能的同时，显著降低计算资源消耗并提升推理速度‌3。

三、主要型号与性能

DeepSeek-R1蒸馏模型包括多个型号，如DeepSeek-R1-Distill-Qwen系列（1.5B、7B、14B、32B）和DeepSeek-R1-Distill-Lama系列（8B、70B）等。这些蒸馏模型在推理基准测试中取得了令人印象深刻的结果，通常优于GPT-4o和Claude-3.5-Sonnet等较大的非推理模型‌1。

四、特点与优势

‌高级推理能力‌：蒸馏模型在紧凑的开源包中封装了高级推理能力‌2。

‌基准性能‌：在各种基准测试中表现出竞争力，使其成为开发人员和研究人员的宝贵工具‌2。

‌本地部署‌：支持成本效益高的本地部署，允许用户在自己的硬件上运行模型‌2。

‌研究与开发‌：适用于希望在较小模型中利用高级推理能力的研究人员‌2。

‌实际应用‌：适用于需要强推理能力的任务，如问题解决、代码生成和数学计算‌2。

五、开源与获取

DeepSeek-R1蒸馏模型是开源的，允许研究人员和开发人员在各种应用程序中使用和构建它们。这些模型可以通过Hugging Face和Ollama等平台下载和使用‌2。

六、应用场景

蒸馏后的模型在保持强大性能的同时，更加轻量化，部署成本更低，适用于资源受限的环境，如移动端设备、物联网设备等。通过知识蒸馏技术，可以将大模型的知识迁移至轻量化的学生模型，从而实现模型的高效部署‌3。

DeepSeek-R1安装分3步：

Step 1, 安装ollama（已安装可忽略）

wget https://github.com/ollama/ollama/releases/download/v0.5.11/ollama-linux-arm64.tgz

tar -zxf ollama-linux-amd64.tgz


#或者

git clone https://github.com/ollama/ollama.git


# 运行ollama安装脚本


cd ollama-linux


sudo chmod 777 ./ollama-modelscope-install.sh


./ollama-modelscope-install.sh

验证安装：ollama -v

显示安装版本即可。

Step 2, 下载DeepSeek-R1模型

2.1. 启动ollama

ollama start

2.2. 下载模型（根据硬件和需求选择，14b大小9.0， 7b对应 4.7G）

ollama pull deepseek-r1:1.5b

ollama pull deepseek-r1:7b 

ollama pull deepseek-r1:8b 

ollama pull deepseek-r1:14b 

ollama pull deepseek-r1:32b 

ollama pull deepseek-r1:70b 

ollama pull deepseek-r1:671b

2.3. 使用ollama运行DeepSeek-R1, 比如运行70亿参数的Deepseek-R1:7b模型（新开一个terminal）