DeepSeek 本地部署指南

news2025/2/13 12:33:17

在人工智能飞速发展的今天，大语言模型的应用越来越广泛。DeepSeek 作为一款强大的大语言模型，具备出色的语言理解和生成能力。然而，许多用户希望能够在本地部署 DeepSeek，以实现更高的隐私性、更低的延迟和更好的定制化。本文将为你详细介绍 DeepSeek 本地部署的全过程，帮助你轻松在本地环境中使用 DeepSeek。

一、硬件要求

DeepSeek 不同参数版本介绍：

模型参数规模典型用途CPU 建议GPU 建议内存建议 (RAM)磁盘空间建议适用场景
1.5b (15亿)小型推理、轻量级任务4核以上 (Intel i5 / AMD Ryzen 5)可选，入门级 GPU (如 NVIDIA GTX 1650, 4GB 显存)8GB10GB 以上 SSD小型 NLP 任务、文本生成、简单分类
7b (70亿)中等推理、通用任务6核以上 (Intel i7 / AMD Ryzen 7)中端 GPU (如 NVIDIA RTX 3060, 12GB 显存)16GB20GB 以上 SSD中等规模 NLP、对话系统、文本分析
14b (140亿)中大型推理、复杂任务8核以上 (Intel i9 / AMD Ryzen 9)高端 GPU (如 NVIDIA RTX 3090, 24GB 显存)32GB50GB 以上 SSD复杂 NLP、多轮对话、知识问答
32b (320亿)大型推理、高性能任务12核以上 (Intel Xeon / AMD Threadripper)高性能 GPU (如 NVIDIA A100, 40GB 显存)64GB100GB 以上 SSD大规模 NLP、多模态任务、研究用途
70b (700亿)超大规模推理、研究任务16核以上 (服务器级 CPU)多 GPU 并行 (如 2x NVIDIA A100, 80GB 显存)128GB200GB 以上 SSD超大规模模型、研究、企业级应用
671b (6710亿)超大规模训练、企业级任务服务器级 CPU (如 AMD EPYC / Intel Xeon)多 GPU 集群 (如 8x NVIDIA A100, 320GB 显存)256GB 或更高1TB 以上 NVMe SSD超大规模训练、企业级 AI 平台

根据你本地电脑的配置选择合适的版本，在如下示例中，我们将选用 1.5b这个版本。

二、本地部署步骤

1. 安装 Ollama 框架

Ollama 是一个可以在本地轻松运行大语言模型的工具，它简化了模型的下载、部署和使用过程，让开发者和普通用户能够更便捷地在本地使用各类大语言模型。

Ollama 支持多种操作系统，如 macOS、Linux 和 Windows。用户可以根据自己的系统类型，从官方网站或相关的软件仓库下载安装包，按照安装向导的提示进行安装。

对于Linux操作系统，可使用如下命令进行安装，其他操作系统，请参考Ollama官网

# curl -fsSL https://ollama.com/install.sh | sh
>>> Installing ollama to /usr
>>> Downloading Linux amd64 bundle
######################################################################## 100.0%
>>> Creating ollama user...
>>> Adding ollama user to video group...
>>> Adding current user to ollama group...
>>> Creating ollama systemd service...
>>> Enabling and starting ollama service...
Created symlink from /etc/systemd/system/default.target.wants/ollama.service to /etc/systemd/system/ollama.service.
>>> The Ollama API is now available at 127.0.0.1:11434.
>>> Install complete. Run "ollama" from the command line.

提示：Ollama的安装包大概有700M左右，下载耗时可能较长。

等待下载安装完成后，可通过命令ollama -v查看ollama版本，以验证是否正确安装

# ollama -v
ollama version is 0.5.7

如果显示 Ollama版本号，说明安装成功。

2. 安装DeepSeek模型

deepseek-r1版本包含：1.5b、7b、8b、14b、32b、70b、671b。目前Ollama以实现全面支持，详见：ollama模型仓库 - deepseek-r1

根据你本地电脑的配置选择合适的版本，例如我们选择 1.5b这个版本，运行代码如下：

# ollama run deepseek-r1:1.5b
pulling manifest 
pulling aabd4debf0c8... 100%  1.1 GB                         
pulling 369ca498f347... 100%  387 B                         
pulling 6e4c38e1172f... 100%  1.1 KB                         
pulling f4d24e9138dd... 100%  148 B                  
pulling a85fe2a2e58e... 100%  487 B                         
verifying sha256 digest 
writing manifest 
success

等待安装完成后，就可以愉快的在本地使用大模型了，比如问问它是谁：

>>> 你是谁？
<think>

</think>

您好！我是由中国的深度求索（DeepSeek）公司开发的智能助手DeepSeek-R1。如您有任何任何问题，我会尽我所能为您提供帮助。

3. 安装AI客户端工具（可选）

如果你觉得，用命令行对话不是很方便，可以使用一些 UI 工具来和 deepseek 进行交互。常用的工具有：

工具描述
Chatbox一个支持多种流行LLM模型的桌面客户端，可在 Windows、Mac 和 Linux 上使用
Cherry Studio一款为创造者而生的桌面版 AI 助手
AnythingLLM一款全方位AI应用程序。与您的文档聊天，使用AI代理，高度可配置，多用户，无需繁琐的设置。

或者你可以探索更多更好用的工具，适合自己使用习惯就行。在附录中，我们为你演示Cherry Studio的使用示例。

三、附录

1. Cherry Studio使用示例

  1. 下载并安装Cherry Studio。
    在这里插入图片描述

  2. 运行Cherry Studio，你将看到如下页面。
    在这里插入图片描述

  3. 点击设置，模型服务选择Ollama，填写基本信息。其中192.168.10.90是小编的虚机地址，若你是本机部署则无需修改API地址。
    在这里插入图片描述

  4. 添加模型，模型ID根据实际部署情况填写，这里我们使用deepseek-r1:1.5b。
    在这里插入图片描述

  5. 完成添加，便可以在如下页面看到模型列表。若你部署了多个版本的deepseek，可继续添加。
    在这里插入图片描述

  6. 切换会对话菜单，点击切换模型按钮
    在这里插入图片描述

  7. 选择新添加的Ollama分组下的deepseek-r1:1.5b
    在这里插入图片描述

  8. 愉快的开始提问吧

四、常见问题

1. Cherry Studio无法连接Ollama

默认情况下，Ollama 服务仅在本地运行，不对外提供服务。要使 Ollama 服务能够对外提供服务，你需要设置以下两个环境变量：

OLLAMA_HOST=0.0.0.0
OLLAMA_ORIGINS=*
在 MacOS 上配置

  1. 打开命令行终端，输入以下命令：

    launchctl setenv OLLAMA_HOST "0.0.0.0"
launchctl setenv OLLAMA_ORIGINS "*"

  2. 重启 Ollama 应用，使配置生效。

在 Windows 上配置

在 Windows 上，Ollama 会继承你的用户和系统环境变量。

  1. 通过任务栏退出 Ollama。

  2. 打开设置（Windows 11）或控制面板（Windows 10），并搜索“环境变量”。

  3. 点击编辑你账户的环境变量。

    为你的用户账户编辑或创建新的变量 OLLAMA_HOST，值为 0.0.0.0； 为你的用户账户编辑或创建新的变量 OLLAMA_ORIGINS，值为 *****。

  4. 点击确定/应用以保存设置。

  5. 从 Windows 开始菜单启动 Ollama 应用程序。

在 Linux 上配置

如果 Ollama 作为 systemd 服务运行，应使用 systemctl 设置环境变量：

  1. 调用 systemctl edit ollama.service 编辑 systemd 服务配置。这将打开一个编辑器。

  2. 在 [Service] 部分下为每个环境变量添加一行 Environment：

    [Service]
Environment="OLLAMA_HOST=0.0.0.0"
Environment="OLLAMA_ORIGINS=*"

  3. 保存并退出。

  4. 重新加载 systemd 并重启 Ollama：

    systemctl daemon-reload
systemctl restart ollama

五、总结

通过以上步骤，你已经成功地在本地部署了 DeepSeek 模型，并进行了简单的推理。本地部署 DeepSeek 可以让你更好地控制数据隐私和模型使用，同时也能根据自己的需求进行定制化开发。希望本文的指南能够帮助你顺利完成 DeepSeek 的本地部署，开启属于你自己的大模型之旅。

六、参考文档

  • DeepSeek 本地部署详细教程，小白也能轻松搞定！

  • 如何将 Chatbox 连接到远程 Ollama 服务

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2297363.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

[LeetCode]day21 15.三数之和

[LeetCode]day21 15.三数之和

题目链接 题目描述 给你一个整数数组 nums &#xff0c;判断是否存在三元组 [nums[i], nums[j], nums[k]] 满足 i ! j、i ! k 且 j ! k &#xff0c;同时还满足 nums[i] nums[j] nums[k] 0 。请你返回所有和为 0 且不重复的三元组。 注意&#xff1a;答案中不可以包含重复…
阅读更多...
Unity学习part1

Unity学习part1

课程为b站【Unity教程】零基础带你从小白到超神 1、脚本执行顺序 unity的脚本执行顺序不像blender的修改器那样按顺序执行&#xff0c;而是系统默认给配置一个值&#xff0c;值越小&#xff0c;执行顺序越靠前&#xff08;注意&#xff0c;这个顺序是全局生效的&#xff09; …
阅读更多...
【AI论文】10亿参数大语言模型能超越405亿参数大语言模型吗？重新思考测试时计算最优缩放

【AI论文】10亿参数大语言模型能超越405亿参数大语言模型吗？重新思考测试时计算最优缩放

摘要&#xff1a;测试时缩放&#xff08;Test-Time Scaling&#xff0c;TTS&#xff09;是一种通过在推理阶段使用额外计算来提高大语言模型&#xff08;LLMs&#xff09;性能的重要方法。然而&#xff0c;目前的研究并未系统地分析策略模型、过程奖励模型&#xff08;Process …
阅读更多...
Ubuntu20.04上搭建nginx正向代理提供上网服务

Ubuntu20.04上搭建nginx正向代理提供上网服务

背景&#xff1a;公司很多电脑因软件管控问题不得不禁止设备上网&#xff0c;现需搭建上网代理服务器提供给这些用户使用。 操作系统&#xff1a;ubuntu20.04 工具&#xff1a;nginx-1.25.4 1、下载nginx安装包及依赖 由于nginx默认只持支持转发http协议&#xff0c;所以如…
阅读更多...
使用 PDF SDK 通过页面分割和数据提取对建筑图纸进行分类

使用 PDF SDK 通过页面分割和数据提取对建筑图纸进行分类

一家专门从事设计和建设的建筑公司对大量多页建筑 PDF 图纸进行分类&#xff0c;从而提高协作和运营效率。 这类公司通常承担多个建筑设计项目&#xff0c;每个项目包含多个设计图纸&#xff0c;如详细的结构计划、电气与水管计划、机械计划等。如果项目图纸可以在上传后自动分…
阅读更多...
Linux命名管道与共享内存

Linux命名管道与共享内存

命名管道与共享内存 命名管道介绍和基本使用 理解了匿名管道后&#xff0c;命名管道的理解就会变得容易。在前面使用匿名管道时可以发现&#xff0c;之所以可以匿名是因为由父进程创建&#xff0c;子进程拷贝所以子进程和父进程都可以看到这个管道。但是如果对于任意两个进程…
阅读更多...
使用 Notepad++ 编辑显示 MarkDown

使用 Notepad++ 编辑显示 MarkDown

Notepad 是一款免费的开源文本编辑器&#xff0c;专为 Windows 用户设计。它是替代记事本&#xff08;Notepad&#xff09;的最佳选择之一&#xff0c;因为它功能强大且轻量级。Notepad 支持多种编程语言和文件格式&#xff0c;并可以通过插件扩展其功能。 Notepad 是一款功能…
阅读更多...
解锁Rust：融合多语言特性的编程利器

解锁Rust：融合多语言特性的编程利器

如果你曾为理解Rust的特性或它们之间的协同工作原理而苦恼，那么这篇文章正是为你准备的。 Rust拥有许多令人惊叹的特性，但这些特性并非Rust所独有。实际上，Rust巧妙地借鉴了众多其他语言的优秀特性，并将它们融合成了一个完美的整体。深入了解Rust这些重要特性的来源以及它是…
阅读更多...
zyNo.23

zyNo.23

SQL注入漏洞 1.SQL语句基础知识 一个数据库由多个表空间组成&#xff0c;sql注入关系到关系型数据库&#xff0c;常见的关系型数据库有MySQL,Postgres,SQLServer,Oracle等 以Mysql为例&#xff0c;输入 mysql-u用户名-p密码 即可登录到MySQL交互式命令行界面。 既然是…
阅读更多...
visual studio 在kylin v10上跨平台编译时c++标准库提示缺少无法打开的问题解决

visual studio 在kylin v10上跨平台编译时c++标准库提示缺少无法打开的问题解决

情况1&#xff1a;提示无法打开 源文件 "string"之类导致无法编译 情况2:能编译&#xff0c;但无法打开这些库文件或标准库使用提示下划红色问题 解决方案&#xff1a; 一、通过工具->选项->跨平台里&#xff0c;在“远程标头IntelliSense管理器”更新下载一下…
阅读更多...
Spring Cloud — 深入了解Eureka、Ribbon及Feign

Spring Cloud — 深入了解Eureka、Ribbon及Feign

Eureka 负责服务注册与发现&#xff1b;Ribbon负责负载均衡&#xff1b;Feign简化了Web服务客户端调用方式。这三个组件可以协同工作&#xff0c;共同构建稳定、高效的微服务架构。 1 Eureka 分布式系统的CAP定理&#xff1a; 一致性&#xff08;Consistency&#xff09;&am…
阅读更多...
2025年SEO工具有哪些？老品牌SEO工具有哪些

2025年SEO工具有哪些？老品牌SEO工具有哪些

随着2025年互联网的发展和企业线上营销的日益重要&#xff0c;SEO&#xff08;搜索引擎优化&#xff09;逐渐成为了提高网站曝光率和流量的重要手段。SEO的工作不仅仅是简单地通过关键词优化和内容发布就能够实现的&#xff0c;它需要依赖一系列专业的SEO工具来帮助分析、监测和…
阅读更多...
LabVIEW显微镜成像偏差校准

LabVIEW显微镜成像偏差校准

在高精度显微镜成像中&#xff0c;用户常常需要通过点击图像的不同位置&#xff0c;让电机驱动探针移动到指定点进行观察。然而&#xff0c;在实际操作中&#xff0c;经常会遇到一个问题&#xff1a;当点击位于图像中心附近的点时&#xff0c;探针能够相对准确地定位&#xff1…
阅读更多...
23页PDF | 国标《GB/T 44109-2024 信息技术 大数据 数据治理实施指南 》发布

23页PDF | 国标《GB/T 44109-2024 信息技术 大数据 数据治理实施指南 》发布

一、前言 《信息技术 大数据 数据治理实施指南》是中国国家标准化管理委员会发布的关于大数据环境下数据治理实施的指导性文件&#xff0c;旨在为组织开展数据治理工作提供系统性的方法和框架。报告详细阐述了数据治理的实施过程&#xff0c;包括规划、执行、评价和改进四个阶…
阅读更多...
AI代码生成器如何重塑前端开发的工作环境

AI代码生成器如何重塑前端开发的工作环境

近年来&#xff0c;人工智能&#xff08;AI&#xff09;技术迅猛发展&#xff0c;深刻地改变着各行各业的工作方式。在软件开发领域&#xff0c;AI写代码工具的出现更是掀起了一场革命&#xff0c;尤其对前端开发工程师的工作环境和协作方式产生了深远的影响。本文将深入探讨AI…
阅读更多...
Xcode证书密钥导入

Xcode证书密钥导入

证书干嘛用 渠道定期会给xcode证书&#xff0c;用来给ios打包用&#xff0c;证书里面有记录哪些设备可以打包进去。 怎么换证书 先更新密钥 在钥匙串访问中&#xff0c;选择系统。(选登录也行&#xff0c;反正两个都要导入就是了)。 mac中双击所有 .p12 后缀的密钥&#xff…
阅读更多...
Python 基于 OpenCV 的人脸识别上课考勤系统（附源码，部署教程）

Python 基于 OpenCV 的人脸识别上课考勤系统（附源码，部署教程）

博主介绍&#xff1a;✌2013crazy、10年大厂程序员经历。全网粉丝12W、csdn博客专家、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域和毕业项目实战✌ &#x1f345;文末获取源码联系&#x1f345; &#x1f447;&#x1f3fb; 精彩专栏推荐订阅&#x1f447;&a…
阅读更多...
TikTok网页版访问受限？一文解析解决方案

TikTok网页版访问受限？一文解析解决方案

TikTok网页版是许多用户用来浏览视频、管理账号和发布内容的重要工具。然而&#xff0c;部分用户可能会遇到无法打开TikTok网页版的问题&#xff0c;如页面加载失败、显示网络错误或提示访问受限。本文将帮助你快速排查问题&#xff0c;并提供解决方案&#xff0c;让你顺利访问…
阅读更多...
【vs2022配置cursor】

【vs2022配置cursor】

Cursor搭配cmake实现C程序的编译、运行和调试的参考地址 cursor下载地址 第一步&#xff1a; 电脑上按爪cmake 第二步&#xff1a;cursor 配置 安装中文 第三步环境变量&#xff1a; D:\Program Files\Microsoft Visual Studio\2022\Professional\VC\Tools\MSVC\14.35.322…
阅读更多...
Redis 的缓存雪崩、缓存穿透和缓存击穿详解，并提供多种解决方案

Redis 的缓存雪崩、缓存穿透和缓存击穿详解，并提供多种解决方案

本文是对 Redis 知识的补充&#xff0c;在了解了如何搭建多种类型的 Redis 集群&#xff0c;并清楚了 Redis 集群搭建的过程的原理和注意事项之后&#xff0c;就要开始了解在使用 Redis 时可能出现的突发问题和对应的解决方案。 引言&#xff1a;虽然 Redis 是单线程的&#xf…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023