DeepSeek 本地部署

news2025/2/7 10:49:20

DeepSeek 本地部署

  • 一、引言
  • 二、为什么选择本地部署 DeepSeek?
  • 三、具体步骤
    • 1.下载Ollama并安装(Ollama 提供 API 支持)
    • 2. 部署 deepseek-r1
    • 2.下载Chatbox并配置为本地DeepSeek (Chatbox 提供 UI 界面)

一、引言

近期,国产大模型 DeepSeek 凭借其强大的性能和广泛的应用场景,迅速成为 AI 领域的焦点。
然而,随着用户数量的激增,DeepSeek 的在线服务时常面临访问压力,导致响应延迟甚至服务中断的情况。

幸运的是,DeepSeek 作为一款开源模型,为用户提供了本地部署的解决方案。
通过将 DeepSeek 部署到本地终端,用户不仅可以摆脱网络依赖,还能随时随地享受流畅的 AI 体验。
本地部署后,DeepSeek 无需联网即可直接运行,彻底解决了在线服务的延迟和宕机问题
而且安全更适合一些工作人员。

二、为什么选择本地部署 DeepSeek?

稳定高效:无需担心网络波动或服务器压力,本地部署确保模型始终高效运行。
隐私安全:数据完全存储在本地,避免敏感信息外泄,保障用户隐私。
灵活便捷:支持离线使用,随时随地调用模型,满足多样化需求。
开源自由:DeepSeek 的开源特性让用户可以根据需求自定义优化,打造专属 AI 工具。

当然缺点也是有的:模型越小的,就越笨😂

三、具体步骤

1.下载Ollama并安装(Ollama 提供 API 支持)

Ollama是一个功能强大且易于使用的开源框架,专为在本地机器上部署和运行大型语言模型而设计。它为用户提供了便捷、灵活和安全的模型部署和运行环境。

从Ollama官方网站下载Ollama:

  • 官网地址 https://ollama.com/
  • windows 0.5.7下载地址 https://github.com/ollama/ollama/releases/download/v0.5.7/OllamaSetup.exe

进入Ollama官方网站后,可以看到Ollama已经支持DeepSeek-R1的部署:

在这里插入图片描述

点击DeepSeek-R1的链接可以看到有关deepseek-r1的详细介绍:

在这里插入图片描述
目前deepseek-r1模型大小提供了7个选择:1.5b、7b、8b、14b、32b、70b、671b。
选择适合自己的版本,注意右侧的GB代表磁盘容量,确保C盘有足够的磁盘容量。

以下是一个精简且重点突出的表格,展示了DeepSeek-R1模型大小与所需Windows电脑配置的对应关系:

模型大小GPU建议CPU建议内存建议硬盘建议
1.5bGTX 1660/RTX 3060 (8-12GB)i5/Ryzen 58-16GB50GB+ SSD
7bRTX 3060 Ti/3070 (10-12GB)i5-10400F/Ryzen 5 360016GB+100GB+ SSD
8bRTX 3080/3080 Ti (10-12GB)i7/Ryzen 732GB200GB+ SSD
14bRTX 3090/A100 (24GB+)Xeon/EPYC 或 i9/Ryzen 964GB500GB+ SSD
32bA100/H100 (40GB+)多路Xeon/EPYC128GB+1TB+ SSD/NVMe
70b多张A100/H100更强性能的多路CPU256GB+2TB+ SSD/NVMe
671b大规模GPU集群高性能服务器级CPU1TB+ ECC内存大规模存储阵列

你可以根据你的硬件情况选择,通常模型大小(参数量)越大,模型的理解和生成能力越强,但也会消耗更多的计算资源。

点击Download按钮下载符合自己平台的Ollama:

在这里插入图片描述
进行安装,双击 “OllamaSetup.exe”
注意:安装时默认使用C盘,确保你的C盘有足够多的空间可以安装 ollama 及后续的大模型,建议C盘空间 ≥ 12 G
在这里插入图片描述

若想改存储位置,有以下方式

  1. 通过cmd或powershell执行
OllamaSetup.exe /DIR="d:\some\location"
  1. 由于Ollama的模型默认会在C盘用户文件夹下的.ollama/models文件夹中,
    可以配置 环境变量->系统变量-> OLLAMA_MODELS,设置为指定的路径:
    在这里插入图片描述>
    注意,更改以后必须重启,否则配置以后不会生效。
    并且注意,重启以后,一定要以管理员的权限运行cmd.exe,否则会提示莫名的失败消息。

安装后在电脑开始页面启动 ollama,然后查看任务栏,有 ollama 图标意味着 ollama已经启动。
在这里插入图片描述
安装完成后,命令行里执行命令,也可确认安装成功

ollama -v

我这边是 0.5.7 版本的
在这里插入图片描述

2. 部署 deepseek-r1

我这边测试就选择了这里只能选择最小的1.5b模型来做演示:
使用下面命令进行安装,1.5b代表选择1.5b的版本

ollama run deepseek-r1:1.5b

在这里插入图片描述
出现下面情况代表安装完成,当然可能会出现超时问题
例如:

Error: pull model manifest: 500: {"errors":[{"code":"INTERNAL_ERROR","message":"internal error"}]}

只能重新多次尝试,再次运行上面的部署命令。

最终成功以后就是以下的页面
在这里插入图片描述

2.下载Chatbox并配置为本地DeepSeek (Chatbox 提供 UI 界面)

Chatbox官方网站:

  • https://chatboxai.app/zh

在这里插入图片描述
安装以后,运行该程序后选择“本地模型”
在这里插入图片描述
在这里插入图片描述
这一块,我们应该选择OLLAMA API(不要选成DeepSeek API),然后就可以看到我们上一步安装好的deepseek-r1:1.5b。

配置好DeepSeek本地模型之后,就可以实现在断网情况下自由问答了。
在这里插入图片描述
在这里插入图片描述

参考文章
【1】手把手教你部署 DeepSeek 本地模型
【2】DeepSeek本地搭建部署详细图文教程
【3】deekseek-r1本地部署指南极简版

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2294249.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

网络工程师 (20)计算机网络的概念

一、定义 计算机网络是指将地理位置不同、具有独立功能的多台计算机及其外部设备,通过通信线路及通信设备连接起来,在网络操作系统、网络管理软件及网络通信协议的管理和协调下,实现信息传递和资源共享的计算机通信系统。 二、组成 资源子网&…

Unity UI Default Shader分析

文章目录 UI默认材质和Default ShaderShader的属性定义Mask组件支持RectMask2D组件支持其他支持使用Unity UGUI时经常有自定义shader的需求,虽然我们可以直接按照shader lab的规范写出shader,使用也没问题,但如果能让自定义shader符合UI shader的规范,支持Mask,Rect2DMask…

IEEE 802.3/802.2 | LLC / SNAP

注:本文为 “IEEE 802.3/802.2 | LLC / SNAP” 相关文章合辑。 未整理去重。 第三篇部分内容出自第二篇。 802.2 协议 haoay321 2010-01-28 20:52:02 LLC 协议 LLC(Logic Link Control,逻辑链路控制)是 IEEE 802.2 协议中规定…

【Linux】24.进程间通信(3)

文章目录 3.6 systemv共享内存3.6.1 共享内存函数3.6.3 一个简单的共享内存代码实现3.6.4 一个复杂的共享内存代码实现3.6.4 key和shmid的主要区别: 3.7 systemv消息队列(了解)3.8 systemv信号量(了解)进程互斥四个问题理解信号量…

【自然语言处理】TextRank 算法提取关键词(Python实现)

文章目录 前言PageRank 实现TextRank 简单版源码实现jieba工具包实现TextRank 前言 TextRank 算法是一种基于图的排序算法,主要用于文本处理中的关键词提取和文本摘要。它基于图中节点之间的关系来评估节点的重要性,类似于 Google 的 PageRank 算法。Tex…

如何评价镜头的好坏?光学镜头的一种评价标准

1光学传递函数MTF MTF是什么? 光学传递函数(optical transfer function)是指以空间频率为变量,表征成像过程中调制度和横向相移的相对变化的函数。光学传递函数是光学系统对空间频谱的滤波变换。一个非相干照明的光学成像系统&a…

openGauss 3.0 数据库在线实训课程1:学习数据库状态查看

openGauss数据库状态查看 前提 我正在参加21天养成好习惯| 第二届openGauss每日一练活动 课程详见:openGauss 3.0.0数据库在线实训课程 学习目标 学习从操作系统层面和使用openGauss工具查看数据库的状态、版本和数据文件目录。 课程作业 gs_ctl是openGauss提…

Stable Diffusion的入门介绍和使用教程

Stable Diffusion是一个文本到图像的潜在扩散模型,由CompVis、StabilityAI和LAION的研究人员和工程师创建。它使用来自LAION-5B数据库子集的512x512图像进行训练。使用这个模型,可以生成包括人脸在内的任何图像,因为有开源的预训练模型&#…

记一次框架利用接管学工系统

视频教程在我主页简介或专栏里 链接:观看更多 Springboot actuator (1)某学院学工管理系统存在Springboot actuator未授权,泄露了很多接口地址,其他接口就不过多介绍了,这里具体讲述这次利用到的httptrace和jolokia两…

低代码提升交付效率的公式计算

低(无)代码平台(后统称“低代码”)能够提升数字化应用建设、交付效率,已经成为IT从业人员的共识。目前,大部分CIO/CDO都能清晰定位和认知低代码的特点和作用。但仍然有人认为,使用了低代码工具软…

全程Kali linux---CTFshow misc入门(25-37)

第二十五题: 提示:flag在图片下面。 直接检查CRC,检测到错误,就直接暴力破解。 暴力破解CRC的python代码。 import binascii import struct def brute_force_ihdr_crc(filename): # 读取文件二进制数据 with open(filen…

Axure大屏可视化动态交互设计:解锁数据魅力,引领决策新风尚

可视化组件/模板预览:https://8dge09.axshare.com 一、大屏可视化技术概览 在数据驱动决策的时代,大屏可视化技术凭借直观、动态的展示方式,已成为众多行业提升管理效率和优化决策过程的关键工具。它能够将复杂的数据转化为易于理解的图形和…

Verilog语言学习总结

Verilog语言学习! 目录 文章目录 前言 一、Verilog语言是什么? 1.1 Verilog简介 1.2 Verilog 和 C 的区别 1.3 Verilog 学习 二、Verilog基础知识 2.1 Verilog 的逻辑值 2.2 数字进制 2.3 Verilog标识符 2.4 Verilog 的数据类型 2.4.1 寄存器类型 2.4.2 …

软件工程-数据流图DFD

数据流图(DFD)是一种图形化技术,它描绘信息流和数据从输入移动到输出的过程中经受的变换。 数据流图是系统逻辑功能和图形表示,即使不是专业的计算机人员也容易理解它,因此是分析员与用户之间极好的通信工具。 设计数…

Java数据结构与算法之“树”

目录 一、什么是树 ​编辑 二、树的相关组成 1. 常用名词 2.需要了解的名词 三、树的分类 (一)初级树 1.普通树 2.二叉树 (二)中级树 1.哈夫曼树HuffmanTree 2.二叉搜索树BST 3.平衡二叉树AVL (三&#x…

基于Python的智能物流路径优化算法研究与应用

基于Python的智能物流路径优化算法研究与应用 摘要 随着电商行业的迅猛发展,物流配送的效率和成本成为影响企业竞争力的关键因素。本论文聚焦于基于Python语言实现智能物流路径优化算法的研究。通过对经典路径优化算法如Dijkstra算法、A*算法等的深入分析&#xff…

Origin2024 软件安装步骤与百度网盘

软件简介: Origin 2024是一款功能强大的科学绘图与数据分析软件,广泛应用于科研和工程领域,支持多种图形绘制、数据分析功能以及便捷的数据导入和管理。 网盘链接: https://pan.baidu.com/s/1MNQG2pD802LWxuIN40JfeA?pwdc85q 提取码:c85…

【算法应用】Alpha进化算法求解二维栅格路径规划问题

目录 1.算法原理2.二维路径规划数学模型3.结果展示4.参考文献5.代码获取 1.算法原理 Alpha进化:一种具有进化路径自适应和矩阵生成的高效进化算法 2.二维路径规划数学模型 栅格法模型最早由 W.E. Howden 于 1968 年提出,障碍物的栅格用黑色表示&#…

嵌入式八股文面试题(一)C语言部分

1. 变量/函数的声明和定义的区别? (1)变量 定义不仅告知编译器变量的类型和名字,还会分配内存空间。 int x 10; // 定义并初始化x int x; //同样是定义 声明只是告诉编译器变量的名字和类型,但并不为它分配内存空间…

Redis企业开发实战(二)——点评项目之商户缓存查询

目录 一、缓存介绍 二、缓存更新策略 三、如何保证redis与数据库一致性 1.解决方案概述 2.双写策略 3.双删策略 3.1延迟双删的目的 4.数据重要程度划分 四、缓存穿透 (一)缓存穿透解决方案 (二)缓存穿透示意图 五、缓存雪崩 (一)缓存雪崩解决方案 (二)缓存雪崩…