DeepSeek 本地部署
- 一、引言
- 二、为什么选择本地部署 DeepSeek?
- 三、具体步骤
- 1.下载Ollama并安装(Ollama 提供 API 支持)
- 2. 部署 deepseek-r1
- 2.下载Chatbox并配置为本地DeepSeek (Chatbox 提供 UI 界面)
一、引言
近期,国产大模型 DeepSeek 凭借其强大的性能和广泛的应用场景,迅速成为 AI 领域的焦点。
然而,随着用户数量的激增,DeepSeek 的在线服务时常面临访问压力,导致响应延迟甚至服务中断的情况。
幸运的是,DeepSeek 作为一款开源模型,为用户提供了本地部署的解决方案。
通过将 DeepSeek 部署到本地终端,用户不仅可以摆脱网络依赖,还能随时随地享受流畅的 AI 体验。
本地部署后,DeepSeek 无需联网即可直接运行,彻底解决了在线服务的延迟和宕机问题。
而且安全更适合一些工作人员。
二、为什么选择本地部署 DeepSeek?
稳定高效:无需担心网络波动或服务器压力,本地部署确保模型始终高效运行。
隐私安全:数据完全存储在本地,避免敏感信息外泄,保障用户隐私。
灵活便捷:支持离线使用,随时随地调用模型,满足多样化需求。
开源自由:DeepSeek 的开源特性让用户可以根据需求自定义优化,打造专属 AI 工具。
当然缺点也是有的:模型越小的,就越笨😂
三、具体步骤
1.下载Ollama并安装(Ollama 提供 API 支持)
Ollama是一个功能强大且易于使用的开源框架,专为在本地机器上部署和运行大型语言模型而设计。它为用户提供了便捷、灵活和安全的模型部署和运行环境。
从Ollama官方网站下载Ollama:
- 官网地址 https://ollama.com/
- windows 0.5.7下载地址 https://github.com/ollama/ollama/releases/download/v0.5.7/OllamaSetup.exe
进入Ollama官方网站后,可以看到Ollama已经支持DeepSeek-R1的部署:
点击DeepSeek-R1的链接可以看到有关deepseek-r1的详细介绍:
目前deepseek-r1模型大小提供了7个选择:1.5b、7b、8b、14b、32b、70b、671b。
选择适合自己的版本,注意右侧的GB代表磁盘容量,确保C盘有足够的磁盘容量。
以下是一个精简且重点突出的表格,展示了DeepSeek-R1模型大小与所需Windows电脑配置的对应关系:
模型大小 | GPU建议 | CPU建议 | 内存建议 | 硬盘建议 |
---|---|---|---|---|
1.5b | GTX 1660/RTX 3060 (8-12GB) | i5/Ryzen 5 | 8-16GB | 50GB+ SSD |
7b | RTX 3060 Ti/3070 (10-12GB) | i5-10400F/Ryzen 5 3600 | 16GB+ | 100GB+ SSD |
8b | RTX 3080/3080 Ti (10-12GB) | i7/Ryzen 7 | 32GB | 200GB+ SSD |
14b | RTX 3090/A100 (24GB+) | Xeon/EPYC 或 i9/Ryzen 9 | 64GB | 500GB+ SSD |
32b | A100/H100 (40GB+) | 多路Xeon/EPYC | 128GB+ | 1TB+ SSD/NVMe |
70b | 多张A100/H100 | 更强性能的多路CPU | 256GB+ | 2TB+ SSD/NVMe |
671b | 大规模GPU集群 | 高性能服务器级CPU | 1TB+ ECC内存 | 大规模存储阵列 |
你可以根据你的硬件情况选择,通常模型大小(参数量)越大,模型的理解和生成能力越强,但也会消耗更多的计算资源。
点击Download按钮下载符合自己平台的Ollama:
进行安装,双击 “OllamaSetup.exe”
注意:安装时默认使用C盘,确保你的C盘有足够多的空间可以安装 ollama 及后续的大模型,建议C盘空间 ≥ 12 G
若想改存储位置,有以下方式
- 通过cmd或powershell执行
OllamaSetup.exe /DIR="d:\some\location"
- 由于Ollama的模型默认会在C盘用户文件夹下的.ollama/models文件夹中,
可以配置 环境变量->系统变量-> OLLAMA_MODELS,设置为指定的路径:
>
注意,更改以后必须重启,否则配置以后不会生效。
并且注意,重启以后,一定要以管理员的权限运行cmd.exe,否则会提示莫名的失败消息。
安装后在电脑开始页面启动 ollama,然后查看任务栏,有 ollama 图标意味着 ollama已经启动。
安装完成后,命令行里执行命令,也可确认安装成功
ollama -v
我这边是 0.5.7 版本的
2. 部署 deepseek-r1
我这边测试就选择了这里只能选择最小的1.5b模型来做演示:
使用下面命令进行安装,1.5b代表选择1.5b的版本
ollama run deepseek-r1:1.5b
出现下面情况代表安装完成,当然可能会出现超时问题
例如:
Error: pull model manifest: 500: {"errors":[{"code":"INTERNAL_ERROR","message":"internal error"}]}
只能重新多次尝试,再次运行上面的部署命令。
最终成功以后就是以下的页面
2.下载Chatbox并配置为本地DeepSeek (Chatbox 提供 UI 界面)
Chatbox官方网站:
- https://chatboxai.app/zh
安装以后,运行该程序后选择“本地模型”
这一块,我们应该选择OLLAMA API(不要选成DeepSeek API),然后就可以看到我们上一步安装好的deepseek-r1:1.5b。
配置好DeepSeek本地模型之后,就可以实现在断网情况下自由问答了。
参考文章
【1】手把手教你部署 DeepSeek 本地模型
【2】DeepSeek本地搭建部署详细图文教程
【3】deekseek-r1本地部署指南极简版