本地部署安装 DeepSeek
1、硬件环境
操作系统:Windows10
内存:16G
显卡:NIVIDIA GeForce RTX 2060 6G
2、安装步骤
(1)安装 Ollama
访问Ollama 官网,点击 “Download for Windows” 下载安装程序。下载完成后,双击安装文件,点击 “Install” 按钮进行安装。安装成功后,右下角会出现小羊驼图标,并显示 Ollama 的终端命令窗口。
备注:
1)若Ollama 下载报错,可以复制下载链接,在迅雷软件里即可正常下载;
2)Ollama 默认安装在C盘,若想安装到其他位置,可以通过命令行安装,指定安装路径。
./OllamaSetup.exe /DIR="d:\some\location"
(2)下载 DeepSeek 模型
在 Ollama 的终端命令窗口中,输入ollama run deepseek-r1:[版本号]
,版本号可根据硬件配置选择,如 1.5b、7b、8b、32b 等,然后等待模型拉取完成。
备注:
1)模型默认下载到C:\Users\***\.ollama\models\blobs
路径下,可以将该路径下的模型直接拷贝到其他地方使用;
2)若需要删除某个模型,可以使用如下命令删除
ollama remove deepseek-r1:[版本号]
3、训练本地知识库
(1)选择嵌入模型
推荐使用 nomic-embed-text 模型,在命令行中通过如下命令下载:
ollama pull nomic-embed-text:latest
(2)选择并安装构建工具
我这里使用做简单的AnythingLLM 创建知识库,在AnythingLLM官网下载安装部并安装。在安装的过程中,需要安装Ollama库,需要等待一段时间。
(3)配置构建工具AnythingLLM
1)创建工作区
2)配置工作区
点击工作区左侧的齿轮按钮弹出设置界面,进行如下配置:
聊天设置界面,工作区LLM提供者选择Ollama,工作区聊天模型选择deepseek-r1:[版本号]
,在下方找到Update workspace
按钮点击保存
代理配置界面,工作区代理LLM提供商选择Ollama,工作区代理模型选择deepseek-r1:[版本号]
,在下方找到Update workspace agent
按钮点击保存。然后,在界面上找到并单击Configure Agent Skills
按钮,弹出设置界面,如下:
单击左侧LLM首选项,界面如下:
LLM提供商选择Ollama,Ollama Model选择deepseek-r1:[版本号]
。
单击左侧Embedder首选项,界面如下:
嵌入引擎提供商选择Ollama,Ollama Embedding Model选择nomic-embed-text:latest
(前面下载的嵌入式模型)。
3)上传本地文件构建本地知识库
点击工作区右侧上传按钮,弹出如下对话框:
选择本地待学习文件并上传,界面如下:
单击Move to Workspace
,然后单击右侧下方的Save and Embed
按钮,此时再回到对话聊天界面,即可展开对话。