Ollama+WebUI+DeepSeek部署自己的本地大模型

news2025/2/22 12:56:31

前言

使用AI几乎成为互联网工作者必备技能了，DeepSeek的出现把AI再次推向高潮，在本文中，我们将带领大家借助 Ollama、WebUI 和 deepseek 这三个工具，成功搭建属于自己的本地大模型环境。Ollama 作为一款轻量级的大模型运行工具，为模型在本地的运行提供了坚实的基础；WebUI 则为我们打造了直观便捷的用户交互界面，让操作更加简单易懂；而 deepseek 作为一款优秀的大模型，拥有强大的性能和出色的表现。通过将这三者结合起来，我们能够完成从模型部署到实现交互的完整流程。无论你是经验丰富的技术专家，还是刚刚涉足人工智能领域的新手，都能从本文的详细步骤和讲解中收获知识，顺利踏上本地大模型部署之旅。如果有些网站访问不了,请提前准备好“科学上网哦”

1.下载Ollama

Ollama 是一个开源项目，专注于在本地运行、创建和分享大型语言模型（LLMs）。它支持多种模型，包括 Llama 2、Code Llama 等，适用于文本生成、代码编写等任务。用户可以通过命令行与模型交互，并自定义模型配置。

Ollama下载地址：https://ollama.com/download ，考虑到小白,我这里使用windows版本就好
在这里插入图片描述
下载好之后双击 OllamaSetup.exe 安装 ,无脑下一步即可

2.安装大模型

我的登录用户名是Administrator,所以默认的安装地址是 :C:\Users\Administrator\AppData\Local\Programs\Ollama ，我们进入到该目录，然后通过CMD执行
在这里插入图片描述
在CMD中安装模型，模型选择地址：https://ollama.com/library/deepseek-r1

我选择了一个体积较小的模型：deepseek-r1:7b ，在 CMD中执行命令 ollama run deepseek-r1:7b Ollama会把模型安装到：C:\Users\Administrator.ollama\models 目录，如果想要更换模型的安装目录,那么需要配置环境变量: OLLAMA_MODELS =新的路径,然后通过任务管理器结束ollama进程,重启ollama即可.

如果磁盘不够大那么可以选择小一点的模型。我选择7B（70亿参数）.模型的选择可以查看ollama官网.
在这里插入图片描述

3.使用模型

安装好之后就可以对大模型提问了,执行 ollama run 模型名字,比如:

在这里插入图片描述
如果本地未安装该模型,那么会进行自动下载.ollama的API接口使用可以查考官网的接口地址:https://github.com/ollama/ollama/blob/main/docs/api.md

4.安装Hyperv

ollama安装好之后是没有可视化界面的,这里我采用在Windows上安装DockerDesk,然后通过Open-WebUI来作为Ollama大模型的可视化界面,安装之前需要先安装Hyperv,

在控制面板-程序和功能-启用或者关闭windows功能中，找到 Hyper-V把它勾上，确定后重启
在这里插入图片描述

5.安装DockerDesk

在Docker官网 https:www.docker.com/products/docker-desktop下载最新版本的Docker Desktop ，如果是低版本的Docker Desktop,那就需要自己手动安装Docker-Compose了
在这里插入图片描述
默认情况下会把Docker安装到下面目录：C:\Program Files\Docker ，我们给Docker配置一个环境变量，路径为C:\Program Files\Docker\Docker\resources\bin ,。然后登录DockerDesk,如果没有账号需要先创建账号，根据提示流程走即可
在这里插入图片描述
进入DockerDesk界面后，找到设置按钮-DockerEngine配置中指定进行仓库地址为国内，在JSON文件中加上这一段

{
  "registry-mirrors": ["https://5pfmrxk8.mirror.aliyuncs.com"]
}

这里我使用的是阿里云的镜像仓库，如下：
在这里插入图片描述

6.安装Open-WebUI

Open WebUI 是一个可扩展、功能丰富且用户友好的自托管 AI 平台，可以完全离线运行。它支持各种 LLM 运行器（如Ollama）和与OpenAI 兼容的 API，并内置RAG 推理引擎，是一款强大的 AI 部署解决方案。

第一步下载WebUI镜像：进入到Docker的Bin目录，C:\Program Files\Docker\Docker\resources\bin 使用CMD执行

C:\Program Files\Docker\Docker\resources\bin>docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main