【LLM Agents体验 3】利用Open-WebUI+Ollama本地部署Qwen2.5:7B大模型的安装指南

news2024/11/23 15:01:33

Open WebUI是一种基于 Web 的用户界面，用于管理和操作各种本地和云端的人工智能模型。它提供了一个直观的图形化界面，使用户可以方便地加载、配置、运行和监控各种 AI 模型，而无需编写代码或使用命令行界面。

Open-WebUI 是一款功能强大且易于使用的 Web 界面，可让您轻松与大型语言模型 (LLM) 进行交互。它具有以下优点：

用户界面

直观且响应式，可在任何设备上提供卓越的体验。

支持多种主题和自定义选项，以满足您的个人喜好。

性能

快速响应和流畅的性能，即使在处理复杂任务时也是如此。

支持多模型和多模态交互，可实现更强大的功能。

功能

全面的 Markdown 和 LaTeX 支持，可轻松格式化和共享文本。
本地 RAG 集成，可通过文档检索增强 LLM 功能。
Web 浏览功能，可直接从聊天中访问和交互网站。
提示预设，可快速启动常见对话。
RLHF 注释，可通过提供反馈来帮助改进 LLM。
对话标记，可轻松组织和查找对话。
模型管理功能，可轻松添加、删除和更新模型。
语音输入和文本转语音，可实现自然语言交互。
高级参数微调，可根据您的需要定制 LLM 行为。
图像生成集成，可创建令人惊叹的视觉内容。

一、Open-WebUI安装

github地址

补充知识：

该指令 docker pull ghcr.io/open-webui/open-webui:main 的作用是从 GitHub Container Registry (GHCR) 中拉取名为 open-webui 的 Docker 镜像，具体解释如下：

docker pull：下载指定的 Docker 镜像到本地。

ghcr.io/open-webui/open-webui:main：指定要拉取的镜像在 GitHub Container Registry 中的完整路径，包括镜像名称和标签：

ghcr.io/open-webui/open-webui：表示镜像的路径，ghcr.io 是 GitHub Container Registry 的域名，open-webui/open-webui 是镜像的名称。
:main：镜像的标签，指定了该镜像的版本为 main。如果不指定标签，默认会拉取 latest 标签的版本。

总结：该指令从 GitHub Container Registry 下载名为 open-webui 的镜像（版本 main），以便在本地环境中使用该镜像启动容器。

输入指令：

针对CPU指令：
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

针对GPU指令：
docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda

如果用GPU的话可以输入nvcc --version检查以下CUDA是否可以用。
这里以CPU方案为例：

补充知识：

该指令在 Docker 中运行一个名为 open-webui 的容器，具体含义如下：

docker run：启动一个新的 Docker 容器。

-d：以后台模式运行容器，容器启动后不会占用终端。

-p 3000:8080：将宿主机的 3000 端口映射到容器的 8080 端口，这样可以通过访问宿主机的 localhost:3000 来访问容器中的服务。

--add-host=host.docker.internal:host-gateway：将 Docker 容器的 host.docker.internal 映射到宿主机的 IP 地址 host-gateway，以便容器内的服务能够访问宿主机的服务。

-v open-webui:/app/backend/data：挂载一个名为 open-webui 的 Docker 卷到容器内的 /app/backend/data 目录，确保容器重启或删除后数据仍然保留。

--name open-webui：为该容器指定名称 open-webui，便于管理。

--restart always：设置容器在意外停止后会自动重启。

ghcr.io/open-webui/open-webui:main：指定要拉取并运行的镜像为 ghcr.io/open-webui/open-webui，标签为 main。

总结：这条指令会在 Docker 中启动一个名为 open-webui 的容器，将宿主机的 3000 端口映射到容器的 8080 端口，并在该容器中持久化数据，且容器异常停止后会自动重启。