Open WebUI是一种基于 Web 的用户界面,用于管理和操作各种本地和云端的人工智能模型。它提供了一个直观的图形化界面,使用户可以方便地加载、配置、运行和监控各种 AI 模型,而无需编写代码或使用命令行界面。
Open-WebUI 是一款功能强大且易于使用的 Web 界面,可让您轻松与大型语言模型 (LLM) 进行交互。它具有以下优点:
用户界面
直观且响应式,可在任何设备上提供卓越的体验。
支持多种主题和自定义选项,以满足您的个人喜好。
性能
快速响应和流畅的性能,即使在处理复杂任务时也是如此。
支持多模型和多模态交互,可实现更强大的功能。
功能
- 全面的 Markdown 和 LaTeX 支持,可轻松格式化和共享文本。
- 本地 RAG 集成,可通过文档检索增强 LLM 功能。
- Web 浏览功能,可直接从聊天中访问和交互网站。
- 提示预设,可快速启动常见对话。
- RLHF 注释,可通过提供反馈来帮助改进 LLM。
- 对话标记,可轻松组织和查找对话。
- 模型管理功能,可轻松添加、删除和更新模型。
- 语音输入和文本转语音,可实现自然语言交互。
- 高级参数微调,可根据您的需要定制 LLM 行为。
- 图像生成集成,可创建令人惊叹的视觉内容。
一、Open-WebUI安装
github地址
补充知识:
该指令
docker pull ghcr.io/open-webui/open-webui:main
的作用是从 GitHub Container Registry (GHCR) 中拉取名为open-webui
的 Docker 镜像,具体解释如下:
docker pull
:下载指定的 Docker 镜像到本地。
ghcr.io/open-webui/open-webui:main
:指定要拉取的镜像在 GitHub Container Registry 中的完整路径,包括镜像名称和标签:
ghcr.io/open-webui/open-webui
:表示镜像的路径,ghcr.io
是 GitHub Container Registry 的域名,open-webui/open-webui
是镜像的名称。:main
:镜像的标签,指定了该镜像的版本为main
。如果不指定标签,默认会拉取latest
标签的版本。总结:该指令从 GitHub Container Registry 下载名为
open-webui
的镜像(版本main
),以便在本地环境中使用该镜像启动容器。
输入指令:
针对CPU指令:
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
针对GPU指令:
docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda
如果用GPU的话可以输入nvcc --version检查以下CUDA是否可以用。
这里以CPU方案为例:
补充知识:
该指令在 Docker 中运行一个名为
open-webui
的容器,具体含义如下:
docker run
:启动一个新的 Docker 容器。
-d
:以后台模式运行容器,容器启动后不会占用终端。
-p 3000:8080
:将宿主机的 3000 端口映射到容器的 8080 端口,这样可以通过访问宿主机的localhost:3000
来访问容器中的服务。
--add-host=host.docker.internal:host-gateway
:将 Docker 容器的host.docker.internal
映射到宿主机的 IP 地址host-gateway
,以便容器内的服务能够访问宿主机的服务。
-v open-webui:/app/backend/data
:挂载一个名为open-webui
的 Docker 卷到容器内的/app/backend/data
目录,确保容器重启或删除后数据仍然保留。
--name open-webui
:为该容器指定名称open-webui
,便于管理。
--restart always
:设置容器在意外停止后会自动重启。
ghcr.io/open-webui/open-webui:main
:指定要拉取并运行的镜像为ghcr.io/open-webui/open-webui
,标签为main
。总结:这条指令会在 Docker 中启动一个名为
open-webui
的容器,将宿主机的 3000 端口映射到容器的 8080 端口,并在该容器中持久化数据,且容器异常停止后会自动重启。
端口映射:
输入网址:http://localhost:3000,注册用户的邮箱和密码记住好。
进入登录后的页面:
二、Ollama安装
参考之前博文:【LLM Agents体验 2】利用Dify本地部署Qwen2.5:7B大模型的安装指南
Ollama安装成功之后,就可以选择模型:
开始愉快的聊天:
稍后更多的功能尝试分享。
参考资料:
在Windows上轻松部署本地大语言模型:Ollama与Open-WebUI的完整指南_windows安装ollama-CSDN博客