Open WebUI大模型对话平台-适配Ollama

news2024/9/17 7:10:56

在这里插入图片描述

什么是Open WebUI

Open WebUI是一种可扩展、功能丰富、用户友好的大模型对话平台,旨在完全离线运行。它支持各种LLM运行程序,包括与Ollama和Openai兼容的API。

功能

  • 直观的界面:我们的聊天界面灵感来自ChatGPT,确保了用户友好的体验。
  • 响应式设计:在桌面和移动设备上享受无缝体验。
  • 快速响应:享受快速响应的性能。
  • 轻松安装:使用Docker或Kubernetes (kubectl, kustomize或helm)无缝安装,获得轻松的体验。
  • 代码语法突出显示:使用我们的语法突出显示功能,享受增强的代码可读性。
  • 完全Markdown和LaTeX支持:通过全面的Markdown和LaTeX功能提升您的LLM经验,以丰富交互。
  • 本地RAG集成:通过突破性的检索增强生成(RAG)支持,深入了解聊天交互的未来。此功能将文档交互无缝地集成到您的聊天体验中。您可以直接将文档加载到聊天中或将文件添加到文档库中,在提示符中使用 # 命令轻松访问它们。在alpha阶段,当我们积极改进和增强此功能以确保最佳性能和可靠性时,可能会偶尔出现问题。
  • 网页浏览功能:使用 # 命令后跟URL,无缝地将网站集成到您的聊天体验中。此功能允许您将web内容直接合并到您的对话中,增强交互的丰富性和深度。
  • 提示预设支持:使用聊天输入中的 / 命令立即访问预设提示。轻松加载预定义的会话启动器,加快您的交互。通过Open web社区集成轻松导入提示。
  • RLHF注释:通过对它们进行大拇指和大拇指的评级来授权您的消息,促进从人类反馈(RLHF)中进行强化学习的数据集的创建。利用您的消息来训练或微调模型,同时确保本地保存数据的机密性。
  • 对话标签:毫不费力地分类和定位特定的聊天快速参考和简化的数据收集。
  • 下载/删除模型:直接从web UI轻松下载或删除模型。
  • GGUF文件模型创建:通过直接从web UI上传GGUF文件,轻松创建Ollama模型。简化的过程选项,从您的机器上传或下载GGUF文件从拥抱的脸。
  • 多模型支持:在不同的聊天模型之间无缝切换,实现不同的交互。
  • 多模态支持:无缝地与支持多模态交互的模型交互,包括图像(例如,LLava)。
  • Modelfile Builder:通过web UI轻松创建Ollama模型文件。通过Open web Community集成,轻松创建和添加角色/代理、自定义聊天元素和导入模型文件。
  • 协作聊天:通过无缝编排组对话来利用多个模型的集体智能。使用 @ 命令指定模型,在聊天界面中启用动态和多样化的对话。让自己沉浸在编织在聊天环境中的集体智慧中。
  • OpenAI API集成:轻松集成OpenAI兼容API,用于与Ollama模型一起进行多功能对话。自定义API Base URL以链接LMStudio、Mistral、OpenRouter等。
  • 多用户管理:通过我们直观的管理面板轻松监督和管理用户,简化用户管理流程。

安装

Open WebUI官方推荐采用Docker方式进行部署:

# 拉取镜像
docker pull ghcr.io/open-webui/open-webui:main

如果没有科学上网,很可能会拉不动,可以试试 docker 代理网站:https://dockerproxy.com/,按步骤依次执行以下命令:

# 如果拉不动的话加个代理
docker pull ghcr.dockerproxy.com/open-webui/open-webui:main

# 重命名镜像(如果是通过代理下载的)
docker tag ghcr.dockerproxy.com/open-webui/open-webui:main ghcr.io/open-webui/open-webui:main

# 删除代理镜像(如果是通过代理下载的)
docker rmi ghcr.dockerproxy.com/open-webui/open-webui:main

下载完成后,可以在映像中找到了。

使用 docker-compose 安装,将下面的内容保存为 docker-compose.yml 文件

version: '3'

services:
  ollama-webui:
    image: ghcr.io/open-webui/open-webui:main
    container_name: ollama-webui
    restart: unless-stopped
    ports:
      - 11345:8080
    environment:
      - OLLAMA_API_BASE_URL=http://10.8.10.xxx:11434/api
      - WEBUI_SECRET_KEY=123456

其中
OLLAMA_API_BASE_URL填写你的ollama的服务地址;
WEBUI_SECRET_KEY填写一个密码

# 将 docker-compose.yml 放入当前目录
# 一键启动
docker-compose up -d

运行使用

容器运行后,在浏览器中输入 http://IP:11345 就能看到登录界面。
在这里插入图片描述

登录成功后,首先点击左下角的Setting,进行设置:
在这里插入图片描述
设置Ollama服务的地址:
在这里插入图片描述

保存后,就可以选择我们ollama部署的模型正常进行问答了:
在这里插入图片描述

另外还有两个比较实用的功能:

1、设置prompt提示词模板
在这里插入图片描述

以上是我之前设置好的提示词模板,然后在问答的时候就可以通过“/”调用出设置好的prompt提示词了:
在这里插入图片描述

2、基于文档/网页的问答
可以在这块上传一下自己的文档:
在这里插入图片描述

在问答的过程中,可以通过“#”调用出上传的文档:
在这里插入图片描述

也可以引入一些网页,对网页内容进行问答:
在这里插入图片描述

其他更多内容可以参龙:
https://docs.openwebui.com/

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1544848.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

(四)图像的%2线性拉伸

环境:Windows10专业版 IDEA2021.2.3 jdk11.0.1 OpenCV-460.jar 系列文章: (一)PythonGDAL实现BSQ,BIP,BIL格式的相互转换 (二)BSQ,BIL,BIP存储格式的相互转换算法 (三…

Netty剖析 - 掌握Netty 整体架构脉络

文章目录 Netty 整体结构Core 核心层Protocol Support 协议支持层Transport Service 传输服务层 Netty 逻辑架构网络通信层事件调度层服务编排层组件关系梳理 Netty 源码结构Core 核心层模块Protocol Support 协议支持层模块Transport Service 传输服务层模块 思维导图 Netty 整…

机器学习OpenNLP

版权声明 本文原创作者:谷哥的小弟作者博客地址:http://blog.csdn.net/lfdfhl OpenNLP概述 OpenNLP是一个基于机器学习的自然语言处理开发工具包,它是Apache软件基金会的一个开源项目。OpenNLP支持多种自然语言处理任务,如分词、…

云数据库认识

云数据库概述 说明云数据库厂商概述Amazon 云数据库产品Google 的云数据库产品Microsoft 的云数据库产品 云数据库系统架构UMP 系统概述UMP 系统架构MnesiaRabbitMQZooKeeperLVSController 服务器Proxy 服务器Agent 服务器日志分析服务器 UMP 系统功能容灾 读写分离分库分表资源…

如何利用python 把一个表格某列数据和另外一个表格某列匹配 类似Excel VLOOKUP功能

环境: python3.8.10 Excel2016 Win10专业版 问题描述: 如何利用python 把一个表格某列数据和另外一个表格某列匹配 类似Excel VLOOKUP功能 先排除两表A列空白单元格,然后匹配x1表格和x2表格他们的A列,把x1表格中A列A1-A810范围对应的B列B1-B810数据,匹配填充到x2范围…

android studio忽略文件

右键文件,然后忽略,就不会出现在commit里面了 然后提交忽略文件即可

纯前端调用本机原生Office实现Web在线编辑Word/Excel/PPT,支持私有化部署

在日常协同办公过程中,一份文件可能需要多次重复修改才能确定,如果你发送给多个人修改后再汇总,这样既效率低又容易出错,这就用到网页版协同办公软件了,不仅方便文件流转还保证不会出错。 但是目前一些在线协同Office…

6.1 LIBBPF简介

写在前面 eBPF 是一项革命性的技术! 内核对于很多开发者来说,就是一个像黑洞一样的存在。它是操作系统最核心的存在,管理者我们的整个计算机和外设。基于稳定性,性能和安全性,我们对内核的任何修改往往是慎之又慎。 但是。 eBPF的出现了,它几乎无需通过更改任何内核源…

【数据存储】TIDB和MySQL的区别

1.TIDB和MySQL对比 对比内容MySQLTiDB架构设计一个传统的单机数据库系统,采用主从复制和分区表等方式来实现水平扩展一个分布式的 NewSQL 数据库,采用分布式存储和分布式事务等技术,支持水平扩展和高可用性事务支持 InnoDB 存储引擎来支持事…

开发者的瑞士军刀:DevToys

DevToys: 一站式开发者工具箱,打造高效创意编程体验,让代码生活更加得心应手!—— 精选真开源,释放新价值。 概览 不知道大家是否在windows系统中使用过PowerToys?这是微软研发的一项免费实用的系统工具套…

Selenium 自动化 —— 定位页面元素

更多内容请关注我的 Selenium 自动化 专栏: 入门和 Hello World 实例使用WebDriverManager自动下载驱动Selenium IDE录制、回放、导出Java源码浏览器窗口操作切换浏览器窗口 使用 Selenium 做自动化,我们不仅仅是打开一个网页,这只是万里长…

高防服务器、高防IP、高防CDN的工作原理是什么

高防IP高防CDN我们先科普一下是什么是高防。“高防”,顾名思义,就犹如网络上加了类似像盾牌一样很高的防御,主要是指IDC领域的IDC机房或者线路有防御DDOS能力。 高防服务器主要是比普通服务器多了防御服务,一般都是在机房出口架设…

Oracle 控制文件详解

1、控制文件存储的数据信息 1)数据库名称和数据库唯一标识符(DBID) 2)创建数据库的时间戳 3)有关数据文件、联机重做日志文件、归档重做日志文件的信息 4)表空间信息 5)检查点信息 6)日志序列号…

SAP BTP云上一个JVM与DB Connection纠缠的案例

前言 最近在CF (Cloud Foundry) 云平台上遇到一个比较经典的案例。因为牵扯到JVM (app进程)与数据库连接两大块,稍有不慎,很容易引起不快。 在云环境下,有时候相互扯皮的事蛮多。如果是DB的问题,就会找DB…

Reactor设计模式和Reactor模型

Reactor设计模式 翻译过来就是反应堆,所以Reactor设计模式本质是基于事件驱动。 角色 Handle(事件)EventHandler(事件处理器)ConcreteEventHandler(具体事件处理器)Synchronous Event Demult…

RK3568平台 iperf3测试网络性能

一.iperf3简介 iperf是一款开源的网络性能测试工具,主要用于测量TCP和UDP带宽性能。它可以在不同的操作系统上运行,包括Windows、Linux、macOS等。iperf具有简单易用、功能强大、高度可配置等特点,广泛应用于网络性能测试、网络故障诊断和网…

线性代数 - 应该学啥 以及哪些可以交给计算机

AI很热,所以小伙伴们不免要温故知新旧时噩梦 - 线代。 (十几年前,还有一个逼着大家梦回课堂的风口,图形学。) 这个真的不是什么美好的回忆,且不说老师的口音,也不说教材的云山雾绕,单…

重构销售话术和知识库,容联云找到了大模型的“钉子”

科技云报道原创。 从ChatGPT诞生起,大模型在营销、客服等场景的落地就被予以众望。然而在经历了一年多的“百模大战”洗礼之后,人们发现无论是算力成本还是内容生成的安全合规问题,都让大模型很难直接应用于机器与人对话的实际业务中。 这其…

高效物联网连接技术创新:ECWAN边缘协同自组网的未来——基于ChirpLAN窄带扩频技术的无线混合组网

物联网是指将各种物理设备通过互联网进行连接和通信的技术。它是一个庞大的网络,由传感器、设备、网络和云服务组成,旨在实现对物体的远程监测、控制和数据采集。 基于ChirpLAN窄带扩频技术的无线混合组网协议ChirpLAN,ChirpLAN是基于其自有的…

基于51单片机的客车汽车安全气囊控制器Proteus仿真

地址:https://pan.baidu.com/s/10enj1EYm_0Z8f_19Sz_eCQ 提取码:1234 仿真图: 芯片/模块的特点: AT89C52简介: AT89C52是一款经典的8位单片机,是意法半导体(STMicroelectronics)公…