Open WebUI快速应用ollama模型,实现通过web交互模型,实战llama3

news2024/11/22 21:15:03

文章目录

  • 前言
  • 安装docker
  • 安装Open WebUI
    • docker指令安装
    • docker-compose.yaml安装
  • 访问网站
  • 无法选择模型问题处理
    • 修改ollama服务配置
  • 重新正常访问页面

前言

基于大模型的应用,通过linux快速实现部署,相应教程可通过传送门快速了解:
linux-ubuntu安装:U盘安装Ubuntu24.04,乌邦图,UltralISO
linux驱动安装:linux系统,ubuntu安装英伟达NVIDIA4090显卡驱动

  • 有何疑问欢迎加好友咨询
    在这里插入图片描述

安装docker

官网:https://dockerdocs.cn/docker-for-windows/install
docker的安装就不明说了,可自行GPT解决

安装Open WebUI

docker指令安装

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

docker-compose.yaml安装

version: '3.8'

services:
  open-webui:
    image: ghcr.io/open-webui/open-webui:main
    container_name: open-webui
    restart: always
    ports:
      - "3000:8080"
    volumes:
      - open-webui:/app/backend/data
    extra_hosts:
      - "host.docker.internal:host-gateway"

volumes:
  open-webui:

访问网站

  • 通过127.0.0.1:3000访问网站
    在这里插入图片描述
    此时会出现一个问题,无法选择模型

无法选择模型问题处理

虽然启动了open-web的镜像,页面也访问正常,但却没有ollama中的模型,通过docker logs -f open-webui查看日志,会发现错误提示

INFO  [apps.openai.main] get_all_models()
INFO  [apps.ollama.main] get_all_models()
ERROR [apps.ollama.main] Connection error: Cannot connect to host host.docker.internal:11434 ssl:default [Connect call failed ('172.17.0.1', 11434)]

可以理解到172.17.0.1:11434接口访问不通,其实本质问题就是ollama服务的
ip限制,对此,需要解除限制

修改ollama服务配置

vim /etc/systemd/system/ollama.service

在配置中添加两行配置

Environment="OLLAMA_HOST=0.0.0.0"
Environment="OLLAMA_ORIGINS=*"

将上面两行加到下图红框中的位置
在这里插入图片描述
重启ollama服务

systemctl daemon-reload
systemctl restart ollama

问题解决

重新正常访问页面

  • 选择模型,即可开始与模型进行沟通
    在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2069461.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

驱动开发系列13 - Linux Graphics 图形驱动概述(二)

目录 一:概述 二:Linux图形驱动演进 3.1 X11基础结构 3.2 DRI/DRM基础结构 四:帧缓冲区驱动程序 4.1 创建帧缓冲器驱动程序 4.2 帧缓冲区操作 五:直接渲染管理器(DRM) 5.1 内核模块(DRM) 5.2 DRM 批量缓冲区提交模型 5.2.1 硬件共享 5.2.2 内存管理和安全 5.3 模式…

搜狐新闻HarmonyOS Push开发实践

本文字数:1795字 预计阅读时间:15分钟 01 背景 搜狐新闻作为HarmonyOS的合作伙伴,于2023年12月成功上架鸿蒙单框架应用市场,成为首批鸿蒙应用矩阵的一员。 推送作为新闻类应用的重要组成部分,我们将其纳入到二期功能开…

【手撕OJ题】——141/142. 环形链表

目录 🕒 题目 Ⅰ⌛ 方法① - 快慢指针🕒 面试题🕒 题目 Ⅱ⌛ 方法① - 快慢指针⌛ 方法② - 转换为链表相交问题 🕒 题目 Ⅰ 🔎 141. 环形链表【难度:简单🟢】 给你一个链表的头节点 head &am…

【Electron】桌面应用开发electron-builder打包报错问题处理

Electron 桌面应用开发electron-builder打包过程中各种报错问题处理 前一篇有写过 Electron 桌面应用开发快速入门到打包Windows应用程序 在安装到打包的整个过程中,我们都会遇到很多诡异的问题,接下来我将介绍我遇到的几个问题的解决方案 一、拉包的时…

普元EOS-微前端实现路由

1 前言 EOS微前端已经对路由进行了封装,内置了 $router 对象,直接使用就实现了路由。 2 实现代码 this.$router.push({ path: /a/b }) 由于这些就是普通的路由对象的封装,就不过多描述使用方法。 有兴趣的同学可自行百度了解 vue router对…

CAAC执照:无人机飞手培训就业组装技术很重要

一、CAAC执照概述 CAAC(中国民用航空局)颁发的无人机执照,全称为《民用无人机操控员执照》,是无人机行业中最权威和含金量最高的证书。考取该执照后,无人机飞手可以合法地申请空域、航线,并从事无人机相关…

【动态规划】简单多状态 dp 问题

简单多状态 dp 问题 1.面试题 17.16. 按摩师2.打家劫舍 II3.删除并获得点数4.粉刷房子4.买卖股票的最佳时机含冷冻期5.买卖股票的最佳时机含手续费6.买卖股票的最佳时机 III7.买卖股票的最佳时机 IV 点赞👍👍收藏🌟🌟关注&#x1…

前端技术(四)—— 最经典Node.JS全套教程

一、node简介 1. 浏览器中的 JavaScript 的组成部分 2. 思考:为什么 JavaScript 可以在浏览器中被执行 3.思考:为什么 JavaScript 可以操作 DOM 和 BOM 4. 浏览器中的 JavaScript 运行环境 5. 思考:JavaScript 能否做后端开发 6. Node.js介绍…

MySQL 的半同步模式

目录 1 半同步简介: 解决主从数据一致性问题 2 实现半同步模式实践操作 2.1 MASTER 2.2 SLAVE 1 2.3 SLAVE 2 2.4 查看client链接状态 2.5 SLAVE 服务器故障模拟 2.5.1 停止 SLAVE 的 IO_THREAD 2.5.2 查看SLAVE 的IO线程是否关闭 2.5.3 查看 MASTER 上 client 的连接状态…

专业视频编辑和制作软件Adobe Media Encoder(ME)win/mac下载安装和软件介绍

一、软件概述 1.1 软件简介 Adobe Media Encoder(ME)是由Adobe公司开发的一款专业视频编辑和制作软件,全称为Media Encoder,是Creative Cloud套件中的一个重要组件。Adobe ME以其强大的视频编码、转码、调整、剪辑、合成等功能&…

解决git checkout -b 拉取远端某分支到本地时报错

问题描述 日常开发场景中,经常会出现切分支的情况,所以git checkout 命令是非常高频的 git checkout -b feature/xxx默认情况下,这条命令是基于当前所在分支来开辟新分支feature/xxx 但是,还有一些情况,我们需要基于…

比Maven快2~10倍的编译工具mvnd简介与实战

概述 maven-mvnd,可简称(或缩写)mvnd,the Maven Daemon。Apache Maven团队借鉴Gradle和Takari后开发的更快的构建工具。mvnd内嵌Maven,开发者可无缝从Maven迁移到mvnd。 参考资料:GitHub。 mvnd中会启动…

C++ | Leetcode C++题解之第368题最大整除子集

题目&#xff1a; 题解&#xff1a; class Solution { public:vector<int> largestDivisibleSubset(vector<int>& nums) {int len nums.size();sort(nums.begin(), nums.end());// 第 1 步&#xff1a;动态规划找出最大子集的个数、最大子集中的最大整数vect…

『基础』线性代数-1行列式

行列式是什么-运算规则 排列&#xff1a;不同的 n 元排列共有 n! 个 逆序&#xff1a;小数排在大数后面&#xff0c;叫逆序&#xff1b;一个排列中逆序的总和叫做这个排列的逆序数&#xff0c;记为 τ ( j 1 , . . . , j n ) \tau(j_1,...,j_n) τ(j1​,...,jn​) 逆序数的计…

MySQL笔记01: MySQL入门_1.2 MySQL下载安装与配置

2.2 MySQL下载安装与配置 2.2.1 MySQL下载 MySQL中文官网&#xff1a;https://www.mysql.com/cn/ MySQL英文官网&#xff1a;https://www.mysql.com/ MySQL官网下载地址&#xff1a;https://www.mysql.com/downloads/ &#xff08;1&#xff09;点击“MySQL Community (GPL) Do…

WPF—画刷(使用画刷实现背景颜色渐变效果)

WPF—画刷(使用画刷实现背景颜色渐变效果) 在WPF中我们可以使用画刷来对我们的页面做出各种炫丽的效果&#xff0c;列如渐变&#xff0c;渲染等&#xff0c; 下列就为大家分享2个渐变效果示例&#xff1a; 实例1(由内到外) <Grid><!--背景颜色渐变 画刷--><G…

【项目】微服务及时通讯系统:编写核心类

文章目录 前言1. 核心数据结构1.1 用户信息1.2 会话信息1.3 消息信息 2. 建立目录3. 编写代码3.1 用户信息3.2 会话信息3.3 消息信息3.4 工具函数 4. data.h 完整代码总结 前言 在构建现代微服务架构的即时通讯系统时&#xff0c;核心数据结构的设计是至关重要的。它们不仅决定…

聊一聊AI能够应用在哪些地方

AI大模型的应用场景极为广泛&#xff0c;涵盖了众多行业和领域&#xff0c;以下是一些主要的应用场景&#xff1a; 1. 自然语言处理&#xff08;NLP&#xff09; 对话系统&#xff1a;如智能客服、虚拟助手等&#xff0c;通过自然语言与用户进行交互&#xff0c;提供信息查询…

探索AI大模型量化前沿技术:引领智能计算新潮流

大型语言模型&#xff08;LLMs&#xff09;通常因为体积过大而无法在消费级硬件上运行。这些模型可能包含数十亿个参数&#xff0c;通常需要配备大量显存的GPU来加速推理过程。 因此越来越多的研究致力于通过改进训练、使用适配器等方法来缩小这些模型的体积。在这一领域中&am…

【CAN总线测试】——通讯相关诊断测试

从0开始学习CANoe使用 从0开始学习车载测试 相信时间的力量 星光不负赶路者&#xff0c;时光不负有心人。 目录 1.节点超时故障 2.Busoff故障码测试 3.Busoff 状态下超时故障监测测试 4.欠压故障测试 5.过压故障测试 1.节点超时故障 用例编号 TG4_TC1 测试目的 检测D…