Win11 本地部署大模型 WebUI + ComfyUI

news2024/11/15 11:03:09

Open WebUI 是一个可扩展、功能丰富且用户友好的自托管 Web 用户界面(WebUI),它被设计用于完全离线操作。该项目最初被称为 Ollama WebUI,后来更名为 Open WebUI。Open WebUI 的主要目的是为本地的大语言模型(LLMs)提供一个图形化的交互界面,使得用户能够更加方便地调试和调用本地模型,它不仅支持本地模型,还兼容 Ollama 和 OpenAI 的 API,同时也支持远程服务器上的模型

win11 本地源码安装 Open WebUI

git clone https://github.com/open-webui/open-webui.git
cd open-webui

copy .env.example .env

# 编译前端
npm install
npm run build

# 进入服务端文件夹
cd .\backend

# 可选: 通过 Conda 虚拟环境安装
conda create --name open-webui-env
conda activate open-webui-env

pip install -r requirements.txt -U

# 执行启动脚本 cd .\backend
start_windows.bat

修改运行参数(.env):

OLLAMA_BASE_URL='http://localhost:11434'
OPENAI_API_BASE_URL='https://domain.com/v1' # 可从接口查询可用模型
OPENAI_API_KEY='sk-0lkurGuwZAg4T61oB00cD944Ec'

支持的大模型

https://ollama.com/library

通过 WebUI 下载模型

直接搜索并下载

在这里插入图片描述
在这里插入图片描述

或打开管理员面板搜索安装:
在这里插入图片描述

通过 ollama 下载模型

  1. 下载安装 Ollama:win11 安装包下载地址:https://ollama.com/download
  2. 运行大模型
ollama run llama3.1:8b

在这里插入图片描述

  1. 刷新 webui 页面可以在列表中找到该模型

在这里插入图片描述

集成 SD 图像生成

需已安装 stable-diffusion-webui

在这里插入图片描述

# 设置 sd 以 api 服务方式运行
set COMMANDLINE_ARGS=--xformers --enable-insecure-extension-access --nowebui --api --api-auth admin:1212 --listen --port 7860
  1. 首先,编写图像生成提示词,让文本生成模型原样回复
  2. 完成后,您可以单击回复下方的图标来生成图像
  3. 在图像完成生成后,可在聊天中查看

在这里插入图片描述

推荐 sd 插件

git clone https://github.com/AlUlkesh/stable-diffusion-webui-images-browser extensions/stable-diffusion-webui-images-browser
git clone https://github.com/butaixianran/Stable-Diffusion-Webui-Civitai-Helper extensions/Stable-Diffusion-Webui-Civitai-Helper

https://github.com/Mikubill/sd-webui-controlnet

ComfyUI 安装

  1. 下载源码安装依赖
git clone https://github.com/comfyanonymous/ComfyUI.git
cd ComfyUI.git
/path-to-python10 -m venv venv
pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu121
pip install -r requirements.txt
  1. 修改运行参数参数,设置复用 stable-diffusion-webui 目录中的模型:
# 在 ComfyUI 根目录中
copy extra_model_paths.yaml.example extra_model_paths.yaml
指定 sd 文件夹路径:
base_path: path/to/stable-diffusion-webui/ 
  1. 安装 ComfyUI-Manager
cd custom_nodes
git clone --depth=1 https://github.com/ltdrdata/ComfyUI-Manager.git 
  1. 启动:
python ./main.py

问题:NumPy 2 报错,版本降级:

pip uninstall numpy
pip install numpy<2

在这里插入图片描述

参考

https://github.com/open-webui/open-webui
https://github.com/comfyanonymous/ComfyUI

欢迎合作

如果这篇文章对您有所帮助,欢迎点赞、分享和留言,让更多的人受益。感谢您的细心阅读,如果发现了任何错误或需要补充的地方,请随时告诉我,我会尽快处理 ^_^

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2089863.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

一条执行24s的SQL产生7小时主备延时(案例详解)

前言 在之前的文章《一条执行24s的SQL竟产生7小时数据延时&#xff0c;数据库高可用做了个寂寞》中&#xff0c;我们描述了一个问题现象&#xff1a;一条在主库执行24秒的SQL语句&#xff0c;却导致了主从延时长达7小时。文章发布后&#xff0c;引发了小伙伴的热烈讨论&#x…

zabbix安装过程中仓库不可用问题解决

官网文档安装zabbix-server&#xff1a;Download and install Zabbix 安装zabbix-server过程中碰到如下报错&#xff1a; 导致原因是仓库url被qiang&#xff0c;创建如下仓库&#xff1a; 仓库文件&#xff1a; [centos-sclo-rh] nameCentOS-7 - SCLo rh baseurlhttps://mirr…

6 款 AI 视频全自动国产剪辑软件推荐

这两年刷抖音、B站&#xff0c;你是不是也常看到AI做的视频火得一塌糊涂&#xff0c;流量爆棚&#xff0c;还帮作者赚了钱?那没学过剪辑的你&#xff0c;想不想零成本、零门槛&#xff0c;也用AI软件赚点外快呢?告诉你&#xff0c;绝对行得通!现在AI技术牛了&#xff0c;网上…

顺序表

目录 1. 数据结构 2. 顺序表 1&#xff09;线性表 2&#xff09;顺序表分类 3、动态顺序表的实现 1. 数据结构 数据&#xff1a;常见的数值1、2、3、4.....、教务系统里保存的用户信息&#xff08;姓名、性别、年龄、学历等 等&#xff09;、网页里肉眼可以看到的信息&…

ARM体系结构及接口技术(四)LED灯实验---Makefile文件解析

文章目录 一、汇编版本二、C语言版本&#xff08;一&#xff09;Makefile文件1. .elf文件2. .map文件3. wildcard函数4. patsubst函数 &#xff08;二&#xff09;map.lds&#xff08;三&#xff09;start.S 一、汇编版本 # 工程名对应的变量 NAMEasm-led# 交叉编译器的前缀的…

十、软件工程基础知识(考点篇)试题

降低需求变更成本&#xff0c;第一想到的就是原型法&#xff0c;后面对于已完成开发工作的的反馈意见&#xff0c;已完成开发工作只有增量式的吧&#xff0c;先开发核心的&#xff0c;然后发布一版&#xff0c;得到用户反馈再修改并开发次核心。快速原型强调的是&#xff0c;先…

BP神经网络学习内容分享:数据降维

在数据分析和机器学习的领域中&#xff0c;数据降维是一项非常重要的技术。它旨在减少数据集中的特征数量&#xff0c;同时尽可能保留原始数据的重要信息。这不仅有助于减少计算复杂度和提高算法效率&#xff0c;还能有效避免过拟合&#xff0c;提升模型的泛化能力。本文将简要…

数学建模--皮尔逊相关系数、斯皮尔曼相关系数

目录 1.总体的皮尔逊相关系数 2.样本的皮尔逊相关系数 3.对于皮尔逊相关系数的认识 4.描述性统计以及corr函数 ​编辑 5.数据导入实际操作 6.引入假设性检验 6.1简单认识 6.2具体步骤 7.p值判断法 8.检验正态分布 8.1jb检验 8.2威尔克检验&#xff1a;针对于p值进行…

【单片机原理及应用】实验:数字秒表显示器

目录 一、实验目的 二、实验内容 三、实验步骤 四、记录与处理 五、思考 六、成果文件提取链接 一、实验目的 熟悉中断和定时/计数器工作原理&#xff0c;掌握定时器的C51编程与调试方法。 二、实验内容 【参照图表】 图A.6 &#xff08;1&#xff09;创建一个包含80C51固…

【OWOD论文】开放世界中OD代码_2_模型部分

简介 本文记录OWOD代码中的模型代码部分。数据部分可看我上一个博客【【OWOD论文】开放世界中OD代码_1_数据部分-CSDN博客】 模型代码 1 起步 在代码中找到 detectron2\engine\defaults.py DefaultTrainer类 __init__方法 根据上述 build_model 回溯到 detectron2\modeling\…

OCC笔记:Windows下OCC的编译

一、源码下载 进OCC官网下载https://dev.opencascade.org/release即可&#xff0c;或直接Clone它的Git库https://dev.opencascade.org/resources/git_repository&#xff0c;本文用的源码库版本为7.4.0&#xff08;我本机安装的VS2013&#xff0c;我又想用到AIS_ViewCube&…

使用Blender云渲染的好处是什么?

​Blender是一款功能强大的开源3D创作软件&#xff0c;用于包括建模、动画、仿真、渲染、合成和视频编辑在内的多种应用。然而&#xff0c;Blender的渲染过程有时可能非常耗费资源&#xff0c;特别是处理复杂的3D场景时。作为CG行业不可或缺的一部分&#xff0c;云渲染通过使用…

chat2DB体验

文章目录 Chat2DB体验的印象Chat2DB是什么&#xff1f;流水帐数据库示例新建数据表生成测试数据查询数据特殊查询 Chat2DB 体验的印象 主页是https://chat2db-ai.com/ 因为最近物理研究需要用到很多数据&#xff0c;所以试用了一个号称神级AI数据库系统。 首先&#xff0c; …

【论文解析】基于脉动阵列的层融合注意力模型加速器结构

作者及发刊详情 刘晓航, 姜晶菲, 许金伟. 基于脉动阵列的层融合注意力模型加速器结构[J]. Computer Engineering & Science/Jisuanji Gongcheng yu Kexue, 2023, 45(5). 摘要 正文 主要工作贡献 1&#xff09;)提出了硬件协同控制的注意力机制矩阵分块方法 2&#xf…

数据仓库系列14:数据清洗和转换的常见方法有哪些?

数据仓库的建立不仅仅是数据的简单存储&#xff0c;更是对数据的深度利用。而数据清洗和转换是确保数据质量和一致性的重要环节。在这篇文章中&#xff0c;我们将深入探讨数据清洗和转换的常见方法&#xff0c;帮助你在数据仓库中更高效地处理数据。 目录 为什么数据清洗和转换…

任务通知笔记

1、任务通知简介 任务通知 用来通知任务的&#xff0c;任务控制块中的结构体成员变量ulNotifiedValue就是这个通知值。 任务通知与队列、信号量和时间标志组的区别 任务通知的优势及劣势 优势 效率更高&#xff1a;使用任务通知向任务发送事件或者数据比使用队列、事件标志…

C语言典型例题56

《C程序设计教程&#xff08;第四版&#xff09;——谭浩强》 例题4.8 将范围为100~200的不能被3整除的数输出。 代码&#xff1a; //《C程序设计教程&#xff08;第四版&#xff09;——谭浩强》 //例题4.8 将范围为100~200的不能被3整除的数输出。//#include <stdio.h>…

您下一款项目管理工具何必是它,10款软件推荐

国内外主流的 10 款项目管理系统对比&#xff1a;PingCode、Worktile、Teambition、明道云、泛微E-cology、Asana、Trello、Monday.com、ClickUp、Wrike。 在项目管理的世界里&#xff0c;选择合适的管理工具似乎是一个令人头疼的问题。你是否经常在众多选项中感到迷茫&#xf…

AI如何改变科学与数学领域:陶哲轩演讲解析

引言 在当今技术迅猛发展的时代&#xff0c;人工智能&#xff08;AI&#xff09;正逐步渗透到各个领域&#xff0c;其对科学与数学领域的影响尤为引人关注。菲尔茨奖获得者陶哲轩最近在一场演讲中深刻探讨了AI在科学与数学中的应用及其潜在的革命性影响。本文将基于陶哲轩的演…

Goby 漏洞发布|Nacos Jraft 服务文件读取漏洞【已复现】

漏洞名称&#xff1a;Nacos Jraft 服务文件读取漏洞 English Name&#xff1a;Nacos Jraft Services File Read Vulnerability CVSS core: 5.0 漏洞描述&#xff1a; NACOS 是阿里巴巴推出来的一个新开源项目&#xff0c;是一个更易于构建云原生应用的动态服务发现、配置管…