ComfyUI | 5分钟部署最新Flux大模型

news2024/11/26 13:50:43

Midjourney 和 Stable Diffusion 都是目前流行的 AI 图像生成工具,它们能够根据文本描述生成高质量的图像。都是基于深度学习技术的文本到图像生成模型,但它们各自基于不同的大模型。

但最近推出了一款比前两者更强大,生成图像更加逼真,在细节上更符合现实世界的模型,就是FLUX!

图片

什么是Flux?

Flux AI是由Black Forest Labs推出的一款最新的文本生成图像模型,这个团队是由从Stable Diffusion离开的原班人马,创立的全新用于AI绘图的大模型。Flux AI模型以其卓越的视觉质量、精确的提示词遵循、多样化的风格和复杂场景生成能力而著称。它包含三个版本:FLUX.1 [pro]、FLUX.1 [dev]和FLUX.1 [schnell],分别针对不同的使用场景和需求。

Flux模型以及工作流已经打包好,有需要可以扫描下方,免费获取

在这里插入图片描述

FLUX.1 Pro

是专为商业用途设计的闭源模型,提供最先进的图像生成性能。

FLUX.1 Dev

是一个开源的引导蒸馏模型,适用于非商业应用。

FLUX.1 Schnell

是专为本地开发和个人使用设计的快速版本。

Flux AI模型采用了创新的混合架构,结合了多模态处理能力和并行扩散机制的Transformer技术,并扩展至高达120亿个参数。这些模型在训练生成模型的方法上采用了流匹配技术,这种方法不仅通用性强,而且概念简洁,特别适用于包括扩散过程在内的各种情况。

图片

官网展示图片样例:

图片

图片

图片

以下是Flux、Midjourney和Stable Diffusion模型的对比:

图像质量

Flux: 不需要其他插件的参与,本身就擅长生成高分辨率、细节丰富的图像,特别是在复杂场景和人体解剖学方面表现出色。

Midjourney: 以其艺术风格和高质量输出闻名,尤其在艺术性和风格多样性上有优势。

Stable Diffusion: 能够生成逼真的图像,适合需要真实感输出的项目。

速度和效率

Flux: 提供快速的图像生成,特别是schnell变体,适合需要快速原型制作和迭代设计的过程。大多数情况下不需要额外的下载风格模型,即可输出各种风格的图片。

Midjourney: 未明确提及速度,但通常商业模型可能会在云服务器上运行,可能存在排队等候的情况。

Stable Diffusion: 生成速度较慢,但在图像优化过程中提供更多控制。

处理复杂场景

Flux: 在处理复杂构图方面表现出色,得益于其先进的架构。特别是文字方面,flux可以输出带文字的图片,只要提示词足够的准确可以直接输出设计海报级别的图片。

Midjourney: 能够处理复杂场景,但在某些情况下可能需要更多的迭代来达到理想效果。

Stable Diffusion: 在处理复杂场景方面可能存在一些限制。

人体解剖渲染

Flux: 在渲染人体解剖方面表现出色,尤其是手部细节,更加的完整还原。

Midjourney: 未特别提及,但通常能够生成具有艺术感的人物图像,难以指定准确描绘。

Stable Diffusion: 可能在准确描绘人体特征方面遇到困难。需要额外的插件或者后期的处理才能勉强更正或基本达到效果

灵活性和集成

Flux: 提供多种变体,适合不同的使用场景和需求,包括开源和专业模型。

Midjourney: 作为商业工具,可能在定制化方面有一定的限制。

Stable Diffusion: 开源模型,社区驱动,提供了丰富的定制化和集成选项。

开源与商业模型

Flux: 提供开源模型,鼓励社区参与和创新。

Midjourney: 为商业模型,提供专业的图像生成服务。

Stable Diffusion: 开源模型,有活跃的社区支持和持续的改进。

特定应用

FluxI: 适合需要高细节和准确表现复杂场景的项目。

Midjourney: 适合艺术创作和设计,尤其是在需要艺术风格和创意表现的领域。

Stable Diffusion: 适合对最终图像控制至关重要的真实感输出。

总结来说flux:

(1)画面更细节,效果更好

(2)图片文字支持更突出完整,输出更准确

(3)人物手部完整,符合现实,基本不会出错

(4)模型包含风格多,支持风格多样,不依赖额外的模型协助补充

(5)可忽略输入负面提示词,单靠正面提示词即可准确输出

通过以上对比,flux之所以更强,是因为它的训练参数是比前两者更大,stable diffusion 3是最高8B的训练参数,约80亿,而flux 1的开始就是12B的训练参数,足足120亿,多了好几倍!单个模型的大小就有23G大小,可想而知,Flux强大是很有实力的。

图片

Flux模型的区别:主要分为下面三大模型

图片

图片

图片

图片

*注意:如果使用GGUF和NF4,需额外安装插件:

图片

图片

图片

如何部署安装flux?

1、保证你的comfyui是最新的版本。(本文使用秋叶老师的启动器)

点击启动器的版本,看到顶部的内核、扩展,依次点击右上角的一键更新按钮,更新到最新的即可。因为flux是8月前发布的,保证自己的comfyui是更新到8月1日之后的最新版本哦。

图片

2、进入官网的汉堡主页

图片

下载 ae.safetensors(即vae)、flux1-dev.safetensors(即unet)

图片

3、下载clip文件,进入comfyui的github主页找到flux:https://github.com/comfyanonymous/ComfyUI_examples/tree/master/flux

图片

从这里进入,看到clip_l.safetensors、t5xxl_fp16.safetensors、t5xxl_fp8_e4m3fn.safetensors这三个文件下载。

图片

图片

4、文件放置位置:

图片

5、其他资源包括controlnet及lora,在xlab-ai主页https://huggingface.co/XLabs-AI

图片

图片

*注意如想使用flux模型的controlnet、flux模型的iPadapter等功能,,还需要在comfyui里面下载安装XLabs-Ai插件。在comfyui管理器里打开节点管理,然后搜索该插件并安装,然后重启comfyui即可。

图片

6、系统内存设置

注意采用的模型运行占内存比较大时,建议打开系统的虚拟内存:系统设置-高级-性能设置-高级-虚拟内存-勾选自动管理。

图片

**
**

图片

如何快速使用?

官方给出了相关使用的工作流,只需要把官方github的案例图片拖放到comfyui即可。看图片命名对应使用,值得我们学习。

图片

官方案例工作流

如用flux_dev_example工作流为例子,将图片拖放到comfyui

图片

得到下面的工作流:

图片

把flux_schnell_example拖入则得到如下:

图片

划分结构:

图片

flux_schnell_example是最为简单的,4步骤即可出图。

从简单的入手,在flux_schnell_example工作流里面尝试使用下面提示词:

一个穿着校服的女孩,拿着粉笔在黑板上写着开心文字,真实摄影,学校教室,半身构图,电影灯光,细节丰富,日式低饱和度

A girl wearing a school uniform, holding chalk to write happy words on the blackboard, real photography, school classroom, half body composition, movie lighting, rich details, Japanese low saturation

得到的出图:

图片

(1)黑板上的字准确体验

(2)人物的手结构正常

(3)质感效果按提示词的真实风格符合

(4)出图效率高,无等待感,跟提示词吻合

接着我们在模型之间插入一个lora加载器,并且在网上下载了一个黑神话悟空的lora模型,加载进去(lora来自liblib.art平台作者)

图片

模型先使用fp8 schnell,使用lora作者提供的描述词,然后启动队列,看到作者电脑32G内存,可以去到85%到98%上,显卡是英伟达2080。

图片

输入提示词:

悟空,在绘画室内,绘画,素描,画笔,写字,努力工作,(大文字“不想工作”)

Wukong,in the painting studio,painting,sketching,using a paintbrush, writing,and working hard (big text says’ don’t want to work ')

得到图像:

图片

简单的描述,无需负面提示词,添加lora后人物手部,文字等都很好。

总的来说flux除了大模型需要强配置的电脑,较小的模型其实效果也错不了多少,对于普通的自媒体应用、方案创意等足够使用了。

另外除了简单的添加lora等,熟悉comfyui的话,添加放大增加细节的节点,甚至使用controlnet等高级应用都可以产生更多更好的效果。如有更好的提示词或者工作流,欢迎各位在评论区留言哦~

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!

对于0基础小白入门:

如果你是零基础小白,想快速入门AI绘画是可以考虑的。

一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以找到适合自己的学习方案

包括:stable diffusion安装包、stable diffusion0基础入门全套PDF,视频学习教程。带你从零基础系统性的学好AI绘画!

零基础AI绘画学习资源介绍

👉stable diffusion新手0基础入门PDF👈

(全套教程文末领取哈)
在这里插入图片描述

👉AI绘画必备工具👈

在这里插入图片描述

温馨提示:篇幅有限,已打包文件夹,获取方式在:文末

👉AI绘画基础+速成+进阶使用教程👈

观看零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

温馨提示:篇幅有限,已打包文件夹,获取方式在:文末

👉12000+AI关键词大合集👈

在这里插入图片描述

这份完整版的AI绘画全套学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2201936.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

UE4 材质学习笔记04(着色器性能优化)

一.着色器性能优化 1.衡量着色器的性能 衡量着色器性能的主要方法有三个 第一个:可以使用场景的视图模式的优化视图模式的着色器复杂度 下面的滑条代表了着色器指令的复杂度 如果场景大部分是绿色的,说明着色器耗能低,反之白色则是很糟糕…

VS Code安装以及配置

安装 1. 下载安装 VScode官网 注意,这一步最好全部打勾 2. 设置默认terminal为cmd 3. 修改Run Code的配置 参考: https://blog.csdn.net/weixin_46474921/article/details/132841711

2024年诺贝尔物理学奖 机器学习与神经网络领域前景面面观 如何抉择

近日,2024年诺贝尔物理学奖颁发给了机器学习与神经网络领域的研究者,这是历史上首次出现这样的情况。这项奖项原本只授予对自然现象和物质的物理学研究作出重大贡献的科学家,如今却将全球范围内对机器学习和神经网络的研究和开发作为了一种能…

【element-tiptap】如何增加一个扩展项,为文字渲染颜色?

源码地址: https://github.com/Leecason/element-tiptap 可以看到,当前这个页面的文字,都是黑色的(除了链接) 酱紫有些单调,我喜欢五颜六色的。那么这篇文章就来看下菜单项里面如何增加一个颜色的扩展&…

Anaconda保姆安装教程

步骤1:下载Anaconda安装包 访问官网: 进入Anaconda官网下载页面,官网会根据电脑的操作系统自动选择适合的操作系统安装程序。 尝试进入清华大学开源软件镜像站,选择想要的版本进行下载,通常下载速度较快。 本文以从…

OpenAI重磅发布交互界面canvas,让ChatGPT成为写作和编程利器

OpenAI 宣布推出类似 Anthropic 的 Artifacts 的应用 canvas,并称「这是一种使用 ChatGPT 写作和编程的新方式」。 在 Claude 中试过 Artifacts 的朋友都知道,这能极大提升 LLM 输出结果的表现力,其支持输出文本文件、代码、网页、SVG 等等。…

Windows11 24H2 64位专业精简版:告别卡顿,流畅运行!

今日,系统之家小编给您分享2024年最新发布的Windows11 24H2精简版系统下载,该版本系统采用微软官方Windows11 24H2 26100.2033 专业版离线制作,安全无毒,不符合硬件要求的电脑也能升级。本次更新修复了系统蓝屏、绿屏的安全问题&a…

【赵渝强老师】K8s中的有状态控制器StatefulSet

在K8s中,StatefulSets将Pod部署成有状态的应用程序。通过使用StatefulSets控制器,可以为Pod提供持久存储和持久的唯一性标识符。StatefulSets控制器与Deployment控制器不同的是,StatefulSets控制器为管理的Pod维护了一个有粘性的标识符。无论…

数据科学初学者都应该知道的 15 个基本统计概念

一、介绍 数据科学的核心是统计学,它已经存在了几个世纪,但在当今的数字时代仍然至关重要。为什么?因为基本的统计概念是数据分析的支柱,使我们能够理解每天生成的大量数据。这就像与数据对话,统计学可以帮助我们提出正…

【读书笔记·VLSI电路设计方法解密】问题7:什么是基于标准单元的专用集成电路 (ASIC) 设计方法论

标准单元方法论是一种基于预组装库单元的芯片设计方法。该库中包含的标准单元和宏单元(例如存储器、I/O、特殊功能单元、锁相环(PLLs)等)已经在预定的工艺节点中设计、布局并经过验证。这些单元经过完全表征,并在逻辑、时序、物理和电气模型方面进行了定义,并正确地打包在…

npm install报错一堆sass gyp ERR!

执行npm install ,出现一堆gyp含有sass错误的情况下。 解决办法: 首页可能是node版本问题,太高或者太低,也会导致npm install安装错误(不会自动生成node_modules文件),本次试验,刚开…

刷题 - 分治

面试经典 150 题 - 分治 148. 排序链表⭐️⭐️⭐️ - 快慢指针找中间节点 - 归并排序 伪代码: 将链表拆分成两半,返回右半边头节点(左半边头节点就是原始链表头节点)对左边进行排序并返回左边头节点对右边进行排序返回右边头节…

图片压缩怎么弄?压缩图片大小的多种方法介绍

图片压缩怎么弄?图片压缩技术正是为了解决这些问题而生。通过有效减少文件大小,我们可以在保持视觉质量的前提下,更加高效地管理和分享图片。这项技术不仅能帮助个人用户优化手机或电脑的存储,还对企业在处理大量图像资产时显得尤…

小米路由器R3Gv2安装openwrt记录

前言 小米路由器R3Gv2的硬件配置与小米路由器4A千兆版一致,但bootloader有所不同,因此openwrt的固件不要互刷。另外,R3Gv2和R3G、4A百兆版是不同的设备,切勿混淆。 硬件信息 OpenWrt参数页-Xiaomi MiWiFi 3G v2 CPU&#xff1a…

Springboot网上书城小程序—计算机毕业设计源码38707

目 录 摘要 1 绪论 1.1 研究背景及意义 1.2国内外研究现状 1.3系统开发的内容 1.4论文结构与章节安排 1.5小程序框架以及目录结构介绍 2 网上书城小程序系统分析 2.1 可行性分析 2.1.1 技术可行性分析 2.1.2 经济可行性分析 2.1.3 操作可行性分析 2.2 系统功能分析…

Unity实现自定义图集(三)

以下内容是根据Unity 2020.1.0f1版本进行编写的   1、实现编辑器模式下进游戏前Pack全部自定义图集 同Unity的图集一样,Unity的编辑器模式会在进游戏前把全部的SpriteAtlas都打一次图集,如图: 我们也实现这样的效果。 首先需要获取全部的图集路径。因为目前使用的是以.…

chaos官方给的V-Ray材质优化器怎么样?

V-Ray材质优化器是一个为3ds Max设计的MAX脚本,它通过以下方式优化场景,提高渲染速度! V-Ray材质优化器安装包可找【成都渲染101云渲染,云渲码6666】提供! ​ 通过创建一个新的UV通道并使用平面映射算法展开场景对象。…

【学术会议征稿】第五届应用力学与机械工程国际学术会议(ICAMME 2024)

第五届应用力学与机械工程国际学术会议(ICAMME 2024) 2024 5th International Conference on Applied Mechanics and Mechanical Engineering 在全球技术快速发展的背景下,应用力学和机械工程作为推动现代工业创新的根基,持续展…

【新品发布】数字能源EMS管理再掀新篇章

致远电子EM系列工商业储能网关累计装机容量突破2GWh!聚焦数字综合能源应用,全新一代EM-800/EM-1000G发布,见证光储充时代的来临! 早在2008年,致远电子的工程师在为国内某新能源企业设计光伏通讯管理机方案时&#xff0…