本地部署 Flux.1 最强文生图大模型！Comfyui 一键安装

news2024/11/15 6:55:29

前言

最近，由前 Stability AI员工创立的黑森林实验室推出了开源文生图大模型–FLUX.1横空出世。

FLUX.1在文字生成、复杂指令遵循和人手生成上具备优势。以下是其生成图像示例，可以看到即使是生成大段的文字、多个人物，也没有出现字符、人手等细节上的错误。

有了SD的经验，可以对FLUX放心使用。话不多说，让我们先上手。

一、安装
先把ComfyUI升级到最新版。
尽管很多网友称16G显卡方能跑的很好，经过实测，12G显卡也能跑的起来，速度并不比SD3慢多少。
模型下载：

本文涉及模型、插件下载请扫描免费获取哦

在这里插入图片描述

1、模型

Flux 模型总共有3个，分别是：Flux Pro、Flux Dev、Flux Schnell，下面是其性能的对照图

[pro] 是最顶级的模型，但是只能通过 API 调用；
[dev] 是由[pro]提炼，开源但非商用，质量和效果与[pro]类似；
[schnell] 是经过蒸馏的 4 步模型，速度比 [dev] 快 10 倍，Apache 2 开源许可。

下载 Flux 模型：FLUX 模型有四个可选，FLUX.1 [dev] 、FLUX.1 [dev] fp8、FLUX.1 [schnell]、FLUX.1 [schnell] fp8；

① FLUX.1 [dev] ：官方版本满配版，最低显存要求24G；下载地址：
【点击下载】
https://huggingface.co/black-forest-labs/FLUX.1-dev/tree/main
② FLUX.1 [dev] fp8：大佬优化 [dev] 后版本，建议选择此版本，最低 12G 显存可跑；
【点击下载】
https://huggingface.co/Kijai/flux-fp8/blob/main/flux1-dev-fp8.safetensors

③ FLUX.1 [schnell]：4 步蒸馏模型，大多数显卡可跑。

【点击下载】

https://huggingface.co/black-forest-labs/FLUX.1-schnell/blob/main/flux1-schnell.safetensors

7 ④ FLUX.1 [schnell] fp8：优化版本，适应更低的显卡配置。

【点击下载】
https://huggingface.co/Kijai/flux-fp8/blob/main/flux1-schnell-fp8.safetensors

安装路径：ComfyUI\models\unet

（为了方便区分其他模型，如Kolors，可以在unet下面创建一个目录FLUX放入其中）
2、VAE
ae.sft

【点击下载】

https://huggingface.co/black-forest-labs/FLUX.1-schnell/blob/main/ae.safetensors

安装路径：ComfyUI\models\vae
3、CLIP

需下载 t5xxl_fp16.safetensors 或 t5xxl_fp8_e4m3fn.safetensors （建议选择fp8 版本，如果你显存超过 32G 可选择 fp16 版本）

还有 clip_l.safetensors 到 ComfyUI/models/clip/ 目录中：【点击前往】

https://huggingface.co/comfyanonymous/flux_text_encoders/tree/main

安装路径：ComfyUI\models\clip
4、工作流
https://pan.quark.cn/s/f87159f40289

二、节点介绍

安装好ComfyUI后，根据电脑配置选择CPU还是N卡进行生图。运行对应的bat文件。

如果你安装过Kolors（可图），会发现安装完模型后，可以直接使用这个工作流。如果你对工作流不熟，可以直接拖到看第三部分介绍的傻瓜式操作。

1、模型加载器

UNET：如果显存大于等于12G，可以加载flux1-dev.sft

weight_dtype：如果显存小于48G，请启用量化，fp8_e4m3fn

2、clip模型加载

如图加载这两个模型即可

3、VAE

需要加载专用VAE，ae.sft

另，步数推荐20步。

4、提示词Prompt

雨中的小女孩

The highest image quality, masterpiece, Number of photos, 1 girl in Highly Detailed Face and Skin Textur, photorealistic eye, beautiful detailed eyes, (Realistic skin), Attractive, Ultra-high sharpness, hyper realisitc, Very meticulous, sweatshirts, raindrop on the face, be desperate, compassionate

5、Lora

C站已经有不少大佬炼丹的lora了，比如下面的图，如果不是看吊牌的金属扣，你已经很难区分这是AI生图了。

上图就是用XLabs Flux Realism LoRA生成的，已经有10k下载量了

Flux.1其实已经很写实了，大家可以看下lora生图的对比。喜欢哪种风格，就看个人审美了。

三、测试跑图

flux_schnell_example 的示例我们可以直接从下面网址获取，将对应模型的图片拖入打开的http://127.0.0.1:8188/网页即可：https://comfyanonymous.github.io/ComfyUI_examples/flux/

同样，上面第二节的示例也可以拖进浏览器界面查看工作流和提示词，模型根据报错内容调整即可，快来体验下Flux.1的强大吧~因为lora的部分内容很丰富，后续我也会分享一些大佬上传的好玩有趣的lora，大家敬请期待
为了帮助大家更好地掌握 ComfyUI，我在去年花了几个月的时间，撰写并录制了一套ComfyUI的基础教程，共六篇。这套教程详细介绍了选择ComfyUI的理由、其优缺点、下载安装方法、模型与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。