横空出世的黑马 FLUX ,以其强大的图像生成能力,让 Stable Diffusion 和 Midjourney 这 2 个「昔日顶流」倍感压力。
FLUX 与 Stable Diffusion 渊源颇深,其研发公司 Black Forest Labs 的创始人 Robin Rombach 是 Stable Diffusion 的共同开发者之一,Robin 在离开 Stability AI 后成立了 Black Forest Labs,并推出了 FLUX.1 模型,它能够根据文本提示创作出细腻且具有丰富细节的图像,无论是现实主义风格还是抽象艺术,都能轻松驾驭。
图像由 FLUX ComfyUI 3mm4w 工作流生成
B 站热门 Up 主 Jack-Cui 将 FLUX 和 ComfyUI 工作流相结合,制作了 FLUX ComfyUI 教程,该教程不仅包含最近热门游戏黑神话悟空的工作流,还支持一键训练自己的 LoRA 模型生成定制工作流。目前该教程已上线至 OpenBayes 公共教程界面,一键克隆即可立即启动!
B 站视频地址:
https://www.bilibili.com/video/BV1xSpKeVEeM/?spm_id_from=333.337.search-card.all.click
教程地址:
https://go.openbayes.com/Jlmbe
操作步骤
01
FLUX ComfyUI 运行
1. 登录 OpenBayes.com,在「公共教程」页面,选择「FLUX ComfyUI(含黑神话悟空 LoRA 训练版)」。
2. 页面跳转后,点击右上角「克隆」,将该教程克隆至自己的容器中。
3. 点击右下角「下一步:选择算力」。
4. 页面跳转后,选择「NVIDIA RTX 4090」以及 「PyTorch」镜像,点击「下一步:审核」。新用户使用下方邀请链接注册,可获得 4 小时 RTX 4090 + 5 小时 CPU 的免费时长!
小贝总专属邀请链接(直接复制到浏览器打开):https://go.openbayes.com/9S6Dr
5. 确认无误后,点击「继续执行」,等待分配资源,首次克隆需等待 1-2 分钟左右的时间。当状态变为「运行中」后,点击「API 地址」边上的跳转箭头,即可跳转至 Demo 页面。请注意,用户需在实名认证后才能使用 API 地址访问功能。
6. 打开 Demo 后,点击「Switch Locale」将语言切换为中文。
7. 切换语言后,点击左上角的文件夹图标选择所需工作流。
* wukong:黑神话悟空形象 Demo
* TED:TED 真人演讲 Demo
* 3mm4w:图片上写文本 Demo
8. 选择 「wukong」工作流,在 CLIP 文本生成器中输入 Prompt (例如:the back of wukong, holding one golden cudgel,colorfull clouds,headdress crown),点击「添加提示词队列就可以生成图片」,可以看到生成图片十分精美。
02
FLUX LoRA 训练
1. 想要定制工作流,我们需要先训练 LoRA 模型,回到刚刚的容器界面,点击「打开工作空间」,新建一个终端。
2. 在终端输入「sh train.sh」,敲回车运行,待「Running on public URL」出现后,点击该链接。
3. 页面跳转后,输入模型的名称,并上传图片,这里上传 5 张霉霉的照片,请注意,图像需要是高分辨率正脸照片,人脸的比例大一些。图像的质量越好训练出来的模型效果越好。
4. 上传成功后,在每一个图像的后面手动添加英文文本描述,也可以点击「Add AI captions with Florence-2」自动生成文本描述。
5. 下拉至页面底部,输入一个 Test prompt(例如:A person is drinking coffee)后,点击「Start training」
6. 等待几分钟后,我们回到刚刚的终端界面,可以看到训练的进度条,大概 40 分钟左右即可训练完成。待「Saved to output/taylor-swift/optimizer.pt」出现,表示训练已完成。
7. 在左侧 「ai-toolkit」-「output」-「taylor swift」-「sample」文件里,可以看到我们刚刚 Test Prompt 的效果,如果效果还不错,就证明我们的模型已经训练成功了。
8. 模型训练好后,我们需要关掉训练服务,释放 GPU 资源,回到刚刚的终端界面,按「Ctrl+C」终止训练。
9. 运行「sh copy.sh」,再运行「sh dependencies.sh」启动 ComfyUI,等待 1 分钟后,打开右侧 API 地址。
10. 页面跳转后,在「LoRA 加载器」中选择刚刚训练好的模型,在「CLIP」中输入 Prompt(例如:a person is drinking coffee),点击「添加提示词队列」即可生成图像。
开学季特惠
新用户福利
* 注册福利:点击下方邀请链接注册,即可获得 4 小时 RTX 4090 + 5 小时 CPU 的免费算力时长,永久有效!
小贝总专属邀请链接(直接复制到浏览器打开):
https://go.openbayes.com/9S6Dr
* 活动福利:参与第二期创作者激励计划,即可赢得现金奖励!