终于不用为GPU算力发愁了，FLUX LoRA训练一键启动！(附模型）

news2024/9/29 19:23:10

FLUX 是一个开源的全新的图像生成器，可以生成逼真的超现实图像，人们称它为 Midjourney 的终结者，下一代 Stable Diffusion 的替代品。

FLUX究竟强大到什么程度？外网到现在为止，都还有抵制它的声音。

Google DeepMind 团队甚至在本月还发布了一篇研究人们如何滥用生成式 AI 的论文。令人震惊的是，所谓极具亲密性的图像、小黄片，这都不是首要的问题，真正危险的地方在于假冒他人身份。

而这，正是 FLUX 非常擅长的地方。

那么这篇文章将会带你手把手从零开始运行这个“危险”的 AI 工具，如何用自定义的数据集微调模型，训练想要的 Lora，并将结果转换成视频，生成你想要的内容。

需要体验的小伙伴直接扫码可以获取

打开这里的 API 地址，就能看到 FLUX 的服务了。打开 API，我们可以选择加载哪个工作流，如果想跑黑神话悟空的，那就选择 Wukong，然后点击添加提示词队列就能运行了。

绿的框框代表运行到的位置，第一次运行会慢一些，因为需要加载模型，直到运行到最后一个节点，就能看到预览图像了。第二次运行会快很多，因为涉及到的模型已经加载到了显存中。

在这里插入图片描述

TED 真人演讲工作流运行方法也一样。另外如果想要在图片中生成文本内容，可以参考 3mm4w 这个工作流。

想要训练 Lora，在项目页面打开工作空间。

在工作目录里找到train.sh这个文件。

开启命令行窗口，使用sh train.sh运行文件。

稍等片刻后，可以看到加载出的public URL，进入即可看到 FLUX Lora 的 WebUI 页面。

我们还是以川普为例，先输入名字：

上传十张他的图片，耐心等待一会。这里的图片尽量是人物的正脸照片，人脸比例最好大些，且分辨率要尽可能的高。等到页面变成这样，说明上传成功了。

这里我们需要写每个图片对应的文本表述，比如穿着西装系着蓝色领带的帅气大男孩。注意，得用英文。如果嫌麻烦，这里也有 AI 能够一键生成描述。只需要点击一下，稍等片刻，每张图片对应的文本描述就做好了。

对于 AI 描述不准确的地方，可以手动修改。

在这里插入图片描述

最后，点击开始训练的按钮。再等待几分钟，就能看到这个训练的进度条，一共训练 1000 轮次，可以通过进度条查看现在训练到了第几轮。如果你使用的是 RTX4090，大概 40 分钟能够训练完一个 Lora 模型。

当出现如图的字样时，说明训练完成了。

此时在 ai-toolkit 目录下的 output 文件夹里能看到训练好的模型，在 samples 里还有生成的图片，这个效果不错的话，就表明模型训练完成了。

训练好模型之后，我们关掉这个训练服务，释放 GPU 资源，要不然会一直占用显存，然后重启 ComfyUI，具体步骤：

1、运行「Ctrl+C」停掉训练服务

2、运行「sh copy.sh」命令

3、运行「sh dependencies.sh」命令

4、等待 1 分钟之后，重新打开 API 地址即可

最后，在 LoRA 加载器里选择新训练好的模型，即可使用了：

本文对应的视频教学：

https://www.bilibili.com/video/BV1xSpKeVEeM

FLUX LoRA 训练工具：

https://github.com/ostris/ai-toolkit

OpenBayes 平台专属注册链接：

https://openbayes.com/console/signup?r=JackCuiAI_R3mZ

本地搭建流程

最后，讲解下本地搭建流程：

环境要求：

Python，版本大于3.10
Nvidia GPU，显存大于 12GB
Python 虚拟环境（venv）
Git

安装步骤

如果你是Windows系统，可以参考以下流程:

git clone https://github.com/ostris/ai-toolkit.git #克隆项目仓库   cd ai-toolkit #进入项目目录   git submodule update --init --recursive #更新并初始化子模块   python -m venv venv #创建 Python 虚拟环境   .\venv\Scripts\activate #激活虚拟环境   pip install torch torchvision --index-url https://download.pytorch.org/whl/cu121 #安装 PyTorch（根据CUDA版本选择）   pip install -r requirements.txt #安装其他依赖

如果你是Linux系统，可以参考以下流程：

git clone https://github.com/ostris/ai-toolkit.git #克隆项目仓库   cd ai-toolkit #进入项目目录   git submodule update --init --recursive #更新并初始化子模块   python3 -m venv venv #创建 Python 虚拟环境   source venv/bin/activate #激活虚拟环境   pip3 install torch #安装 PyTorch   pip3 install -r requirements.txt #安装其他依赖

根据以上步骤，你已经可以在本地搭建好一个运行 FLUX 的环境了！当然，想要使用的话，在安装完 ai-toolkit 后，你还需要一些操作，以下是本地通过 Gradio UI 进行训练的步骤：