FLUX.1图像生成模型：AI工程师的实践与探索

news2024/12/23 17:35:51

文章目录

- 1 FLUX.1系列模型
- 2 AI工程师的视角
- 3 ComfyUI部署
- 4 FLUX.1部署
- 5 工作流
- 6 面向未来

黑森林实验室（Black Forest Labs）研发的FLUX.1图像生成模型，以其120亿参数的庞大规模，正在重新定义图像生成技术的新标准。FLUX.1系列模型的推出，不仅为AI工程师提供了强大的工具，也为整个图像生成领域带来了新的活力。

1 FLUX.1系列模型

FLUX.1系列模型包含三个版本，每个版本都有其独特的优势和应用场景：

FLUX.1-Professional：作为闭源版本，它提供了顶尖的性能和图像生成能力。在提示词识别、视觉质量、细节表现和输出多样性方面，FLUX.1-Professional展现出色的表现。它非常适合对性能有高要求的企业用户，并且可以通过官方API进行访问，享受定制化服务。
FLUX.1-Developer：这是开源但限制商用的版本，基于FLUX.1-Professional构建。它保持了高质量的提示词处理能力，并在效率上有所提升，非常适合开发者进行研究和开发。AI工程师可以利用这一版本进行深入的技术探索和应用开发。
FLUX.1-Express：这是开源且可商用的版本，专为个人用户和本地开发设计。采用Apache 2.0许可证，它在生成速度上具有显著优势，同时内存占用较低，适合在资源有限的环境中运行。

在这里插入图片描述

2 AI工程师的视角

作为AI工程师，我对FLUX.1系列模型的推出感到非常兴奋。

这些模型不仅在技术上取得了突破，而且在实际应用中展现出了巨大的潜力。FLUX.1-Professional的高性能特点，使其成为需要通过API接入图像生成服务的AI项目的理想选择。它的高效率和高质量的输出，可以显著提升AI应用的用户体验。

FLUX.1-Developer的开源特性，为AI工程师提供了一个研究和开发图像生成技术的绝佳平台。它的高性能和开源代码，使得工程师可以自由地探索和创新。

FLUX.1-Express的快速生成能力和低资源占用，使其成为需要在本地环境中快速部署图像生成服务的AI工程师的理想选择。它的开源许可证和优化的性能，使得资源受限的开发环境也能享受到高质量的图像生成服务。

3 ComfyUI部署

（1）在终端中执行以下命令克隆ComfyUI代码：

# github官方代码仓库
git clone https://github.com/comfyanonymous/ComfyUI.git
# gitCode-github加速计划代码仓库
git clone https://gitcode.com/gh_mirrors/co/ComfyUI.git

（2）克隆完成后可看到如下目录：

在这里插入图片描述

（3）终端进入/root/workspace/ComfyUI目录，执行以下命令，安装ComfyUI需要的依赖：

cd ComfyUI/
pip install -r requirements.txt --ignore-installed

（4）执行以下命令，启动ComfyUI：

python main.py --listen

在这里插入图片描述

（5）看到服务成功启动，说明ComfyUI部署成功！

4 FLUX.1部署

推荐您阅读ComfyUI官方使用FLUX.1示例，以下是基于丹摩平台的部署教程

（1）平台已预制FLUX.1相关资源，您可通过内网高速下载：

# 下载完整FLUX.1-dev模型
wget http://file.s3/damodel-openfile/FLUX.1/FLUX.1-dev.tar
# 下载完整FLUX.1-schnell模型
wget http://file.s3/damodel-openfile/FLUX.1/FLUX.1-dev.tar
# 下载完整Clip模型
wget http://file.s3/damodel-openfile/FLUX.1/flux_text_encoders.tar

（2）此处以FLUX.1-dev为例演示，首先下载完整FLUX.1-dev模型：

wget http://file.s3/damodel-openfile/FLUX.1/FLUX.1-dev.tar

（3）解压文件：

tar -xf FLUX.1-dev.tar

（4）解压后完成后可看到如下目录:

在这里插入图片描述

（5）把其中的一些文件移至ComfyUI指定目录：

大模型文件flux1-dev.safetensors需要移动至/root/workspace/ComfyUI/models/unet/文件夹中
vae文件ae.safetensors需移动至/root/workspace/ComfyUI/models/vae/文件夹中

# 进入解压后的文件夹
cd /root/workspace/FLUX.1-dev
# 移动文件
mv flux1-dev.safetensors /root/workspace/ComfyUI/models/unet/
mv ae.safetensors /root/workspace/ComfyUI/models/vae/

（6）接下来下载完整Clip模型：

# 进入JupyterLab根目录
cd /root/workspace
# 下载文件
wget http://file.s3/damodel-openfile/FLUX.1/flux_text_encoders.tar

（7）解压文件：

tar -xf flux_text_encoders.tar

（8）解压后完成后可看到如下目录:

在这里插入图片描述

（9）把其中的一些文件移至ComfyUI指定目录：

# 进入解压后的文件夹
cd /root/workspace/flux_text_encoders
# 移动文件
mv clip_l.safetensors /root/workspace/ComfyUI/models/clip/
mv t5xxl_fp16.safetensors /root/workspace/ComfyUI/models/clip/