背景介绍
Flux 参数量很大 (包括 ext encoder2, autoencoder, 以及 diffusion model) , 使用Diffusers推理,显存占用 30GB。
有大佬做了 NF4 版本,效果依旧能打。所以本文使用 diffusers 推理 NF4版本的 Flux.1
本文重点
1:flux.1-dev-nf4 国内镜像加速下载
2:依赖环境安装
3:使用diffusers 推理 flux.1-dev-nf4 模型(我是批量跑图,所以需要这个)
模型下载
# 国内镜像加速
export HF_ENDPOINT=https://hf-mirror.com
huggingface-cli do