前言
本文旨在记录应用扩散模型完成文生图任务的方法和实践经验,不涉及扩散模型的理论研究以及技术比较,不涉及安装教程。采用的技术路线为基础模型结合特定风格的 LoRA 满足定制化需求。
技术套件选择
操作 UI:
- Stable Diffusion web UI //安装相对简单,推荐普通用户使用
- SwarmUI //支持 Comfy 工作流,更适合高级用户使用
基础模型(有时称为底模):
- Stable Diffusion 1 //推荐普通用户使用 Stable Diffusion 1.5
- Stable Diffusion 2 //不推荐,相比 1 主要增加了内容合法性限制
- Stable Diffusion XL // 相比 1.5 无显著优势,除非用于生成 1024 * 1024 分辨率图片
- Stable Diffusion 3.5
- Flux 1 //Stable Diffusion Web UI 暂不支持,更适合高级用户使用,商用不友好。
- 其他经过风格调教的基础模型
Lora:
- https://civitai.com
应用记录
文生图:电商图片生成
Q&A
- 为何不使用其他互联网公司提供的文生图工具,而是选择在本地部署文生图服务?
答:为了提高相关服务持续获取的稳定性和效率,避免服务收费和内容类型上的限制给服务可用性带来风险。可以将其作为突发情况下的兜底措施。