当初步涉足 Stable Diffusion,可能会被各种新概念和模型搞得头大。好比我们作为新晋的魔法师,需要理解如何巧妙使用各种法师装备——也就是这些模型,以更好地应对问题,发挥出最大效果。
要了解一个被称为 safetensors
的概念。这是许多模型后缀的名字,即使模型的后缀五花八门,但 safetensors
始终占据一席之地。这是因为 safetensors
支持各种 AI 模型,在它出现之前每种 AI 模型都有自己的独特后缀。因此每种模型既可以使用 safetensors
,也可以使用其自有的后缀,这使得新手们在入门时可能会感到迷惑。
实际上safetensors
是由 huggingface 研发的一种开源的模型格式,它具有多项优势:能够有效防止 DOS 攻击、加载速度快、支持懒加载以及具有高度的通用性。因此,现在大多数开源模型都会提供 ‘safetensors’ 格式。
文章目录
- 模型介绍
- 一览表格
- 模型使用
模型介绍
- Checkpoint|Stable Diffusion:Checkpoint 是 Stable Diffusion 中最重要的模型,也被视为主模型,几乎所有操作都需要依赖它进行。所有的主模型都基于 Stable Diffusion 模型进行训练,因此有时会被称为 Stable Diffusion 模型。
- LoRA 和 LyCORIS:这两种模型是微调模型,通常用于控制画风、生成的角色以及角色的姿势等。
- Textual Inversion:这是一种文本编码器模型,用于改变文字向量,可以将其理解为一组 Prompt。
- Hypernetworks:Hypernetworks 模型用于调整模型神经网络权重,进行风格的微调。
- ControlNet:这是一种非常强大的控制模型,可以进行画面控制、动作控制、色深控制、色彩控制等。
- VAE:VAE 模型通常用于修正图片的亮度和饱和度、进行画面校正以及补光等。
- CodeFormer:这是一种修复模型,通常用于提高图片分辨率、将黑白照片修改成彩色照片、人脸修复等。
一览表格
在 Stable Diffusion 中通过 Checkpoint 控制图片的主要风格;通过 VAE 对图片进行补光和亮度调节;通过 LoRA 和 LyCORIS 对模型进行风格、角色控制;通过 Textual Inversion 简化 Prompt;通过 ControlNet 进行姿势、色彩控制和修复。
模型名称 | 作用 | 后缀名 | 大小 | 在 WebUI 中的文件夹 |
---|---|---|---|---|
Checkpoint | 主模型 | .ckpt 或 .safetensors | 2G - 7G | models/Stable-diffusion |
LoRA 和 LyCORIS | 微调模型,一般用于控制画风、控制生成的角色、控制角色的姿势等等 | .safetensors | 2G - 7G | models/Stable-diffusion |
Textual Inversion | 文本编码器模型 | .pt 或 .safetensors | KB 级别 | embeddings |
Hypernetworks | 调整模型神经网络权重,进行风格的微调 | .pt 或 .safetensors | 20M - 200M | models/hypernetworks |
ControlNet | 强大的控制模型,可以进行画面控制、动作控制、色深控制、色彩控制等等 | .safetensors | KB 级别 | models/ControlNet |
VAE | 图片亮度和饱和度的修正、画面较正和以及补光等 | .pt 或 .safetensors | 335M 或 823M | models/VAE |
CodeFormer | 修复模型,修复人脸、提高分辨率等 | - | - | models/codeformer |
模型使用
将对应的模型仍到对应的文件夹下即可。
在文生图与图生图界面点击Show/hide extra networks
。