一步一步学习 Stable Diffusion
- 0. 背景
- 1. 安装
- 2. 汉化
- 3. 安装 sd-webui-controlnet 插件
- 4. 安装 sd-webui-segment-anything 插件
- 5. 安装 ultimate-upscale 插件
- 6. 安装 SadTalker 插件
- 7. 下载和配置 VAE 模型
- 8. 使用 ChilloutMix 模型
- 99. 未完待续
0. 背景
网上看了很多 Stable Diffusion 的视频,还有一些网站的资料之后,决定自己整理一份一步一步学习 Stable Diffusion 的学习资料。
1. 安装
请参照 Windows 11 本地部署 Stable Diffusion web UI 或者 Windows 11 上从零开始基于 wsl-ubuntu 搭建 AI 学习环境及部署多种私有 ChatGPT 进行部署。
2. 汉化
访问 Extensions => Available 标签,去掉 localization 勾选,然后单击 “Load from”,
在 Search 处输入 zh
,然后单击 Install 安装 “zh_CN Localization localization”,
单击 Installed 标签,然后单击 “Apply and restart UI” 重新启动 UI。
单击 Settings => User interface,将 Localization 设置为 zh_CN,然后单击 “Apply settings”,在然后单击 “Reload UI”,
这样,Stable Diffusion 的环境就变成中文了。
3. 安装 sd-webui-controlnet 插件
单击扩展=>从网址安装,输入以下内容,然后单击安装,
- 扩展的 git 仓库网址:
https://github.com/Mikubill/sd-webui-controlnet
然后单击已安装,单击应用并重启用户界面,
访问 https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main 下载模型文件,只需要下载扩展名是 .pth
的文件,总共 14 个文件,大概 20GB。
然后将下载的文件保存到 stable-diffusion-webui\extensions\sd-webui-controlnet\models
目录下,
额外配置,
4. 安装 sd-webui-segment-anything 插件
单击扩展=>从网址安装,输入以下内容,然后单击安装,
- 扩展的 git 仓库网址:
https://github.com/continue-revolution/sd-webui-segment-anything
然后单击已安装,单击应用并重启用户界面,
下载模型文件 https://dl.fbaipublicfiles.com/segment_anything/sam_vit_h_4b8939.pth,保存到 stable-diffusion-webui\extensions\sd-webui-segment-anything\models\sam
目录下,
5. 安装 ultimate-upscale 插件
单击扩展=>从网址安装,输入以下内容,然后单击安装,
- 扩展的 git 仓库网址:
https://github.com/Coyote-A/ultimate-upscale-for-automatic1111
然后单击已安装,单击应用并重启用户界面,
下载模型文件 https://huggingface.co/lokCX/4x-Ultrasharp/resolve/main/4x-UltraSharp.pth,保存到 stable-diffusion-webui\models\ESRGAN
目录下,
6. 安装 SadTalker 插件
单击扩展=>从网址安装,输入以下内容,然后单击安装,
- 扩展的 git 仓库网址:
https://github.com/OpenTalker/SadTalker
然后单击已安装,单击应用并重启用户界面,
下载模型文件 https://github.com/OpenTalker/SadTalker/releases,保存到 stable-diffusion-webui\extensions/SadTalker/checkpoints
目录下,解压 BFM_Fitting.zip
和 hub.zip
到当前文件夹,
7. 下载和配置 VAE 模型
下载下面几个 VAE 模型,
- Anything-V3.0.vae.safetensors
- vae-ft-ema-560000-ema-pruned.safetensors
- vae-ft-mse-840000-ema-pruned.safetensors
保存到 stable-diffusion-webui\models\VAE
目录下,
访问设置=>“Stable Diffusion”,启用模型的 VAE。
8. 使用 ChilloutMix 模型
下载 (ChilloutMix](https://civitai.com/models/6424/chilloutmix) 模型,保存到 stable-diffusion-webui\models\Stable-diffusion
目录下。
下载 LoRA 微调模型,先下载这 2 个体验一下,保存到 stable-diffusion-webui\models\Lora
目录下。
99. 未完待续
未完待续!