最新版本 Stable Diffusion 开源 AI 绘画工具之微调模型篇

news2025/1/11 7:02:48

✨ 目录

🎈 模型种类
🎈 变分自动编码器 / VAE
🎈 美学梯度 / Aesthetic Gradients
🎈 大型语言模型的低阶自适应 / LoRA
🎈 超网络模型 / Hypernetwork
🎈 微调模型 / LyCORIS

🎈 模型种类

当你打开模型网站C站后，你可以看到右上角筛选里面有很多不同种类的模型
包括：Checkpoint、Textual Inversion、Hypernetwork、VAE、Lora、LyCORIS、Aesthetic Gradients等等
其中 Checkpoint 是主模型，所以体积会很大，因为要基于大模型参数的训练，所以最开始诞生的就是主模型，你可以把它当作其他模型的主体
因为体积太大，导致在处理各种细节的时候准确度其实是不够的，比如我要调图片的饱和度，给图片添加不同的滤镜，所以对于细节的处理，出现了各种衍生出来的小模型
比如上一篇我们讲解的 Embedding 模型，它就是负责文本理解的模块，上手非常容易，但是效果却非常的不错，逐渐被用户接受，因此相继出现了其他的模型

模型种类

🎈 变分自动编码器 / VAE

这个其实就是在主模型基础上做图片微调的，比如大家经常使用的滤镜，以及处理图片的饱和度
所以这类模型比较少，主要是一些主流的修图软件已经可以实现这些功能，用起来门槛更低
首先，默认操作界面上是没有 VAE 选项的，需要手动开启
点击设置 Setting ► 点击用户界面 User Interface ► 找到快捷设置列表 Quicksettings list ► 输入框添加 ,sd_vae,CLIP_stop_at_last_layers ► 点击应用设置 Apply settings ► 点击重启UI界面 Reload UI，即可看到 VAE 选项卡

开启VAE选项卡
选项卡界面

下载 vae 模型后，将其放置在 models/VAE 目录下，当然，你可以从C站上面下载，也可以从 huggingface 上面下载
一些常见的 VAE 下载地址：
https://huggingface.co/stabilityai/sd-vae-ft-mse-original/resolve/main/vae-ft-mse-840000-ema-pruned.ckpt
https://huggingface.co/AIARTCHAN/aichan_blend/resolve/main/vae/Anything-V3.0.vae.safetensors
https://huggingface.co/AIARTCHAN/aichan_blend/resolve/main/vae/Berry's%20Mix.vae.safetensors
下载好，然后点击 VAE 设置项右边的刷新按钮就可以看到这些模型
可以使用 X/Y/Z plot 脚本对比一下加和不加 VAE 的一个对比情况

脚本设置
效果对比

🎈 美学梯度 / Aesthetic Gradients

这个模型主要是通过一张或者几张参考图生成一个美学模型，最终对提示词进行调整和加权
项目地址是：https://github.com/vicgalle/stable-diffusion-aesthetic-gradients，其中 aesthetic_embeddings 目录下有一些准备好的 Embedding
如果你想使用它，需要安装扩展：https://github.com/AUTOMATIC1111/stable-diffusion-webui-aesthetic-gradients
安装好这个扩展后，就可以在 Aesthetic imgs embedding 里面选择对应的 Embedding
但是现在这个美学梯度已经属于落后的模型方式了，效果相对其他方案而言，已经没有了任何优势，现在算是大势已去

🎈 大型语言模型的低阶自适应 / LoRA

这个模型主要是通过矩阵分解的方式，微调少量参数，并加总在整体参数上，所以它现在主要用来控制很多特定场景的内容生成
LoRA 模型下载后需要放置在 models\lora 目录下
对比下不用 LoRA 和用 LoRA 的区别

是否添加lora区别

🎈 超网络模型 / Hypernetwork

主要是让梯度作用于模型的扩散 Diffusion 过程。扩散过程中的每一步都通过一个额外的小网络来调整去噪过程的结果
功能和embedding、lora类似，都是对生成的图片进行针对性地调整
hypernetwork 的应用领域较窄，主要是训练画风，训练难度很大
未来很有可能被后出现的 lora 所替代，新手可以将 hypernetwork 理解为低配版的 lora
hypernetwork 最重要也是实现最好的功能是对画面风格的转换，也就是切换不同的画风
模型下载后需要放在 models\hypernetworks 目录下，主要使用方式是在 prompt 中使用嵌入语法 <hypernet:felt:1>
我这里使用的是毛毡风格画：https://civitai.com/models/68942/felt

毛毡艺术

🎈 微调模型 / LyCORIS

这是最近开始流行的一种新的模型，如其名字是一种超越传统方法的 Lora，但是要比 LoRA 能够微调的层级多，它的前身是 LoCon (LoRA for convolution layer)
LyCORIS 模型可以放在 lora 的目录下，当做普通的 lora 使用，但无法使用丰富的细节参数
如果需要使用更多的参数，需要安装扩展：https://github.com/KohakuBlueleaf/a1111-sd-webui-lycoris
安装过 LyCORIS 插件后，将 LyCORIS 模型下载后，拷贝至 models\LyCORIS
比如我们使用C站很火的胶片风模型：https://civitai.com/models/33208/filmgirl-film-grain-lora-and-loha
使用语法：<lyco:LoRA名称:1:0.5:13>，可以通过 script 中的 prompt matrix 功能可以查看加和不加 lyco 的区别

# prompt 
young 1girl with braided hair and fluffy cat ears, dressed in Off-Shoulder Sundress, standing in a rustic farm setting. She has a soft, gentle smile, expressive eyes and sexy cleavage. The background features a charming barn, fields of golden wheat, and a clear blue sky. The composition should be bathed in the warm, golden hour light, with a gentle depth of field and soft bokeh to accentuate the pastoral serenity. Capture the image as if it were taken on an old-school 35mm film for added charm, looking at viewer, ||<lora:Velvia1:0.6>

# negative prompt
cartoon, anime, sketches,(worst quality, low quality), (deformed, distorted, disfigured), (bad eyes, wrong lips, weird mouth, bad teeth, mutated hands and fingers:1.2), bad anatomy, wrong anatomy, amputation, extra limb, missing limb, floating limbs, disconnected limbs, mutation, ugly, disgusting, (bad_pictures, negative_hand-neg:1.2)