大家好,我是画画的小强
之前已经给大家推荐过不少AI绘画中 Stable Diffusion WebUI 的大模型,今天为大家介绍一下 WebUI 中“外挂VAE”的相关内容,可以解决我们在用大模型出图过程中出现的图像颜色发灰、发白的问题,一起来看看吧 ~
文章目录
- 1)VAE 简介
- 2)如何判断是否需要使用 VAE 模型
- 3)VAE 模型下载
- 4)VAE 的使用与管理
- 零基础AI绘画学习资源介绍
- 👉stable diffusion新手0基础入门PDF👈
- 👉AI绘画必备工具👈
- 👉AI绘画基础+速成+进阶使用教程👈
- 👉12000+AI关键词大合集👈
1)VAE 简介
VAE 全称 Variational Auto Encoder (变分自编码器),是 stable diffusion 整个模型算法的组成部分之一,位于运作流程的末端,作用是让 stable diffusion 生成的图像颜色更鲜艳、细节更锐利;同时也能在一定程度上改善局部细节的生成质量,如手部、服装、脸部等,我们可以简单地把它理解为一种“滤镜”。
我给大家准备了一份完整版的AI绘画全套学习资料,已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
】
2)如何判断是否需要使用 VAE 模型
VAE 模型不能单独使用,要配合大模型一起使用。但不是所有大模型都需要使用 VAE, 因为一些稳定的大模型本身就自带 VAE ,可以直接生成色彩正常的图像,再使用 VAE 可能会起到反作用。
而有一些大模型在融合训练的时候 VAE 被损坏了,导致生成的图像色彩不佳,就需要搭配外挂 VAE。我们可以通过以下 2 种方式判断一款大模型是否需要配合 VAE 使用:
① 根据图像生成效果判断
判断是否需要使用 VAE 最直接的方式就是看生成图像的效果,如果颜色发灰、发白,与你看到的参考图像效果有明显差异,那么就需要启用 VAE。
② 看大模型的发布提示
一些大模型在发布的时候,如果需要使用外挂 VAE,会在发布声明里说明。如下图的Aniflatmix 大模型,在模型介绍页面就明确有提到需要配合 VAE模型使用。我们可以按提示在网上搜索相关资源 ,然后下载使用就可以了。
3)VAE 模型下载
C 站可用 VAE 模型:https://civitai.com/models (需科学上网)
VAE 模型和其他 AI 绘画模型一样,资源主要集中在 Civitai 和 Huggingface 两个平台上。我们可以在 Civitai 上通过筛选查看所有可用 VAE 资源,或者直接在互联网上搜索你需要的 VAE 的名称寻找资源。
这里也为大家推荐几款常用的 VAE 模型,可以解决大部分的图像色彩发灰问题。
① 通用 VAE
ema-560000: stabilityai/sd-vae-ft-ema-original at main (请扫描免费获取哦)
mse-840000: stabilityai/sd-vae-ft-mse-original at main (请扫描免费获取哦)
StableDiffusion官方推出过 2 款 VAE ,vae-ft-ema-560000-ema-pruned 和 vae-ft-mse-840000-ema-pruned,它们适用于各种风格的大模型,能有效提升画面色彩的鲜艳程度。从使用经验来说,ema-560000 会明显地修改画面的细节,mse-840000 则没有那么明显。
② 风格化 VAE
ClearVAE:ClearVAE - v2.3 | Stable Diffusion VAE | Civitai (请扫描免费获取哦)
kl-f8-anime2:https://civitai.com/models/23906 (请扫描免费获取哦)
Anything:https://civitai.com/models/110630/anything-model-vae-v40 (请扫描免费获取哦)
有些 VAE 则只适合特定风格的大模型,大家在下载的时候可以仔细阅读 VAE 制作者的使用说明。比如 ClearVAE、kl-f8-anime2、anything 等,都是适合动漫风大模型的 VAE。
不同的 VAE 下,图像生成效果会略有差异,大家可以根据实际情况对比选择:
4)VAE 的使用与管理
VAE 模型下载后,需要放进根目录的 models\VAE 文件夹内;如果要卸载某个VAE,也是在VAE 文件夹中删除对应的文件就可以了。
在 WebUI 中,选择好大模型后,在“外挂 VAE ” 的下拉栏中选择对应的模型就可以了;不需要 VAE 的话,默认“自动”或者“无”。
以上就是本期为大家分享的 Stable Diffusion WebUI 中「外挂 VAE」的相关内容,喜欢本期推荐的话记得点赞收藏支持一波,之后会继续为大家推荐更多实用的 AI 绘画干货。
学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!
对于0基础小白入门:
如果你是零基础小白,想快速入门AI绘画是可以考虑的。
一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以找到适合自己的学习方案
包括:stable diffusion安装包、stable diffusion0基础入门全套PDF,视频学习教程。带你从零基础系统性的学好AI绘画!
零基础AI绘画学习资源介绍
👉stable diffusion新手0基础入门PDF👈
(全套教程文末领取哈)
👉AI绘画必备工具👈
温馨提示:篇幅有限,已打包文件夹,获取方式在:文末
👉AI绘画基础+速成+进阶使用教程👈
观看零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
温馨提示:篇幅有限,已打包文件夹,获取方式在:文末
👉12000+AI关键词大合集👈
这份完整版的AI绘画全套学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
】