通过前面知识的介绍,我们对使用 Web UI 进行绘画有了基本了解,在平时我们使用中,有很多好用的插件,通过这些插件我们创作能够事半功倍,下面我就推荐一下在平时经常使用到的插件,希望这篇文章能够帮助大家更好地了解 Stable Diffusion 插件。
插件安装
界面安装
Web UI 可以通过界面来管理安装,如下图在Extensions
中,通过下面的选项卡可以查看不同功能。Installed
是查看已经安装好的插件,Avaliable
中是查看可以安装那些可安装的插件,点击Load from:
可以加载已经配置好的插件列表清单,同时下面还可以进行一些过滤等操作,在查询的列表的右侧有Install
按钮,点击Install
即可安装。
同时在Install from URL
选项卡中,我们可以输入插件的仓库地址直接安装,平时我们可能在列表中没找到对应的插件可使用该方式直接安装。
命令安装
在命令窗口中进入地址stable-diffusion-webui/extensions
目录,直接复制仓库地址克隆下来或者下载压缩包,解压到当前目录。比如安装插件sd-webui-prompt-all-in-one
。
cd stable-diffusion-webui/extensions
git clone https://github.com/Physton/sd-webui-prompt-all-in-one.git
或者下载压缩包,解压到插件文件夹:/extensions/[extension name]
,比如:/extensions/sd-webui-prompt-all-in-one
。
推荐插件
sd-webui-prompt-all-in-one
sd-webui-prompt-all-in-one 是一个基于 stable-diffusion-webui 的扩展,旨在提高提示词/反向提示词输入框的使用体验。它拥有更直观、强大的输入界面功能,它提供了自动翻译、历史记录和收藏等功能,它支持多种语言,满足不同用户的需求。
prompt-all-in-one 对于英文不好的用户,可以快速弥补英文短板,可以直接输入中文自动转英文、自动保存使用描述词记录,还有快速修改权重、收藏、翻译等多种功能,是写提示词的必备工具。
同时在插件group_tags
目录中,我们可以自行选择配置不同的,常用的词汇。
配置文件格式如下:
- name: 一级分类名
groups: 二级分类列表
- name: 二级分类名
color: 关键词文本默认颜色(可以为空),CSS颜色代码,例如:#ff0000, red, rgb(255,0,0), rgba(255,0,0,1), hsl(0,100%,50%), hsla(0,100%,50%,1)
tags: 关键词列表
- 英文关键词: 本地化翻译
- 英文关键词: 本地化翻译
...
仓库地址:https://github.com/Physton/sd-webui-prompt-all-in-one
配置详情说明:https://aiodoc.physton.com/zh-CN/
multidiffusion-upscaler-for-automatic1111
非常强大的图片放大插件,Tiled Diffusion 可以用于比较低的显存使用率超分2K以上的图片。在highres.fix达到 1.5 或2倍 CUDA 内存限制后,它可以集成到Stable Diffusion的达到高分辨率的图片。
它支持将 Regional Prompt Control、ControlNet、DemoFusion 集成使用,能够按区域进行控制,非常强大,后面会单独介绍一下它的用法。
仓库地址:https://github.com/pkuliyi2015/multidiffusion-upscaler-for-automatic1111
配置详情说明:https://github.com/pkuliyi2015/multidiffusion-upscaler-for-automatic1111/wiki/%E4%B8%BB%E9%A1%B5
ultimate-upscale-for-automatic1111
Ultimate SD Upscale也是一款目前非常受欢迎的图像放大工具,原理与上面插件Tile Vae 相近,都是先将图像分割为一个个小的图块后分别放大,再拼合在一起,适合低显存的电脑。
在img2img的选项卡中,在配置脚本Script中可以看到 Ultimate SD 选项,如下:
比较常用的模型用途介绍一下,其他的可以自行查找,更多的放大模型可以去网站:https://openmodeldb.info/ 查询。
序号 | 名称 | 用法和介绍 |
---|---|---|
1 | Latent | 是一种基于 VAE 模型的图像增强算法,通过将原始图像编码成潜在向量,并对其进行随机采样和重构,从而增强图像的质量、对比度和清晰度。一般情况下,这个算法就能得到不错的效果,和4x-UltraSharp、R-ESRGAN等相比,显存消耗比较小,但效果不是最优。 |
2 | Lanczos | 将对称矩阵通过正交相似变换变成对称三对角矩阵的算法。 |
3 | ESRGAN | 增强超分生成对抗网络,是对SRGAN关键部分网络结构、对抗损失、感知损失的增强。从这里开始就不是单纯的图像算法,进入人工智能的领域了。实测确实增加了很多看上去很真实的纹理,但是有时又会把一张图片弄得全是锯齿或怪异的纹理。可能对待处理的图片类型有要求。 |
4 | 4x-UltraSharp | 基于ESRGAN做了优化模型,更适合常见的图片格式。真人模型最佳选择。 |
5 | ESRGAN 4x | 完全使用纯合成数据去尽量贴近真实数据,然后去对现实生活中数据进行超分的一个方法。 |
6 | R-ESRGAN 4x+ | 基于Real ESRGAN的优化模型,针对照片效果不错。 |
7 | R-ESRGAN 4x+ Anime6B | 基于Real ESRGAN的优化模型,二次元最佳,如果你的模型是动漫类的,该选项是最佳选择。 |
8 | R-ESRGAN General 4xV3 | 基于Real ESRGAN的优化模型,体积小,计算快,效果差。 |
9 | SwinIR_4x | 使用Swin Transformer思想,采用一个长距离连接,将低频信息直接传输给重建模块,可以帮助深度特征提取模块专注于高频信息,稳定训练。 |
10 | LDSR | Latent Diffusion Super Resolution(潜在扩散超分辨率模型),质量好但速度非常慢,一般不推荐。 |
1、一般我们将生成好的图像发送到图生图,大模型、正/负向提示词、采样器这些内容都可以不改变,生成步数大于 20 步,尺寸与你上传的图像尺寸一致,重绘幅度设置在 0.15 - 0.35之间。(如果是从本地上传图像,大模型选择和图像风格一致的,负面提示词也填一些常用的,图像生成效果会更好)
2、将 WebUI 界面拉到最底层,从「脚本(Script)」列表中选择 Ultimate SD upscale 选项,在弹出的选项框内设置参数,最后可以点击「生成」按钮放大图像了。
- Target size type:选择放大的方式。有三个选项,第一个是“From img2img settings”,即保持和img2img一样的配置,第二个选项“Custom size”,即自己设置大小,推荐选择第三项“Scale from image size”,直接设置当前图片的放大倍数。
- 放大算法:具体的模型和算法参考上面介绍,推荐 ESRGAN_4x (逼真写实类)和 R-ESRGAN 4x+(其他风格),其余的大家可自行尝试。
- 类型:推荐选择 Chess 模型,可以减少图像伪影。
- 分块宽度/高度:图像分割成多大的图块,一般设置为 512 即可。
- 蒙版边缘模糊:图块之间融合度,尺寸在512-768px 图块大小上将其设置为 12-16。直接使用默认值也可以。
- Seams Fix:修复图块之间的接缝。如果生成的图块之间有明显的接缝,可以选择其中任意一个模型;如果图块之间没有接缝,不需要开启这个选项。
如下放大前图片:
放大后图片:
仓库地址:https://github.com/Coyote-A/ultimate-upscale-for-automatic1111
配置详情说明:https://github.com/Coyote-A/ultimate-upscale-for-automatic1111/wiki
sd-webui-lobe-theme
如果不喜欢默认的 Web UI 界面,可以用这个主题插件,看起来更现代简洁风。我们可以选择安装这款主题插件,可以自定义配置 Web UI 的界面样式。
仓库地址:https://github.com/lobehub/sd-webui-lobe-theme
配置详情说明:https://github.com/lobehub/sd-webui-lobe-theme/blob/main/README.zh-CN.md
stable-diffusion-webui-images-browser
该插件支持查看以前创建的图片,检查与图片生成相关的元数据,在 Web UI 中把这些数据直接运用到后续的图片生成,例如文生图或者图生图提示词。同时你也可以把喜欢的图片整理收藏,或删除不感兴趣的图片。
查看详情:
仓库地址:https://github.com/AlUlkesh/stable-diffusion-webui-images-browser
ADetailer
After Detailer 这是一款非常强大的、专门针对人脸进行修复的插件,可以解决生成全身图时人物面部扭曲/模糊的问题。
开启后,它能自动检测、遮罩和增强面部细节。根据你的图片输出,有时增强后的图像可能会过度拟合。可以尝试调整参数设置来获得更好的结果。
After Detailer 安装成功后,先勾选的「启用」选项,然后选择一个对应的模型,再正常进行生成操作即可。修复模型区别如下:
- face_yolov8n.pt / face_yolov8s.pt:针对 2D/写实风的脸部
- hand_yolov8n.pt :针对 2D/写实风的手部
- person_yolov8n-seg.pt / person_yolov8s-seg.pt:针对 2D/写实风的人物
- mediapipe_face_full / short / mesh:针对写实风的脸部
- mediapipe_face_mesh_eyes_only:针对写实风的眼睛
仓库地址:https://github.com/Bing-su/adetailer
sd-dynamic-thresholding
Dynamic thresholding (CFG Scale Fix) 插件适用于多个 Stable Diffusion Web UI 界面,包括A1111和ComfyUI。安装这个插件之后,我们可以使用更高的 CFG 比例而不会出现颜色问题。这样,我们在使用 Stable Diffusion 生成图像时有更多灵活的选择,不必担心高 CFG 比例可能引起的失真。
仓库地址:https://github.com/mcmonkeyprojects/sd-dynamic-thresholding
stable-diffusion-webui-localization-zh_CN/stable-diffusion-webui-chinese
这两个都是 Web UI 的中文插件,对于国内中文使用用户界面做了翻译。安装后在 Web UI 的用户配置界面选择对应的语言配置即可,然后进行重启。
仓库地址:https://github.com/dtlnor/stable-diffusion-webui-localization-zh_CN
仓库地址:https://github.com/VinsonLaro/stable-diffusion-webui-chinese
sd-webui-aspect-ratio-helper
Aspect Ratio Helper 可以帮我们固定生成图像的宽高比,比如 2:3、16:9 等,点击后插件会自动将数值调整为对应的宽高比;锁定宽高比后,调整其中一项数值的时候,另一项也会跟随变化,非常方便。
在配置页面也可以对现有的数值进行修改,比如增加新的宽高比、限定最大尺寸等。
仓库地址:https://github.com/thomasasfk/sd-webui-aspect-ratio-helper
stable-diffusion-webui-wd14-tagger
Wd14 Tagger 插件可以反推提示词,反推AI生成的图,进行重现信息。安装完成后上传一张图像,然后选择一个反推模型(一般使用 WD14 ViT v2 ),点击 Interrogate Image 进行反推,就能得到关于图像的一组提示,并显示每个关键词的相关性权重。
当看到别人画的图,按照他提供的 prompt 以及模型根本无法复现。有时候甚至连 prompt 都没提供,凭自己的想象力很难用合适的提示词来描述这个画面,可以使用 tagger 反推提示词。
- 阈值:设定权重值范围,超过此权重值的提示词才会显示出来;
- 可以批量处理图片,并将提示词批量导出,训练 lora 模型时可以用来为图片批量打标签;
- 使用结束后,记得点击下方的“卸载所有反推模型”,不然模型会占用很高的显存。
仓库地址:https://github.com/picobyte/stable-diffusion-webui-wd14-tagger
a1111-sd-webui-tagcomplete
这个插件能够自动提示prompt的拼写补全,非常方便。
- 直接输入中文,调取对应的英文提示词;
- 根据未写完的英文提示词提供补全选项,在键盘上按↓箭头选择,按 enter 键选中。
对于中文的输入,在安装后,在配置页面,调整配置文件为zh_cn.csv
。
现在我们输入中文就会提示对应的英文词汇。
仓库地址:https://github.com/DominikDoom/a1111-sd-webui-tagcomplete
配置详情说明:https://github.com/DominikDoom/a1111-sd-webui-tagcomplete/blob/main/README_ZH.md
以上就是本期的内容,喜欢本期内容的话记得点赞收藏支持一波,之后会继续为大家推荐更多实用的 AI 绘画干货。欢迎大家关注微信公众号"壁虎说技术",更多AI新技术,新点子在公众号第一时间更新。