文章目录
- (零)前言
- (一)图片放大
- (二)图片超分辨率放大脚本插件(StableSR)
- (2.1)下载组件
- (2.2)使用
- (2.3)实例对比
- (三)总结
(零)前言
本篇主要介绍WEBUI的插件:StableSR:图片超分辨放大的使用,以及和WEB UI附加功能图片放大功能的对比。
更多不断丰富的内容参考:🔗《继续Stable-Diffusion WEBUI方方面面研究(内容索引)》
(一)图片放大
之前通过《探索【Stable-Diffusion WEBUI】的附加功能:图片缩放&抠图》了解到,由于Stable-Diffusion并不适合生成很大的图片,所以我们可以先生成适合的正常尺寸图,再通过附加功能页的放大功能,放大图片。
同时介绍了好些缩放模型,其中有些效果挺好的。
特别是LDSR(潜在扩散超分辨率模型)照片表现非常好,不仅脑部的细节多,还加入了很多噪点显得真实。
但模型体积巨大+速度超级慢。放大一张512x512的图,几乎需要20分钟(其它放大算法都是20秒内……)。
所以,有没有其它放大选择呢?
(二)图片超分辨率放大脚本插件(StableSR)
参考:🔗插件StableSR
可以从WEB UI中直接安装,它是一个图生图的脚本。
安装后会在图生图最下面的脚本下拉框中出现StableSR。
由于官网有中文说明,不需要细讲了吧:)
简单列举下重点,细节请看官网(仓库)的中文说明。
对了:SR = Super-Resolution ,写出来以防忘记。。。
(2.1)下载组件
安装后需要下载模型才能使用(⚠️细节请看官网介绍):
- Stable Diffusion V2.1 512 EMA 模型(约 5.21GB)->放基础模型目录。
- 官方的 StableSR 模块 (约400MB)->放插件自己的模型目录。
- 可选使用官方提供的 VQGAN VAE(约750MB) ->放VAE模型目录。
- 可选配合 Tiled Diffusion & VAE 扩展,也就是分区扩散(Multi Diffusion)插件使用。
说是可选,咱普通显存只能必选,否则稍大的图就显存不够了。
(2.2)使用
基本使用很简单,在图生图下面启用脚本就可以了。
主要步骤如下,官网还给出了具体参数配置的建议(⚠️细节请看官网介绍)。
- 基础模型选择刚才下载的
v2-1_512-ema-pruned
模型。 - 切换到 img2img 标签。在页面底部找到 “脚本” 下拉列表,选择
StableSR
脚本。
点击刷新按钮,选刚才下载的 StableSR 模块。 - 如果生成图像尺寸 > 512,推荐使用 Tiled Diffusion & VAE(也就是Multi Diffusion upscaler)。
- 上传图像并开始生成。
我试了一下速度还不算太慢(比一般算法慢多了)。
一张512²的图大概5-6分钟吧(还是比LDSR快不少啊)。
💡 不过需要注意:
- 中低显存下,不能打开
Channels Last
内存格式优化,否则报错。 - 不要尝试放大特别小的图片(48x48一类?)😄 。
- 纹理类可以脑部的细节很不错。但文字类需要“原样放大”的效果很差,看不出原文。
这种情况请对比4x-UltraSharp
,R-ESRGAN 4x+
等附加功能页图片放大的效果。 - 使用SD2.1的基础模型时,嵌入式(embeddings)模型可能会暂时看不见,正常的,因为那些是给SD1.5用的。
- 注意版权问题,目前由于版权协议,生成的图片不能商用。
(2.3)实例对比
下面这张图(请忽略AI生成导致不合理的部分),我们来把它放大4倍。
放大后实在是太大了,就给个局部裁剪吧。
局部:原图直接缩放(传统图像编辑软件,对比组)
局部:StableSR
局部:StableSR(纯噪声选项开)
纯噪声适合脑部肌肤纹理,植物人群,各种不太需要和原图一致的细节。细节多,显得更加清晰。
但是改变原图较多,不适合文字之类。有时也会生成莫名奇妙的东西。
局部:LDSR(最强对比组)
噪点多显得真实,但噪点真的太多了。而且没有色彩修复选项(关键是太慢,其它可以忍)。
(三)总结
插件非常适合可以脑补细节的图片放大,相对LDSR来说不算太慢。
但操作相对复杂,还需要配合分区扩散插件(不然就爆显存,参数设不对也爆显存)。
总之它给了我们一个新的选择,期待持续改进。