AI绘画Stable Diffusion 挽救渣图的神器—Loopback Scaler脚本,你值得拥有!

news2024/10/5 19:19:53

大家好,我是向阳

今天这篇文章就是围绕着开局的这两张原图开始的。

在Stable diffusion甚至当前所有的AI画图工具里面,AI生成内容随机性都是一个很大的问题。

我们经常遇到一张图构图不错但是脸崩了,又或者人物形象不错但是背景画得崩了这样的问题。

前者我们往往把图扔到图生图里面在脸部画个蒙版继续扔色子。而后者一般调整prompt重绘或者像前面一样到图生图里面打蒙版,重绘背景。

今天分享一个新工具——loopback scaler,这个新工具将给你带来不一样的解决办法,而且还有更多的可玩性,先说结论。

经过简单试用,总结一下这个工具能做的事情:

  • 渣图挽救者:在图生图中对原图迭代重绘,修复渣图。脚本在多个循环中处理输入图像,每个循环提高分辨率并优化图像质量。然后,一个循环的图像结果作为下一个循环的输入图像插入,该循环不断基于已创建的内容构建;

  • 降噪变化:可以针对每个循环调整去噪强度,使用户能够在保留细节和减少伪影之间取得平衡;

  • 图像滤镜:支持对补绘的图片设定锐度、亮度、对比度、饱和度,也支持对画面细节、模糊、平滑度进行设置;

  • 一种新的分辨率提升方式,可以在重绘中对分辨率扩增,而且这是一种自适应更改——脚本根据输入图像的平均强度调整每个循环的分辨率增加量。这有助于产生更自然的效果;

  • 深化细节,补绘原图,支持重设prompt增加原图没有的细节;

  • 支持输出深化后的线稿;


二.安装

2.手动安装

loopback scaler脚本下载请扫描获取哦

将脚本移动到文件夹:\stable-diffusion-webui\scripts;

关闭web UI;重新启动web UI;


三.实操体验

1.先画出原图

完成上面的工作,我们开始实际体验,例子就用文章开始的这个图片,生成的正反prompt如下(一会儿会用到):

正向提示词:

((masterpiece)),(high quality),(line art watercolor wash),Cyan and orange primary colors,2d Illustrations,A majestic Dunhuang Nüwa with a shimmering gold halo, soaring through the sky,delicate eyes,black clothes,floating hair,dress tangstyle hanfu,very long hair,ethereal background, abstract beauty, approaching perfection, pure form, golden ratio, minimalistic, full body,wide view, by Brian Froud and Carne Griffiths and Wadim Kashin and John William Waterhouse, intricate details, 8k post production, high resolution, hyperdetailed, trending on artstation, sharp focus, studio photo, intricate details, highly detailed, by greg rutkowski

反向提示词:

(((2 heads))), (((duplicate))), ((malformed hand)), ((deformed arm)), ((freckle)), naked, man, men, blurry, abstract, deformed, thick eyebrows, cartoon, animated, toy, figure, framed, 3d, cartoon, bad art, deformed, poorly drawn, extra limbs, close up, weird colors, blurry, watermark, blur haze, long neck, watermark, elongated body, cropped image, out of frame, draft, (((deformed hands))), ((twisted fingers)), double image, ((malformed hands)), multiple heads, extra limb, ugly, ((poorly drawn hands)), missing limb, cut-off, grain, bad anatomy, poorly drawn face, mutation, mutated, floating limbs, disconnected limbs, out of focus, long body, disgusting, extra fingers, (weird figure), missing arms, mutated hands, cloned face, missing legs, long neck,modern buildings,((watermark:2))

跳过文生图的步骤,这一步大家应该都已经掌握。就不详细说了。

在这里多说一点的是,因为我这张图为了拟合某种青绿色调、扁平化的国风插画,所以描述词中用了很多篇幅来形容画风和色调,这就导致一些二次元的模型比如Counterfeit、anything跑图时会出现问题,所以选择了泛用性好的大模型比如SD 1.5这种。

实际上这张图是在dreamstudio上的SD XL预览模型跑的,在没有controlnet和lora的加持下,人脸毫无意外的垮了,接下来我们开始挽救这张图。

2.开始魔法救场

(1)把图拖入图生图工作界面

填好上面的正词、反词,这里有个技巧如果你需要修改画面风格、背景或者替换某些元素,在这一步可以修改你的正词。

原图和后面loopback scaler深化的正反词无需一致,其实loopback scaler的作者也已经指出:“您可以在 img2img 中放置与您创建源图像时使用的提示不同的提示。这种方法得出了非常有趣的结果”。

(2)选择合适的创作模型

因为前面为了适配画风选择了基础大模型,而得到的结果并不好,这时候比如我们想深化为二次元图片,那么我们这时候可以选择Counterfeit、anything这种模型了,如果要画真人风也可以选择chilloutmix、deliberate等等。

因为loopback scaler会帮我们迭代深化,所以模型我们可以放心使用了,这里我选择了Counterfeit这个二次元模型,需要注意这个模型需要加载vae,不要忘记。

(3)开始设置图生图参数

根据github上作者文档,可以看到有几个地方需要特别注意:

在这里插入图片描述

a)缩放模式选择剪裁;

b)采样方法选择DDIM,采样步数设置为30;

c)宽度、高度这里保持原图的大小,而且建议原图不要出图太大,loopback scaler迭代中原图大小是影响性能的最重要因素,而迭代次数并不是主要压力来源,所以性能不好的机器原图请出512*512的,而且图生图这里不要修改!

d)提示词相关性(CFG值)按照惯例保持6~8之间即可;

e)重绘幅度(降噪)设置在0.2~0.4之间,设置的越低每次迭代间变化就越少,反之结果与原图的差距就会越大,我们的原图因为比较垮,所以设置在比较高的值。

f)随机种子建议保持在-1,锁种子对于迭代应该没有意义。

g)如果需要lora,可以设置,实测是可以使用的。

(4)开始设置loopback scaler参数

到页面的最下方(默认布局)的脚本下拉选框中选中Loopback Scaler,开始设置迭代参数:

a) loops(循环次数):作者建议4~10之间,最高可以设置到32,但是设置过高会导致图片出现伪影,呈现负优化,作为演示我这里就设置为4,多说一句这里设置高低其实不受计算机性能限制,但是会导致出图时间变长,所以大家可以自己测试;

b) denoise change(降噪变化)和adaptive change(自适应变化)前者决定每次迭代中的降噪变化,设置为1则保持img2img 设置中设置的去噪强度(前一节第5步的设置值)。后者则是更改每个迭代中降噪变化的增加量,实现迭代的更改不呈线性,该值越高,在循环结束时分辨率变化越显著。在这里我们暂时都不修改,保持为1。

c)最大宽度和最大高度这是设置最终深化得到的图片大小,所以可以看到loopback scaler是可以放大图片的。这也是一开始建议大家原图只出512*512即可的原因。但是需要注意的是因为loopback scaler与ultimate SD upscale原理不同,不会分片绘制放大来节省显存占用,所以这里不建议大家用loopback scaler放大过高尺寸。根据经验设置在1024即可,如需大尺寸图片,后期可配合别的重绘放大工具,如ultimate SD upscale。

d)上图蓝色标出区域为图片滤镜设置,深化过程中如果需要添加细节,可以将detail调高,如需模糊则调整blur,如果需要平滑则调整smoothing。再下方则是锐度、亮度、色彩、对比度设置,按需调整即可。我们需要得到色彩浓郁、明亮、清晰的图片,所以我做了以上调整。

e)contour不要勾选,如果需要输出深化后图片的线稿则需要勾选这里。

(5)点击生成,等待魔法完成。

生成过程中,千万不要修改图生图界面的正反引导词!这将导致生成结果混乱,这一点脚本的作者也是在GitHub上特别指出的!

所以点击生成后就耐心等待吧。

有一个非常有意思的特点,你可以到\stable-diffusion-webui\output\img2img-images文件夹下看到每次迭代的图片,可以看到图片从渣逐渐优化的过程,每一次迭代产生的图片都是保存在那里,当然通常这没有什么意义,因为输出的最后一张往往是最好的。

但是如果你迭代次数设置过高(超过了10步),你可能得到负优化的图片了,那么这个方式可以帮助你回退到比较理想的结果。

关于loopback scaler的魔法大家自己去挖掘吧,因为这个脚本是通过循环迭代的原理将上一个循环扔个下一个循环继续生成,可以理解为给AI叠buff。

所以将来遇到画崩了图的时候,可以尝试用这个脚本挽救一下,往往会有意想不到的效果。

最后po一些更换其他模型的图:

感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。

AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。

在这里插入图片描述

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

在这里插入图片描述

在这里插入图片描述

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!
在这里插入图片描述

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
在这里插入图片描述
在这里插入图片描述

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
在这里插入图片描述

若有侵权,请联系删除

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1834714.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

海南云亿商务咨询有限公司抖店开店怎么样?

在数字化浪潮席卷全球的今天,电商行业日新月异,其中抖音电商以其独特的短视频直播模式,迅速崛起成为电商领域的新贵。海南云亿商务咨询有限公司,作为抖音电商服务的佼佼者,凭借专业的团队和丰富的经验,致力…

人体关键点检测-基于Gradio完成应用开发

前言 本次分享将带领大家从 0 到 1 完成一个人体姿态估计任务,覆盖数据准备、模型训练、推理部署和应用开发的全流程,项目将采用以PaddlePaddle为核心的飞桨深度学习框架进行开发,并总结开发过程中踩过的一些坑,希望能为有类似项…

通过nginx转发后应用偶发502bad gateway

序言 学习了一些东西,如何才是真正自己能用的呢?好像就是看自己的潜意识的反应,例如解决了一个问题,那么下次再碰到类似的问题,能直接下意识的去找到对应的信息,从而解决,而不是和第一次碰到一样…

重生奇迹MU召唤术师简介

出生地:幻术园 性 别:女 擅 长:召唤幻兽、辅助魔法&攻击魔法 转 职:召唤巫师(3转) 介 绍:从古代开始流传下来的高贵的血缘,为了种族纯正血缘的延续及特殊使用咒术的天赋&…

那些年你用过的iOS开发工具

版权说明 本文转载于《程序员》杂志 2014 年 6 月刊。 前言 从苹果发明 iPhone 起,AppStore 上的一个又一个类似 flappy bird 的一夜暴富的故事刺激着大量开发者加入移动开发大军。随着这些开发者出现的,还有大量方便 iOS 开发者的各种工具。这些工具…

琪朗护眼大路灯推荐入手吗?书客、琪朗、雷士落地灯测评大比拼!

护眼大路灯现在的风越来越大,它是一种能够改善光线质量的工具,通过光源的设计、技术的调校、防眩光的设计等,利用LED全光谱光源的高能效、长寿命光色稳定性的优点,搭载专研的护眼黑科技技术,以及采用防眩光设计&#x…

【vue3|第10期】Vue3中watchEffect详解

日期:2024年6月10日 作者:Commas 签名:(ง •_•)ง 积跬步以致千里,积小流以成江海…… 注释:如果您觉得有所帮助,帮忙点个赞,也可以关注我,我们一起成长;如果有不对的地方&#xf…

4、matlab双目相机标定实验

1、双目相机标定原理及流程 双目相机标定是将双目相机系统的内外参数计算出来,从而实现双目视觉中的立体测量和深度感知。标定的目的是确定各个摄像头的内部参数(如焦距、主点、畸变等)和外部参数(如相机位置、朝向等&#xff09…

【因果推断python】42_异质干预效应2

目录 预测弹性 关键思想 预测弹性 我们在这里陷入了复杂的境地。我们已经同意我们需要预测 ,遗憾的是这是不可观察的。因此,我们不能使用 ML 算法并将其作为目标插入。但也许我们不需要观察 来预测它 这是一个想法。如果我们使用线性回归呢&#xff…

Flutter ffi iOS Failed to lookup symbol

官方文档:在 iOS 中使用 dart:ffi 调用本地代码

【SPIE独立出版 | 往届均已完成EI检索】2024云计算、性能计算与深度学习国际学术会议(CCPCDL 2024)

2024云计算、性能计算与深度学习国际学术会议(CCPCDL 2024) 2024 International conference on Cloud Computing, Performance Computing and Deep Learning *CCPCDL往届均已完成EI检索,最快会后4个半月完成! 一、重要信息 大会官网:www…

App上架和推广前的准备

众所周知,App推广的第一步是上架各大应用下载市场,然后才是其他推广渠道。所以本文主要分两部分,第一部分主要介绍的是上架各大应用市场方面的准备,第二部分主要介绍的是其他渠道推广方面的准备。 一、App上架前的准备 1.1 上架…

MySQL----表级锁行级锁排它锁和共享锁意向锁

MySQL的锁机制 锁(Locking)是数据库在并发访问时保证数据一致性和完整性的主要机制。在 MySQL 中,不同存储引擎使用不同的加锁方式;我们以 InnoDB 存储引擎为例介绍 MySQL 中的锁机制,其他存储引擎中的锁相对简单一些…

游戏开发丨基于PyGame的消消乐小游戏

文章目录 写在前面PyGame消消乐注意事项系列文章写在后面 写在前面 本期内容:基于pygame实现喜羊羊与灰太狼版消消乐小游戏 下载地址:https://download.csdn.net/download/m0_68111267/88700193 实验环境 python3.11及以上pycharmpygame 安装pygame…

【一文开启StableDiffusion】最火AIGC绘画工具SD阿里云部署指南(含踩坑经验)

Midjonery使用简单,效果出色,不过需要付费。本文将介绍完全开源的另一款产品StableDiffusion,它的社区目前非常活跃,各种插件和微调模型都非常多,而且它无需付费注册,没有速度、网络限制,非常推…

Matlab基础篇:数据输入输出

前言 数据输入和输出是 Matlab 数据分析和处理的核心部分。良好的数据输入输出能够提高工作效率,并确保数据处理的准确性。本文将详细介绍 Matlab 数据输入输出的各种方法,包括导入和导出数据、数据处理和数据可视化。 一、导入数据 Matlab 提供了多种方…

使用Tkinter创建带查找功能的文本编辑器

使用Tkinter创建带查找功能的文本编辑器 介绍效果代码解析创建主窗口添加菜单栏实现文件操作实现查找 完整代码 介绍 在这篇博客中,我将分享如何使用Python的Tkinter库创建一个带有查找功能的简单文本编辑器。 效果 代码解析 创建主窗口 import tkinter as tkcl…

第二十章 迭代器模式

目录 1 迭代器模式介绍 2 迭代器模式原理 3 迭代器模式实现 4 迭代器模式应用实例 5 迭代器模式总结 1 迭代器模式介绍 迭代器模式(Iterator pattern)又叫游标(Cursor)模式,它的原始定义是:迭代器提供一种对容器对象中的各…

supOS数据集成

为解决企业数据孤岛问题,supOS对外提供了天湖能力,APP应用集成到supOS后可以使用supOS的天湖,所有数据归集到天湖,利用supOS的ESB消息总线能力实现各个业务系统的服务注册,对外提供统一消息总线能力,从而解…

电致变色和电泳——有什么区别?

虽然电泳显示器和电致变色显示器都是反射显示器的示例,但其基础技术却截然不同。电致变色显示器采用超薄聚合物,可响应施加的电场而改变颜色。电场使电致变色材料发生化学氧化和还原。这种变化需要的能量很少,而且比较稳定,因此刷…