AI 绘画Stable Diffusion 研究(二)sd模型ControlNet1.1 介绍与安装

news2024/9/29 5:34:09

部署包作者:秋葉aaaki

免责声明:
本安装包及启动器免费提供 无任何盈利目的


大家好,我是风雨无阻。

众所周知,StableDiffusion 是非常强大的AI绘图工具,需要详细了解StableDiffusion的朋友,可查看我之前的这篇文章: 最近大火的两大AI绘图工具 Midjourney VS StableDiffusion。


今天为大家带来的是 Stable Diffusion 研究(二)sd模型ControlNet1.1 介绍与安装 。


首先来明确一下这个ControlNet1.1 到到底是什么?

ControlNet1.1 是Stable Diffusion 绘画插件,在2023年4月份更新了 V1.1 版本,发布了14 个优化模型,并新增了多个预处理器,并且在原有的模型上进行了一些优化,让它的功能比之前更加好用了。

那么我们先来详细了解一下 ControlNet1.1 的新模型新功能。


一、ControlNet1.1 的新模型新功能


1、新增Lineart模型 和 lineart_anime模型


现在新增了两个模型,lineart和lineart anime,完全可以替代原来的Canny强大的线稿上色,无论是上色黑白和彩色功能都非常强大。


在这里插入图片描述


在这里插入图片描述


2、新增Instruct Pix2Pix 模型


模型能够接受一张图像和相应的文字指令(也就是prompt),根据指令来编辑图像,局部整体操纵图像程度的能力。


将白天变为夜晚 ,如图:

在这里插入图片描述


换发型 ,如图:


在这里插入图片描述


换装 ,如图:

在这里插入图片描述


3、 新增Tile 模型

Tile 模型对于图片高清修复、提升细节、根据画面自动推断内容有着很好效果,根据官方的介绍有5种功能:

  • 可以进行图片放大 2x、4x 或 8x 超分辨率
  • 可以在图像中添加、更改或重新生成图像细节
  • 可以修复、细化和改进通过任何其他超分辨率方法获得的不良图像细节
  • 它可以引导SD放大脚本,生成错误的问题
  • 可以完成未完成的图稿,如果这些图稿是用色块绘制的

在这里插入图片描述


图像修复前:

在这里插入图片描述


图像修复后:

在这里插入图片描述


细节调整前:

在这里插入图片描述


细节调整后:

在这里插入图片描述


4 、新增shuffle 模型

shuffle模型可以称为重组模型,从shuffle模型的是使用效果来看,shuffle模型可以通过获取原图的风格后借助这个风格进行新的图片生成,所以当我们找到比较好的参考图时,就可以使用shuffle模型进行图片创作。


我们先来看一下人物图处理效果:

在这里插入图片描述


在这里插入图片描述


从成图效果来看,新生成的图片风格、色调、人物的部分姿态都进行还原和保留,因此我们使用Shuffle模型可以使用原图进行参考借鉴,重组画面进行生成的新图片。


再来看一下风景类图处理效果:

在这里插入图片描述


在这里插入图片描述


从成图来看,主要的配色、风格还是参考了原图的样式,构图结构上也有部分的参考。


新增的功能和模型效果介绍就到这里了,接下来介绍一下,如何安装和使用ControlNet1.1。


之前,我们一直在用的是Control插件,其实只需要将插件升级到新版本以后,就可以用新版本的模型了。所以我们只需更新插件,然后下载新的模型放进去就好。


二、安装ControlNet1.1

本次升级和安装的内容主要有2点:

  • 升级 ControlNet插件版本

  • 安装各种预处理器的模型


如果你还没有安装 Stable Diffusion 整合包,可以阅读 Stable Diffusion 研究(一)sd整合包v4.2 版本安装说明 这篇文章,了解安装 Stable Diffusion 整合包需要的电脑配置以及下载相关的安装包。


首先需要准备好ControlNet 1.1 安装文件,文件集成在整合包sd-webui-aki-v4.2 版本 里,没有下载的朋友,可以去自行下载。


1、升级 ControlNet插件版本

第一步, 进入整合包目录:sd-webui-aki-v4, 直接双击 A启动器.exe 运行


启动后如下 :

在这里插入图片描述


第二步,点击左侧版本管理

在这里插入图片描述


第三步,切换到扩展标签页 ,点击右上角“一键更新”按钮即可。


在这里插入图片描述


2、安装各种预处理器的模型 (可选)

第一步,将预处理器模型文件夹里的 download 文件夹,整个复制放到插件目录底下的annotator文件夹里面。

\controlnet1.1\预处理器\download
\sd-webui-aki-v4.2\extensions\sd-webui-controlnet\annotator

如图:

在这里插入图片描述



第二步,将controlnet1.1 模型放到sd-webui-controlnet\model 文件夹就可以了

\controlnet1.1\模型
\sd-webui-aki-v4.2\extensions\sd-webui-controlnet\models

在这里插入图片描述



完成以上操作后,关闭启动器、控制台、webui,然后重新启动就可生效。

如图:

在这里插入图片描述



三、ControlNet1.1 使用体验及相对于老板本的一些变化


1、颜色反转模式变为了一个单独的预处理器


在这里插入图片描述


2、新增加完美像素模式

选择以后能解决 ControlNet 处理的一些分辨率问题。


在这里插入图片描述


3、新增控制模式

新增控制模式:

  • 均衡
  • 更偏向提示词
  • 更偏向ControlNet

选择更偏向ControlNet时,需要降低CFG。

在这里插入图片描述


4、老板本的HED变为了SoftEdge

在这里插入图片描述


5、 增加了几个预处理器

OpenPose预处理器-> OpenPose模型
Openpose_full,一个模型姿态手部脸部全部搞定

在这里插入图片描述


6、老板本的 Depth模型 -> 新版本推荐 Leres++、Zoe预处理器

在这里插入图片描述


好了,今天的分享就到这里,ControlNet1.1 更多功能和变化这里就不再详细说明了,感兴趣的朋友可以自行研究。下一篇,将给大家带来,sd 各个功能模块的详细使用方法,敬请期待。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/808376.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Qt6.5.2+WebRTC学习笔记(十三)开发环境搭建(macOS13.5)

前言 在ubuntu和win10开发测试一段时间了,但总在存在平台特性的问题,所以准备将程序移植到macOS上测试,同步进行三个主要桌面系统开发,本教程记录下环境搭建过程 一、准备 1.操作系统macOS13.5 64位 x86架构(建议系…

tinkerCAD案例:22. Backpack Zipper Pull 背包拉链头

tinkerCAD案例:21. Custom Stamp 定制印章 原文 tinkerCAD案例:22. Backpack Zipper Pull 背包拉链头 Lesson Overview: 课程概述: Now we’re going to make a zipper pull! 现在我们要做一个拉链头! Your backpack, howev…

【TypeScript】TS入门级基础学习(一)

【TypeScript】TS入门级基础学习(一) 一、前言 TypeScript 是一种用于应用程序规模的 JavaScript 语言。 TypeScript 向 JavaScript 添加了可选类型,支持用于任何浏览器、任何主机、任何操作系统的大规模 JavaScript 应用程序的工具。 Type…

【简历完善】- SLAM - 第一篇:卡尔曼滤波的学习

场景:晚上你需要从自己的卧室去上厕所,你知道家里的布局,了解自己的步长,但是没有灯。你如何才能走到厕所呢? 一些术语 “预测” “估计”。下面所说的预测和估计就是一回事。不同博客里面这两个词语大概意思也是一…

如何⾃定义⼀个SpringBoot Srarter

⾃定义⼀个SpringBoot Srarter 1、创建⼀个项⽬,命名为 demo-springboot-starter,引⼊SpringBoot相关依赖 2、编写配置⽂件 定义属性配置的前缀 3、⾃动装配 创建⾃动配置类HelloPropertiesConfigure 4、配置⾃动类 在 /resources/META-INF/spri…

ROS 基础知识汇总

How to learn ROS ROS for Beginners: How to Learn ROS - The Construct ROSwiki 界面介绍 ROS/Tutorials/NavigatingTheWiki - ROS Wiki ROS要学会哪些?如何学习Ros? - 知乎 setup.bash 的作用 ROS中的setup.bash_泠山的博客-CSDN博客 包的层级架构 …

ChatGPT长文本对话输入方法

ChatGPT PROMPTs Splitter 是一个开源工具,旨在帮助你将大量上下文数据分成更小的块发送到 ChatGPT 的提示,并根据如何处理所有块接收到 ChatGPT(或其他具有字符限制的语言模型)的方法。 推荐:用 NSDT设计器 快速搭建可…

如何搭建并部署抖音SEO源代码?

搭建并部署抖音SEO源代码,需要以下步骤: 购买服务器:在云服务商或者VPS提供商购买一台服务器,选择Linux系统。 安装LAMP/LEMP环境:LAMP是指Linux Apache MySQL PHP,LEMP是指Linux Nginx MySQL PHP。…

卷积的意义及其应用

卷积的意义及其应用 卷积的定义 我们将形如 ∫ − ∞ ∞ f ( τ ) g ( x − τ ) d τ \int^\infty_{-\infty} f(τ)g(x-τ)dτ ∫−∞∞​f(τ)g(x−τ)dτ 的式子称之为f(x)与g(x)的卷积记为 h ( x ) ( f ∗ g ) ( x ) h(x…

js开发技巧

1. 初始化数组 如果想要初始化一个指定长度的一维数组,并指定默认值,可以这样: const array Array(6).fill(); // [, , , , , ] 如果想要初始化一个指定长度的二维数组,并指定默认值,可以这样: const…

【尚硅谷】第01章:随堂复习与企业真题(Java语言概述)

来源:尚硅谷Java零基础全套视频教程(宋红康2023版,java入门自学必备) 基本都是宋老师发的资料里面的内容,只不过补充几个资料里没直接给出答案的问题的答案。 不想安装markdown笔记的app所以干脆在这里发一遍。 第01章:随堂复习…

电路原理分析1

d2的作用是提供一个1.25v的电平 r3、r4的作用都是限流 c1是滤波 运放的4、8脚是常规的外围 这个运放是一个运算放大电路 具体计算是这样的: 按照虚短原则,输入的信号Uinu1,输出的信号Uoutu3 按照虚断原则,i1i2i5i5 u1/r2i1i5&#xff…

windows使用多账户Git,多远程仓库版本管理

1 清除全局配置 git config --global --list // 看一下是否配置过user.name 和 user.email git config --global --unset user.name // 清除全局用户名 git config --global --unset user.email // 清除全局邮箱 2 本地仓库,每个远程对应的本地仓库目录下执行 $…

Redis缓存击穿问题以及解决方案

Redis缓存击穿问题以及解决方案 前言一、什么是Redis缓存击穿二、解决方案1.使用锁来解决使用锁的流程:核心思路:思路流程图:操作的锁的代码:业务的实现: 2.逻辑过期来解决思路分析:解决流程:业…

YOLOv5改进系列(17)——更换IoU之MPDIoU(ELSEVIER 2023|超越WIoU、EIoU等|实测涨点)

【YOLOv5改进系列】前期回顾: YOLOv5改进系列(0)——重要性能指标与训练结果评价及分析 YOLOv5改进系列(1)——添加SE注意力机制

【数据结构】_5.栈

目录 1. 概念 2. 栈的使用 2.1 方法 2.2 示例 3. 栈的模拟实现 4. 栈的应用场景 4.1 题目1:不可能的出栈序列 4.2 题目2:逆序打印单链表 4.3 题目3:逆波兰表达式求值 4.4 题目4:括号匹配 4.5 题目5:栈的压入…

如何构建高效的接口自动化测试框架

在选择接口测试自动化框架时,需要根据团队的技术栈和项目需求来综合考虑。对于测试团队来说,使用Python相关的测试框架更为便捷。无论选择哪种框架,重要的是确保 框架功能完备,易于维护和扩展,提高测试效率和准确性。今…

最适合新手的SpringBoot+SSM项目《苍穹外卖》实战—(五)员工管理

黑马程序员最新Java项目实战《苍穹外卖》,最适合新手的SpringBootSSM的企业级Java项目实战。 新增员工 设计 DTO 类 我们需要根据新增员工接口设计对应的 DTO 类去接收前端传递的参数,前端传递参数列表如下: 注意: 当前端提交的…

C++ 成员初始化列表和new运算符的应用

输出一个学生的学号&#xff0c;姓名&#xff0c;性别和出生年月日 class Date { public:Date(int y, int m, int d) :m_year(y), m_month(m), m_day(d) {}void Print(){cout << m_year << "/" << m_month << "/" << m_day…

第四章 No.1树状数组的原理与使用

文章目录 应用问题原理树状数组练习题241. 楼兰图腾242. 一个简单的整数问题243. 一个简单的整数问题2244. 谜一样的牛 线段树的反面&#xff1a;树状数组原理复杂&#xff0c;实现简单 应用问题 支持两个操作&#xff1a;快速求前缀和任意地修改某个数&#xff0c;时间复杂度…