Stable Diffusion 系统教程 | 强大的ControlNet 控制网

news2024/12/23 15:57:40

2023年的2月13日，一款名叫ControlNet的插件横空出世，AI绘画变得更加可控

ControlNet直译过来很简单，就叫做控制网，开发者是一名华裔，毕业于苏州大学，目前在斯坦福做读博士一年级，大佬大佬！

在controlNet之前，基于扩散模型的绘画是极为难控制的，平时自嗨画画其实没有一点问题，随机就随机一点，但是对于一些特定要求的岗位的同学来说，这种抽卡式缺乏稳定性的模型很难真正提高效率。

1 ControlNet的作用结构

根据一些额外信息控制扩散生成走向，业内人士称为微调，通俗点说就是大模型你不是随机吗，那我给你一些指引信息，让你乖乖听话朝着我期望的方向走

这时候有好奇的小伙伴就要问到了，那他和图生图有什么区别吗？我直接输入图片不也可以达到同样的效果吗？其实从某种意义上来说是的，但我举如下一个例子你就明白了

比如我现在要生成一个有着特定姿势的图片，我固然可以通过一张自己期待的姿势的图片输入，模型可能会了解到这个姿势，但与此同时，这种图片除了姿势的其他信息如画面颜色，风格，人物特征也会被网络捕获到，因而就可能会产生意外的化学反应，但是用ControlNet可以提取人体关键点（如下图），这样的话模型只会了解到纯粹的需要生成的姿势而不会混杂其他信息，可控性就会增强了

2 ControlNet的安装和使用

ControlNet本质是一个插件，所以类似于之前插件的安装（看之前的这篇插件安装的文章）

不同于一些插件，ControlNet还需要搭配不同的模型来使用，来实现特定的功能

最推荐的安装方式，是将ControlNet的扩展文件夹放在根目录下的extensions文件夹内，可以省下很多麻烦

然后在扩展选单里重新加载WebUI 界面，就可以在文生图和图生图里面看到了

下载一个ControlNet模型（一般是pth和yaml文件）之后移动到ControlNet的扩展文件夹中

3 基本使用方式

点开ControlNet控制网。输入一张图片，我们在这里期望输出的图片模仿我们输入图片的姿势

2023年的2月13日，一款名叫ControlNet的插件横空出世，AI绘画变得更加可控

ControlNet直译过来很简单，就叫做控制网，开发者是一名华裔，毕业于苏州大学，目前在斯坦福做读博士一年级，大佬大佬！

1 ControlNet的作用结构

2 ControlNet的安装和使用

ControlNet本质是一个插件，所以类似于之前插件的安装（看之前的这篇插件安装的文章）

不同于一些插件，ControlNet还需要搭配不同的模型来使用，来实现特定的功能

最推荐的安装方式，是将ControlNet的扩展文件夹放在根目录下的extensions文件夹内，可以省下很多麻烦

然后在扩展选单里重新加载WebUI 界面，就可以在文生图和图生图里面看到了

下载一个ControlNet模型（一般是pth和yaml文件）之后移动到ControlNet的扩展文件夹中

3 基本使用方式

点开ControlNet控制网。输入一张图片，我们在这里期望输出的图片模仿我们输入图片的姿势

在这里插入图片描述

我们从网上找一张在这里插入图片描述
图片上传

选择预处理器（OpenPose就是提取姿势的），并选择相应的模型

在这里插入图片描述

其他参数先维持不变

加入我们期望的场景提示词，如在森林里

1 cute girl, forest, smile,
SFW, (masterpiece:1.2), best quality, masterpiece, highres, original, extremely detailed wallpaper, perfect lighting,(extremely detailed CG:1.2)

生成
在这里插入图片描述

更改一下提示词

1 cute girl, city, smile,
SFW, (masterpiece:1.2), best quality, masterpiece, highres, original, extremely detailed wallpaper, perfect lighting,(extremely detailed CG:1.2)

在这里插入图片描述