ComfyUI完全入门：图生图局部重绘

news2025/3/17 18:05:30

大家好，我是每天分享AI应用的萤火君！

这篇文章的主题和美女有关，不过并不是教大家生产美女视频，而是讲解 ComfyUI 的图生图局部重绘，其中将会以美女图片为例，来展示局部重绘的强大威力。

先看看效果：

ComfyUI是什么？

在AI绘画领域，Stable Diffusion 因其开源特性而受到广泛的关注和支持，背后聚拢了一大批的应用开发者和艺术创作者，是AI绘画领域当之无愧的王者。

目前使用 Stable Diffusion 进行创作的工具主要有两个：Stable Diffusion WebUI 和 ComfyUI。

Stable Diffusion WebUI 开箱即用，基本功能齐全，社区也有很多的插件支持，入门比较简单，适合新手，但是可定制性稍微差点，很多作品不容易传播复现，使用API进行操作也有一定的难度。

ComfyUI 虽然出来的晚一点，但是它的可定制性很强，可以让创作者搞出各种新奇的玩意，通过工作流的方式，也可以实现更高的自动化水平，创作方法更容易传播复现，发展势头特别迅猛。从解放生产力以及工业化批量生产的角度看，ComfyUI 具备更广阔的应用前景。

但是 ComfyUI 的上手门槛有点高，对 Stable Diffusion 以及各种扩展能力的原理需要有一定的理解，动手能力要求也比较高。为了让 ComfyUI 走进千家万户，从这篇文章开始，我将开始介绍一些 ComfyUI 的概念和使用方法，让大家更快的掌握 ComfyUI 的使用技巧，创作出自己独特的艺术作品。

如何安装 ComfyUI？

本地或手动安装

本系列的第一篇文章中已经详细的介绍过安装步骤，需要的同学请点此前往：ComfyUI 完全入门：安装部署

云环境使用

如果你的电脑没有配置高性能的Nvidia显卡，我建议你可以先在云环境试试，推荐两个云平台：

京东云：京东云最近大举进入AIGC领域，新上了AI服务器，价格十分美丽，目前4090每小时1.89，最重要的是还可以领取2个小时的代金券（领取方式见文末）。为了让大家在京东云尽快跑起来，萤火君也正在制作相应的 ComfyUI 镜像，内置常见模型和插件，敬请关注。

智算服务的地址：智算服务-京东云

AutoDL：AutoDL是一个云计算平台，提供多种显卡服务器租用服务，可按小时付（1-2元左右），显卡价格相比阿里云、腾讯云有明显的优势，我一直在用，推荐本地硬件性能不足的同学试试。

镜像地址：CodeWithGPU | 能复现才是好算法

镜像使用方法：打开镜像页面，点击右下角的“AutoDL创建实例”，按照使用说明操作即可。

ComfyUI局部重绘

基本重绘方法

我们先来看一个最简单的局部重绘示例，在这个示例中，我将在姑娘左边的地板上增加了一条黄色的小狗。工作流下载见文末。

加载重绘图片

从左向右看，最左边是加载需要做局部重绘的图片，并在图片中添加一个遮罩，遮罩的区域内将绘制一条小狗。这个部分包括4个节点，我分别介绍下：

加载图像：从文件夹选择一张图片，或者上传一张图片。然后我们在图片上点击右键，在弹出的菜单中继续点击“在遮罩编辑器中打开”，在打开的页面中我们就可以绘制遮罩了，完成绘制点击右下角的“Save to node”就可以了，操作如下图所示：

VAE编码：图片要进行重绘，还是要走扩散模型的基本流程，这里需要使用VAE模型将图片编码到潜空间。

遮罩羽化：让遮罩部分生成的内容和图片的其它部分融合的更好一些，不那么突兀。

遮罩平滑：我们手动操作可能比较毛糙，让遮罩的编码更加平滑。

设置Laten滤波遮罩：给潜空间中的遮罩区域增加噪音，这样可以让生成的内容和图片融合的更好些。

设置SD参数

然后我们还要设置Stable Diffusion的基本参数，包括：

加载SD基础模型：可以使用所有的SD基础模型，SD1.5、SDXL都可以。

填写提示词和反向提示词：描述要重绘的内容，不想出现的内容等。

设置采样器：常用的K采样器即可，所有参数都是用默认设置即可。

最终保存图像：可以设置一个文件名前缀。

然后就可以“添加提示词队列”去生成图片了。

使用ControlNet精细重绘

终于到了更换丝袜的环节了。因为我们只是想要更换丝袜的颜色，腿形啥的都不想有大的改变，这就需要更为精细的控制，可以通过引入 ControlNet 达到这个目的。

Canny控制网

我们先使用 Canny 控制网来进行处理，Canny 是一个线稿模型，它可以控制图片按照线稿的约束进行生成，效果不错。工作流的其它部分基本不用改变，我们只需要增加 ControlNet 的部分，并把这些节点添加到工作流中。这里主要介绍下ControlNet的部分（完整的工作流请在文末获取），看下面这张图：

先看左边三个节点：

Canny细致线预处理器器：从要重绘的图片中提取线稿图，这里边有个分辨率的参数，需要设置为图片最小边的像素值，所以引入了“数学表达式”和“图像信息”两个节点。
图像信息：提取要重绘图片的宽度和高度。
数学表达式：获取图片宽度和高度的最小值。

再看右边两个节点：

DiffControlNet加载器：用来加载ControlNet模型，注意模型要和预处理器匹配。
ControlNet应用：用来定义一个ControlNet节点，其中的强度、开始时间和结束时间，是用来控制 ControlNet 参数图片生成的影响力的，开始时间和结束时间的取值范围是0-1，代表在采样过程中的介入时机。

另外需要注意的是遮罩的绘制和提示词的编写：

先看遮罩的绘制，因为只是更改丝袜的颜色，我们这里需要只把腿覆盖上，其它部分尽量不要覆盖，以免出图效果不好。