24最全网最全面的Comfyui工作流原理拆解分析教程！

news2024/11/13 9:14:09

前言

前面几篇有讲到Comfyui的安装和入门基础的文生图，图生图加上CN和局部重绘的工作流教程，这工作流是基于sd webui的工作流原理跟大家简单讲了Comfyui工作流的基本原理。

今天我们通过拆解组合的方式再稍微深入拓展给大家讲一下Comfyui的工作流原理。

当然也为大家准备了这款绘画神器——comfyui需要的点击👇领取~

一、原理讲解

通过基础的文生图工作流，我们可以拆解成几个部分，通过分析，我们可以得到基础的工作流原理是：模型+提示词+尺寸分辨率设置+采样器+VAE解码+生成的图像。

通过拆解分析后，我们发现，从K采样器这里拆开，之前的模型+提示词+尺寸设置，都汇总到K采样器这个节点，所以可以理解为，在K采样器前的所有条件，都是作为条件组合【输入】给K采样器，通过K采样器汇总采样，输送给VAE解码，最终生成图像。

通过合并，我们总结为以下三个部分，我们把条件输入称为“条件空间模块”，K采样器模块称为“潜空间”，VAE解码生成图像称为“像素空间”，这三个模块组成了Comfyui的完整工作流。

即Comfyui的基础工作流原理=条件空间+潜空间+像素空间

这里有必要说一下，潜空间是整个工作流最核心的节点，整个工作流是通过这个潜空间对前面的条件进行“加工”，这里的加工处理，是对图像的加噪和去噪过程，最终生成符合我们输入条件的图像，而这里的图像还不能直接展示出来，需要通过VAE解码，将潜空间的图像转换成像素空间的图像后才能展示出来。

了解了Comfyui的工作流原理，那如果我们需要给工作流加上Lora和Controlnet，怎么加？我们知道这两个条件是要对图像进行条件的输入，那么是需要加在潜空间模块之前。

在Webui中我们知道，lora是加在正向文本里的，但是在Comfyui，lora有单独的节点，我们双击画布空白处，搜索Lora，就可以找到Lora节点并点击就可以添加到画布。

二、拓展Lora模型链接

如果你想添加多个Lora，可以重复上述步骤添加，也可选中当前lora节点，通过键盘的快捷键Ctrl+C，Ctrl+V进行复制。

然后通过串联的形式，将Checkpoint模型和Lora模型的模型接口对应链接上，将CLIP接口链接上，最后CLIP对应链接到文本编码器(正负提示词节点)即可。对应Lora选择相应模型即可。

三、拓展Controlnet连接

我们知道在webui中，Controlnet是以插件的形式存在的，如果我们是第一次使用Comfyui，需要下载Controlnet模型和对应节点。

安装Controlnet插件节点：Controlnet_aux插件，通过manager节点管理器搜索点击按钮即可安装，以下截图是已安装完成的。
下载Controlnet模型，放置在Comfyui的对应模型文件夹下

安装完成后，重启Comfyui，我们就可以在画布空白双击弹窗搜索Controlnet，就可以将节点添加到画布，添加后，我们发现Controlnet的输入连接点是“条件”，那我们需要将他放置在“文本编码器”的后边。

连接条件后，我们发现，Controlnet节点还有两个连接点分别是青色和蓝色的点，我们可以反向拉出来，选择添加Controlnet模型节点和openpose预处理节点，连接添加图像节点。

然后我们添加图像，选择Controlnet模型 sd 1.5 openpose，就可以简单出图了。

通过openpose提取参考图像的姿势，得到一个姿势和参考图一样的新的图像。

通过以上的拆分和讲解，我们基本上了解Comfyui的基础原理，之后自己搭建更加复杂的工作流，基本是按照这个逻辑来进行搭建。

为了帮助大家更好地掌握 ComfyUI，我在去年花了几个月的时间，撰写并录制了一套ComfyUI的基础教程，共六篇。这套教程详细介绍了选择ComfyUI的理由、其优缺点、下载安装方法、模型与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。