欢迎关注我的CSDN：https://spike.blog.csdn.net/
本文地址：https://spike.blog.csdn.net/article/details/131603523

Multi-ControlNet 是 Stable Diffusion 的一个功能，让用户用不同的空间条件来控制图像生成的过程。例如，可以用深度图、分割图、涂鸦、关键点等，来指定生成的图像的内容、风格和姿态。ControlNet 是在 Adding Conditional Control to Text-to-Image Diffusion Models 这篇论文中提出的，原理是用一个可训练的参数副本和一个固定的参数副本来连接 Stable Diffusion 的潜在 UNet，然后用零卷积层来优化这些参数，使得生成的图像能够符合条件。Multi-ControlNet 是 ControlNet 的一个扩展，可以让用户同时使用多个 ControlNet 模型来控制图像生成。例如，可以用 openpose 和 canny 两个模型来同时指定人物的姿态和轮廓。

要使用 Multi-ControlNet，需要先在 Stable Diffusion 的 Web UI 中设置 Multi ControlNet: Max models amount，这个选项表示每次可以使用的 ControlNet 模型的数量。然后，需要下载相应的 ControlNet 模型，把模型放在 Stable Diffusion 的 models 文件夹中。最后，需要在 web UI 中选择要使用的 ControlNet 模型，并输入相应的条件和文本提示，然后点击 生成 按钮就可以看到结果了。

即：

Multi-ControlNet 可以支持多种不同的组合，具体取决于想要生成的图像。一些常用的组合有：

• OpenPose + Canny：用于生成具有特定姿态和轮廓的人物图像。
• Depth + Segmentation：用于生成具有特定深度和分割信息的场景图像。
• Sketch + Style：用于生成具有特定涂鸦和风格的艺术图像。
• Logo + Color：用于生成具有特定标志和颜色的商标图像。

示例图像 (OpenPose + Depth)：

Prompt：

(sfw:1.2), absurdres, 1girl, ocean,white dress, long sleeves,light smile,
Negative prompt: nsfw, (worst quality:1.2), (low quality:1.2), (lowres:1.1),(monochrome:1.1),(greyscale),multiple views, comic,sketch,animal ears, pointy ears, blurry, transparent,see through,cleavage,(badhandv4:1.2),
Steps: 30, Sampler: DPM++ SDE Karras, CFG scale: 7, Seed: 2069951556, Face restoration: CodeFormer, Size: 512x768, Model hash: 86aa256dd5, Model: AWPortrait_v1.1, Denoising strength: 0.3, ControlNet 0: "preprocessor: depth_leres++, model: control_v11f1p_sd15_depth [cfd03158], weight: 0.5, starting/ending: (0.05, 1), resize mode: Crop and Resize, pixel perfect: False, control mode: Balanced, preprocessor params: (512, 0, 0)", ControlNet 1: "preprocessor: openpose_hand, model: control_v11p_sd15_openpose [cab727d4], weight: 0.5, starting/ending: (0.07, 1), resize mode: Crop and Resize, pixel perfect: False, control mode: Balanced, preprocessor params: (512, -1, -1)", Hires upscale: 2, Hires upscaler: 4x-UltraSharp, Version: v1.4.0

Pose 图像，提取 Pose 图像的姿态 (OpenPose) 和深度 (Depth)，如下：

混合控制网络深度 (Depth) 模块，效果如下：

混合控制网络姿态 (OpenPose) 模型，效果如下：

两者参数相同，控制权重 0.5，引导介入时机 0.05，给予图像更多的灵活度，如下：

基本配置，如下：