ComfyUI面部修复FaceDetailer使用指南

news2024/11/28 2:34:19

原文:ComfyUI面部修复完全指南 (chinaz.com)

让我们开始使用ComfyUI中的人脸详细修复器吧。人脸详细修复器节点乍一看可能很复杂,但不要担心,我们会一点一点地分解它。通过理解每个输入、输出和参数,你很快就能像专业人士一样使用这个强大的工具。

要在ComfyUI中找到人脸详细修复器,只需转到Add Node → Impact Pack → Simple → Face Detailer / Face Detailer (pipe)。

让我们从"Face Detailer"开始,然后深入"Face Detailer Pipe"。

  • FaceDetailer - 轻松检测人脸并改进。
  • FaceDetailer (pipe) - 轻松检测人脸并改进(用于多遍处理)。

image.png

人脸详细修复器的输入

我们先添加三个模型加载器,分别用来识别人脸,和替换人脸等,在下文我们会做详细的解析

image.png

选择模型、Clip、VAE,并输入正向提示词和负向提示词

你可能已经熟悉这些设置,这部分的链接非常简单,我们在上面搭建一个默认的文生图。然后把面部细化的输入和我们文生图的部分的输出一一对应链接即可。我这里为了得到一张坏的人脸,特地把高度和提示词都修改了。

image.png

然后我们在面部细化节点也做一些小修改

提示词写上完美人脸,并且把重绘幅度拉高

image.png

以上设置没问题后我们就可以点击加入队列测试一下效果

修复前后对比

image.png

模型解析

BBox检测器和Segm检测器(Sam模型)的区别

BBox模型专门使用边界框识别元素,而Segm/person模型使用掩码进行检测。

但是,需要注意的是,对于BBox检测器,我们专门使用bbox/face_yolov8m和bbox/hand_yolov8s模型。

相比之下,segm/person_yolov8m-seg模型仅用于Segm检测器。

以下内容仅适用于BBox检测器。因此,你会看到裁剪和增强后的图像预览显示为一个框。

image.png

随后,当我们结合BBox检测器和Segm检测器的功能,并集成Sam模型时,裁剪和增强后的图像预览将呈现出类似掩码的外观。

image.png

参数解析

指导大小、指导大小用途、最大尺寸和BBox裁剪因子

指导大小:BBox的指导大小将图像的人脸详细修复器聚焦在边界框人脸区域(如裁剪增强图像预览所示)。默认设置为256,这意味着如果边界框人脸区域小于 256 像素,系统会自动将其放大到最小 256 像素。

最大尺寸:最大尺寸建立了裁剪区域可以有多大的上限(如裁剪细化图像预览所示)。这个上限是为了防止区域变得过大,从而可能导致其他问题。默认的最大尺寸是 768 像素。

保持最佳范围:通过设置这些参数,我们将图像尺寸保持在 256 到 768 像素的范围内,这是SD 1.5 Checkpoint的理想尺寸。但是,如果你切换到SDXL Checkpoint模型,该模型以更大的图像性能更好而著称,将指导大小调整为512,最大尺寸调整为 1024 可能会有优势。值得尝试这种调整。

指导大小用途:在指导大小下方,有一个标记为"guide size for bbox"的选项。这允许你将重点转移到裁剪区域,该区域比边界框人脸区域大。

BBox裁剪因子:BBox裁剪因子目前设置为3。将裁剪因子减小到1. 0 意味着更小的裁剪区域,等于人脸区域。设置为 3 时,表示裁剪区域是人脸区域的 3 倍大。

调整裁剪因子的本质在于在为人脸详细修复器提供足够关注点和留出足够的上下文混合空间之间取得平衡。设置为 3 意味着裁剪区域包括稍多一些周围环境,这通常是有益的。但是,在决定合适的设置时,你还应考虑图像中人脸的大小。

image.png

羽化

羽化设置决定了图像边缘或修复区域与图像其余部分无缝混合的程度。我通常将其设置为5,这对大多数情况都很有效。但是,如果你注意到图像中的修复区域有特别明显的边缘,你可能会考虑增加这个值。由于我们在这个例子中没有观察到任何明显的边缘,所以没有必要立即调整它。

仅生成遮罩

激活噪声遮罩可以有效地指示模型将其噪声和去噪操作集中在遮罩区域。这将边界框转换为遮罩,精确指示应用噪声和随后细化的区域。当使用Segm检测器和Sam模型时,此功能尤为重要。

强制重绘

强制修复是一种专门用于增强图像特定区域额外细节的工具。我们通常关注图像中的人脸。有时,自动系统可能没有为这些人脸添加足够的细节,错误地认为它们已经有足够的细节。这是使用强制修复的完美场景。

本质上,当自动设置不足以增强图像某些区域的细节时,强制修复是理想的选择。

最小尺寸

在多人脸替换场景中特别有用,丢弃尺寸设置指示模型忽略小于指定尺寸(如 10 像素)的遮罩。在关注较大人脸的拥挤场景中,此功能非常宝贵。

image.png

BBox相关功能

BBox阈值:bbox阈值在微调人脸检测模型中至关重要。选择较低的数字意味着更宽松的检测过程。模型评估图像,为潜在的人脸分配置信度百分比。改变阈值会修改模型识别和替换人脸所需的置信度。

考虑一个背景中有面具,前景中有一个人的图像。模型可能会将面具误认为是人脸。在这种情况下,你可能会提高阈值,以确保它识别并关注清晰定义的人脸,而不是面具。相反,要在人群中替换多张人脸,人脸不太明显,降低bbox阈值有助于识别这些不太明显的人脸。

BBox扩张(膨胀):bbox扩张设置允许超出最初的裁剪区域(通常限于人脸)进行扩张。当你增加扩张时,人脸周围的更多区域将包含在替换过程中。但是,这些变化通常很细微,可能需要调整裁剪因子以获得更明显的结果。

BBox裁剪系数:在前面已经解析过了

image.png

Segm/Sam相关功能

Segm/Sam将传统的边界框细化为更精确的遮罩,提高人脸替换的准确性。当边界框与头发重叠且你不希望改变头发时,这种精度特别有用。通过使用Sam模型,你可以将替换仅集中在脸部。

Sam检测提示:Sam检测提示是一个关键设置。它指导模型在识别人脸时应该关注哪里。你有几个选项,包括中心、水平(一张或两张脸)、垂直(两张脸)以及矩形或菱形排列的四张脸。

Sam扩张:与边界框扩张类似,Sam扩张设置调整遮罩或焦点之外模型将替换的区域。增加此扩张会将遮罩区域重新扩大回框形。

Sam阈值:设置为93%的高值,Sam阈值的功能类似于其边界框对应项,但由于模型的精确性,需要更高的置信度。

Sam框扩展:此设置微调初始边界框,进一步定义面部区域。当初始边界框过于严格时,增加框扩展有利于模型捕获更多面部。

Sam遮罩提示阈值:与Sam检测提示协同工作,此设置确定模型响应提示的积极程度。默认设置为0.7。

image.png

有了这些信息,你应该对人脸详细修复器的工作原理有了更深入的了解。


     站长素材AI教程是站长之家旗下AI绘图教程平台

海量AI免费教程,每日更新干货内容

想要深入学习更多AI绘图教程,请访问站长素材AI教程网:

AI教程_深度学习入门指南 - 站长素材 (chinaz.com)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1938018.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

处理AI模型中的“Type Mismatch”报错:数据类型转换技巧

处理AI模型中的“Type Mismatch”报错:数据类型转换技巧 🔄 处理AI模型中的“Type Mismatch”报错:数据类型转换技巧 🔄摘要引言正文内容1. 错误解析:什么是“Type Mismatch”?2. 数据类型转换技巧2.1 检查…

大数据环境下的房地产数据分析与预测研究的设计与实现

1绪论 1.1研究背景及意义 随着经济的快速发展和城市化进程的推进,房地产市场成为了国民经济的重要组成部分。在中国,房地产行业对经济增长、就业创造和资本投资起到了重要的支撑作用。作为中国西南地区的重要城市,昆明的房地产市场也备受关…

SwiftUI 在 WWDC 24 之后的新变化

文章目录 前言视图集合新的标签栏体验英雄动画滚动位置Entry 宏预览其他总结 前言 WWDC 24 已经到来,我们有很多内容要讨论。每年,SwiftUI 都会通过引入更多功能来赶上 UIKit。今年也不例外。让我们深入了解 SwiftUI 框架引入的新功能。 我首先要提到的…

JavaDS —— 优先级队列(堆) PriorityQueue

优先级队列的概念 我们在前面就已经学习过队列,队列是一种先进先出(FIFO)的数据结构,但有些情况下,操作的数据可能带有优先级,一般出队列时,可能需要优先级高的元素先出队列,那么在该场景下,使…

详解数据结构之队列、循环队列(源码)

详解数据结构之队列、循环队列(源码) 队列属于线性表 队列:就好比如,我们在排队买东西时排队,第一个先来的第一个买,最后一个到的最后一个买,这里的队列也是满足先进先出,后进后出的规律(First …

如果用MATLAB函数delayseq可以对分数延时,但是延时后波形较原波形有幅度上的改变

🏆本文收录于《CSDN问答解答》专栏,主要记录项目实战过程中的Bug之前因后果及提供真实有效的解决方案,希望能够助你一臂之力,帮你早日登顶实现财富自由🚀;同时,欢迎大家关注&&收藏&…

Adobe国际认证详解-视频设计认证专家行业应用场景解析

在当今数字化时代,视频设计已成为各行各业不可或缺的一环。而视频设计认证专家,作为经过Adobe国际认证体系严格考核的专业人才,更是行业内炙手可热的存在。他们凭借深厚的视频设计理论基础和实践经验,为行业提供了高质量的视频设计…

ROS2中间件

ROS2 是重新设计的 Robot Operating System,无论从用户API接口到底层实现都进行了改进。这里主要关注ROS2 的中间件。 1. 通信模式 ROS2 使用DDS协议进行数据传输,并通过抽象的rmw,支持多个厂家的DDS实现(FastDDS,Cyc…

Django 执行原生SQL

在Django中,你可以使用Raw SQL queries来执行原生的SQL查询。这对于需要进行复杂查询或Django的ORM无法满足的查询非常有用。 1,添加模型 Test/app11/models.py from django.db import modelsclass Post(models.Model):title models.CharField(max_le…

arthas:介绍

文章目录 一、Arthas(阿尔萨斯)能为你做什么?二、运行环境要求三、快速安装四、卸载五、通过浏览器连接arthas 一、Arthas(阿尔萨斯)能为你做什么? Arthas是Alibaba开源的Java诊断工具,深受开发…

buu--web做题(4)

目录 [BJDCTF2020]ZJCTF&#xff0c;不过如此 [BUUCTF 2018]Online Tool [BJDCTF2020]ZJCTF&#xff0c;不过如此 <?phperror_reporting(0); $text $_GET["text"]; $file $_GET["file"]; if(isset($text)&&(file_get_contents($text,r)&q…

vue3运行若依前后台项目步骤(2024-07-19)

环境配置 1、jdk > 1.8 (我的1.8&#xff09; 2、mysql >5.7 (我的5.8&#xff09; 3、navicat (数据库管理器&#xff0c;连接mysql使用 ,我的是15) 4、mysql&#xff08;数据库&#xff0c;我的5.0&#xff09; 4、npm (我的是18.20.0) 5、idea编辑器,webtorm &#x…

Unity UGUI 之 Graphic Raycaster

本文仅作学习笔记与交流&#xff0c;不作任何商业用途 本文包括但不限于unity官方手册&#xff0c;唐老狮&#xff0c;麦扣教程知识&#xff0c;引用会标记&#xff0c;如有不足还请斧正 首先手册连接如下&#xff1a; Unity - Manual: Graphic Raycaster 笔记来源于&#xff…

Mike Ferguson:我在麻省理工学院人工智能研究实验室工作一年学到了 5 件事

Mike Ferguson &#xff0c;麻省理工学院大脑和认知科学系 (MIT BCS) 担任研究软件工程师 / ML 工程师。专门研究 Brain-Score&#xff08;一种衡量类脑 AI 的工具&#xff09;。他于 2021 年春季毕业于弗吉尼亚大学&#xff0c;获得计算机科学和应用数学学士学位&#xff0c;以…

【数字电路学习新助手】掌握电路仿真软件,开启数字电路知识的新篇章

在信息科技日新月异的今天&#xff0c;数字电路知识的重要性不言而喻。无论是通信工程、计算机科学与技术&#xff0c;还是电子信息技术等领域&#xff0c;数字电路都是基础中的基础。然而&#xff0c;对于初学者来说&#xff0c;数字电路的学习往往充满了挑战。幸运的是&#…

JUC 06 锁 开始

01.volatile 02.synchronized 03.lock

深入分析 Android ContentProvider (一)

文章目录 深入分析 Android ContentProvider (一)1. Android 中的 ContentProvider 设计说明1.1. ContentProvider 的设计初衷1.2. ContentProvider 的基本结构1.3. ContentProvider 的实现示例&#xff1a;实现一个简单的 ContentProvider 1.4. ContentProvider 的使用 2. Con…

小柴带你学AutoSar系列三、标准和规范篇(1)General

flechazo 小柴冲刺嵌入式系统设计师系列总目录 小柴带你学AutoSar总目录 缘起 一个小小的介绍啦&#xff0c;逐字逐句读规范。&#x1f61c; 不求能记住多少❤️ 只是希望将知识串起来&#xff0c;用到的时候能快速找到就好啦&#xff01; 一起学习AUTOSAR的规范吧 下面呢…

matlab中plot的一些用法

文章目录 一、基本用法二、绘制多个数据集三、设置线型、颜色四、添加标题和标签五、添加图例六、设置轴范围七、绘制网格八、 在同一图中绘制多个子图九、绘制带误差条的图十、绘制半对数图和对数图十一、绘制填充区域图十二、综合案例 一、基本用法 x 0:0.1:10; y sin(x);…

主流大数据调度工具DolphinScheduler之数据采集

今天继续给大家分享主流大数据调度工具DolphinScheduler&#xff0c;以及数据的ETL流程。 一&#xff1a;调度工具DS 主流大数据调度工具DolphinScheduler&#xff0c; 其定位&#xff1a;解决数据处理流程中错综复杂的依赖关系 任务支持类型&#xff1a;支持传统的shell任…