这里为大家分享检测人体的脸部、五官、头发、手臂、腿、脚,上衣、裤子、背景的插件,能够生成出对应的蒙版mask,接入到ComfyUI中,用于后续处理,如局部重绘,换背景等。
(需要相关插件的同学可自行扫描获取)
简介
这个插件非常的牛逼和常用,里边集成了各种功能,包括去PS图层功能、去背景、SAM2、分割、灯光、文字等等,Github已达到了1.2K星。
节点位置:
这里为大家介绍几个常用的关于人体,衣服分割的节点,后续会陆陆续续的介绍其他功能,请关注我获取最新更新。
ComfyUI_LayerStyle 安装
Manager 内搜索 “layer style”,点击安装即可:
安装依赖
资源管理器ComfyUI\custom_nodes\ComfyUI_LayerStyle 插件目录位置打开cmd窗口,
- 官方便携包输入以下命令:
..\..\..\python_embeded\python.exe -s -m pip install .\whl\docopt-0.6.2-py2.py3-none-any.whl ..\..\..\python_embeded\python.exe -s -m pip install .\whl\hydra_core-1.3.2-py3-none-any.whl ..\..\..\python_embeded\python.exe -s -m pip install -r requirements.txt .\repair_dependency.bat
- 秋叶整合包输入以下命令:
..\..\python\python.exe -s -m pip install .\whl\docopt-0.6.2-py2.py3-none-any.whl ..\..\python\python.exe -s -m pip install .\whl\hydra_core-1.3.2-py3-none-any.whl ..\..\python\python.exe -s -m pip install -r requirements.txt .\repair_dependency.bat
重新打开ComfyUI。
下载模型
从百度网盘(https://pan.baidu.com/s/1T_uXMX3OKIWOJLPuLijrgA?pwd=1yye) 下载全部模型文件并复制到ComfyUI\models文件夹。这个链接提供了本插件需要的所有的模型文件。
建议按所需节点的说明下载对应的模型文件,不一定全部下载。
PersonMaskUltraV2 节点
为人物生成脸、头发、身体皮肤、衣服或配饰的遮罩。与之前的A Person Mask Generator节点相比,这个节点具有超高的边缘细节。PersonMaskUltra的V2升级版,增加了VITMatte边缘处理方法。
所需模型:
从百度网盘(https://pan.baidu.com/s/13zqZtBt89ueCyFufzUlcDg?pwd=jh5g)下载模型文件并放到 ComfyUI/models/mediapipe 文件夹。
PersonMaskUltraV2 节点说明
-
face: 脸部识别。
-
hair: 头发识别。
-
body: 身体皮肤识别。
-
clothes: 衣服识别。
-
accessories: 配饰(例如背包)识别。
-
background: 背景识别。
-
confidence: 识别阈值,更低的值将输出更多的遮罩范围。
-
detail_range: 边缘细节范围。
-
black_point: 边缘黑色采样阈值。
-
white_point: 边缘白色采样阈值。
-
process_detail: 此处设为False将跳过边缘处理以节省运行时间。
-
detail_method: 边缘处理方法。提供了VITMatte, VITMatte(local), PyMatting, GuidedFilter。如果首次使用VITMatte后模型已经下载,之后可以使用VITMatte(local)。
-
detail_erode: 遮罩边缘向内侵蚀范围。数值越大,向内修复的范围越大。
-
detail_dilate: 遮罩边缘向外扩张范围。数值越大,向外修复的范围越大。
-
device: 设置是否使用cuda。
-
max_megapixels: 设置vitmatte运算的最大尺寸。
PersonMaskUltraV2 工作流
示例-分割面部
示例-分割衣服
SegformerUltraV2 节点
使用segformer模型分割身体、服饰,具有超高的边缘细节。目前支持segformer b2 clothes, segformer b3 clothes, segformer b3 fashion。
所需模型
-
从百度网盘(https://pan.baidu.com/s/1OK-HfCNyZWux5iQFANq9Rw?pwd=haxg) 下载全部文件至ComfyUI/models/segformer_b2_clothes文件夹。
-
从百度网盘(https://pan.baidu.com/s/18KrCqNqUwmoJlqgAGDTw9g?pwd=ap4z) 下载全部文件至ComfyUI/models/segformer_b3_clothes文件夹。
-
从百度网盘(https://pan.baidu.com/s/10vd5PmJLFNWXaRVGW6tSvA?pwd=xzqi) 下载全部文件至ComfyUI/models/segformer_b3_fashion文件夹。
SegformerUltraV2 节点说明
-
segformer_pipeline: segformer管线输入。管线SegformerPipeline由SegformerClothesPipeline和SegformerFashionPipeline节点输出。
-
detail_method: 边缘处理方法。提供了VITMatte, VITMatte(local), PyMatting, GuidedFilter。如果首次使用VITMatte后模型已经下载,之后可以使用VITMatte(local)。
-
detail_erode: 遮罩边缘向内侵蚀范围。数值越大,向内修复的范围越大。
-
detail_dilate: 遮罩边缘向外扩张范围。数值越大,向外修复的范围越大。
-
black_point: 边缘黑色采样阈值。
-
white_point: 边缘白色采样阈值。
-
process_detail: 此处设为False将跳过边缘处理以节省运行时间。
-
device: 设置是否使用cuda。
-
max_megapixels: 设置vitmatte运算的最大尺寸。
Segformer_pipeline - SegformerClothesPipeline
-
model: 模型选择。目前有两种模型可供选择segformer b2 clothes, segformer b3 clothes。
-
face: 脸部识别。
-
hair: 头发识别。
-
hat: 帽子识别。
-
sunglass: 墨镜识别。
-
left_arm: 左手臂识别。
-
right_arm: 右手臂识别。
-
left_leg: 左腿识别。
-
right_leg: 右腿识别。
-
left_shoe: 左鞋子识别。
-
right_shoe: 右鞋子识别。
-
skirt: 短裙识别。
-
pants: 裤子识别。
-
dress: 连衣裙识别。
-
belt: 腰带识别。
-
bag: 背包识别。
-
scarf: 围巾识别。
Segformer_pipeline - SegformerFashionPipeline
-
model: 模型选择。目前只有一种模型可供选择segformer b3 fashion。
-
shirt: 衬衫、罩衫识别。
-
top: 上衣、t恤、运动衫识别。
-
sweater: 毛衣识别。
-
cardigan: 开襟毛衫识别。
-
jacket: 夹克识别。
-
vest: 背心识别。
-
pants: 裤子识别。
-
shorts: 短裤识别。
-
skirt: 短裙识别。
-
coat: 外套识别。
-
dress: 连衣裙识别。
-
jumpsuit: 连身裤识别。
-
cape: 斗篷识别。
-
glasses: 眼镜识别。
-
hat: 帽子识别。
-
hairaccessory: 头带、头巾、发饰识别。
-
tie: 领带识别。
-
glove: 手套识别。
-
watch: 手表识别。
-
belt: 皮带识别。
-
legwarmer: 腿套识别。
-
tights: 紧身裤和长筒袜识别。
-
sock: 袜子识别。
-
shoe: 鞋子识别。
-
bagwallet: 背包、钱包识别。
-
scarf: 围巾识别。
-
umbrella: 雨伞识别。
-
hood: 兜帽识别。
-
collar: 衣领识别。
-
lapel: 翻领识别。
-
epaulette: 肩章识别。
-
sleeve: 袖子识别。
-
pocket: 口袋识别。
-
neckline: 领口识别。
-
buckle: 带扣识别。
-
zipper: 拉链识别。
-
applique: 贴花识别。
-
bead: 珠子识别。
-
bow: 蝴蝶结识别。
-
flower: 花识别。
-
fringe: 刘海识别。
-
ribbon: 丝带识别。
-
rivet: 铆钉识别。
-
ruffle: 褶饰识别。
-
sequin: 亮片识别。
-
tassel: 流苏识别。
SegformerUltraV2 工作流
示例-分割上衣和鞋子
示例-分割手提包
MediapipeFacialSegment 节点
使用Mediapipe模型检测人脸五官,分割左右眉、左右眼睛、嘴唇和牙齿。居然没有鼻子!
所需模型
从百度网盘(https://pan.baidu.com/s/13zqZtBt89ueCyFufzUlcDg?pwd=jh5g) 下载模型文件并放到ComfyUI/models/mediapipe文件夹。
MediapipeFacialSegment 节点说明
-
left_eye: 左眼识别开关。
-
left_eyebrow: 左眉识别开关。
-
right_eye: 右眼识别开关。
-
right_eyebrow: 右眉识别开关。
-
lips: 嘴唇识别开关。
-
tooth: 牙齿识别开关。
MediapipeFacialSegment 工作流
示例-分割眼睛
示例-分割牙齿
常见错误
- ModuleNotFoundError: No module named ‘psd_tools’
这个错误是psd_tools没有正确安装。
解决方法:
关闭ComfyUI,在插件目录下打开终端窗口,执行以下命令:
`../../../python_embeded/python.exe -s -m pip install psd_tools`
如果安装psd_tool中出现ModuleNotFoundError: No module named 'docopt’错误,请下载docopt的whl手动安装。在终端执行以下命令:
../../../python_embeded/python.exe -s -m pip install path/docopt-0.6.2-py2.py3-none-any.whl path为whl文件的路径名。
- Cannot import name ‘guidedFilter’ from ‘cv2.ximgproc’ 或 NameError: name ‘guidedFilter’ is not defined
这个错误是opencv-contrib-python没有正确安装,或者安装后又安装了其他opencv包导致。
重新安装opencv-contrib-python 一般即可。
感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。
AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。
一、AIGC所有方向的学习路线
AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。
二、AIGC必备工具
工具都帮大家整理好了,安装就可直接上手!
三、最新AIGC学习笔记
当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
四、AIGC视频教程合集
观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
五、实战案例
纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。