最新XL换脸术！EcomID，更像更强，结合InstantID和PuLID优点，200万训练集，6.6显存占用，ComfyUI

news2024/11/29 2:50:27

由阿里妈妈最新开源的换脸工具：EcomID，结合了InstantID和PuLID优点，以获得更好的背景一致性、面部关键点控制、更真实的面部以及更高的相似度。旨在从单个ID参考图像生成定制的保ID图像，优势在于很强的语义一致性，同时受人脸关键点控制。
在这里插入图片描述

该模型在 200 万张淘宝图像上进行训练，其中人脸比例大于 3%。图像分辨率大于800，且美学评分超过 5.5。

混合精度：fp16

学习率：1e-4

批量大小：2

图像大小：1024x1024

结构如下：

在这里插入图片描述

PuLID 的 IP-Adapter：EcomID 借鉴了 PuLID 的 ID-Encoder 和交叉注意力组件，其使用对齐损失训练而成。故而该方法有效减少了 ID embedding 对交叉注意力部分的文本 embedding的干扰，最小化对底层模型文本到图像

InstantID 的 IdentityNet 架构：利用 200 万张美观的人像图像数据集，训练了IdentityNet，增强了关键点控制，提高了 ID 一致性和面部真实感。在训练过程中，IP-adapter 被冻结，只有 IdentityNet 被训练。面部Keypoint用作条件输入，同时面部嵌入通过交叉注意力集成到 IdentityNet 中。

1、保留的文本到图像功能
保留了背景生成功能，同时最大限度地减少了风格化，从而大大增强了真实感。可视化效果突出了更真实的肖像，并提高了背景语义的一致性，展示了 EcomID 在生成逼真图像方面的优势。

2、提高面部控制和一致性
EcomID 使用关键点作为训练的条件输入，允许精确调整面部位置、大小和方向。此功能可确保生成的肖像更易于控制，同时进一步增强面部相似度和图像的整体质量。

对比InstantID：

在这里插入图片描述

对比InstantID、PuLID

在这里插入图片描述

更多官方对比示例

不同基础模型、分辨率和风格对比：

感觉效果是非常不错的

除非特别说明，大部分展示案例使用基础模型 EcomXL 生成；同时EcomID与其他基于 SDXL 的模型也高度兼容，例如 leosams-helloworld-xl[https://civitai.com/models/43977/leosams-helloworld-xl]、dreamshaper-xl[https://civitai.com/models/112902/dreamshaper-xl]、stable-diffusion-xl-base-1.0[https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0] 等。
它与 SDXL Turbo/Lighting、EcomXL Inpainting ControlNet[https://huggingface.co/alimama-creative/EcomXL_controlnet_inpaint] 和 EcomXL Softedge ControlNet[https://huggingface.co/alimama-creative/EcomXL_controlnet_softedge] 的兼容性非常好。

官方还贴心的为大家准备好了 ComfyUI 的插件：https://github.com/alimama-creative/SDXL_EcomID_ComfyUI

EcomID 在ComfyUI中的安装使用

该插件还未收录到Manager中，需要通过Git地址来安装。

cd comfyui/custom_nodes  
git clone https://github.com/alimama-creative/SDXL_EcomID_ComfyUI

下载所需模型：

下载原始PuLID的预训练模型：放到：ComfyUI/models/pulid 目录，国内下载地址：PuLID pre-trained model[https://hf-mirror.com/huchenlei/ipadapter_pulid/resolve/main/ip-adapter_pulid_sdxl_fp16.safetensors?download=true]
安装facexlib 依赖，会下载模型。
下载模型(国内可用)：AntelopeV2[https://hf-mirror.com/MonsterMMORPG/tools/tree/main] ，并解压到：ComfyUI/models/insightface/models/antelopev2 目录下。
下载原始InstantID的预训练模型，放到：ComfyUI/models/instantid 目录，国内下载地址：HuggingFace Mirror[https://hf-mirror.com/InstantX/InstantID/resolve/main/ip-adapter.bin?download=true]
最后下载：EcomID Controlnet，放到：ComfyUI/models/controlnet 目录，国内下载地址：https://hf-mirror.com/alimama-creative/SDXL-EcomID/resolve/main/diffusion_pytorch_model.safetensors?download=true

基础工作流

如果需要参考姿势图，请添加：image_kps，如下图工作流：

注意：
底模推荐用：helloworld-xl[[leosams-helloworld-xl](https://civitai.com/models/43977/leosams-helloworld-xl)]、dreamshaper-xl[https://civitai.com/models/112902/dreamshaper-xl]
它与 SDXL Turbo/Lighting、 EcomXL-Inpainting-ControlNet[https://huggingface.co/alimama-creative/EcomXL_controlnet_inpaint] 和 EcomXL-Softedge-ControlNet[https://huggingface.co/alimama-creative/EcomXL_controlnet_softedge]配合得很好。
推荐CFG为：6

生成效果图：