重塑视觉界限:探索InstantID,超越ReActor的下一代换脸技术!

news2024/9/21 2:42:58

马斯克与郭德纲,一位是相声界的顶流,一位是科技界的大咖。

想象一下,他们的形象融合,会是什么样?

最新推出的开源项目 —— InstantID 让这种“跨界融合”成为可能。

来瞧瞧,“马德纲”有惊艳到你吗?

它能让自由地将两张面孔进行合成,利用 ID 插值创造出全新的形象。

InstantID 开源后迅速在 GitHub 斩获 5000+ 星标,霸榜HuggingFace Space Trending榜首。

#01

**/**部署WebUI

无需安装任何插件,您只需确保您的 ControlNet 版本已升级至最新,随后下载我们提供的模型文件,并将其放置到正确的目录下。为了让您操作更为便捷,所需资源已附在文末,供感兴趣的朋友们自行取用。

请确保将 WebUI 目录下的所有文件准确地放置到本地 SD 卡上的 ControlNet 目录中。由于每个人的文件目录结构可能有所不同,因此请根据自己的实际目录结构进行相应调整。

这样一来,您便可以轻松完成模型的部署和更新,享受 ControlNet 最新版本带来的新功能和性能提升。

\sd-webui-aki-v4.1\models\ControlNet

然后我们重启我们的 SD 就可以了。

重启以后,我们可以在 ControlNet 看到一个新的控制类型:Instant_lD。

操作也蛮简单的,就按文生图的正常流程走就行,这里需要注意一下,大模型需要选择 SDXL 版本的大模型。

CFG 官方推荐是在 4~5 之间,效果最好。当然大模型不一样也可能会有区别,出图效果不好的时候,大家可以调整试试。

它依赖于两个 ControlNet 来完成不同的任务。第一个 ControlNet 用于上传待换脸的脸部照片,要求照片尽可能清晰,以确保最终换脸效果的质量。第二个 ControlNet 则用于上传一张可以识别面部的人物图片,这张图片将帮助系统判断最终生成的图片中人物脸部的位置。

为了配置第一个 ControlNet,您需要按照以下步骤操作:

  1. 上传脸部照片:选择并上传一张您希望用于换脸操作的清晰脸部照片。确保照片质量高,面部特征清晰可见。

  2. 设置启用选项:在相应的配置界面中,勾选“启用”选项,以激活这个 ControlNet。

  3. 选择完美像素模式:“完美像素模式”选项可以根据您的需要进行勾选或不勾选。如果希望获得更高的图像质量,可以勾选此选项;如果您对速度有更高要求,或者对图像质量不是特别苛求,可以不勾选。

  4. 选择 Instant_lD 控制类型:在控制类型选择中,选中“Instant_lD”作为控制类型。这将帮助您更容易地选择适合的预处理器和模型。

完成上述步骤后,第一个 ControlNet 就已经配置好了,它将准备好处理您上传的脸部照片,为后续的换脸操作提供基础数据。

预处理器选择:instant_id_face_embedding

模型选择:ip-adapter_instant_id_sdxl

接下来我们来配置第二个 ControlNet。这个 ControlNet 主要用于识别上传图像中的脸部位置,从而确定最终生成图片的脸部位置。以下是配置步骤:

  1. 启用选项:首先,确保勾选“启用”选项,以激活第二个 ControlNet。

  2. 完美像素模式:和第一个 ControlNet 一样,“完美像素模式”在这里也是一个可选项。您可以根据需求选择是否勾选。如果您希望提高生成的图片质量,可以勾选此选项;如果更关注处理速度,则可以不勾选。

  3. 允许预览:关于“允许预览”选项,您提到勾选它是为了让用户看到第二个 ControlNet 的效果。确实,通过预览,用户可以更直观地了解上传图像中脸部位置的识别情况。

  4. 上传图像:在配置好上述选项后,您可以上传一张用于识别脸部位置的图像。根据您的描述,上传的图像类型将影响最终生成图片的内容。

  5. 调整参数:根据上传的图像和预览效果,您可能还需要调整一些参数,如识别算法的阈值、脸部位置的定位精度等,以获得更满意的结果。

完成这些步骤后,第二个 ControlNet 就已经配置好了。它将根据上传的图像识别脸部位置,并为后续的图像处理或生成提供必要的信息。

预处理器选择:instant_id_face_keypoints

模型选择:control_instant_id_sdxl

效果相当可以。脸部的位置也和我们上传的第二张图片相符。

#02

/部署ComfyUI

接下来把资源中 comfyUI 目录下的文件下载下来,这里和 WebUI 中的模型其实是一样的,改了一个名字而已。

文件下载下来以后,放入 InstantID 的插件目录下,小伙伴们看自己的插件目录在哪哈:

\ComfyUI\custom_nodes\ComfyUI-InstantID\checkpoints

然后我们重启 ComfyUI 就可以了。

现在我们来直接进入工作流程。这边上传图片的操作和 WebUI 中也是一样的,第一张图是用于换脸的图,第二张图则是实际头像所在位置的图。

在生成图片的过程中,有些模型可能会默认输出类似黑白的图片。如果遇到这种情况,您可以在提示词中加入一些颜色相关的描述,以引导模型生成更丰富多彩的图片。例如,您可以使用“彩色”、“鲜艳”等词汇来描述您期望的图片颜色效果。

关于预览图像不保存的问题,确实需要注意。如果您希望保留预览的图像,请记得手动保存。另外,您也提到了将预览图像节点替换为保存图像节点作为解决方案,这是一个可行的选择,您可以根据自己的需求来决定是否采用。

总的来说,工作流程中需要注意细节,包括上传正确的图片、调整模型参数以及手动保存您满意的图片。希望这些步骤和提示能帮助您更顺利地进行换脸操作,并获得满意的效果。

下面主要来介绍最前边的三个加载器。之前我们已经将下载的模型放置在了指定的目录下。现在,为了使用这些模型,我们需要将模型的路径复制到相应的位置。

第一个加载器,主要是我们刚才放置 controlnet 模型的位置,以下是文件位置,小伙伴参考一下哈:

D:\Programs\ComfyUI-aki\ComfyUI-aki-v1.1\custom_nodes\ComfyUI-InstantID\checkpoints\controlnet

第二个加载器,就是我们大模型,选择 SDXL 版本的模型即可。

第三个加载器是 ip-adapter 的加载器,文件路径是,大家改成自己的哈:

D:\Programs\ComfyUI-aki\ComfyUI-aki-v1.1\custom_nodes\ComfyUI-InstantID\checkpoint

还有一个提示词风格化节点,风格选项可以选择不同的风格。

以上的基础工作流节点就介绍完了,我们再介绍一个在 Instant ID 基础上添加风格化节点的工作流,大家刚加载工作流的时候可能会出现以下这种情况,这说明有缺失的节点。

我们打开 ComfyUI 管理器,然后点击安装缺失节点。

弹出的节点安装界面中会显示缺失的节点,我们点击安装即可。

我们可以看到工作流中多了一个可视化风格节点。

这里只需要关注 1 和 2 就可以了,和之前的一样,把我们本地的路径同步过来。

中间的模型加载器不用管,这里是默认去网上下载的,当然也可以把这个节点换成从本地模型库去取。

再看下我们的可视化的风格化节点,总共有两个节点,第一个节点代表的是艺术家风格,我们可以尝试不同的艺术家风格类型。

第二个节点是艺术运动,这个就比较抽象了,听雨也不知道应该咋形容,小伙伴们自己去了解一下吧,节点上还能选择当前风格的权重,设为 0 那就是忽略了。

感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。

在这里插入图片描述

AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。
在这里插入图片描述

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

在这里插入图片描述
在这里插入图片描述

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!
在这里插入图片描述

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。

在这里插入图片描述
在这里插入图片描述

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
在这里插入图片描述

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
在这里插入图片描述

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2038225.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

回归预测|基于麻雀优化深度神经网络的数据回归预测Matlab程序SSA-DNN 多特征输入单输出 含基础深度神经网络DNN

回归预测|基于麻雀优化深度神经网络的数据回归预测Matlab程序SSA-DNN 多特征输入单输出 含基础深度神经网络DNN 文章目录 前言回归预测|基于麻雀优化深度神经网络的数据回归预测Matlab程序SSA-DNN 多特征输入单输出 含基础深度神经网络DNN 一、SSA-DNN模型1. 麻雀优化算法&…

想发SCI,先写论文还是先选刊?手把手带你分析如何提高发表成功率!

点击关注:关注GZH【欧亚科睿学术】,GET完整版2023JCR分区列表! 发SCI是先写论文还是先选刊 发SCI论文时,通常建议先选择合适的期刊再开始写论文。 先选刊的策略意味着你在撰写论文之前,先确定一个或多个可能投稿的期…

2021-11-08 51单片机2位秒表启动清零

缘由c51单片机,程序,仿真图,求帮助-编程语言-CSDN问答 #include "REG52.h"sbit K1 P1^0; sbit K2 P1^1; sbit K3 P1^2; sbit K4 P1^3; sbit P1_0P2^0; sbit P1_1P2^1; sbit P1_2P2^2; sbit P1_3P2^3; sbit P1_4P2^4; sbit P1_…

C++八股文(一)

🏳‍🌈C基础 🌱1.C特点 1. C 在 C 语言基础上引入了 面对对象 的机制,同时也 兼容 C 语言 。 2. C 有三大特性 ( 1 )封装。( 2 )继承。( 3 )多态&#xff…

网站模板建站和定制网站哪个更适合中小企业?

通俗来说,网站建设有模板建设、定制建站两个门类。在聊聊网站建设多少钱之前,我们可以先来简单分析一下模板建站和定制建站的优缺点在哪。 一、模板建站 优势:1.极大看重性价比,价格优势会较高。 劣势:1.因是在已有的模…

Datawhale AI夏令营--从零入门多模态大模型数据合成Task1

从零入门多模态大模型数据合成 报名赛事注意事项 创建实例跑baseline(预计时间300分钟)改用无卡模式开机创建非指定镜像 下载赛事所需文件包下载模型,数据集以及依赖软件下载模型和相关数据集下载BLIP图片描述模型 数据处理与合成推理和评测打包输出运行结果提交结果 报名赛事 …

Open3D 计算点云的协方差矩阵(原理详细版)

目录 一、概述 1.1协方差矩阵的定义 1.2实现步骤 1.3应用 二、代码实现 1.1实现代码 2.2协方差应用案例 2.2.1主成分分析法的应用 2.2.2平面拟合 三、疑问解答 3.1为什么计算协方差矩阵要去质心? 3.1.1原因 3.1.2区别 Open3D点云算法汇总及实战案例汇总…

WordPress建站之头像及字体错误修正

目录 一、谷歌字体 二、头像网址 三、后续使用中的“坑” 网站建设好以后,会发现有些卡顿,网速好的环境感觉不明写,但是差的环境就难以忍受了。这是打开网页的控制台(Console)会发现有报错信息: 这些报错…

数组---怎么样定义和引用数组

一怎么定义数组 例 int a[10]; //定义了一个一维数组,数组名为a,此数组包含10个整型元素 所以我们了解到数组的基本定义为 类型符 数组名 [常量表达式] 定义数组可以包括常量和符号常量如 int [ 35 ];但是不能利用变量定义如 int n; …

数据结构(6_1_1)——图的基本概念

图的定义 图G由顶点集V和边集E组成,记为G(V,E),其中V(G)表示图G中顶点的有限非空集;E(G)表示图G中顶点之间的关系(边)集合。若V{v1,v2,.....,vn},则用|V|表示图G中顶点的个数,也称图G的阶, ,用|E|表示图G中的边的条数 注意&…

【产品那些事】The OX Active ASPM Platform

文章目录 前言关于OX Security产品理念 流程体验Complete Visibility:将安全无缝嵌入到SDLC中PBOMOSC&R coverageContextualized Prioritization:快速解决最关键的风险Accelerated Response:简化安全流程See Beyond the Code:…

idea vue项目删除node_modules时报文件损坏且无法读取,导致删除失败

解决办法,查看node_modules所在盘,右击点击属性-工具,点击检查驱动,查完后修复即可, 就能够成功删除损坏的文件了

实时降水、降雨量接口对接,预报未来2小时有没有下雨

可实现的效果图 接口请求地址: http://ykyrain.tianqiapi.com 请求示例: http://ykyrain.tianqiapi.com/?versionrain&appid17256853&appsecretYtFbK6VP&lng114.302953&lat30.585411 请求参数 参数名必选类型说明备注(示…

[ 烧录教程 ]Phy6212-ST17H66快捷烧录调试-体验蓝牙烧写调试助手

目录 一、前言 二、任务要求 三、实现步骤 3.1 打开基本任务例程 3.2 编辑任务代码 3.3 通过蓝牙烧写调试助手查看效果 3.4 修改完善代码 3.5 继续烧写调试 四、总结 一、前言 基于Phy6212或ST17H66芯片的烧写的繁琐性,因此我将使用蓝牙调试助手完成本文中…

CentOS部署Oracle19c(rpm方式)

软件包下载地址 一共需要两个软件包 # oracle数据库企业版 oracle-database-ee-19c-1.0-1.x86_64.rpm# Oracle Database 19c的预安装RPM包,它主要用于在正式安装Oracle数据库之前准备系统环境 oracle-database-preinstall-19c-1.0-3.el7.x86_64.rpmhttps://yum.or…

图像复原算法

7.1 逆滤波 (Inverse Filtering) 介绍 逆滤波是一种基本的图像复原方法,用于从退化图像中恢复原始图像。它通过逆向应用退化过程中的滤波器来恢复图像。 原理 逆滤波假设图像在退化过程中受到线性且时不变的滤波器影响,并尝试通过逆向应用该滤波器来…

营销归因软件实战指南:提升营销ROI的关键步骤

在当今这个数据驱动的时代,营销归因已成为企业优化广告投放、提升营销回报率(ROI)不可或缺的工具。营销归因软件通过精准分析客户旅程中的每一个触点,帮助企业理解哪些营销活动真正驱动了转化,从而指导资源分配&#x…

有什么蓝牙耳机值得推荐一下吗?百元开放式耳机选购指南

在当下科技日新月异的时代,耳机已然融入我们的日常生活,成为不可或缺的存在。开放式耳机作为耳机界的新锐势力,凭借其别具一格的设计与显著优势,赢得了众多消费者的喜爱。 但是,当面对市场上琳琅满目的开放式耳机品牌与…

Linux静态进程和动态进程查看管理

1.静态进程的查看PS PPID:谁启动的父亲ID USER:运行进程的用户名称 PID:进程ID %CPU:CPU的占用比例占用资源 %MEM:内存使用的占用比例 VSZ:占用虚拟内存多少 RSS:占用实际内存多少 TTY:…

相见恨晚:四款良心无广的办公黑科技软件,小众而且太实用了

Quicker 这是一款综合类的效率神器,很难直接定义这是一款什么类型的软件,是右键增强,还是鼠标手势,总之是一款非常强大的软件。 可以设置相对应软件当中的快捷菜单,还有右键滑动轮盘,可以在轮盘或者菜单内…