马斯克与郭德纲,一位是相声界的顶流,一位是科技界的大咖。
想象一下,他们的形象融合,会是什么样?
最新推出的开源项目 —— InstantID 让这种“跨界融合”成为可能。
来瞧瞧,“马德纲”有惊艳到你吗?
它能让自由地将两张面孔进行合成,利用 ID 插值创造出全新的形象。
InstantID 开源后迅速在 GitHub 斩获 5000+ 星标,霸榜HuggingFace Space Trending榜首。
#01
**/**部署WebUI
无需安装任何插件,您只需确保您的 ControlNet 版本已升级至最新,随后下载我们提供的模型文件,并将其放置到正确的目录下。为了让您操作更为便捷,所需资源已附在文末,供感兴趣的朋友们自行取用。
请确保将 WebUI 目录下的所有文件准确地放置到本地 SD 卡上的 ControlNet 目录中。由于每个人的文件目录结构可能有所不同,因此请根据自己的实际目录结构进行相应调整。
这样一来,您便可以轻松完成模型的部署和更新,享受 ControlNet 最新版本带来的新功能和性能提升。
\sd-webui-aki-v4.1\models\ControlNet
然后我们重启我们的 SD 就可以了。
重启以后,我们可以在 ControlNet 看到一个新的控制类型:Instant_lD。
操作也蛮简单的,就按文生图的正常流程走就行,这里需要注意一下,大模型需要选择 SDXL 版本的大模型。
CFG 官方推荐是在 4~5 之间,效果最好。当然大模型不一样也可能会有区别,出图效果不好的时候,大家可以调整试试。
它依赖于两个 ControlNet 来完成不同的任务。第一个 ControlNet 用于上传待换脸的脸部照片,要求照片尽可能清晰,以确保最终换脸效果的质量。第二个 ControlNet 则用于上传一张可以识别面部的人物图片,这张图片将帮助系统判断最终生成的图片中人物脸部的位置。
为了配置第一个 ControlNet,您需要按照以下步骤操作:
-
上传脸部照片:选择并上传一张您希望用于换脸操作的清晰脸部照片。确保照片质量高,面部特征清晰可见。
-
设置启用选项:在相应的配置界面中,勾选“启用”选项,以激活这个 ControlNet。
-
选择完美像素模式:“完美像素模式”选项可以根据您的需要进行勾选或不勾选。如果希望获得更高的图像质量,可以勾选此选项;如果您对速度有更高要求,或者对图像质量不是特别苛求,可以不勾选。
-
选择 Instant_lD 控制类型:在控制类型选择中,选中“Instant_lD”作为控制类型。这将帮助您更容易地选择适合的预处理器和模型。
完成上述步骤后,第一个 ControlNet 就已经配置好了,它将准备好处理您上传的脸部照片,为后续的换脸操作提供基础数据。
预处理器选择:instant_id_face_embedding
模型选择:ip-adapter_instant_id_sdxl
接下来我们来配置第二个 ControlNet。这个 ControlNet 主要用于识别上传图像中的脸部位置,从而确定最终生成图片的脸部位置。以下是配置步骤:
-
启用选项:首先,确保勾选“启用”选项,以激活第二个 ControlNet。
-
完美像素模式:和第一个 ControlNet 一样,“完美像素模式”在这里也是一个可选项。您可以根据需求选择是否勾选。如果您希望提高生成的图片质量,可以勾选此选项;如果更关注处理速度,则可以不勾选。
-
允许预览:关于“允许预览”选项,您提到勾选它是为了让用户看到第二个 ControlNet 的效果。确实,通过预览,用户可以更直观地了解上传图像中脸部位置的识别情况。
-
上传图像:在配置好上述选项后,您可以上传一张用于识别脸部位置的图像。根据您的描述,上传的图像类型将影响最终生成图片的内容。
-
调整参数:根据上传的图像和预览效果,您可能还需要调整一些参数,如识别算法的阈值、脸部位置的定位精度等,以获得更满意的结果。
完成这些步骤后,第二个 ControlNet 就已经配置好了。它将根据上传的图像识别脸部位置,并为后续的图像处理或生成提供必要的信息。
预处理器选择:instant_id_face_keypoints
模型选择:control_instant_id_sdxl
效果相当可以。脸部的位置也和我们上传的第二张图片相符。
#02
/部署ComfyUI
接下来把资源中 comfyUI 目录下的文件下载下来,这里和 WebUI 中的模型其实是一样的,改了一个名字而已。
文件下载下来以后,放入 InstantID 的插件目录下,小伙伴们看自己的插件目录在哪哈:
\ComfyUI\custom_nodes\ComfyUI-InstantID\checkpoints
然后我们重启 ComfyUI 就可以了。
现在我们来直接进入工作流程。这边上传图片的操作和 WebUI 中也是一样的,第一张图是用于换脸的图,第二张图则是实际头像所在位置的图。
在生成图片的过程中,有些模型可能会默认输出类似黑白的图片。如果遇到这种情况,您可以在提示词中加入一些颜色相关的描述,以引导模型生成更丰富多彩的图片。例如,您可以使用“彩色”、“鲜艳”等词汇来描述您期望的图片颜色效果。
关于预览图像不保存的问题,确实需要注意。如果您希望保留预览的图像,请记得手动保存。另外,您也提到了将预览图像节点替换为保存图像节点作为解决方案,这是一个可行的选择,您可以根据自己的需求来决定是否采用。
总的来说,工作流程中需要注意细节,包括上传正确的图片、调整模型参数以及手动保存您满意的图片。希望这些步骤和提示能帮助您更顺利地进行换脸操作,并获得满意的效果。
下面主要来介绍最前边的三个加载器。之前我们已经将下载的模型放置在了指定的目录下。现在,为了使用这些模型,我们需要将模型的路径复制到相应的位置。
第一个加载器,主要是我们刚才放置 controlnet 模型的位置,以下是文件位置,小伙伴参考一下哈:
D:\Programs\ComfyUI-aki\ComfyUI-aki-v1.1\custom_nodes\ComfyUI-InstantID\checkpoints\controlnet
第二个加载器,就是我们大模型,选择 SDXL 版本的模型即可。
第三个加载器是 ip-adapter 的加载器,文件路径是,大家改成自己的哈:
D:\Programs\ComfyUI-aki\ComfyUI-aki-v1.1\custom_nodes\ComfyUI-InstantID\checkpoint
还有一个提示词风格化节点,风格选项可以选择不同的风格。
以上的基础工作流节点就介绍完了,我们再介绍一个在 Instant ID 基础上添加风格化节点的工作流,大家刚加载工作流的时候可能会出现以下这种情况,这说明有缺失的节点。
我们打开 ComfyUI 管理器,然后点击安装缺失节点。
弹出的节点安装界面中会显示缺失的节点,我们点击安装即可。
我们可以看到工作流中多了一个可视化风格节点。
这里只需要关注 1 和 2 就可以了,和之前的一样,把我们本地的路径同步过来。
中间的模型加载器不用管,这里是默认去网上下载的,当然也可以把这个节点换成从本地模型库去取。
再看下我们的可视化的风格化节点,总共有两个节点,第一个节点代表的是艺术家风格,我们可以尝试不同的艺术家风格类型。
第二个节点是艺术运动,这个就比较抽象了,听雨也不知道应该咋形容,小伙伴们自己去了解一下吧,节点上还能选择当前风格的权重,设为 0 那就是忽略了。
感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。
AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。
一、AIGC所有方向的学习路线
AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。
二、AIGC必备工具
工具都帮大家整理好了,安装就可直接上手!
三、最新AIGC学习笔记
当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
四、AIGC视频教程合集
观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
五、实战案例
纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。