AI写真:ControlNet 之 InstantID

news2024/11/27 8:32:52

但是 IPAdapter-FaceId 目前只在 SD 1.5 模型上表现较好,SDXL 模型上的表现较差,不能用于实际生产。可是很多同学已经在使用SDXL了,而且SDXL确实整体上出图效果更好,怎么办?

这篇文章就来给大家介绍一个在SDXL中创作AI写真的稳定方法:使用 InstanID。

InstantID,翻译为身份标识,这是一个ControlNet模型,其核心能力是由国内的小红书团队开发的。InstantID可以提取人物的面部信息,然后在生成的人物图片中使用此面部。只需要人物的一张正面照片,就可以生成此人物的多种风格图片,正适合来搞AI写真。

效果展示

废话不多说,还是先看效果(大家可以猜猜此人是谁,文中会揭晓答案):

更多带生成参数的图片下载请看文末。

安装方法

文末领取一键安装包!

使用InstantID

这里以 Stable Diffusion WebUI 为例,ComfyUI 的使用示例见下文。

因为 InstantID 仅能在 SDXL 模型下使用,所以本文将使用 SDXL 模型进行演示。

基本设置

打开“文生图”页面,首先我们需要选择SD基础模型(模型下载方式见文末)、设置提示词和负向提示词。

然后我们简单设置下生成参数,如下图所示。

你可以直接使用我这几个参数的值,简单介绍下:

1、采样器:DPM++系列在在采样质量和效率上都比较高,是目前效果最优秀的反向扩散采样算法之一。

2、调度类型:用于控制采样过程中的噪声水平 ,这是 WebUI 1.9.0 之后从采样器分离出来的参数,可以单独设置,使用更灵活。Karras 噪声计划在初始采样步骤中的噪音水平较高,而在结尾采样步骤中的噪音水平较低,实验表明这样有助于提高生成图片的质量。

3、采样步数:一般设置为20-30,可根据具体效果调整。

4、使用SDXL模型时,宽度和高度需要设置为1024以上,这里是一张垂直图,比例为3:4。

5、生成次数和每次数量:一次多生成几张,方便选择。生成次数是独立的生成几次,消耗时间根据次数加倍;每次数量是单次生成内的输出图片数量,比较消耗显存。

6、提示词引导系数:对于InstantID,不要设置的太高,3-5最佳,根据实际情况选择。

7、图像生成种子:-1代表随机数,每次生成都会产生新的变化。

ControlNet设置

InstantID 是通过 ControlNet 发挥作用的,我们重点看下相关设置。

这里需要两个 ControlNet,一个用于控制面部特征,另一个用于控制面部姿势(可选)。

先看第一个ControlNet,上传一张参考图片,勾选“启用”和“完美匹配像素”。“完美匹配像素”用于控制从参考图片中提取的特征信息的分辨率,以更加匹配生成图片的尺寸,无脑勾选就是了。

“控制网类型”勾选Instant-ID,注意第一个ControlNet中的预处理器和模型选择,需要是:instant_id_face_embedding 和 ip-adapter_instant_id_sdxl,它们用于提取参考人物的面部特征,并应用到生成图片中。其它参数默认即可。

再来看第2个ControlNet,它是用来控制生成图片中人物的面部姿势的。我们可以选择其它人物的图片,这不会影响面部特征的控制,仅影响人物的头部姿势。注意不是人物整体的姿势,当然人物的头部姿势也会对整体的姿势产生一定的影响。注意这个 ControlNet 是可选的,没有它也不影响人物的面部控制。

注意这里的三个参数:

预处理器:instant_id_face_keypoints,脸部的关键点,或者说面部姿势。

模型:control_instant_id_sdxl。

控制模式:以ControlNet为主,不选这个生成图片的线条会比较粗糙。

最后,我们只要点击“生成”,静待写真图生成就好了。

使用ComfyUI工作流

我在 ComfyUI 中也测试了 InstantID 的生成效果,制作了两个工作流,一个和WebUI中的能力类似,另一个还结合了IPAdapter,可以提取参考图片的风格。

在 ComfyUI 中使用 InstantID 时,需要安装一些插件,:不方便访问外网的同学可以到文末下载我整理的资源。

资源下载

AI写真用到的大模型、LoRA模型、修脸修手模型、ControlNet插件和模型,以及生成的图片(可提取提示词等生成参数),我都已经整理到了网盘中,需要的同学,可以到文末下载我整理的资源!

写在最后

感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。

AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。

在这里插入图片描述

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

在这里插入图片描述

在这里插入图片描述

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!
在这里插入图片描述

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
在这里插入图片描述
在这里插入图片描述

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1834838.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

多线程环境下,HashMap 为什么会出现死循环?

引言:HashMap作为一个常用的键值对存储结构,其内部实现在不同的JDK版本中有所演变,但其基本原理始终是通过哈希算法和数组来实现快速查找和存储。我们将探讨HashMap在多线程环境下出现死循环的根本原因,深入分析其中的数据结构特点…

网络安全(完整)

WAPI鉴别及密钥管理的方式有两种,既基于证书和基于预共享密钥PSK。若采用基于证书的方式,整个国产包括证书鉴别、单播密钥协商与组播密钥通告;若采用预共享密钥方式,整个国产则为单播密钥协商与组播密钥通告蠕虫利用信息系统缺陷&…

Tailwind CSS 响应式设计实战指南

title: Tailwind CSS 响应式设计实战指南 date: 2024/6/13 updated: 2024/6/13 author: cmdragon excerpt: 这篇文章介绍了如何运用Tailwind CSS框架创建响应式网页设计,涵盖博客、电商网站及企业官网的布局实例,包括头部导航、内容区域、侧边栏、页脚…

国产24位I2S输入+192kHz立体声DAC音频数模转换器CJC4344

CJC4344是一款立体声数模转换芯片,内含插值滤波器、multi bit数模转换器、输出模拟滤波器。CJC4344系列支持大部分的音频数据格式。CJC4344基于一个带线性模拟低通滤波器的四阶multi-bitΔ-Σ调制器,而且本芯片可以通过检测信号频率和主时钟频率&#xf…

新能源汽车的能源动脉:中国星坤汽车电缆在新能源汽车电气化中的应用!

随着新能源汽车行业的蓬勃发展,汽车电缆组件作为汽车电气系统的核心组成部分,其重要性日益凸显。中国星坤汽车电缆组件以其卓越的性能和创新技术,为汽车的电能传输、信号传递和控制提供了坚实的保障。本文将深入解析星坤汽车电缆组件的特性、…

PCB雕刻切割用德国自动换刀主轴SycoTec 4033 AC-ESD

随着电子行业的蓬勃发展,印刷电路板(PCB)的应用范围正在迅速扩大,涵盖了通信、计算机、消费电子等诸多领域。伴随着PCB的广泛应用,对PCB板切割加工技术的要求也日益严格。高速电主轴作为分板机的关键零部件之一&#x…

Pyqt QCustomPlot 简介、安装与实用代码示例(三)

目录 前言实用代码示例Line Style DemoDate Axis DemoParametric Curves DemoBar Chart DemoStatistical Box Demo 所有文章除特别声明外,均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来自 nixgnauhcuy’s blog! 如需转载,请标明出处&#x…

最新QT安装程序安装QT旧版本

1、下载Qt在线安装程序 官方下载地址:https://download.qt.io/official_releases/online_installers/ 也可以选择国内镜像地址下载,如清华大学的镜像地址: https://mirrors.tuna.tsinghua.edu.cn/qt/official_releases/online_installers/…

C#ListView的单元格支持添加基本及自定义任意控件

功能说明 使用ListView时,希望可以在单元格显示图片或其他控件,发现原生的ListView不支持,于是通过拓展,实现ListView可以显示任意控件的功能,效果如下: 实现方法 本来想着在单元格里面实现控件的自绘的…

python-日历库calendar

目录 打印日历 基本日历类Calendar TextCalendar类 HTMLCalendar类 打印日历 设置日历每周开始日期(周几) import calendarcalendar.setfirstweekday(calendar.SUNDAY) # 设置日历中每周以周几为第一天显示 打印某年日历 print(calendar.calendar(2024, w2, l1, c6, m…

事实证明:企业级中后台框架,大厂还是主角,小厂打酱油。

提及中后台框架,你或许能够想到antdesign、arcodesign还有fusion等等,这些都是背靠大厂,是市场的主角,而一些小厂框架往往是扮演者陪太子读书的角色。本文将给大家分享市面上有哪些大厂的中后台框架?为什么大厂要开源自…

MySQL修改用户权限(宝塔)

在我们安装好的MySQL中,很可能对应某些操作时,不具备操作的权限,如下是解决这些问题的方法 我以宝塔创建数据库为例,创建完成后,以创建的用户名和密码登录 这里宝塔中容易发生问题的地方,登录不上去&#…

29. 透镜阵列

导论: 物理传播光学(POP)不仅可以用于简单系统,也可以设计优化复杂的光学系统,比如透镜阵列。 设计流程: 透镜阵列建模 在孔径类型中选择“入瞳直径”,并输入2 在视场设定中。设置一个视场&…

求二叉树最大深度-二叉树

104. 二叉树的最大深度 - 力扣&#xff08;LeetCode&#xff09; 1、用层序遍历&#xff0c;一层层遍历 class Solution { public:int maxDepth(TreeNode* root) {if(root nullptr)return 0;vector<TreeNode*> que;que.push_back(root);int res 0;//记层数while(!que.e…

【GIS技术】Shp矢量图斑数据的四至点坐标或四至坐标计算

经常有从事gis相关、地信相关行业的朋友或者是需要对图斑矢量进行四至坐标的计算的时候&#xff0c;按照各类搜索引擎或者是教学文章中的教学步骤求出来的四至坐标是错的。特别是比如林业图斑求四至点、农田四至点等等。 错的原因在于很多文章中教学的四至坐标实际上指的是图斑…

带你走进CCS光源——环形低角度光源LDR2-LA系列

机器视觉系统中&#xff0c;光源起着重要作用&#xff0c;不同类型的光源应用也不同&#xff0c;选择合适的光源成像效果非常明显。今天我们一起来看看CCS光源——工业用环形低角度光源LDR2-LA系列。 LDR2-LA系列 采用柔性基板&#xff0c;创造最佳倾斜角度。 通过从低角度向…

目标检测——室内服务机器人LifelongSLAM数据集

引言 亲爱的读者们&#xff0c;您是否在寻找某个特定的数据集&#xff0c;用于研究或项目实践&#xff1f;欢迎您在评论区留言&#xff0c;或者通过公众号私信告诉我&#xff0c;您想要的数据集的类型主题。小编会竭尽全力为您寻找&#xff0c;并在找到后第一时间与您分享。 …

scratch3编程01-山地足球+射击游戏

目录 一&#xff0c;山地足球 1&#xff0c;基础&#xff08;需要的素材&#xff09; 1&#xff09;使用“重复执行直到”语句块 2&#xff09;使用“如果那么否则”语句 2&#xff0c;效果 3&#xff0c;sb3文件 一&#xff0c;击败小怪兽 1&#xff0c;基础&#xff0…

gsoap2.8交叉编译方法(详细、亲测可用)

环境搭建 交叉编译器安装&#xff0c;过程略。 注意&#xff1a;如果要使用脚本配置环境变量&#xff0c;在运行脚本时&#xff0c;应该使用 . /绝对路径的方式&#xff0c;而不是直接/绝对路径或者./绝对路径&#xff0c;否则会导致配置失败。&#xff08;亲测如此&#xff0…

《失败的逻辑》|别再无效复盘了!学会认清每一次失败的必然性

为什么铁路信号系统工作正常时&#xff0c;列车仍然会发生撞车事故&#xff1f; 为什么所有操作人员都警觉地坚守着工作岗位&#xff0c;核反应堆依然会发生灾难性的熔化事故&#xff1f; 为什么我们制定得甚好的那么多专业和个人计划&#xff0c;会如此频繁地出岔子&#xff1…