InstantID: Zero-shot Identity-Preserving Generation in Seconds

news2024/9/21 18:48:04
  • https://arxiv.org/pdf/2401.07519#page=9.73
  • https://github.com/instantX-research/InstantID?tab=readme-ov-file
  • https://github.com/instantX-research/InstantID/pull/89/files
  1. 问题引入
  • 目标是生成和reference图片相符合的图片,特别是人脸;
  • 现在基于微调模型的方法例如dreambooth,text inversion,lora等需要多张参考图片,且新的reference图片就需要重新进行微调;
  • 而ip-adapter这类的方法可以不用在inference的时候进行微调,但是依赖的是clip的image encoder,约束不强;
  • 本文的方法包含两部分条件,strong semantic and weak spatial conditions,也就是面部图片+landmark图片+text
  1. methods
    在这里插入图片描述
  • ID Embedding:使用人脸识别模型或者reid模型提取ID Embedding;
  • Image Adapter:和ip-adapter类似;
  • IdentityNet:controlnet,但是有一些变化,1)使用五个人脸关键点two for the eyes, one for the nose, and two for the mouth,2)cross attention只以id embedding作为条件,不包含text embedding;
  1. 实验
  • 数据:LAION-face 50million+自收集10million
  • id embedding使用antelopev2 https://github.com/deepinsight/insightface

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2075163.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

C++必修:unordered_set/unordered_map

✨✨ 欢迎大家来到贝蒂大讲堂✨✨ 🎈🎈养成好习惯,先赞后看哦~🎈🎈 所属专栏:C学习 贝蒂的主页:Betty’s blog 1. unordered_set的介绍 unordered_set是一种关联式容器,它具有以下几…

使用MVC设计模式根据软件系统设计建设高校数字化教育教学资源共享平台

目录 案例 【题目】 【问题 1】(9 分) 【问题 2】(6 分) 【问题 3】(10 分) 答案 【问题 1】答案 【问题 2】答案 【问题 3】解析 相关推荐 案例 阅读以下关于软件系统设计的叙述,在答题纸上回答问题 1 至问题 3。 【题目】 某软件企业受该省教育部门委托…

【SpringCloud Alibaba】(九)学习 Gateway 服务网关

目录 1、网关概述1.1、没有网关的弊端1.2、引入 API 网关 2、主流的 API 网关2.1、NginxLua2.2、Kong 网关2.3、Zuul 网关2.4、Apache Shenyu 网关2.5、SpringCloud Gateway 网关 3、SpringCloud Gateway 网关3.1、Gateway 概述3.2、Gateway 核心架构 4、项目整合 SpringCloud …

【妙招大放送】:苹果手机数据恢复的4个技巧来啦!

手机是我们日常生活中不可或缺的一部分,它存储着照片、视频、联系人等许多重要的数据。但是,意外时有发生,我们有时会因为软件崩溃或者是手机损坏等的原因导致这些重要的数据丢失。那么,对于苹果用户来说,苹果手机数据…

电源技术中的深力科强力推荐一款低功耗、高效率同步降压变换器SiLM6609 致力于为您提供高品质电源技术解决方案

在能源紧张且智能化技术高速发展的当下,电源是电子设备不可或缺的核心。电源的质量和效率直接关系到设备的稳定运行和能耗控制,对于提高设备性能和降低运营成本至关重要。 为应对现代电子设备对性能与能耗的严苛要求,SiLM6609——低功耗、高…

.NET 一款通过白名单程序执行命令的工具

01阅读须知 此文所提供的信息只为网络安全人员对自己所负责的网站、服务器等(包括但不限于)进行检测或维护参考,未经授权请勿利用文章中的技术资料对任何计算机系统进行入侵操作。利用此文所提供的信息而造成的直接或间接后果和损失&#xf…

Adobe Photoshop PS v25.6 下载安装教程(PS下载)

前言 Adobe Photoshop 是一款专业强大的图片处理工具,从照片编辑和合成到数字绘画、动画和图形设计,一流的图像处理和图形设计应用程序是几乎每个创意项目的核心所在。利用 Photoshop 在桌面上的强大功能,您可以在灵感来袭时随时随地进行创作…

vue2使用electron-builder打包-使用electron的api实现文件下载

本项目用的是vue2版本开发,最后使用electron-builder打包成桌面应用程序 一、需求描述 1、用户点击按钮,下载html文件 2、代码 exportHtml() { //.html是放在public文件夹下面的本地文件axios.get("/html/合同模板.html").then(res > {let…

网络通信和TCP/IP协议详解

目录 网络协议 一、计算机网络是什么? 定义和分类 计算机网络发展简史 二、计算机网络体系结构 OSI 七层模型 TCP/IP 模型 TCP/IP 协议族 IP、TCP 和UDP TCP/IP 网络传输中的数据 地址和端口号 MAC 地址 IP 地址 端口号 综述 三、TCP 特性 TCP 三次握…

2024最新影视视频APP源码/猕猴桃影视系统源码/独立后台(支持安卓端+苹果端)

源码简介: 最新影视视频APP源码,它是猕猴桃影视系统源码,它有个独立的后台,无论你是安卓还是苹果用户,都能轻松使用呢。 绿豆源码、绿豆影视、小乌2.1,还有猕猴桃影视。追影兔新版本的整体结构设计已经全…

Transformer模型-3-基本工作流程

继 《Transformer模型-2-模型架构》该文主讲Transformer的基本工作流程。 第一步: 获取输入句子某单词的向量X。 X:是指某单词的向量,transformer是分别计算word embedding和position embedding并将两者相加得到向量X。 Embedding Embeddings 是一种将现…

Spring-bean的循环依赖

文章目录 什么是Spring的循环依赖?Setter 方法循环依赖三级缓存Spring 是如何利用三级缓存解决 Bean 的循环依赖?有了三级缓存为什么还需要二级缓存? 构造器循环依赖总结 什么是Spring的循环依赖? 在 Spring 框架中,循环依赖是指两个或多个…

萌化人心的AI宠物视频:1条爆款35万赞,带你轻松涨粉10万(附教程)

萌宠系的小动物配上可爱的 BGM,场景情绪感直接拉满。用 AI 做超萌宠物视频,涨粉确实香, 分享一个有趣的 AI 宠物玩法,使用用 AI 生成超萌动物(水獭),做成宠物互动的场景式,这种视频播…

掌握Go语言的基本数据类型:编程世界的ABC

Go语言以其精炼的语法和卓越的性能,正日益成为现代软件开发的关键驱动力。在Go语言的众多特性中,基本数据类型的重要性不言而喻,它们是构建任何复杂应用程序的基石。正如掌握任何新语言需从其基础元素开始,Go语言的学习同样始于对…

【qt】windows下qt连接数据库

1.新建数据库 create database mydatabase;2.新建表结构,并插入数据 3.qt下连接数据库 1.连接数据库,需要加sql 2.添加QsqlDatabase头文件,使用提示句柄,头文件QMessageBox 3.连接数据库 4.界面设计 5.插入实现 注意这里如果…

盛水最多的容器问题

目录 一题目概述: 二思路理解: 三解答代码: 一题目概述: leetcode链接:. - 力扣(LeetCode) 二思路理解: 首先这道题虽然看起来简单,很难不让人想到直接暴力破解它&a…

【操作系统】12.文件系统是怎么管理的?

2.文件系统是怎么管理的? 2.1 文件系统的实现 2.1.1 文件系统层次结构 用户调用接口 文件目录系统 存取控制验证模块 逻辑文件系统与文件信息缓冲区 物理文件系统 辅助分配模块 设备管理程序模块 2.1.2 目录实现 线性列表 哈希表 2.1.3 文件实现 文件分配方式 连续…

Unity射击游戏开发教程:(32)控制子弹射速

显示发射速度从较慢到较快的变化 这是一篇关于如何实现射速以防止玩家乱按射击按钮的快速文章。 通常做法 说到要控制子弹的射速,可以通过以下几种方法: 通过设置子弹的发射间隔时间来控制射速。在每次子弹发射后,设置一个时间延迟,确保下一枚子弹不能立即发射。 利用计时…

Redis下载安装使用教程图文教程(超详细)

《网络安全自学教程》 Redis下载安装使用 1、下载安装2、基础配置2.1、远程连接2、保护模式3、默认密码4、后台运行4.1 验证服务是否启动4.2 停止服务 1、下载安装 1)到Redis中文网 https://www.redis.com.cn/download.html 下载Redis安装包 2)Redis的安…

市场动荡!宝马「赶超」特斯拉?华为打响高阶智驾「价格战」

新能源汽车市场正在进入动荡期。 本周,欧洲市场传来重磅消息,宝马在欧洲的电动汽车销量首次超过特斯拉。根据JATO Dynamics的数据,7月宝马在欧洲本土市场销售了14,869辆电动汽车,以308辆的微弱优势首次超过特斯拉。 数据显示&…