AIGC真实人像写真,也即输入一些图片,生成图片里对应人物在不同场景和风格下的图片。妙鸭相机作为AIGC领域一款成功的收费产品为大家展示了如何使用AIGC技术只需要少量的人脸图片建模,即可快速提供真/像/美的个人写真,在极短的时间拥有了大量的付费客户. 目前面临很多的挑战: 超长的训练微调时间、大的存储需求、需要输入多张图(落地时期望只输入一张)、在保持ID和风格可编辑间进退维谷、此消彼长.
目前可以公开体验的包括facechain、EasyPhoto和PhotoVerse
-
facechain
FaceChain人物写真生成软件,AI在线生成人物写真照
功能近似“秒鸭相机”?从代码层面一探究竟阿里达摩院 FaceChain
阿里出品,优点: 分成两个Lora,离线训练的风格Lora和需要在线训练ID Lora模型。生成的照片与原始照片非常相似,可以轻松分辨出同一张脸。这款应用实际上是一个换脸软件,它将原始人物的脸换成了指定的面孔。与其他换脸软件不同的是,它可以生成指定风格的图片。
缺点 训练时间长(数十分钟级)、推理时间长(数分钟级)、显存要求高(20G+)、GPU利用率有待提升,界面复杂,同时依赖翻墙和国内网络,下载体验差;不能处理风格图片,只能用于写真
个人写真模型的能力来源于Stable Diffusion模型的文生图功能,输入一段文本或一系列提示词,输出对应的图像。考虑影响个人写真生成效果的主要因素:写真风格信息,以及用户人物信息。为此分别使用线下训练的风格LoRA模型和线上训练的人脸LoRA模型以学习上述信息。个人写真模型的能力分为训练与推断两个阶段,训练阶段生成用于微调Stable Diffusion模型的图像与文本标签数据,得到人脸LoRA模型;推断阶段基于人脸LoRA模型和风格LoRA模型生成个人写真图像
2. EasyPhoto:高质量SDWebui艺术照插件
3. PhotoVerse