AI写真：Stable Diffusion 之 IPAdapter-FaceId

自Stable Diffusion发布以来，AI写真一直是AIGC界的热门话题。

AI写真为摄影师和艺术家提供了全新的创作工具。通过AI技术，艺术家可以轻松实现复杂的图像效果，如风格迁移、图像合成等，AI写真能够在短时间内完成传统摄影师和设计师需要耗费大量时间和精力才能实现的效果。

从这篇文章开始，我将陆续介绍使用Stable Diffusion进行AI写真的方式方法，用到的工具包括 Stable Diffusion WebUI 和 ComfyUI，感兴趣的同学请及时关注，以免错过重要信息。

本文介绍使用 IP-Adapter-FaceId（文末可领取！）
进行AI写真创作的方法。这种方法使用来自面部识别模型的面孔ID嵌入，而不是CLIP图像嵌入；另外，这种方法还使用LoRA来提高ID一致性。IP-Adapter-FaceID仅凭文本提示就可以根据一张面孔生成各种风格的图像。

效果演示

像不像先不说，我们先来看看好不好看（大家猜猜她是谁？）：

AI写真是利用人工智能技术生成或增强的照片。这种技术结合了计算机视觉、深度学习和图像处理等先进的算法，使得机器能够自动生成、修复、增强或编辑照片。

具体来说，目前AI写真的实现方式大概有如下几种：

使用ControlNet：ControlNet为Stable Diffusion提供了一些精细控制能力，它可以从参考图片中提取一些特征信息，比如人脸、姿势、色彩、线稿等等，然后在生成的图片中应用这些信息，从而在AI写真中达到精细的人物形象控制效果。
结合换脸技术：先使用SD、Midjourney等AI绘画工具生成若干符合场景或风格要求的人物图片，然后再使用AI换脸技术更换图片中的人物面部形象，从而实现AI写真的目的。
训练LoRA模型：LoRA本身一种模型微调技术，可以让模型在某方面的生成能力得到大幅增强。对于AI写真，我们先准备若干张目标人物或者风格的图片，然后使用工具训练出特定人物的LoRA模型，最后使用这个LoRA模型即可生成目标人物在各种场景、各种风格下的逼真图像。

为了更好的艺术效果，我们还可以使用专用的摄影模型、风格模型，搭配精细的提示词，实现特定的艺术效果。

这里以 Stable Diffusion WebUI 为例，ComfyUI 的使用示例见下文。

因为 IP-Adapter-FaceId 在 SDXL算法中的效果不太好，所以本文将使用 SD 1.5 模型进行演示。

打开“文生图”页面，首先我们需要选择SD基础模型、设置提示词和负向提示。模型下载方式见文末资源下载。

这几个参数我介绍下注意事项：

然后我们需要设置一些采样参数，采样器大家选择自己常用的即可，这里我使用的是 DPM++ 2M，调度器选择的是 Karras，采样步数 27，这个搭配比较适合细节优化。

其它参数也介绍下：

上边已经把 Stable Diffusion 的基础参数设置完了，下边开始设置 IP-Adapter-FaceId 的参数。在 Stable Diffusion WebUI 中，IP-Adapter-FaceId 基于 ControlNet 提供面部特征提取和生成控制。

在“文生图”页面下方，启用一个 ControlNet单元，上传一张参考图片（现在你应该知道效果图中是谁了），如下图所示：

建议每次都勾选“完美匹配像素”，这样可以让ControlNet提取的图片特征更符合生成参数中设置的图片宽度和高度。

接着我们设置 IP-Adapter 的更多参数，如下图所示：

控制网络类型：勾选“IP-Adapter”
预处理器：选择“ip-adapter_face_id_plus”，如果没有这个预处理器，请更新ControlNet插件到最新版本。预处理器模型需要下载，下载方式见文末。
模型：选择“ip-adapter-faceid-plusv2_sd15”，模型需要下载，下载方式见文末。
控制权重：ControlNet对生成图片的影响力，值越大生成图片越遵从ControlNet的控制，用于精细控制，一般默认即可。
控制步数：在生成图片的第几步介入和退出ControlNet控制，用于精细控制，一般默认即可。
Weight Type：高级权重参数，可以控制图片的风格和构图迁移效果，比如只迁移构图，或者只迁移风格。因为我们主要参考面部特征，所以这里使用默认的 normal 即可。

最后，我们只要点击“生成”，静待写真图生成就好了。