Diffusion Models专栏文章汇总：入门与实战
GRPose: Learning Graph Relations for Human Image Generation with Pose Priors
在过去的研究中，基于扩散模型的人工生成技术在根据特定条件合成高质量人像方面取得了显著进展。然而，尽管之前的方案引入了姿势先验，现有方法仍然在高质量图像生成和稳定的姿势对齐上存在不足。为了解决这些问题，我们提出了一种新框架——图关系姿势（GRPose），通过建立姿势先验的图拓扑结构，深度挖掘姿势部件之间的内在关联。我们的核心创新在于设计了一种渐进式图集成器（PGI），利用图卷积网络（GCNs）有效捕捉不同姿势部件之间的高阶关系。此外，我们还引入了一种新颖的姿势感知损失，旨在进一步提升生成图像与给定姿势之间的对齐质量。实验结果表明，GRPose在多个基准数据集上表现优越，相较于最新的基准模型，其姿势平均精度提高了9.98%。
我们的GRPose框架主要由三个部分组成：扩散管道、图姿势适配器和姿势感知损失。首先，利用CLIP文本编码器将文本提示转换为嵌入形式，作为生成输入。在扩散网络中，使用稳定扩散（Stable Diffusion）作为基础模型，结合了变分自编码器（VAE）进行图像的编码和解码，以及使用U-Net进行噪声估计。我们的PGI将姿势先验与潜在表示的每个空间点视为图的节点，通过K近邻搜索算法构建图结构。接着，通过图卷积网络聚合不同节点的信息，增强图中各节点间的关联性更新其特征，最终通过融合层捕捉姿势与图像潜在特征间的交互关系。随后，引入的姿势感知损失利用预训练的姿势估计网络，监测生成图像与原始图像之间的姿势差异，以最大限度降低这种差异，确保生成的人像与指定姿势的一致性。
我们在Human-Art和LAION-Human数据集上进行了广泛的定性和定量实验，以评估GRPose的性能。在Human-Art数据集上，我们的模型达到了49.50%的平均精度（AP）和70.84%的相似度平均精度（SAP），相较于ControlNet显著提升了9.98%。在LAION-Human数据集中，GRPose同样表现出色，AP提高了6.06%。通过与其他最先进的方法进行比较，我们的实验表明GRPose实现了更好的姿势对齐和图像质量。特别是在多姿势生成的测试中，GRPose显示了优越的性能，不仅维护了生成图像的清晰度，还保证了姿势的一致性。综合各项指标，GRPose在多个评价标准下均超过了现有主流方法的表现，从而突出其在姿势引导人像生成中的应用潜力。
What to Preserve and What to Transfer: Faithful, Identity-Preserving Diffusion-based Hairstyle Transfer
本研究提出了名为HairFusion的创新发型转移模型，旨在实现高保真、身份保持的发型图像处理。发型转移是一项挑战性任务，其目标是在保持人脸图像身份、衣物和背景特征的同时，将参考发型应用于输入的脸部图像。现有的办法多基于预训练的StyleGAN模型，通常难以处理真实场景中的复杂条件，例如显著的头部姿势变化和不同的焦距。HairFusion通过一种一阶段的扩散模型方法来克服这些限制，采用hair-agnostic表示作为输入，确保模型在处理多样化面孔时的有效性。同时，引入了头发对齐交叉注意力模块(Align-CA)，以改进发型与面孔的对齐能力，并使用自适应发型混合技术在推理过程中保持面孔图像中的原始特征。这种方法展示了其在发型转移任务中的优秀表现，表现优于现有的插值和扩散模型方法。
HairFusion模型采用了前所未有的头发对齐交叉注意力模块(Align-CA)，用于处理输入图像的hair-agnostic表示，并有效地消除原始发型信息。在处理过程中，Align-CA借助人脸轮廓编码器对输入的发型图像和目标面部图像之间的关系进行对齐，以应对面部形状和姿势的差异。通过精确提取每个图像的特征图，Align-CA将参考发型的特征作为键(K)和值(V)，同时将面部图像的特征作为查询(Q)，增强系统在不同头部姿势和面部形状间的适应能力。为了进一步改善图像输出的质量，研究者们设计了一种自适应发型混合技术，通过分析交叉注意力图，确定头发区域与非头发区域之间的对应关系，进而有效保留源面孔的细节和其余特征。该技术使HairFusion在转移发型的同时，尽量减少原图样本的特征丢失，从而提高生成图像的真实性。
CSGO: Content-Style Composition in Text-to-Image Generation
本研究围绕文本到图像生成中的内容风格合成（CSGO）展开，提出了一种新的方法以优化图像风格迁移过程。尽管现有的扩散模型在控制图像生成方面表现出色，但图像风格迁移仍然是一个具有挑战性的领域，主要因为多样化的风格和有限的数据集。本研究开发了一种数据构建流程，该流程能够自动生成并清理内容风格图像三元组（CSSIT），并成功构建了一个名为IMAGStyle的大规模数据集，包含210,000个图像三元组。此外，提出的CSGO模型采用了端到端训练策略，通过独立的特征注入模块，有效地分离了内容和风格特征，从而提高了图像风格迁移的质量和控制能力。研究结果显示，CSGO在多种视觉任务中均实现了卓越的性能。
为验证所提出的方法的有效性，本研究进行了大量实验，评估CSGO模型在风格控制和内容保留方面的性能。使用IMAGStyle数据集进行训练，并对比了多种最新的方法，包括StyleID、InstantStyle等。在图像驱动的风格迁移任务中，CSGO展现了最高的样式相似性得分（CSD），同时保持了较低的内容丢失评分（CAS），表明其在风格控制方面的强大能力。此外，在文本驱动样式生成和文本编辑样例合成任务中，CSGO同样表现出优越的控制特性，能更准确地遵循文本提示并生成相应风格的图像。实验结果充分验证了IMAGStyle数据集和CSGO框架在图像风格迁移中的重要作用，鼓励后续更多研究探索该领域。
