虚拟试穿技术（VTON）和虚拟换装（VD）技术是一种应用于电子商务和在线零售的技术，旨在通过数字手段提升用户的购物体验，让用户能够在没有实际试穿的情况下，看到自己穿上特定服装的样子。这种技术的核心价值在于提高消费者的购物满意度和购买决策效率，减少因大小不合或风格不满意导致的退换货。
- 潜在扩散模型用于局部服装修补：这种模型可以生成逼真的图像细节，在虚拟试穿技术中用于修复或替换用户图像中的服装部分，确保试穿效果自然真实。
- IMAGDressing-v1模型：
- 服装UNet：用于处理和修改服装图像的特定网络结构。
- CLIP提取的语义特征：用于理解和处理图像与自然语言描述之间的关系，增强模型对服装特征的识别和生成能力。
- VAE提取的纹理特征：聚焦于生成高质量的纹理细节，提升生成图像的真实感。
- 混合注意力模块：结合了固定的自注意力和可训练的交叉注意力，优化特征融合过程，增强模型在不同条件下的表现。
- 数据集和标准化流程：开发了一个名为交互式服装配对（IGPair）的大型数据集，为模型训练和测试提供了丰富的样本，帮助提升模型性能和适用性。
意义：
- 消费者体验：用户可以在购买前，通过虚拟试穿技术看到自己穿上某件衣服后的样子，这大大提高了用户的购物体验和满意度。
- 商业价值：商家可以利用这项技术减少实体试穿的需要，降低退换货率，同时也能提供更加个性化的推荐服务。
- 创新营销工具：通过虚拟试穿，商家可以在社交媒体和线上平台上提供更具吸引力的互动方式，吸引消费者参与和分享，从而驱动销售。
虚拟试穿技术和虚拟换装技术利用先进的计算模型和大数据，为在线购物体验带来革命性的提升，使消费者能够更加便捷和直观地选择合适的服装。
论文作者：Fei Shen,Xin Jiang,Xin He,Hu Ye,Cong Wang,Xiaoyu Du,Zechao Li,Jinghui Tang
作者单位：Nanjing University of Science and Technology; Huawei Inc.; Tencent AI Lab; Nanjing University
论文链接：http://arxiv.org/abs/2407.12705v1
项目链接：https://github.com/muzishen/IMAGDressing
内容简介：
1）方向：虚拟试穿技术（VTON）和虚拟换装（VD）技术
2）应用：在线购物体验增强
3）背景：最新的技术通过使用潜在扩散模型进行局部服装修补，实现了逼真的虚拟试穿，显著增强了消费者的在线购物体验。然而，现有的VTON技术忽视了商家全面展示服装的需求，包括对服装、可选面部、姿势和场景的灵活控制。
4）方法：为解决这一问题，本文定义了虚拟试衣（VD）任务，专注于生成可以自由编辑的人体图像，固定服装并选择性地调整其他条件。同时，设计了全面的亲和度度量指标（CAMI），用于评估生成图像与参考服装之间的一致性。然后，提出了IMAGDressing-v1，该模型结合了服装UNet、从CLIP提取语义特征和从VAE提取纹理特征。引入了混合注意力模块，包括冻结的自注意力和可训练的交叉注意力，将服装UNet中的服装特征整合到冻结去噪UNet中，以确保用户可以通过文本控制不同场景。IMAGDressing-v1可以与其他扩展插件如ControlNet和IP-Adapter结合使用，增强生成图像的多样性和可控性。此外，为解决数据缺乏问题，发布了交互式服装配对（IGPair）数据集，包含超过30万对服装和穿着图像，并建立了标准的数据组装流水线。
5）结果：广泛的实验表明，IMAGDressing-v1在各种受控条件下实现了最先进的人体图像合成性能。代码和模型：https://github.com/muzishen/IMAGDressing。
