之前已经向大家介绍了很多关于虚拟试穿的项目，如谷歌的Tryon Diffusion, 阿里的Outfit Anyone, 亚马的Diffuse to Choose。东京大学的OOTDiffusion虚拟服装试穿工具。基于扩散模型的技术基本已经成为现在主流应用的基石。感兴趣的小伙伴可以点点击下面链接阅读~

        电商模特危机！谷歌最新模型Tryon Diffusion一键试衣，线上购物被革命

        AI一键换衣，阿里Outfit Anyone来了，电商人的福音！

        亚马逊虚拟试衣终于来了，Diffuse to Choose：为网购客户提供身临其境的虚拟试穿服务

        OOTDiffusion：一个可控的虚拟服装试穿工具，已开源，效果接近商用！

        今天向大家介绍一个新的开源项目oms-Diffusion，该项目致力于协助中小服装商家解决约拍模特导致的高昂成本问题。只需一张服装图片，可以生成各种身穿该服装的模特。支持IPadapter-faceID结合controlnet_openpose，用户可上传服装图片与参考姿势图进行试穿。一起来看下虚拟试穿的效果吧！

项目地址

https://github.com/ShineChen1024/oms-Diffusion?tab=readme-ov-filehttps://github.com/ShineChen1024/oms-Diffusion?tab=readme-ov-file

效果展示

IPadapter-faceID + controlnet_openpose demo

IPadapter-faceID demo 

generative demo 

controlnet demo (openpose, inpainting) 

 some unexpected funny application (need more effort) 

 

项目使用指导

1、默认的提示词是"a photography of a model", 你可以通过增加词汇像 "sunglasses" 或者 "red skirt" 来设定模特，或者把"model"换成"man"来指定性别，但是作者也不清楚它对最终的试衣结果有何影响。

2、512权重的默认的图像分辨率是（512，384），此分辨率可能会生成扭曲的面部。你可以增加图像分辨率来获得优秀的细节，但是有些情况会导致衣服失控,需要多次尝试不同随机种子才能得到较好的结果。

3、如果你发现衣服细节和你期望的对应不上，请尝试不同的随机种子。

4、guidance Scale来控制试衣服装的强度，但较大的值会导致图像失真。推荐2.0左右。

5、本项目内置了一个将服装从背景分离出来的权重，但是它可能不是最优的，如果你有更好的权重，像SAM，请替换它。

权重下载

该权重是一个实验性质的版本，在VITON-HD一万多张训练集（女模特，上半身，夏装，4:3分辨率）上训练，所以它对某些颜色或类别可能有所偏好。训练分辨率为（512,384），对较小的字体可能会导致模糊变形（在高分辨率下已解决）。下载地址如下：

https://huggingface.co/shinehugging/oms-diffusion

https://pan.baidu.com/s/1UJgARIfXyZz5AyLUWYEWgg?pwd=ae6f

我们在768分辨率上调优训练策略，增加模型分辨率，拓展衣服类别和模特类别，敬请期待。

安装运行

1. Clone the repository

git clone https://github.com/chenshine1/oms-Diffusion.git

2.Create a conda environment and install the required packages

conda create -n oms-diffusion python==3.10
conda activate oms-diffusion
pip install torch==2.0.1 torchvision==0.15.2 numpy==1.25.1 diffusers==0.25.1 opencv-python==4.8.0  transformers==4.31.0 gradio==4.16.0 safetensors==0.3.1 controlnet-aux==0.0.6 accelerate-0.21.0

模型推理

1.python demo

python inference.py --cloth_path[your cloth path] --model_path[your model path]

2.gradio demo

python gradio_generate.py --model_path[your model path] 

        感谢你看到这里，也欢迎点击关注下方公众号，一个有趣有AI的AIGC公众号:关注AI、深度学习、计算机视觉、AIGC、Stable Diffusion，Sora等相关技术，欢迎一起交流学习💗～