效果图
- 调整人物动作
- 调整裙子长度
- 调整动物的动作
DragGAN介绍
DragGAN是一种基于人工智能的图像编辑工具,它可以根据用户的输入生成逼真的图像。与传统的图像编辑工具只能扭曲或裁剪现有的像素不同,DragGAN可以创建与用户意图匹配的新内容。
DragGAN的原理是利用生成对抗网络(GAN)来学习和模拟真实数据的分布,然后根据用户在图像上拖动的点来生成新的图像。用户可以通过拖动点来改变图像的姿态、表情、风格等细节,从而实现灵活和精确的图像操纵。
DragGAN是一个开源的项目,它提供了一个网页版的演示,用户可以在浏览器中体验DragGAN的功能。DragGAN也提供了一个GitHub仓库,用户可以下载源代码和预训练的模型,以及查看相关的论文和视频。
DragGAN是一个创新和有趣的工具,它展示了人工智能在图像生成方面的强大能力。它也为图像编辑提供了一种新的交互方式,让用户可以更自由和轻松地创造出想要的图像。
部署DragGAN
- 克隆代码
git clone https://github.com/XingangPan/DragGAN
- 使用conda创建一个虚拟环境,并启动环境
conda create -n draggan python==3.10
source activate draggan
- 安装依赖
cd DragGAN
pip install -r requirements.txt
- 准备模型,找个没人的地方把这个模型下载下来,
在DragGAN目录下创建一个checkpoints目录把所有模型都拷贝进去,默认加载的是狮子的模型,如果下载不了,我把我下载的模型转到了CSDN可以自行下载,链接附在最后
git clone https://huggingface.co/DragGan/DragGan-Models
mkdir checkpoints
cd checkpoints
cp ../DragGAN-Models/*.pkl checkpoints
- 启动服务器,设置一下环境变量CUDA_HOME,不然有可能找错cuda版本,导致torch_extensions编译报错
export CUDA_HOME=/usr/local/cuda
python visualizer_drag_gradio.py --listen
- 浏览器访问http://ip:7860
报错信息及解决办法
- 编译torch_extensions中的bias_act_plugin报错
Setting up PyTorch plugin "bias_act_plugin"... Failed!
解决办法:
这是因为cuda版本不对,我这里的bias_act_plugin指定的是cuda-11.2版本,编译不过,后来我设置了环境变量
export CUDA_HOME=/usr/local/cuda-11.4
还是报错,后来看pip安装的cuda工具都是cuda-11.7版本的,就安装了cuda-11.7版本就可以通过了
但是如果bias_act_plugin中的build.ninja还是固执的指定了他自己的cuda目录,你就手动修改CUDA_HOME为你自己的目录
- 运行过程中还会报个glibc版本错误
libstdc++.so.6: version `GLIBCXX_3.4.20' not found
解决方法:
conda install -c anaconda libstdcxx-ng
- 报关于freetype的错误
attributeerror: ‘FreeTypeFont‘ object has no attribute ‘getsize‘
解决方法:
pip install Pillow==9.5
DragGAN Lions模型