文章目录
- 1. 基本介绍
- 2. 动手实验
视频链接:玩转AIGC神器MMagic
代码教程:https://github.com/TommyZihao/MMagic_Tutorials
1. 基本介绍
Stable Diffusion的文生图,以及controlnet和dreamboost的图生图(输入一个图像+文字描述,输出另一张图像)
在2022年以前,这种技术是无法想象的,像magic一样,所以这个库就叫mmagic
1. Stable Diffusion和Midjourney
- 参考知乎文章-十分钟读懂Stable Diffusion,
- 可以在线体验下:Stable Diffusion Playground,这里也有体验Midjourney的方式,但是我体验的时候提示今日免费体验额度没有了。
- Stable Diffusion Playground 我的描述词:Anime-style headshot of a beautiful big-eyed girl looking at a cute black cat,生成的。。。还行吧,没那么惊艳,但是还算合理
2.controlnet和Dreambooth
参考知乎文章:
- AI绘画王炸功能Control Net安装教程
- ControlNet:AI图像生成的又一变革
- 【AI绘画】LoRA训练与正则化的真相:Dreambooth底层原理
https://beta.openxlab.org.cn/apps
https://beta.openxlab.org.cn/edit-anything/home,这个需要注册登录才可以使用。不过有别的项目,需要自己部署一下,参考:
- Github:sail-sg/EditAnything
- Github:IDEA-Research/Grounded-Segment-Anything
https://github.com/open-mmlab/mmagic
上图的详情介绍视频位于:https://user-images.githubusercontent.com/49083766/233564593-7d3d48ed-e843-4432-b610-35e3d257765c.mp4
这个变化有点像 哪吒之魔童降世的申公豹人脸变豹子脸的感觉
可以用来做变身,哈哈哈
mmgeneration和mmedting合并成为现在的mmagic,主要包括:
条件GAN和非条件GAN,图像修复,图像超分,视频超分,视频插值,图像上色,图像转译,图像重绘,文生图等场景算法
详见:https://mmagic.readthedocs.io/en/latest/model_zoo/overview.html,英文版确实比中文文档要完善很多。
2. 动手实验
代码教程:https://github.com/TommyZihao/MMagic_Tutorials