AI实战营第二期 第十节 《MMagic 代码课》
MMagic (Multimodal Advanced, Generative, and Intelligent Creation) 是一个供专业人工智能研究人员和机器学习工程师去处理、编辑和生成图像与视频的开源 AIGC 工具箱。
MMagic 允许研究人员和工程师使用最先进的预训练模型，并且可以轻松训练和开发新的定制模型。
MMagic 支持各种基础生成模型，包括：
-
无条件生成对抗网络 (GANs)
-
条件生成对抗网络 (GANs)
-
内部学习
-
扩散模型
-
还有许多其他生成模型即将推出！
MMagic 支持各种应用程序，包括：
-
图文生成
-
图像翻译
-
3D 生成
-
图像超分辨率
-
视频超分辨率
-
视频插帧
-
图像补全
-
图像抠图
-
图像修复
-
图像上色
-
图像生成
-
还有许多其他应用程序即将推出！
【课程链接】https://www.bilibili.com/video/BV1gM4y1n7vP/
【讲师介绍】张子豪 OpenMMLab算法工程师
OpenMMLab 生成模型+底层视觉+AIGC+多模态 算法库 MMagic
MMagic主页：https://github.com/open-mmlab/mmagic
代码教程：https://github.com/TommyZihao/MMagic_Tutorials
中文文档：https://mmagic.readthedocs.io/zh_CN/latest/
【代码教程目录】
安装配置MMagic环境
黑白老照片上色
文生图-Stable Diffusion
文生图-Dreambooth
图生图-ControlNet
安装配置MMagic
安装Pytorch
!pip3 install install torch==1.10.1+cu113 torchvision==0.11.2+cu113 torchaudio==0.10.1+cu113 -f https://download.pytorch.org/whl/cu113/torch_stable.html
安装MMCV和MMEngine环境
[2]
!pip3 install openmim
!mim install 'mmcv>=2.0.0'
!mim install 'mmengine'
安装MMagic
!mim install 'mmagic'
从源码安装MMagic
!rm -rf mmagic # 删除原有的 mmagic 文件夹（如有）
!git clone https://github.com/open-mmlab/mmagic.git # 下载 mmagic 源代码
import os
os.chdir('mmagic')
!pip3 install -e .
检查安装成功
# 检查 Pytorch
import torch, torchvision
print('Pytorch 版本', torch.__version__)
print('CUDA 是否可用',torch.cuda.is_available())
[
检查 mmcv
import mmcv
from mmcv.ops import get_compiling_cuda_version, get_compiler_version
print('MMCV版本', mmcv.__version__)
print('CUDA版本', get_compiling_cuda_version())
print('编译器版本', get_compiler_version())
检查 mmagic
import mmagic
print('MMagic版本', mmagic.__version__)
MMagic版本 1.0.2dev0
安装其它工具包
!pip install opencv-python pillow matplotlib seaborn tqdm -i https://pypi.tuna.tsinghua.edu.cn/simple
!pip install clip transformers gradio 'httpx[socks]' diffusers==0.14.0 -i https://pypi.tuna.tsinghua.edu.cn/simple
!mim install 'mmdet>=3.0.0'
黑白照片上色
进入 MMagic 主目录
import os
os.chdir('mmagic')
下载样例图片
[2]
!wget https://zihao-openmmlab.obs.cn-east-3.myhuaweicloud.com/20230613-MMagic/data/test_colorization.jpg -O test_colorization.jpg
运行预测
[3]
!python demo/mmagic_inference_demo.py
–model-name inst_colorization
–img test_colorization.jpg
–result-out-dir out_colorization.png
