视频换天造物实践秒变科幻大片实践记录，过程中遇到些坑，结果还是相当震撼

预装软件：

matplotlib
scikit-image
scikit-learn
scipy
numpy
torch
torchvision
opencv-python
opencv-contrib-python

安装使用的时候可能碰上scikit-image 新版本导致的方法找不到，卸载后安装个历史旧版本即可（如果不清楚网上搜一下即可）

若继续报错：
AttributeError: module ‘skimage.measure’ has no attribute 'compare_ssim’
说明新版本的skimage的内置程序被重置了，可以卸载scikit-image之后重装一个旧版本。

pip3 uninstall scikit-image

pip3 install scikit-image==0.15.0 -U -i https://pypi.tuna.tsinghua.edu.cn/simple

checkpoints_G_coord_resnet50.zip国内可能下载不了，备用下载地址：https://download.csdn.net/download/a925907195/87893803

也可以下载完整代码+依赖文件（文件已经放到根目录，到时候只需要安装python依赖即可执行）

下载完后可以将这个解压放到程序根目录（所有后续执行默认都是根目录）

https://download.csdn.net/download/a925907195/87893816

所有一切ok后可以在根目录执行：python3  skymagic.py --path ./config/config-annarbor-thunderstorm.json

可以按需动态配置

{
  "net_G": "coord_resnet50",
  "ckptdir": "./checkpoints_G_coord_resnet50",

  "input_mode": "video",
  "datadir": "./test_videos/annarbor.mp4",
  "skybox": "thunderstorm.mp4",

  "in_size_w": 384,
  "in_size_h": 384,
  "out_size_w": 845,
  "out_size_h": 480,

  "skybox_center_crop": 0.6,
  "auto_light_matching": true,
  "relighting_factor": 0.5,
  "recoloring_factor": 1.0,
  "halo_effect": true,

  "output_dir": "./jpg_output",
  "save_jpgs": false
}

以下参考训练执行结果：

还是相当震撼，直接进行了融合改变

 

 作者原始介绍文章：华人学者推出视频修复AI，可换天造物，秒变科幻大片

github:GitHub - jiupinjia/SkyAR: Official Pytorch implementation of the preprint paper "Castle in the Sky: Dynamic Sky Replacement and Harmonization in Videos", in arXiv:2010.11800.