引子

近期，文生图，wav2lip很火，文生图，见识的太多，不多说了。wav2lip其通过语音驱动唇部动作并对视频质量进行修复，里面一般涉及到三个步骤，文本到语音转化，语音驱动唇部动作，图像质量修复。最后一步骤涉及到图像质量修复，考虑到之前做过基于GFP-GAN相关的工作，在此，总结汇总下。本文主要介绍腾讯在人像复原、超分等方面的佳作 GFP-GAN。在 wav2lip 中扮演视频质量判别器的任务，负责对嘴唇修复后的图像帧进行质量修复，提供更高质量的视频效果。虽然是三年前的成果，目前来看效果依然还是十分不错的。OK，让我们开始吧。

一、环境搭建

conda create -n GFPGAN python=3.7

conda activate GFPGAN

# 克隆源码

git clone GitHub - TencentARC/GFPGAN: GFPGAN aims at developing Practical Algorithms for Real-world Face Restoration.

cd GFPGAN

# 安装 basicsr，训练和测试中都需要用到

pip install basicsr -i Simple Index

# 安装facexlib用于人脸检测以及人脸重建的助手

pip install facexlib -i Simple Index

pip install -r requirements.txt

python setup.py develop

# 安装realesrgan包，用于增强没有人脸情况下的背景，项目刚好需要，就安装了

pip install realesrgan -i Simple Index

#模型下载

https://github.com/TencentARC/GFPGAN/releases/download/v1.3.0/GFPGANv1.4.pth

二、测试

python inference_gfpgan.py -i inputs/whole_imgs -o results -v 1.4 -s 2

测试效果如下：