【总结】有三AI所有原创GAN相关的学习资料汇总（2022年12月）

GAN的研究和应用在这几年发展可以说是非常迅猛，无疑是这几年深度学习计算机视觉领域里落地性最酷的技术之一，包括图像与视频生成，数据仿真与增强，各种各样的图像风格化任务，人脸与人体图像编辑，图像质量提升等。

GAN最早期也是最经典的任务，就是高质量图像生成，当前已经可以生成1024分辨率以上的高清逼真图像，如下图生成了一些假明星脸。

图像翻译与风格化则是另外一个应用极其广泛的领域，因为从图像到图像的任务都可以称之为图像翻译任务，如经典的图像分割/边缘检测，图像超分辨率/图像风格化。随着生成对抗网络技术的成熟，我们可以将其用于各类图像翻译任务，常见的包括黑白图像上色，线稿上色，风格迁移，人脸风格化等任务。

如今基于GAN还可以实现一些非常有趣的应用，比如人脸的各种属性编辑。

最新的人脸换脸等技术被广泛应用于影视剧内容创作，如网络电视剧《风声》中周一围换脸赵立新。

纵观整个CV领域，做GAN算法的从业者其实不多，做得好的就更少了，下面是比较典型的对GAN方向的岗位需求。

学好GAN算法，对于计算机视觉领域从业，自然是不会错的。我们公众号输出过非常多的GAN相关资源，本次做一个简单汇总，主要是包括几十篇理论与实战技术文章，免费与付费的视频课，知识星球中的GAN模型原理解读专题。

GAN相关技术文章

2019年起，小米粥同学开设过专栏《GAN的优化》，主讲了GAN相关的基础理论。本专栏及其后续内容有超过15篇文章，从生成模型出发，讲述了GAN的基本理论，包括工作原理，更具有普适性的f散度度量和Wasserstein距离，以及IPM框架；接着介绍了GAN训练困难的原因以及几个训练技巧，各种GAN的正则项的优劣；GAN中的模式崩溃问题以及几个比较好的解决方案。

相关文章请阅读：

【完结】12篇GAN的优化文章大盘点，浓浓的数学味儿

【GAN优化】长文综述解读如何定量评价生成对抗网络(GAN)

【GAN优化外篇】详解生成模型VAE的数学原理

【生成模型】关于无监督生成模型，你必须知道的基础

【生成模型】极大似然估计，你必须掌握的概率模型

【生成模型】解读显式生成模型之完全可见置信网络FVBN

【生成模型】简述概率密度函数可处理流模型

【生成模型】浅析玻尔兹曼机的原理和实践

实战更是硬道理，show me the code！为了让大家能够从理论和实践同时掌握好GAN模型，我们公众号也开设了《百战GAN》的实战专栏。本专栏挑选经典GAN模型进行原理讲解，代码剖析，完成模型训练与测试，已有的内容包括图像生成，图像分割，图像增强，图像风格化，图像超分辨等领域，欢迎大家进行投稿。

相关文章请阅读：

【百战GAN】适合所有人的第一个GAN项目：DCGAN图像生成代码实战

【百战GAN】自动增强图像对比度和颜色美感，GAN如何做？

【百战GAN】GAN也可以拿来做图像分割，看起来效果还不错？

【百战GAN】如何使用GAN给黑白老照片上色？

【百战GAN】StyleGAN原理详解与人脸图像生成代码实战

【百战GAN】StyleGAN人脸属性（表情年龄性别）编辑代码实战

【百战GAN】羡慕别人的美妆？那就用GAN复制粘贴过来

【百战GAN】定制属于二次元宅们的专属动漫头像，这款GAN正好！

【百战GAN】SRGAN人脸低分辨率老照片修复代码实战

保持相关论文阅读是基本的学习习惯，我们推荐了许多GAN的相关文章，供大家循序渐进进行学习，如下：

【完结】12篇GAN的优化文章大盘点，浓浓的数学味儿

【模型解读】历数GAN的5大基本结构

【每周CV论文推荐】初学GAN必须要读的文章

【每周CV论文推荐】GAN与VAE的结合，有哪些必读的论文？

【每周CV论文推荐】StyleGAN人脸属性编辑有哪些经典论文需要阅读

【每周CV论文推荐】初学基于GAN的视频生成有哪些经典论文需要阅读

【每周CV论文推荐】初学基于GAN的三维图像生成有哪些经典论文需要阅读

【每周CV论文推荐】基于GAN的图像数据增强有哪些经典论文值得阅读

【每周CV论文推荐】GAN如何用于目标检测模型提升性能？

【每周CV论文推荐】GAN如何用于图像分割模型提升性能？

【每周CV论文推荐】初学基于GAN的图像语义编辑，需要阅读哪些论文？

【每周GAN论文推荐】最经典与常见的GAN目标函数设计汇总

【每周CV论文推荐】GAN在医学图像生成与增强中的典型应用

【每周CV论文推荐】基于GAN的对抗攻击，适合阅读那些文章入门？

【每周CV论文推荐】GAN在医学图像分割中的典型应用

【每周CV论文推荐】GAN在自动驾驶视觉任务中的典型应用

【每周CV论文推荐】基于GAN的图像降噪值得阅读的文章

【每周CV论文推荐】基于GAN的图像对比度与色调映射增强值得阅读的文章

【每周CV论文推荐】基于GAN的图像超分辨值得阅读的文章

【每周CV论文推荐】基于GAN的图像修复值得阅读的文章

GAN相关视频专栏

为了在最大程度上让大家掌握好GAN各类模型理论和应用，我们也推出了GAN的一些理论与实战专栏，已经基本完结的包括《深度生成模型GAN：理论基础篇》，《深度学习之图像生成GAN：理论实践篇》，《深度学习之图像翻译GAN：理论实践篇》，《深度学习之图像增强GAN：理论实践篇》，《深度学习之人脸属性编辑：理论实践篇》。

《深度生成模型GAN：理论基础篇》讲解了GAN的基础理论，内容包括生成模型基础，自编码器与变分自编码器，生成对抗网络基础，GAN优化目标设计与改进，GAN的评估……

完整的介绍，请阅读：【视频课】永久免费课程！如何掌握好深度生成模型与GAN的基础理论知识

子欲学GAN算法，必先从图像生成开始！这就是《深度学习之图像生成GAN：理论实践篇》期望帮大家搞定的问题！

本课程内容包括图像生成的各个经典算法与实践，时长超过5个小时：

(1) 理论部分。详细解读了基本的卷积GAN，各类条件生成GAN，强大的StyleGAN系列，数据增强与仿真GAN，视频生成GAN，既有足够的宽度，也具备有足够的深度。

(2) 实践部分。本次课程中一共已经包含了2个Pytorch实战案例，分别为DCGAN人脸嘴唇表情生成任务，StyleGAN人脸图像生成任务，后续还会增加3D与视频部分的实践内容，部分案例效果如下：

完整的介绍，请阅读：【视频课】CV必学，超6小时，2大模块，循序渐进地搞懂GAN图像生成！

图像翻译与风格化是GAN应用最为广泛的领域，《深度学习之图像翻译GAN-理论实践篇》专栏课程就是为此服务。

课程讲解图像翻译核心领域的算法与实践，当前时长约7个小时，理论讲解详细，案例丰富，下面是当前课程的大纲脑图：

(1) 理论部分：涵盖了深度学习之图像翻译的核心方向，如有监督图像翻译模型，无监督图像翻译模型，多域图像翻译模型。我们会非常详细地讲解算法中的细节，帮助彻底消化算法原理；并且后续还会有更多模型的更新。

(2) 实践部分：本次课程中一共已经包含了3个实践案例，分别为基于Pix2Pix的黑白图像上色实战，基于StarGAN的人脸表情编辑实战，基于BeautyGAN的人脸美妆实战，后续还会增加其他方向的实战，部分案例结果图如下：

完整的课程介绍，请阅读：【视频课】CV必学，超7小时，3大模块，3大案例，掌握图像翻译与风格化GAN核心技术！

GAN在底层图像处理中应用非常广泛，《深度学习之图像翻译GAN-理论实践篇》专栏课程就是为此服务。

课程讲解图像增强核心领域的算法与实践，当前时长约8个小时，理论讲解详细，案例丰富，下面是当前课程的大纲脑图：

(1) 理论部分内容：涵盖了深度学习之图像增强GAN的核心方向，包括图像降噪、图像去模糊、图像超分辨、图像色调映射、图像修复。我们会非常详细地讲解算法中的细节，帮助彻底消化算法原理；并且后续还会有更多模型的更新。

(2) 实践部分内容：本次课程中一共已经包含了3个实践案例，分别为基于SRGAN的图像超分辨实战，基于EnlightenGAN的图像增强实战，基于DANet的图像降噪实战，部分案例结果图如下，后续还会增加其他方向的实战：

完整的课程介绍，请阅读：【视频课】超8小时，5大模块，掌握基于GAN的图像增强应用（降噪色调映射去模糊超分辨修复）

GAN在人脸人体图像编辑中的应用是近几年来最重要的新技术，也是当前众多相关产品的核心技术，《深度学习之人脸属性编辑-理论实践篇》专栏课程就是为此服务。

课程讲解人脸属性编辑核心领域的算法与实践，当前时长约10个小时，理论讲解详细，案例丰富，下面是当前课程的大纲脑图：

(1) 理论部分内容：涵盖了深度学习之人脸属性编辑的核心方向，包括基于StyleGAN模型的通用人脸属性编辑，基于图像翻译模型的通用人脸属性编辑，以及各类专用的人脸属性编辑模型，包括人脸表情、年龄、姿态、妆造等。我们会非常详细地讲解算法中的细节，帮助彻底消化算法原理；并且后续还会有更多模型的更新。

(2) 实践部分内容：本次课程中一共已经包含了3个实践案例，分别为基于StyleGAN的通用人脸属性编辑实战，基于StarGAN的人脸表情编辑实战，基于BeautyGAN的人脸妆造编辑实战，下面是基于StyleGAN的属性编辑实战效果图：

完整的课程介绍，请阅读：【视频课】超10小时，3大模块，掌握深度学习人脸属性编辑算法理论与实践

另外，也有一些独立的GAN相关的实战课程，大家可以查看下面的介绍。

【项目实战课】【项目实战课】基于Pytorch的EnlightenGAN自然图像增强实战

【项目实战课】【项目实战课】基于Pytorch的DANet自然图像降噪实战

【项目实战课】基于Pytorch的StyleGAN人脸属性（表情、年龄、性别）编辑实战

【项目实战课】基于Pytorch的StyleGAN v1人脸图像生成实战

【项目实战课】基于Pytorch的StarGAN人脸表情编辑实战

【项目实战课】基于Pytorch的UGATIT人脸动漫风格化实战

【项目实战课】基于Pytorch的BeautyGAN人脸智能美妆实战

【项目实战课】基于Pytorch的Pix2Pix黑白图片上色实战

【项目实战课】基于Pytorch的SRGAN图像超分辨实战

【项目实战课】基于Pytorch的DCGAN人脸嘴部表情图像生成实战

最后，欢迎大家来我们平台投稿原创的技术专栏，申请开设相关实战类课程。

GAN书

上个月我们新书《生成对抗网络GAN：原理与实践》已经在机械工业出版社正式出版，本次书籍为我与师弟郭晓洲共同写作，也是第一本有三与人合著的书籍。这是一本系统性地讲解GAN理论、模型、常见问题，并为视觉和语音领域的大部分应用场景提供GAN解决方案和综合实践的书。

全书正文约340页，共计12章，本书是业界系统性地讲解生成对抗网络原理与实践的书籍，与其他同类书籍相比，本书内容更加深入与充分，全书目录如下。

书籍完整介绍请阅读：言有三新书来袭，全面系统性地讲解生成对抗网络GAN原理与实践

本书有少量签名版可购买，大家可以联系有三微信Longlongtogo，实拍图如下：

CV秋季划-GAN组

最后，如果大家想要一次性获取所有GAN相关的学习资源（包括视频、图文、书籍等），可以加入有三AI-CV秋季划GAN组，永久拥有有三AI社区所有GAN相关的学习课程资源，相关介绍可阅读下面视频与文章。

【CV秋季划】生成对抗网络GAN有哪些研究和应用，如何循序渐进地学习好（2022年言有三一对一辅导）？

有三AI知识星球-GAN板块

有三AI知识星球是我们公众号内容的升级，包含更多更新技术的图文解读（注意星球是一个图文知识社区），关于星球的介绍如下。

【重要】有三AI知识星球不再对外公开！还想加入的有哪些途径？

知识星球中一个非常重要的模块就是GAN，内有超过100期经典GAN模型的解读，下面是其中一些重要模块的归类预览。

星球里的学习方式为提供论文下载+论文解读，如下：

细分到各个方向，包括图像与语音生成GAN，图像分割与目标检测GAN，图像编辑与创作GAN，图像翻译/风格化GAN，图像增强GAN，人脸与人体GAN，以及其他各领域未明确归类的GAN。

(1) 图像与语音生成GAN。

内容覆盖基本的GAN模型（从DCGAN到SAGAN），条件GAN（CGAN等），多尺度GAN模型（从LAPGAN到StyleGAN），与VAE的结合（ALI等），图像增强与仿真GAN（从BAGAN到SimGAN），多判别器与生成器GAN（从TripleGAN到MAD-GAN），三维GAN（VON）等，视频GAN（从MocoGAN到MDGAN等）。

(2) 图像翻译/风格化GAN。

内容包括有监督的图像翻译GAN（从Pix2pix到Pix2pixHD）与无监督的图像翻译GAN。其中无监督的图像翻译GAN是重点，介绍各类基本模型（UNIT，CycleGAN等），多域拓展（从MUNIT到StarGAN），以及各类应用（Whitebox GAN等）。

(3) 图像增强GAN。

内容包括GAN在各类图像增强任务中的应用，包括图像降噪（GCBD等），对比度增强（EnhanceGAN等），超分辨（从SRGAN到Cycle in Cycle GAN），图像修复（从CE到ARGAN等），图像去模糊（从DeblurGAN到DBGAN等）。

(4) 人脸人体GAN。

内容包括GAN在人脸人体生成与编辑中的各类应用，包括人脸风格化（UGATIT等），人脸妆造（BeautyGAN等），年龄编辑（CAAE等），表情编辑（G2GAN等），姿态编辑（FFGAN等），关键点检测（Boundary-aware GAN等），人脸补全（Face De-occusion GAN等），人脸识别（Dual Agent GAN等），人脸超分辨（Pulse等），人脸修复（Old Photo Restore GAN等），人脸驱动（ReenactGAN等），通用人脸属性编辑（StyleGAN及其变种），姿态迁移（Everybody Dance GAN等），人脸换装（VITON等）。