文章目录
- 深度生成模型之GAN基础
- 生成对抗网络
- 1. 生成对抗网络如何生成数据
- 2. 生成对抗原理
- 3. GAN的核心优化目标
- 4. D的优化
- 5. GAN的理想状态
- 6. GAN的训练
- 7. 梯度不稳定与模式崩塌(collapse mode)问题
- 8. 梯度消失问题
深度生成模型之GAN基础
生成对抗网络
1. 生成对抗网络如何生成数据
- 生成对抗网络(Generative Adversarial Network,GAN),不显式地估计出数据分布的密度函数，但能生成符合数据分布P_data(x)的样本
2. 生成对抗原理
- 生成网络和判别网络相互对抗(adversarial),共同学习
3. GAN的核心优化目标
- 生成器损失与判别器损失
4. D的优化
- 判别器的优化目标
- 生成器优化目标
5. GAN的理想状态
- 约翰-纳什提出的纳什均衡(Nash equilibrium)
6. GAN的训练
- SGD交替优化，先更新k次判别器，保证判别网络足够强，再更新生成网络
7. 梯度不稳定与模式崩塌(collapse mode)问题
- 矛盾与不对称的优化目标
8. 梯度消失问题
- 过大过小的激活值，梯度进入消失区
- 部分内容来自阿里云天池
