深度学习⑨GANs

news2024/11/25 5:25:43

Discriminative and Generative Models

Deep learning中主要两种模型

·  判别模型专注于从输入预测输出,例如分类任务。学习数据点和标签之间的特征

·  生成模型则试图理解数据是如何产生的,能够生成新的数据样本。理解数据分布和是否可以被预测

Quiz time: Discriminative models

Given some input data X and the corresponding labels Y, discriminative models maximize:

A. P(X, Y)

B. P(Y|X)

C. P(Y)

D. P(X|Y)

判别模型的目标是学习给定输入X的情况下,输出Y的条件概率,即x存在情况下,y的概率。这允许模型直接从输入预测输出,这正是判别模型的核心功能。理解这一点对于区分判别模型和生成模型至关重要。

So判别模型通过估计条件概率P(Y|X)来学习类别之间的决策边界。它们可以用于分类任务。

关键点:判别模型专注于区分不同的类别,而不是生成新的数据。

判别模型的主要目标是学习如何区分不同类别的数据。它们直接学习从输入到输出的映射,而不需要理解数据的生成过程。这使得判别模型在分类任务中非常有效。

Discriminative models learn the decision boundary between classes by estimating the conditional probability P(Y|X). They can be used for classification tasks.

图中的决策边界展示了模型如何将输入空间划分为不同的类别区域。这种可视化有助于理解判别模型的工作原理。

卷积神经网络(CNNs)也是判别模型的例子。CNNs在图像分类等任务中表现出色,正是因为它们善于学习区分不同类别的特征。

生成模型通过估计P(X,Y)来学习数据的底层分布(什么样的输入特征(X)和什么样的输出结果(Y)经常一起出现?),并且可以从这个分布中生成新的数据点。可以创建与训练数据相似的新数据样本。

核心目标是理解和模拟数据的生成过程。通过学习数据的联合分布P(X,Y)或边缘分布P(X),这些模型能够生成新的、看起来真实的数据样本。

这种能力使得生成模型在许多应用中非常有用,例如图像生成、数据增强、异常检测等。VAEs、GANs和扩散模型是当前最先进的生成模型,每种模型都有其独特的优势和应用场景。

GANs简介

什么是GANs?

  • 由Ian Goodfellow在2014年引入(NIPS 2014)

这是机器学习历史上的一个重要时刻。GANs的提出引起了广泛的关注,因为它提供了一种新的、创新的方法来生成逼真的数据。自那时起,GANs已经在多个领域产生了重大影响,特别是在图像生成和编辑方面。

具体来说就是一类生成模型,其中两个神经网络(生成器和判别器)在博弈论框架下一起训练。

核心思想是通过两个相互竞争的神经网络来训练生成模型:

  1. 生成器(Generator): 尝试创建看起来真实的假数据。
  2. 判别器(Discriminator): 尝试区分真实数据和生成器创建的假数据。

这两个网络在训练过程中相互对抗,不断改进。这种方法借鉴了博弈论的思想,两个网络就像是在玩一个零和游戏。

GANs如何工作

  1. 生成器的定义: x_j* = g[z_j, θ]         z噪音输入 θ是生成器参数

生成器利用 θ 来将随机噪声转换为尽可能接近真实数据的样本 xj

GANs的基本结构和工作流程:

  1. 生成器(G)接收随机噪声作为输入。
  2. 生成器创建假样本。
  3. 判别器(D)接收真实样本和生成的假样本。
  4. 判别器尝试区分真实样本和假样本。
  5. 系统根据判别器的反馈更新生成器和判别器。

这个过程不断重复,直到生成器能够创建出判别器无法区分真假的样本。

训练GAN

  1. 生成器G接收随机噪声z作为输入。
  2. 生成器创建假样本x*。
  3. 判别器D接收真实样本x和假样本x*。
  4. 判别器输出对每个样本是真实的概率估计。
  5. 系统计算损失函数。
  6. 基于损失函数更新生成器和判别器的参数。

GAN损失函数

最小损失函数,所以要加符号,-(负类+正类)

判别器的二元(真实或生成)交叉熵损失函数: 假设真实样本x的标签y=1,生成的样本x*的标签y=0 这样预测对就是0 错就有损失函数

注意:对θ最大化,因为我们希望生成的样本被错误分类!生成器的目标是最大化判别器错误分类的概率 so生成器的损失函数目标是最小化判别器的损失。

  • θ代表生成器的参数,z_j是输入的随机噪声。

判别器试图最小化这个损失,而生成器试图最大化它,这就创造了对抗性的训练动态。

极小极大博弈和纳什均衡Minimax game and Nash equilibrium

  • GAN训练被描述为极小极大博弈(博弈论)。
  • 解决方案是纳什均衡。
  • 例子:囚徒困境

在博弈论中,当每个玩家的策略对于其他玩家的策略都是最优的时,就达成了纳什均衡。没有玩家可以通过单方面改变策略来获益,而其他玩家的策略保持不变。

解释:

  1. GAN训练被视为一个极小极大博弈,其中生成器试图最大化判别器的错误,而判别器试图最小化自己的错误。
  2. 纳什均衡是这个博弈的理想解决方案,它代表了生成器和判别器达到的一个平衡点。
  3. 囚徒困境是博弈论中的一个经典例子,用来说明纳什均衡的概念。

在这个情况下,纳什均衡是双方都选择背叛对方,因为这能确保双方都不会冒更大风险(虽然合作能获得更好的总体结果,但背叛能避免最差的结果)。因此,双方最终选择背叛,以保证自己只受到较轻的惩罚。

GAN训练的目标是找到一个平衡点,在这个点上,生成器和判别器都无法通过单方面改变策略来改善自己的表现。

测验时间:纳什均衡

场景1纳什均衡是(Y,X),即玩家A选择Y,玩家B选择X。因为就算B去选择Y,也只是1,1,若A改变去选x反而更差

同理场景2纳什均衡是 (Y,X)

GAN收敛

  • GAN收敛时生成器和判别器的特征是什么?

生成器应能产生与真实数据几乎无法区分的样本,而判别器应该无法可靠地区分真实和生成的样本

  • 在什么时候GAN处于生成器达到最大值而判别器达到最小值的情况,并且它们都无法通过更新权重来获得更多收益?

即达到纳什平衡时,生成器和判别器的博弈达到一个平衡点。这个点,生成器试图最大化判别器犯错的概率,而判别器试图最小化这种错误率。最终,生成器无法再通过更新权重获得更多收益,判别器也无法通过调整进一步提高性能。理想的收敛点是当判别器的准确率接近50%时,这意味着它基本上在猜测,无法区分真实和生成的样本

  • 对生成器来说最好的情况是什么?这对判别器意味着什么?

生成判别器完全无法区分的样本。这意味着判别器将完全失效,为所有样本给出0.5的概率。

  1. 生成器的目标是生成遵循真实数据分布p_x的样本。
  2. 当GAN收敛时,判别器对任何输入给出0.5的概率,表示它无法区分真实和生成的样本。

DCGAN: 使用GAN生成图像

使用深度卷积生成对抗网络(DCGAN)生成图像

DCGAN的基本结构:

  1. 生成器接收随机噪声作为输入。
  2. 通过一系列反卷积(转置卷积)层,生成器逐步生成图像。
  3. 判别器接收真实图像和生成的图像作为输入。
  4. 判别器通过一系列卷积层来判断图像的真实性。

DCGAN是GAN在图像生成任务中的一个重要应用。它利用了卷积神经网络在处理图像数据方面的优势,使得GAN能够生成高质量的图像。

DCGAN生成的图像

DCGAN在生成逼真人脸方面的能力还不错。这些图像看起来相当真实,显示了不同的面部特征、表情和角度。

GANs的局限性和解决方案

GANs训练的困难

  • 不稳定和缓慢的训练Instable and slow training
  • 模式丢失/崩溃Mode dropping / collapse
  • 梯度消失Vanishing gradients

解释:

  1. 不稳定训练: GAN的训练过程可能非常不稳定,容易出现振荡或发散。
  2. 缓慢训练: 由于需要同时训练两个网络,GAN的训练可能非常耗时。
  3. 模式丢失/崩溃: 生成器可能只学会生成有限种类的样本,无法捕捉数据的全部多样性。
  4. 梯度消失: 在训练过程中,梯度可能变得非常小,导致学习停滞。

单纯理解就是 log作为损失函数 值越大 梯度越小

GAN的损失函数和Jensen-Shannon散度
  • 判别器的损失函数
  • 生成样本分布和真实样本分布之间的Jensen-Shannon散度(JSD)

  1. 判别器的损失函数是一个二元交叉熵损失,用于衡量判别器区分真实和生成样本的能力。
  2. Jensen-Shannon散度是衡量两个概率分布相似度的一种方法。在GAN中,它用于衡量生成的数据分布与真实数据分布的接近程度。
  3. GAN的训练过程可以被视为最小化生成分布和真实分布之间的JSD。

[图表显示了两个概率分布Pr(x*)和Pr(x)]

JSD有两个主要方面:质量(quality)和覆盖性(coverage)。质量指的是生成样本与真实样本的接近程度,覆盖性指的是生成样本是否能够涵盖真实数据分布的各个模式。

关键点:

  • JSD的一部分不依赖于生成器。
  • 生成器没有动力增加覆盖范围和对抗模式丢失!

解释:

  1. JSD的计算涉及这两个分布,但其中一部分只依赖于真实分布,与生成器无关。
  2. 这导致生成器缺乏直接的激励来增加其生成样本的多样性,可能导致模式崩溃问题。

然而,单靠JSD无法完全衡量生成器的覆盖能力,这意味着模型可能在训练中没有足够动力去生成完整的数据分布,导致模式丢失的现象。
GANs中的梯度消失
  • 真实样本和生成样本通常位于低维空间中。(虽然整体处于高维,但是真实的处于低维流体上)
  • 这些子空间之间几乎没有或根本没有重叠。
  • 真实和生成样本分布不相交也就是生成数据和真实的在低维空间没有重叠的可能性很高。
  • 这就导致生成器无法有效学习

梯度消失问题的原因。

图表显示: (左) 三维空间中的两条线。 (右) 三维空间中的两个曲面。2 line will not Intersect in space

解释:

  1. 高维空间中的低维流形很难有重叠。这意味着真实数据和生成数据可能位于完全分离的子空间中。
  2. 当真实和生成的分布完全分离时,判别器可以轻易地完美区分它们。
  3. 这导致判别器的梯度变得非常小或为零,使得生成器难以从判别器获得有用的反馈来改进其生成。

解释:

  1. 图表展示了当判别器变得越来越好时,其损失函数的梯度如何变小。
  2. 当判别器能够完美区分真实和生成的样本时,梯度接近于零
  3. 这导致生成器无法从判别器获得有用的反馈来改进其生成。

原始GAN的训练困境:

  • 要么:判别器变得太强,导致生成器的梯度消失,从而减慢或停止学习。
  • 或者:生成器过快变强,导致判别器更新不准确和训练结果不佳。
  • 需要找到一个微妙的平衡,这使得原始GAN公式的训练变得困难。

解释:

  1. 如果判别器学习得太快,它可能会完全压制生成器,导致生成器无法学习。
  2. 如果生成器学习得太快,判别器可能无法提供准确的反馈,导致整体训练质量下降。
  3. 理想的情况是两个网络保持相对平衡,但这在实践中很难实现。

理解这个困境对于理解为什么GANs难以训练以及为什么需要开发新的训练技术和损失函数很重要。

GANs的局限性和解决方案

改善GANs的训练稳定性

  • JSD不能为不相交的分布提供平滑和连续的度量

What about using a different distance metric?

  • 使用不同的距离度量如何?
  • Wasserstein距离(离散分布的Earth Mover's距离) 衡量两个分布的差异
  • 将一个分布转换为另一个分布所需的最小能量/工作量

解释:

  1. JSD在分布不重叠时会突然跳变0到log2,这不利于提供平滑的梯度。
  2. Wasserstein距离提供了一种更平滑的度量,即使在分布不重叠时也能提供有用的梯度。
  3. Wasserstein距离可以理解为将一个分布"搬运"到另一个分布所需的最小工作量。Minimum quantity of energy/work required to transform a distribution to the shape of another one

图表显示了JSD(D_JS)和Wasserstein距离(W)在不同分布重叠程度(θ)下的变化。当θ≠0时,两种度量都能提供有用的信息,但当θ=0(分布不重叠)时,只有Wasserstein距离能提供非零梯度。

其他改善GAN训练的方法
  • 渐进式增长 Progressive Growing
    • 开始学习生成小图像
    • 添加层以训练生成更大的图像
    • 擅长生成高分辨率真实图像
  • 小批量判别 Mini-batch discrimination
    • 计算跨小批量的特征统计
    • 作为特征图添加到判别器中
    • 有助于防止模式崩溃
  • 截断技巧 Truncation
    • 减少覆盖范围以提高质量

解释:

  1. 渐进式增长:通过gradually增加生成器和判别器的复杂度,可以更好地学习多尺度特征,最终生成高质量大图像。
  2. 小批量判别:通过考虑整个批次的统计信息,而不是单个样本,可以帮助判别器识别更多样化的样本,减少模式崩溃。
  3. 截断技巧:通过限制潜在空间的范围,可以在牺牲一些多样性的情况下提高生成样本的质量。

GANs的变体

条件生成Conditional generation

  • 生成具有特定属性的真实图像Generating realistic images with
  • specific attributes

条件GAN允许在生成过程中控制某些特定属性。例如,在生成人脸图像时,可以指定性别、年龄、表情等属性。这大大增加了GAN的实用性和可控性。

StyleGAN

  • 改进的图像质量和控制
  • 多阶段生成器,受转换后的潜在变量和噪声影响
  • 渐进式增长

解释:

  1. StyleGAN通过引入新的网络架构,显著提高了生成图像的质量和可控性。
  2. 它使用多阶段生成器,允许在不同的空间尺度上控制图像特征。
  3. 潜在变量经过非线性变换后用于控制生成过程,这增加了对生成图像风格的控制。
  4. 引入噪声输入增加了生成图像的细节变化。
  5. 采用渐进式增长策略,逐步增加图像分辨率,有助于生成高质量大尺寸图像。

·  风格层(Style Layer):在StyleGAN中,生成器不再直接从潜在空间(latent space)采样生成图像,而是通过一个“风格网络”来注入风格信息。这种风格信息可以控制生成图像的不同层次,例如粗粒度的特征(如脸型)和细粒度的特征(如皱纹)。

·  混合风格(Style Mixing):StyleGAN允许将多种风格混合在一起,比如将一个人的整体面部特征与另一人的发型或光影效果结合,产生新的生成结果。

·  逐层控制:不同于传统GANs,StyleGAN允许我们在不同的生成层次上控制图像的样式,这意味着我们可以分别控制大尺度的特征(如脸型、姿态)和小尺度的细节(如皮肤纹理)。

结论

  • GANs学习一个生成器网络,将随机噪声转换为与训练集无法区分的数据,以及一个判别器网络,试图区分真实样本和生成的样本。
  • 生成器被更新,使得生成的数据被判别器识别为更"真实"。
  • 原始GAN公式存在梯度消失和模式崩溃的问题。
  • 后续公式如Wasserstein GAN (WGAN)提供了更一致的训练信号。
  • 条件GAN和StyleGAN允许对输出进行更多控制。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2236758.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

[产品管理-58]:安索夫矩阵矩阵帮助创业者确定研发出来的产品在市场中定位策略

目录 一、提出背景 二、核心思想与结构 三、应用背景与领域 四、实践案例 安索夫矩阵(Ansoff Matrix),也被称为产品/市场方格或成长矢量矩阵,其应用背景可以从以下几个方面进行详细阐述: 一、提出背景 安索夫矩阵…

物联网对商业领域的影响

互联网彻底改变了通信方式,并跨越了因地理障碍造成的人与人之间的鸿沟。然而,物联网(IoT)的引入通过使设备能够连接到互联网,改变了设备的功能。想象一下,你的闹钟连接到互联网,并且能够用你的声…

微信小程序——用户隐私保护指引填写(详细版)

✅作者简介:2022年博客新星 第八。热爱国学的Java后端开发者,修心和技术同步精进。 🍎个人主页:Java Fans的博客 🍊个人信条:不迁怒,不贰过。小知识,大智慧。 💞当前专栏…

LED点阵显示(Proteus 与Keil uVision联合仿真)(点阵字模提取)

点阵字模提取: https://pan.baidu.com/s/1DZSeLyD_SUkaHRgTm26o-A 提取码: 1111 一、LED点阵显示器结构 点亮点阵中一个发光二极管条件:对应行为高电平,对应列为低电平。如在很短时间内依次点亮很多个发光二极管,LED点阵就可显示…

JDBC学习记录

文章目录 一、JDBC简介1.1、 JDBC概念1.2、 JDBC本质1.3、 JDBC好处 二、JDBC快速入门2.1、 编写代码步骤2.2、 代码示例 三、JDBC API详解3.1、DriverManager3.1.1、注册驱动3.1.2、获取连接 3.2、Connection3.2.1、获取执行对象3.2.2、事务管理 3.3、Statement3.3.1、执行DDL…

[Linux] 进程等待 | 进程替换

🪐🪐🪐欢迎来到程序员餐厅💫💫💫 主厨:邪王真眼 主厨的主页:Chef‘s blog 所属专栏:青果大战linux 总有光环在陨落,总有新星在闪烁 我有一个朋友&#x…

运用Agent搭建“狼人杀”游戏服务器端!

背景 从23年开年以来,大模型引爆了各行各业。去年比较出圈的是各类文生图的应用,比如Stable Diffusion。网上可以看到各类解释其背后的原理和应用的文章。另外一条平行线,则是文生文的场景。受限于当时LLM(大语言模型&#xff09…

笔记分享 |【黑马Pink老师】Web APIs

Web API 基本认知 介绍 严格意义上讲,我们在 JavaScript 阶段学习的知识绝大部分属于 ECMAScript 的知识体系; ECMAScript 简称 ES 它提供了一套语言标准规范,如变量、数据类型、表达式、语句、函数等语法规则都是由 ECMAScript 规定的&am…

Android Glide动态apply centerCropTransform(),transition withCrossFade动画,Kotlin

Android Glide动态apply centerCropTransform(),transition withCrossFade动画,Kotlin import android.graphics.Bitmap import android.os.Bundle import android.widget.ImageView import androidx.appcompat.app.AppCompatActivity import com.bumptech.glide.Glide import …

大数据学习10之Hive高级

1.Hive高级 将大的文件按照某一列属性进行GROUP BY 就是分区,只是默认开窗存储; 分区是按行,如一百行数据,按十位上的数字分区,则有十个分区,每个分区里有十行; 分桶是根据某个字段哈希对桶数取…

嵌入式新手必读好文,常见传感器类型中,LM393的作用,及模块原理(看不懂来问我)!!!

目录 序言 常感器基本知识 常见传感器原理 D0引脚的作用 如何设置电位器 欢迎指正,希望对你,有所帮助,禁止搬运!!! 前言:编写不易,请问搬运,仅供学习,有…

机器学习2_支持向量机_线性可分——MOOC

目录 定义 线性可分(Linear Separable) 线性不可分(Nonlinear Separable) 数学化定义 问题描述 优化问题 线性可分定义 假定训练样本集是线性可分的 1、最小化(Minimize): 2、限制条件…

git 工具原理

git 目录 git git的使用 了解git的三个区域 具体操作 如何下载别人上传到git的工程 -- 可以参考菜鸟教程,包括安装配置git Git 安装配置 | 菜鸟教程 -- Git 是一种分布式版本控制系统,用于管理软件项目的源代码。它是由 Linux 之父 Linus Torval…

MAN TruckScenes数据集:第一个用于自动驾驶卡车的大规模多模式数据集。

2024-07-15,为了推进自动驾驶卡车技术的发展并确保其在公共道路上的安全性,由慕尼黑工业大学和MAN Truck & Bus SE联合创建了MAN TruckScenes数据集。数据集首次为研究社区提供了一个包含丰富环境条件下的卡车特定挑战,如拖车遮挡、新型传感器视角和…

基于微信小程序的实习管理系统(附源码,文档)

博主介绍:✌程序员徐师兄、7年大厂程序员经历。全网粉丝12w、csdn博客专家、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域和毕业项目实战✌ 🍅文末获取源码联系🍅 👇🏻 精彩专栏推荐订阅👇…

mp3格式音频怎么做成二维码?扫码获取音频文件的制作方法

随着二维码的广泛使用,现在很多内容都会通过生成二维码的方式来传输内容,通过这种方式可以更快捷的实现内容分享,简化其他人获取内容的流程,有效提高效率。音频是目前常见的一种内容分享方式,比如录音、听力、音乐等类…

山东布谷科技:关于直播源码|语音源码|一对一直播源码提交App Store的流程及重构建议

自从YY、六间房开启国内聊天室和秀场等网红盛行的网络红利时代以来,紧随其后国内各大音视频平台相应出现,先有映客花椒等直播平台的风头正劲,后有功能板块更丰富的头条抖音Tiktok等,盈利功能点不仅仅有直播PK连麦等礼物打赏功能&a…

【NOIP普及组】统计单词数

【NOIP普及组】统计单词数 💐The Begin💐点点关注,收藏不迷路💐 一般的文本编辑器都有查找单词的功能,该功能可以快速定位特定单词在文章中的位置,有的还能统计出特定单词在文章中出现的次数。 现在&#x…

ArkTs语言常用数据类型和使用说明及示例(9种常用,7种非常用)

具体请前往:ArkTs语言基本数据类型及使用说明--包括9种常用变量类型和7种非常用类型

“双十一”电商狂欢进行时,在AI的加持下看网易云信IM、RTC如何助力商家!

作为一年一度的消费盛会,2024年“双十一”购物狂欢节早已拉开帷幕。蹲守直播间、在主播热情介绍中点开链接并加购,也已成为大多数人打开“双11”的重要方式。然而,在这火热的购物氛围背后,主播频频“翻车”、优质主播稀缺、客服响…