论文地址;[1512.09300] Autoencoding beyond pixels using a learned similarity metric (arxiv.org) /

一、Introduction

主要讲了深度学习中生成模型存在的问题，即常用的相似度度量方式（使用元素误差度量）对于学习良好的生成模型存在一定的障碍，并提出了一种新的方法——使用学习到的相似度度量方式来改善生成模型的性能。同时，该部分还介绍了如何学习这种相似度度量方式，即通过联合训练变分自编码器(VAE)和生成对抗网络(GAN)来使用GAN鉴别器来度量样本之间的相似度。

注意：

使用学习相似性度量训练的生成模型与使用元素误差度量训练的模型的区别在于相似性度量的方式不同。使用元素误差度量训练的模型是默认的选择，它使用像平方误差这样的逐元素度量来衡量重建质量。而使用学习相似性度量训练的生成模型则可以使用更高级的、基于特征的度量来衡量重建质量，并且可以在学习中提供更好的数据分布建模。这种方法可以更好地捕捉图像数据的特性，例如对平移等变性的不变性，从而提高生成模型的性能。

二、Autoencoding with learned similarity

本章节主要介绍了如何使用学习到的相似度度量来改进生成模型，特别是在学习像变分自编码器（VAE）这样的模型时，元素级别的相似度度量会成为训练信号的主要组成部分。文章提出了一种基于联合训练VAE和生成对抗网络（GAN）的方法，将GAN鉴别器中学习到的特征表示作为VAE重构目标的基础，从而用特征级别的相似度度量替换元素级别的误差，更好地捕捉数据分布。文章还介绍了如何在人脸图像上应用该方法，并展示了该方法比使用元素级别相似度度量的VAE在视觉保真度方面表现更好的结果。此外，文章还展示了该方法学习到的嵌入空间具有高级别的抽象视觉特征，可以通过简单的算术操作进行修改。

三、Related Work

讨论了之前的相关研究，特别关于使用自编码器进行特征学习和图像重建的研究它提到了一些使用变分自编码器和生成对抗网络方法来提高自编码器重建质量和学习更好的征表示的研究。此外，该部分还介绍了一些特征匹配和相似度度量的方法来比较图像相性的研究。

总结：

本文介绍了一种基于学习相似度度量的自编码器，该自编码器结合了变分自编码器和生成对抗网络的优点，使用GAN鉴别器中学习到的特征表示作为VAE重构目标的基础，从而用特征级别的误差代替元素级别的误差更好地捕捉数据分布。作者在人脸图像数据集上的实验结果表明，与使用元素级别相似度度量的VAE相比，该方法在视觉保真度方面表现更好，同时也展示了该方法学习到了一个内在空间，其中高级别的抽象视觉特征（如戴眼镜）可以通过简单的算术运算进行修改。