1、神经风格迁移

\qquad 神经风格迁移就是将一幅原有的图片(content picture, C)，对照着一幅风格图片(style picture, S)，生成一幅新的图片(generated picture, G)，如下图所示：

2、生成图片的代价函数

\qquad 生成图片的代价函数由两部分组成，一部分称为内容代价(content cost)，另一部分称为风格代价(style cost)，
$$J(G)=\alpha J_{content}(C,G)+\beta J_{style}(S,G)$$
\qquad 神经风格迁移图片生成的过程如下所示：

1. 初始化生成图片G为一幅白噪声图，并规定图片G的尺寸，e.g., 100×100×3
2. 使用梯度下降算法来优化生成图片G的代价函数，并更新图片G：
   $$G:=G-\frac{\partial }{\partial G}J(G)$$
   \qquad 内容代价函数的定义方式如下所示：

• [1] 选择一个卷积神经网络中的某一层$l$，$l$不要太深也不要太浅
• [2] 使用一个预先训练好的卷积网络，如VGG network
• [3] 令$a^{[l](C)}$和$a^{[l](G)}$分别表示内容图片C和生成图片G在神经网络第$l$层的激活值
• [4] 如果$a^{[l](C)}$和$a^{[l](G)}$十分相似，则内容图片和生成图片有相似的内容，
  $$J_{content}(C,G)=\frac{1}{2}||a^{[l](C)}-a^{[l](G)}|{|}^2$$

\qquad 要定义风格代价函数，首先需要介绍风格矩阵，表示表示输入图片在神经网络某一层$l$不同通道之间激活值的相关系数矩阵，如令$a_{i,j,k}^{[l]}$表示在第$k$个通道下，$(i,j)$位置的激活值。令$G^{[l](S)}$表示风格图片在第$l$层的风格矩阵，其维度为$n_c^{[l]}\times n_c^{[l]}$，其中$n_c^{[l]}$表示第$l$层的通道数量。
\qquad 风格图片S的风格矩阵$G^{[l](S)}$中每一个元素的定义方式如下所示：
$$G_{k,k^{\prime }}^{[l](S)}=\sum _{i=1}^{n_H^{[l]}}\sum _{j=1}^{n_W^{[l]}}{a}_{i,j,k}^{[l](S)}{a}_{i,j,k^{\prime }}^{[l](S)}$$
\qquad 生成图片G的风格矩阵$G^{[l](G)}$中每一个元素的定义方式如下所示：
$$G_{k,k^{\prime }}^{[l](G)}=\sum _{i=1}^{n_H^{[l]}}\sum _{j=1}^{n_W^{[l]}}{a}_{i,j,k}^{[l](G)}{a}_{i,j,k^{\prime }}^{[l](G)}$$
\qquad 第$l$层的风格代价函数的定义如下所示：
$$J_{style}^{[l]}(S,G)=\frac{1}{(2n_H^{[l]}{n}_W^{[l]}{n}_C^{[l]}{)}^2}\sum _k\sum _{k^{\prime }}(G_{k,k^{\prime }}^{[l](S)}-G_{k,k^{\prime }}^{[l](G)}{)}^2$$
\qquad 通常风格代价函数需要对所有神经网络层中的进行累和，表示整个网络的风格代价函数：
$$J_{style}(S,G)=\sum _l{\lambda }^{[l]}{J}_{style}^{[l]}(S,G)$$

THE END