简介

经过大约两周左右的学习，对深度学习有了一个初步的了解，最近的任务主要是精读深度学习方向的文献，由于搭建caffe平台失败而且比较耗费时间就没有再尝试，所以并没有做实践方面的工作，本文只介绍了阅读文献学到的知识，主要包括深度学习发展的过程意义和四种常见的种网络模型（卷积神经网络，深度信念网络，循环神经网络，堆叠自编码网络），重点精读了卷积神经网络的实现过程。

发展过程

第一代神经网络（1958~1969）
最早的神经网络的思想起源于1943年的MCP人工神经元模型，当时是希望能够用计算机来模拟人的神经元反应的过程，该模型将神经元简化为了三个过程：输入信号线性加权，求和，非线性激活（阈值法）。如下图所示

第一次将MCP用于机器学习（分类）的当属1958年Rosenblatt发明的感知器（perceptron）算法。该算法使用MCP模型对输入的多维数据进行二分类，且能够使用梯度下降法从训练样本中自动学习更新权值。1962年，该方法被证明为能够收敛，理论与实践效果引起第一次神经网络的浪潮。
然而学科发展的历史不总是一帆风顺的。1969年，美国数学家及人工智能先驱Minsky在其著作中证明了感知器本质上是一种线性模型，只能处理线性分类问题，就连最简单的XOR（亦或）问题都无法正确分类。这等于直接宣判了感知器的死刑，神经网络的研究也陷入了近20年的停滞。
第二代神经网络（1986~1998）
第一次打破非线性诅咒的当属现代DL大牛Hinton，其在1986年发明了适用于多层感知器（MLP）的BP算法，并采用Sigmoid进行非线性映射，有效解决了非线性分类和学习的问题。该方法引起了神经网络的第二次热潮。
1989年，Robert Hecht-Nielsen证明了MLP的万能逼近定理，即对于任何闭区间内的一个连续函数f，都可以用含有一个隐含层的BP网络来逼近该定理的发现极大的鼓舞了神经网络的研究人员。
也是在1989年，LeCun发明了卷积神经网络-LeNet，并将其用于数字识别，且取得了较好的成绩，不过当时并没有引起足够的注意。
值得强调的是在1989年以后由于没有特别突出的方法被提出，且NN一直缺少相应的严格的数学理论支持，神经网络的热潮渐渐冷淡下去。冰点来自于1991年，BP算法被指出存在梯度消失问题，即在误差梯度后向传递的过程中，后层梯度以乘性方式叠加到前层，由于Sigmoid函数的饱和特性，后层梯度本来就小，误差梯度传到前层时几乎为0，因此无法对前层进行有效的学习，该发现对此时的NN发展雪上加霜。
1997年，LSTM模型被发明，尽管该模型在序列建模上的特性非常突出，但由于正处于NN的下坡期，也没有引起足够的重视。
第三代神经网络-DL（2006-至今）
该阶段又分为两个时期：快速发展期（2006_{2012）与爆发期（2012}至今）
快速发展期（2006~2012）
2006年，DL元年。是年，Hinton提出了深层网络训练中梯度消失问题的解决方案：无监督预训练对权值进行初始化+有监督训练微调。其主要思想是先通过自学习的方法学习到训练数据的结构（自动编码器），然后在该结构上进行有监督训练微调。但是由于没有特别有效的实验验证，该论文并没有引起重视。
2011年，ReLU激活函数被提出，该激活函数能够有效的抑制梯度消失问题。
2011年，微软首次将DL应用在语音识别上，取得了重大突破。
爆发期（2012~至今）
2012年，Hinton课题组为了证明深度学习的潜力，首次参加ImageNet图像识别比赛，其通过构建的CNN网络AlexNet一举夺得冠军，且碾压第二名（SVM方法）的分类性能。也正是由于该比赛，CNN吸引到了众多研究者的注意。

卷积神经网络

卷积神经网络（CNN）由输入层、卷积层、激活函数、池化层、全连接层组成，即INPUT-CONV-RELU-POOL-FC
(1) 卷积层： 用它来进行特征提取，如下：

输入图像是32323，3是它的深度（即R、G、B），卷积层是一个553的filter(感受野)，这里注意：感受野的深度必须和输入图像的深度相同。通过一个filter与输入图像的卷积可以得到一个28281的特征图。我们通常会使用多层卷积层来得到更深层次的特征图。
输入图像和filter的对应位置元素相乘再求和，最后再加上b,得到特征图。如图中所示，filter w0的第一层深度和输入图像的蓝色方框中对应元素相乘再求和得到0，其他两个深度得到2，0，则有0+2+0+1=3即图中右边特征图的第一个元素3.，卷积过后输入图像的蓝色方框再滑动，stride=2。
关于卷积的过程图解如下：


（2）池化层： 对输入的特征图进行压缩，一方面使特征图变小，简化网络计算复杂度；一方面进行特征压缩，提取主要特征，池化操作一般有两种，一种是Avy Pooling,一种是max Pooling,如下：

同样地采用一个22的filter,max pooling是在每一个区域中寻找最大值，这里的stride=2,最终在原特征图中提取主要特征得到上图。（Avy pooling现在不怎么用了，方法是对每一个22的区域元素求和，再除以4，得到主要特征），而一般的filter取22,最大取33,stride取2，压缩为原来的1/4。
全连接层： 连接所有的特征，将输出值送给分类器（如softmax分类器）。
总的一个结构大致如下：

权值共享： CNN，其一个亮点就是通过感受野和权值共享减少了神经网络需要训练的参数的个数。
下图左图所示：若我们有1000x1000像素的图像，有1百万个隐藏层的神经元，如果全连接（即每个隐层神经元都要与图像的每一个像素点进行连接），就有1000x1000x1000000=10^ 12 个连接，也就是10^12个权值参数。但是图像的空间联系是局部的，就像人是通过一个局部的感受野去感受外界图像一样，每一个神经元都不需要对全局图像做感受，因为每个神经元只感受局部的图像区域，然后在更高层，将这些感受不同局部的神经元综合起来可得到全局信息。这样，我们就可以减少连接的数目，即减少神经网络需要训练的权值参数的个数了。

上图右图所示：假如局部感受野是10x10，则隐层每个感受野只需要和这10x10的局部图像相连接，所以1百万个隐层神经元就只有一亿个连接，即10^8个参数。我们知道，隐藏层的每一个神经元都连接10x10个元素的图像区域，也就是说每一个神经元存在10x10=100个连接权值参数。如果我们每个神经元这100个参数是相同的，也就是说每个神经元用的是同一个卷积核去卷积图像。这样我们就只有100个参数。
一种滤波器，也就是一种卷积核就是提取出图像的一种特征。那么我们需要提取不同的特征，需要加多几种滤波器，假设我们加到50，每种滤波器的参数不一样，表示它提出输入图像的不同特征，例如不同的边缘。这样每种滤波器去卷积图像就得到对图像的不同特征的放映，我们称之为Feature Map。所以50种卷积核就有对应的50个Feature Map。这50个Feature Map就组成了一层神经元。50种卷积核x每种卷积核共享100个参数=50100，也就是5000个参数，不仅可以提取多方面的特征而且还可以减少计算。见上图右：不同的颜色表示不同的滤波器。
反向传播器： 我们以求e=(a+b)(b+1)的偏导[3]为例，它的复合关系画出图可以表示如下：

在图中，引入了中间变量c,d。
为了求出a=2, b=1时，e的梯度，我们可以先利用偏导数的定义求出不同层之间相邻节点的偏导关系，如下图所示。

利用链式法则我们知道：

大家也许已经注意到，这样做是十分冗余的，因为很多路径被重复访问了。比如上图中，a-c-e和b-c-e就都走了路径c-e。对于权值动则数万的深度模型中的神经网络，这样的冗余所导致的计算量是相当大的。同样是利用链式法则，BP算法则机智地避开了这种冗余，它对于每一个路径只访问一次就能求顶点对所有下层节点的偏导值。
正如反向传播(BP)算法的名字说的那样，BP算法是反向(自上往下)来寻找路径的。从最上层的节点e开始，初始值为1，以层为单位进行处理。对于e的下一层的所有子节点，将1乘以e到某个节点路径上的偏导值，并将结果“堆放”在该子节点中。等e所在的层按照这样传播完毕后，第二层的每一个节点都“堆放"些值，然后我们针对每个节点，把它里面所有“堆放”的值求和，就得到了顶点e对该节点的偏导。然后将这些第二层的节点各自作为起始顶点，初始值设为顶点e对它们的偏导值，以"层"为单位重复上述传播过程，即可求出顶点e对每一层节点的偏导数。


可以看出，反向微分算法保留了所有变量包括中间变量对结果e的影响。若e为误差函数，则对图进行一次计算，则可以得出所有结点对e的影响，也就是梯度值，下一步就可以利用这些梯度值来更新边的权重；而正向微分算法得到的结果是只保留了一个输入变量对误差e的影响，显然，想要获得多个变量对e的影响，我们就需要进行多次计算，所以正向微分算法在效率上明显不如反向微分，这也是我们选择反向微分算法的原因。

Stacked Auto-Encoder堆叠自编码器

堆叠自编码器是一种最基础的深度学习模型，该模型的子网络结构自编码器通过假设输出与输入是相同的来训练调整网络参数，得到每一层中的权重。通过堆叠多层自编码网络可以得到输入信号的几种不同表征（每一层代表一种表征），这些表征就是特征。自动编码器就是一种尽可能复现输入信号的神经网络。为了实现这种复现，自编码器就必须捕捉可以代表输入数据的最重要的因素，就像PCA那样，找到可以代表原信息的主要成分。 网络结构堆叠自编码器的网络结构本质上就是一种普通的多层神经网络结构。

训练过程堆叠自编码器与普通神经网络不同之处在于其训练过程，该网络结构训练主要分两步：非监督预训练和有监督微调训练。
（1）非监督预训练自编码器通过自学习得到原始数据的压缩和分布式表征，一般用于高层特征提取与数据非线性降维。结构上类似于一个典型的三层BP神经网络，由一个输入层，一个中间隐含层和一个输出层构成。但是，输出层与输入层的神经元个数相等，且训练样本集合的标签值为输入值，即无标签值。输入层到隐含层之间的映射称为编码（Encoder），隐含层到输出层之间的映射称为解码（Decoder）。非监督预训练自编码器的中间层为特征层，在训练好第一层特征层后，第二层和第一层的训练方式相同。我们将第一层输出的特征层当成第二层的输入层，同样最小化重构误差，就会得到第二层的参数，并且得到第二层输入的特征层，也就是原输入信息的第二个表征。以此类推可以训练其他特征层。
（2）有监督微调训练经过上面的训练方法，可以得到一个多层的堆叠自编码器，每一层都会得到原始输入的不同的表达。到这里，这个堆叠自编码器还不能用来分类数据，因为它还没有学习如何去连结一个输入和一个类。它只是学习获得了一个可以良好代表输入的特征，这个特征可以最大程度上代表原输入信号。那么，为了实现分类，我们就可以在AutoEncoder的最顶的编码层添加一个分类器（例如逻辑斯蒂回归、SVM等），然后通过标准的多层神经网络的监督训练方法（梯度下降法）微调训练。

Deep belief network 深度信念网络

网络结构深度信念网络（DBN）由若干层受限玻尔兹曼机（RBM）堆叠而成，上一层RBM的隐层作为下一层RBM的可见层。下面先介绍RBM，再介绍DBN。
（1） RBM

一个普通的RBM网络结构如上图所示，是一个双层模型，由m个可见层单元及n个隐层单元组成，其中，层内神经元无连接，层间神经元全连接，也就是说：在给定可见层状态时，隐层的激活状态条件独立，反之，当给定隐层状态时，可见层的激活状态条件独立。这保证了层内神经元之间的条件独立性，降低概率分布计算及训练的复杂度。RBM可以被视为一个无向图模型，可见层神经元与隐层神经元之间的连接权重是双向的，即可见层到隐层的连接权重为W，则隐层到可见层的连接权重为W’。除以上提及的参数外，RBM的参数还包括可见层偏置b及隐层偏置c。RBM可见层和隐层单元所定义的分布可根据实际需要更换，包括：Binary单元、Gaussian单元、Rectified Linear单元等，这些不同单元的主要区别在于其激活函数不同。
（2） DBN

DBN模型由若干层RBM堆叠而成，如果在训练集中有标签数据，那么最后一层RBM的可见层中既包含前一层RBM的隐层单元，也包含标签层单元。假设顶层RBM的可见层有500个神经元，训练数据的分类一共分成了10类，那么顶层RBM的可见层有510个显性神经元，对每一训练数据，相应的标签神经元被打开设为1，而其他的则被关闭设为0。
训练过程DBN的训练包括Pre-training和Fine tuning两步，其中Pre-training过程相当于逐层训练每一个RBM，经过Pre-training的DBN已经可用于模拟训练数据，而为了进一步提高网络的判别性能， Fine-tuning过程利用标签数据通过BP算法对网络参数进行微调。
（1） Pre-training如前面所说，DBN的Pre-training过程相当于逐层训练每一个RBM，因此进行Pre-training时直接使用RBM的训练算法。
（2） Fine-tuning建立一个与DBN相同层数的神经网络，将Pre-training过程获得的网络参数赋给此神经网络，作为其参数的初始值，然后在最后一层后添加标签层，结合训练数据标签，利用BP算法微调整个网络参数，完成Fine tuning过程。

Recurrent neural network 递归神经网络

在深度学习领域，传统的多层感知机为基础的上述各网络结构具有出色的表现，取得了许多成功，它曾在许多不同的任务上——包括手写数字识别和目标分类上创造了记录。但是，他们也存在一定的问题，上述模型都无法分析输入信息之间的整体逻辑序列。这些信息序列富含有大量的内容，信息彼此间有着复杂的时间关联性，并且信息长度各种各样。这是以上模型所无法解决的，递归神经网络正是为了解决这种序列问题应运而生，其关键之处在于当前网络的隐藏状态会保留先前的输入信息，用来作当前网络的输出。许多任务需要处理序列数据，比如Image captioning, speech synthesis, and music generation 均需要模型生成序列数据，其他领域比如 time series prediction, video analysis, and musical information retrieval 等要求模型的输入为序列数据，其他任务比如机器翻译，人机对话，controlling a robot 的模型要求输入输出均为序列数据。
网络结构
下图左侧是递归神经网络的原始结构，如果先抛弃中间那个令人生畏的闭环，那其实就是简单“输入层=>隐藏层=>输出层”的三层结构，但是图中多了一个非常陌生的闭环，也就是说输入到隐藏层之后，隐藏层还会输入给自己，使得该网络可以拥有记忆能力。我们说递归神经网络拥有记忆能力，而这种能力就是通过W将以往的输入状态进行总结，而作为下次输入的辅助。可以这样理解隐藏状态：h=f(现有的输入+过去记忆总结)

训练过程递归神经网络中由于输入时叠加了之前的信号，所以反向传导时不同于传统的神经网络，因为对于时刻t的输入层，其残差不仅来自于输出，还来自于之后的隐层。通过反向传递算法，利用输出层的误差，求解各个权重的梯度，然后利用梯度下降法更新各个权重。
典型改进递归神经网络模型可以用来处理序列数据，递归神经网络包含了大量参数，且难于训练（时间维度的梯度消散或梯度爆炸），所以出现一系列对RNN优化，比如网络结构、求解算法与并行化。今年来bidirectional RNN （BRNN）与 LSTM在image captioning, language translation, and handwriting recognition这几个方向上有了突破性进展。

总结

（1）关于图像标注的CMRM跨媒体相关模型没有理解。
（2）虽然了解了大部分的网络模型但是只是在理论的阶段，下一步搭建caffe平台，通过实践加深对各个模型具体实现和训练过程的理解。
（3）关于深度学习的每个小方向只看了部分综述，目前再看李飞飞的图像标注文献（Deep Visual-Semantic Alignments for Generating Image Descriptions），但存在许多问题不能理解，下一步计划重新看一下。

参考文献

[1]Yoshua Bengio (2009), “Learning Deep Architectures for AI”, Foundations and Trends® in Machine Learning: Vol. 2: No. 1, pp 1-127.
[2] G. E. Hinton, R. R. Salakhutdinov. Reducing the Dimensionality of Data with Neural Networks .Science 28 Jul 2006:Vol. 313, Issue 5786, pp. 504-507.
[3]LeCun, Y., Bottou, L., Bengio, Y., Haffner, P., Gradient-Based Learning Applied to Document Recognition, Proceedings of the IEEE, vol.86, no.11, November 1998, pp. 2278-2324.
[4]Soniya, S. Paul and L. Singh, “A review on advances in deep learning,” 2015 IEEE Workshop on Computational Intelligence: Theories, Applications and Future Directions (WCI), Kanpur, 2015, pp. 1-6.
[5]X. Du, Y. Cai, S. Wang and L. Zhang, “Overview of deep learning,” 2016 31st Youth Academic Annual Conference of Chinese Association of Automation (YAC), Wuhan, 2016, pp. 159-164.
[6]郭丽丽, 丁世飞. 深度学习研究进展[J]. 计算机科学, 2015, 42(5):28-33.
[7]刘建伟,刘媛,罗雄麟等.深度学习研究进展[J].计算机应用研究,2014,31(7):1921-1930,1942.DOI:10.3969/j.issn.1001-3695.2014.07.001.