一、基础

正常的神经网络

一般情况下，输入层提供数据，全连接进入隐藏层，隐藏层可以是多层，层与层之间是全连接，最后输出到输出层；通过不断的调整权重参数和偏置参数实现训练的效果。深度学习的网络都是水平方向延伸的，都没有考虑单个隐藏呢个在时间上的变化。

这种普通的神经网络模型对于很多问题是无能为力的，例如，在语言分析或者时序预测时就会遇到问题。我们要预测下一个单词是什么，一般需要用到前面的单词，因为一个句子中前后单词并不是独立的。

比如：
一个妹子跟你说了下面两句话

• 情景1：快过圣诞节了，好想要一个苹果
• 情景2：手机坏了，好想要一个苹果

预测的结果都是苹果，但是根据前文的话不一样那么结果也不一样；情景1下，你要是给妹子买个iPhone，当然会换来妹子的惊喜，但是呢，有钱就好
在情景2下，你要是买一个苹果去给妹子，就是一筐估计也不会给你好脸色吧

所以要想让计算机理解语言本身的含义，需要对输入的数据进行前后文的分析，也就是需要在时间上建立联系。

二、RNN

RNN主要是用来处理序列数据

2.1原理

前面说了，在传统的神经网络模型中，是从输入层到隐含层再到输出层，层与层之间是全连接的，每层之间的节点是无连接的。

RNN之所以称为循环神经网络，即一个序列当前的输出与前面的输出也有关。具体的表现形式为网络会对前面的信息进行记忆并应用于当前的输出计算中，即隐藏层之间的节点不再无连接而是有链接的，并且隐藏层的输入不仅包括输入层的输出还包括上一时刻隐藏层的输出。

图释：以翻译为例
h代表网络模型，按照时间展开，
在t-1时刻，输入一个单词，经过网络模型产生一个输出，同时会有一个状态值，这个状态值可以理解为对前面句子的理解，因为对于前面句子的理解会有助于下一个单词的解释和翻译；因为单词与单词之间是有关系的。所以在t-1时刻不仅输出一个而翻译的结果，还会输出一个状态值，这个状态值会输出到t时刻。
在t时刻，会得到一个输入，同时还会得到t-1时刻隐藏层的输出，即他的状态值，两者结合输入到t时刻模型中进行训练，翻译得到t时刻的输出；同时还会输出一个t时刻的状态值，交给下一个时刻。
依次循环。。。
这里的状态可以理解为：当前训练完成后，对现有输入的（可能是一句话）的理解

重点：

• 输入：当前时刻输入的训练内容和上一时刻的训练状态
• 输出：当前时刻的输出和当前时刻的训练状态

公式解释：

一般的神经网络：$S=f(W_{in}X+b)$

RNN :$S_t=f(W_{in}X+W_S{S}_{t-1}+b)$

2.2 理解

在文本分类的例子中，我们只考虑句子的整体含义，因此我们可以忽略每个单元生成的输出，而将重点放在隐藏状态上。隐藏状态的目的是保持句子的连续含义，我们可以用最后的隐藏状态作为分类特征。

因为每个单词使用相同的RNN单元，所以大大减少了神经网络所需要的参数量，这使我们能够处理较大规模的小批次数据。
网络参数进行学习的方式是处理序列的顺序，也是RNN的核心原则。

即

1. RNN模型实际上只有一份参数，也可以说是只有一个模型，也就是同一个模型执行了N次，而不是N个模型或者RNN单元。每一次运行的参数也是一样的，只有输入和输出不同。
2. 从RNN的结构图中我们要知道，图中状态V并不是RNN的一部分，比如第二次执行RNN的状态实际上是第一次执行的隐藏层的输出，第三次的状态是第二次的输出，而第一次的状态是初始状态。RNN的状态是通过上一次的隐藏层输出层保持的。

我们在把RNN的结构图拆分来看，根据上面的模型的运行状态。

• 处理完第一个元素后，我们除了得到输出1外，还得到了隐藏层的输出1；处理第二个元素的时候就把隐藏层输出1作为隐藏层的输入，实际上这就是我们前面提到的RNN可以记忆之前元素的原因。
• 处理输入2时使用输出1的隐藏层输出作为影藏层的输入。