RNN LSTM Seq2Seq Attention

非端到端：

data -》 cleaning -》 feature Engining （70%-80%工作设计特征）-》分类器 -》预测

端到端 End-to-End：

data -》 cleaning -》Deep learning（表示学习，从数据中学习特征） -》预测

RNN（递归神经网络）

时序模型

我们知道人类并不是从零开始思考东西，就像你读这篇文章的时候，你对每个字的理解都是建立在前几个字上面，很多东西你要通过上下文才能理解。

然而传统的神经网络并不能做到持续记忆理解这一点，这是传统神经网络的主要缺点。举个例子，你打算使用传统的神经网络去对电影里每个时间点发生的事情进行分类的时候，传统的神经网络先让不能使用前一个事件去推理下一个事件。

RNN（递归神经网络）可以解决这个问题。他们是带有循环的神经网络，允许信息在其中保留。

应用比如语音识别，语音模型，翻译，图片注释等

结构

序列形的数据就不太好用原始的神经网络处理了。为了建模序列问题，RNN引入了隐状态h（hidden state）的概念，h可以对序列形的数据提取特征，接着再转换为输出。

循环结构允许信息从当前输出传递到下一次（下个时间点）的网络输入。

RNN其实和传统的神经网络并没有太多的不同。RNN可以看作是一个网络的多次拷贝，其中每次网络的输出都是下一次的输入。

单输入单输出

RNN比BP多了参数h0，因此RNN的神经元公式会比BP神经元多一项（f为激励函数）

隐藏层h与输出y相同

多输入单输出

由结构和公式可知，整一个RNN结构共享1组（U, W, b），这是RNN结构最重要的特性，且每一个隐藏层神经元h的计算公式是由当前输入X与上一个隐藏层神经元的输出组成。

单输入多输出

这种结构通常应用于输入一个图像，输出描述该图像的文本。

多输入多输出

由于输入与输出等长，这种结构的用途就比较狭窄，仅限于输入与输出等长的序列数据如诗词文等，作诗机器人就是这么诞生的。

优点

相比于BP神经网络和CNN卷积神经网络，RNN的优势又在哪呢？我们可以看到上面的RNN结构，输入是可以多个且有序的，它可以模拟人类阅读的顺序去读取文本或者别的序列化数据，且通过隐藏层神经元的编码，上一个隐藏层神经元的信息可以传递到下一个隐藏层神经元，因而形成一定的记忆能力，能够更好地理解序列化数据。

LSTM长短期记忆网络

RNN结构的劣势

RNN结构共享1组参数（U, W, b），每一步使用的参数U、W、b都是一样的，，这是RNN结构最重要的特性。

因为在（U, W, b）不变的情况下，梯度在反向传播过程中，不断连乘，数值不是越来越大就是越来越小，这样就出现了梯度爆炸或梯度消失的情况，所以往往用RNN去训练模型得不到预期的效果。

LSTM原理

由上文可知，RNN结构之所以出现梯度爆炸或者梯度消失，最本质的原因是因为梯度在传递过程中存在极大数量的连乘，为此有人提出了LSTM模型，它可以对有价值的信息进行记忆，放弃冗余记忆，从而减小学习难度。与RNN相比，LSTM的神经元还是基于输入X和上一级的隐藏层输出h来计算，只不过内部结构变了，也就是神经元的运算公式变了，而外部结构并没有任何变化，因此上面提及的RNN各种结构都能用LSTM来替换。

相对于RNN，LSTM的神经元加入了输入门i、遗忘门f、输出门o 和内部记忆单元c。博主这里先给上一个整体的LSTM结构图如下图，之后再对它内部结构的运算逻辑进行详细的解释。

LSTM整体结构

遗忘门f：控制输入X和上一层隐藏层输出h被遗忘的程度大小

遗忘门(forget gate)

遗忘门公式

输入门i：控制输入X和当前计算的状态更新到记忆单元的程度大小。

内部记忆单元c：

输出门o：控制输入X和当前输出取决于当前记忆单元的程度大小

其中σ一般选择Sigmoid作为激励函数，主要是起到门控作用。因为Sigmoid函数的输出为0~1，当输出接近0或1时，符合物理意义上的关与开。tanh函数作为生成候选记忆C的选项，因为其输出为-1~1，符合大多数场景下的0中心的特征分布，且梯度（求导）在接近0处，收敛速度比sigmoid函数

要快，这也是选择它的另外一个原因。不过LSTM的激励函数也不是一成不变的，大家可以根据自己的需求去更改，只要能更好地解决自己的问题即可。

对于一个训练好的LSTM模型，我们要知道它的每一个门（遗忘门、输出门和输入门）都有各自的(U, W, b)，上述公式也有所体现，这是在训练过程中得到的。而且当输入的序列不存在有用信息时，遗忘门f的值就会接近1，那么输入门i的值接近0，这样过去有用的信息就会被保存。当输入的序列存在重要信息时，遗忘门f的值就会接近0，那么输入门i的值接近1，此时LSTM模型遗忘过去的记忆，记录重要记忆。

因此我们可以看出由遗忘门、输出门、输入门和内部记忆单元共同控制LSTM的输出h的设计，使得整个网络更好地把握序列信息之间的关系。

Seq2Seq

输入输出不等长的多输入多输出的RNN结构

叫Encoder-Decoder模型，也可以称之为Seq2Seq模型。

原始的N vs N RNN要求序列等长，然而我们遇到的大部分问题序列都是不等长的，如机器翻译

中，源语言和目标语言的句子往往并没有相同的长度。

为此，Encoder-Decoder结构先将输入数据编码成一个上下文向量c：

得到c有多种方式，最简单的方法就是把Encoder的最后一个隐状态赋值给c，还可以对最后的隐状态做一个变换得到c，也可以对所有的隐状态做变换。

拿到c之后，就用另一个RNN网络对其进行解码，这部分RNN网络被称为Decoder。具体做法就是将c当做之前的初始状态h0输入到Decoder中：

由于这种Encoder-Decoder结构不限制输入和输出的序列长度，因此应用的范围非常广泛，比如：

机器翻译。Encoder-Decoder的最经典应用，事实上这一结构就是在机器翻译领域最先提出的
文本摘要。输入是一段文本序列，输出是这段文本序列的摘要序列。
阅读理解。将输入的文章和问题分别编码，再对其进行解码得到问题的答案。
语音识别

。输入是语音信号序列，输出是文字序列。

利用RNN和自编码器的原理构造一个翻译机器人，同样的，这个自编码器（翻译机器人）的输入也等于输出，只不过输入与输出用不同的语言去表示罢了。

Seq2Seq + Attention

Seq2Seq模型可以完成机器翻译等任务，但我们从它的结构可以看出，解码器decoder的输入都是编码器encoder的同一个输出，也就是说不管输入的语句是什么，编码器encoder都会将它转换成同一个中间语义h'。而我们知道的是每一句话都有其侧重点，那翻译当然也应该注意其侧重点，不应该是每一个词在一个句子中都具有同等地位，这样翻译出来的句子肯定效果不佳。所以，有人为此提出了注意力机制（Attention Mechanism），让我们在使用Seq2Seq的过程中，加入注意力机制，聚焦重点，提升模型效果。

注意力模型（解码器Decoder）

如上图，注意力机制下的Seq2Seq模型的输入与输出是等长的，和上面博主介绍的多输入多输出的RNN结构一样，只是输入变了，输入不是直接的序列输入，而是经过编码器encoder转换的中间语义C，而这些输入C也各不相同，每一个C都是由权重w和译码器的隐藏层输出h加权组成，如下图。

中间语义转换示意图

在解码器decoder部分，由于输入的顺序不同，中间语义C1，C2，C3之间的权值表征也不同，这也就是我们所说的注意力机制。换言之，随着不同时刻，重点一直在变化，而这些变化则由上图的权重w去表示，比如C1的重点在‘中’这个字，那么中间语义可以表示为C1=0.6 * h1 + 0.2 * h2 + 0.1 * h3 + 0.1 * h4 (权值可以看成概率，且概率加起来为1)。

中间语义转换公式

此时，我们唯一要解决的是，如何去求中间语义C的权值w表征。这就涉及到注意力模型的另一部分（编码器Encoder），如下图。F函数和softmax函数，大家可以理解为我们要计算当前的hi与全部h（包括hi）之间的差别，从而计算出在i时刻下，每一个h对应的权值（即概率）。换言之，大家可以将下图看成分类问题，与hi越相近的，输出的概率也就越大。