1. 背景
RNN(Recurrent Neural Networks)
CNN利用输入中的空间几何结构信息；RNN利用输入数据的序列化特性。
2. SimpleRNN单元
传统多层感知机网络假设所有的输入数据之间相互独立，但这对于序列化数据是不成立的。RNN单元用隐藏状态或记忆引入这种依赖，以保存当前的关键信息。任一时刻的隐藏状态值是前一时间步中隐藏状态值和当前时间步中输入值的函数
在所有时间步上共享相同的权重向量(U、V、W)，极大地减少了RNN网络需要学习的参数个数。其t时间步输出
选择tanh作为激活函数，是因为它的二阶导数衰减到0非常缓慢，这保持了激活函数的线性域的斜度，并帮助防止梯度消失问题。
3. 梯度消失与梯度爆炸
时延反向传播BPTT(Backpropagation Through Time)：因为参数是所有时间步共享的，所以每个输出的梯度不只依赖当前的时间步，也依赖之前的时间步。
