引用

动手学深度学习v2–李沐
LSTM长短期记忆网络3D模型–B站up梗直哥丶

RNN模型

加入了一个隐变量（状态)，隐变量由上个隐变量和上一个输入而更新，这样模型就可以达到具有短期记忆的效果。

GRU

在RNN基础模型的基础上增加了2个门，能关注的机制（更新门Update gate），能遗忘的机制（遗忘门 Reset gate）
比如对于过去的记忆，R_t门控制了对于过去记忆保存的多少，成为候选状态$\tilde{H}$_t
Z_t门控制了选用候选状态$\tilde{H}$_t的程度。

LSTM

和RNN相比，加入了新的时间链C_t（long term memory），可以形象的比喻为日记本，日记本有删除和增加操作：
根据此时的X_t和传过来上次的S_t-1对日记进行修改，再根据X_t和传过来上次的S_t-1增加。这样完成C_t的更新

更新后的C_t会和S_t-1、X_t对S_t进行更新

深度RNN

深度RNN就是增加隐藏层层数

双向循环神经网络

双向循环神经网络实现大概思路 将输入数据正序输入得到output1，再将输入数据逆置换输入得到output2，再合并起来丢到最后一层。显然双向循环神经网络通常用来抽取特征、填空，而不能用于预测未来。