目录
CNN
RNN
3种RNN模型
简单RNN
LSTM （长短期记忆模型）
GRU
参考论文
CNN
CNN是卷积神经网络
提取图片特征
、
在输出阶段可以使用sigmoid函数返回01值
RNN
3种RNN模型
简单RNN
H就是每层神经元所产生的一个输出信号，输出层产生的信号经过输出函数转化为最终输出
随着循环次数的增加
就是说简单的RNN模型容易导致梯度消失以及梯度爆炸的问题
整体框架类似于数电里的状态机、时序逻辑电路
LSTM （长短期记忆模型）
S函数返回0到1，T函数返回-1到1
而T
当遗忘门值为0时，意味着上期记忆完全遗忘 ；为1时，完全保留
输入们用来更新记忆
简单RNN种
GRU
更新门与重置门 
http://colah.github.io/posts/2015-08-Understanding-LSTMs/
https://arxiv.org/pdf/1412.3555v1.pdf
