其中一个门用来从记忆单元中输出条目,将其称为输出门(output gate);另外一个门用来决定何时将数据读入记忆单元,将其称为输入门(input gate);同时还需要一种机制来重置单元的内容,由遗忘门(forget gate)来管理(跟GRU中重置门一样)
候选记忆元的计算与上面描述的三个门的计算类似,但是使用 tanh 函数作为激活函数,函数的值范围为(-1, 1),也即是在RNN中求当前隐状态的计算方法
记忆单元:输入门 It控制采用多少来自 ~Ct的新数据,而遗忘门 Ft控制保留多少过去的记忆元 Ct的内容。如果遗忘门始终为 1且输入门始终为 0,则过去的记忆元 Ct-1将随时间被保存并传递到当前时间步,也即是记忆元始终没有改变,引入这种设计是为了缓解梯度消失问题,并更好地捕获序列中的长距离依赖关系。
只要输出门接近 1 1 1,就能够有效地将所有记忆信息传递给输出层预测输出的输入以及传递到下一个时间步,而对于输出门接近 0 0 0,只保留记忆元内的所有信息,而不需要更新隐状态,