参考资料：

• 《机器学习2022》李宏毅
• 史上最详细循环神经网络讲解（RNN/LSTM/GRU） - 知乎 (zhihu.com)
• LSTM如何来避免梯度弥散和梯度爆炸？ - 知乎 (zhihu.com)

1 RNN 的结构

首先考虑这样一个 slot filling 问题：

注意到，上图中 Taipei 的输出为 destination。如果我们只是单纯地将每个词向量输入到一个神经网络中，那么对于"leave Taipei on …" 这句话，模型对 Taipei 的输出也会是 destination，但我们希望它是 departure。要实现这一目的，必须要引入当前向量与上下文的关系，于是就有了循环神经网络（RNN）：

注意到，RNN 与一般的神经网络的主要区别在与将隐层的上一次输出保存并作为本次的输入，即：
$$\begin{array}{rl}{O}_t& =g(V\cdot S_t)\\ S_t& =f(U\cdot X_t+W\cdot S_{t-1})\end{array}$$

矩阵 $U,W,V$ 即为 RNN 的参数，与 $t$ 无关。

引入时间这一维度，RNN 可以表示为如下结构：

如果采用双向 RNN ，则每个向量都可以充分地考虑到上下文。

2 RNN 的梯度消失与梯度爆炸

考虑这样一个简单的 RNN 结构：

假设神经元没有激活函数（激活函数的导数一般是恒 $<1$ 的），则有：
$$\begin{array}{rlr}{S}_1& =W_x{X}_1+W_s{S}_0+b_1& O_1=W_o{S}_1+b_2\\ S_2& =W_x{X}_2+W_s{S}_1+b_1& O_2=W_o{S}_2+b_2\\ S_3& =W_x{X}_3+W_s{S}_2+b_1& O_3=W_o{S}_3+b_2\end{array}$$
设 $t_3$ 时刻的损失函数为 $L_3$ ，则有：
$$\begin{array}{rl}\frac{\partial L_3}{\partial W_o}& =\frac{\partial L_3}{\partial O_3}\frac{\partial O_3}{\partial W_o}\\ \frac{\partial L_3}{\partial W_x}& =\frac{\partial L_3}{\partial O_3}\frac{\partial O_3}{\partial S_3}(X_3+W_s(X_2+W_s{X}_1\left)\right)\\ \frac{\partial L_3}{\partial W_s}& =\frac{\partial L_3}{\partial O_3}\frac{\partial O_3}{\partial S_3}(S_2+W_s(S_1+W_s{S}_0\left)\right)\end{array}$$

这部分的公式和参考资料里的不太一样，但我感觉参考资料里的公式不太严格吧？

所以，任意时刻损失函数对 $W_x,W_s$ 的偏导为：
$$\begin{array}{rl}\frac{\partial L_t}{\partial W_x}& =\frac{\partial L_3}{\partial O_3}\frac{\partial O_3}{\partial S_3}\sum _{k=1}^t{W}_s^{t-k}{X}_k\\ \frac{\partial L_t}{\partial W_s}& =\frac{\partial L_3}{\partial O_3}\frac{\partial O_3}{\partial S_3}\sum _{k=1}^t{W}_s^{t-k}{S}_{k-1}\end{array}$$
当 $W_s\in (0,1)$ 时，损失函数对 $W_x,W_s$ 的偏导会逐渐“遗忘”距离较远的梯度，所以模型很难学习到距离较远的依赖关系。

当 $W_s>1$ 时，前面的梯度对当前的影响会随着距离增加而指数级增大，甚至变成 NaN.

3 LSTM

LSTM(Long Short-term Memory) 是 RNN 的变体，并且已经逐渐成为了 RNN 的代名词，其基本结构如下图所示：

相比普通的 RNN ，LSTM增加了输入门、输出门和遗忘门。

上图中，$z_f,z_i,z,z_o$ 均有相应的权值矩阵乘上拼接后的输入向量得到。

LSTM 可以解决 RNN 梯度消失的问题，因为如果不考虑遗忘门，距离再远的梯度也可以通过 $c_i\to \cdots \to c_{t-1}\to c_t$ 这条路径无损地传递到到当前的梯度。