1. 深度循环神经网络

之前介绍的循环神经网络只有一个单向的隐藏层，在深度学习应用里，我们通常会用到含有多个隐藏层的循环神经网络，也称作深度循环神经网络。下图演示了一个有$L$个隐藏层的深度循环神经网络，每个隐藏状态不断传递至当前层的下一时间步和当前时间步的下一层。

在时间步$t$里，设小批量输入${\mathbf{X}}_t\in {\mathbb{R}}^{n\times d}$（样本数为$n$，输入个数为$d$），第$\ell$隐藏层（$\ell =1,\dots ,L$）的隐藏状态为${\mathbf{H}}_t^{(\ell )}\in {\mathbb{R}}^{n\times h}$（隐藏单元个数为$h$），输出层变量为${\mathbf{O}}_t\in {\mathbb{R}}^{n\times q}$（输出个数为$q$），且隐藏层的激活函数为$\varphi$。第1隐藏层的隐藏状态和之前的计算一样：

$${\mathbf{H}}_t^{(1)}=\varphi ({\mathbf{X}}_t{\mathbf{W}}_{xh}^{(1)}+{\mathbf{H}}_{t-1}^{(1)}{\mathbf{W}}_{hh}^{(1)}+{\mathbf{b}}_h^{(1)}),$$

其中权重${\mathbf{W}}_{xh}^{(1)}\in {\mathbb{R}}^{d\times h}$、${\mathbf{W}}_{hh}^{(1)}\in {\mathbb{R}}^{h\times h}$和偏差 ${\mathbf{b}}_h^{(1)}\in {\mathbb{R}}^{1\times h}$分别为第1隐藏层的模型参数。

当$1<\ell \le L$时，第$\ell$隐藏层的隐藏状态的表达式为

$${\mathbf{H}}_t^{(\ell )}=\varphi ({\mathbf{H}}_t^{(\ell -1)}{\mathbf{W}}_{xh}^{(\ell )}+{\mathbf{H}}_{t-1}^{(\ell )}{\mathbf{W}}_{hh}^{(\ell )}+{\mathbf{b}}_h^{(\ell )}),$$

其中权重${\mathbf{W}}_{xh}^{(\ell )}\in {\mathbb{R}}^{h\times h}$、${\mathbf{W}}_{hh}^{(\ell )}\in {\mathbb{R}}^{h\times h}$和偏差 ${\mathbf{b}}_h^{(\ell )}\in {\mathbb{R}}^{1\times h}$分别为第$\ell$隐藏层的模型参数。

最终，输出层的输出只需基于第$L$隐藏层的隐藏状态：

$${\mathbf{O}}_t={\mathbf{H}}_t^{(L)}{\mathbf{W}}_{hq}+{\mathbf{b}}_q,$$

其中权重${\mathbf{W}}_{hq}\in {\mathbb{R}}^{h\times q}$和偏差${\mathbf{b}}_q\in {\mathbb{R}}^{1\times q}$为输出层的模型参数。

同多层感知机一样，隐藏层个数$L$和隐藏单元个数$h$都是超参数。此外，如果将隐藏状态的计算换成门控循环单元或者长短期记忆的计算，我们可以得到深度门控循环神经网络。

2. 双向循环神经网络

之前介绍的循环神经网络模型都是假设当前时间步是由前面的较早时间步的序列决定的，因此它们都将信息通过隐藏状态从前往后传递。有时候，当前时间步也可能由后面时间步决定。例如，当我们写下一个句子时，可能会根据句子后面的词来修改句子前面的用词。双向循环神经网络通过增加从后往前传递信息的隐藏层来更灵活地处理这类信息。下图演示了一个含单隐藏层的双向循环神经网络的架构。

下面我们来介绍具体的定义。给定时间步$t$的小批量输入${\mathbf{X}}_t\in {\mathbb{R}}^{n\times d}$（样本数为$n$，输入个数为$d$）和隐藏层激活函数为$\varphi$。在双向循环神经网络的架构中，设该时间步正向隐藏状态为${\overrightarrow{\mathbf{H}}}_t\in {\mathbb{R}}^{n\times h}$（正向隐藏单元个数为$h$），反向隐藏状态为${\overleftarrow{\mathbf{H}}}_t\in {\mathbb{R}}^{n\times h}$（反向隐藏单元个数为$h$）。我们可以分别计算正向隐藏状态和反向隐藏状态：

$$\begin{array}{rl}{\overrightarrow{\mathbf{H}}}_t& =\varphi ({\mathbf{X}}_t{\mathbf{W}}_{xh}^{(f)}+{\overrightarrow{\mathbf{H}}}_{t-1}{\mathbf{W}}_{hh}^{(f)}+{\mathbf{b}}_h^{(f)}),\\ {\overleftarrow{\mathbf{H}}}_t& =\varphi ({\mathbf{X}}_t{\mathbf{W}}_{xh}^{(b)}+{\overleftarrow{\mathbf{H}}}_{t+1}{\mathbf{W}}_{hh}^{(b)}+{\mathbf{b}}_h^{(b)}),\end{array}$$

其中权重${\mathbf{W}}_{xh}^{(f)}\in {\mathbb{R}}^{d\times h}$、${\mathbf{W}}_{hh}^{(f)}\in {\mathbb{R}}^{h\times h}$、${\mathbf{W}}_{xh}^{(b)}\in {\mathbb{R}}^{d\times h}$、${\mathbf{W}}_{hh}^{(b)}\in {\mathbb{R}}^{h\times h}$和偏差 ${\mathbf{b}}_h^{(f)}\in {\mathbb{R}}^{1\times h}$、${\mathbf{b}}_h^{(b)}\in {\mathbb{R}}^{1\times h}$均为模型参数。

然后我们连结两个方向的隐藏状态${\overrightarrow{\mathbf{H}}}_t$和${\overleftarrow{\mathbf{H}}}_t$来得到隐藏状态${\mathbf{H}}_t\in {\mathbb{R}}^{n\times 2h}$，并将其输入到输出层。输出层计算输出${\mathbf{O}}_t\in {\mathbb{R}}^{n\times q}$（输出个数为$q$）：

$${\mathbf{O}}_t={\mathbf{H}}_t{\mathbf{W}}_{hq}+{\mathbf{b}}_q,$$

其中权重${\mathbf{W}}_{hq}\in {\mathbb{R}}^{2h\times q}$和偏差${\mathbf{b}}_q\in {\mathbb{R}}^{1\times q}$为输出层的模型参数。不同方向上的隐藏单元个数也可以不同。

总结

• 在深度循环神经网络中，隐藏状态的信息不断传递至当前层的下一时间步和当前时间步的下一层。
• 双向循环神经网络在每个时间步的隐藏状态同时取决于该时间步之前和之后的子序列（包括当前时间步的输入）。

---

如果文章内容对你有帮助，感谢点赞+关注！

关注下方GZH：阿旭算法与机器学习，可获取更多干货内容~欢迎共同学习交流