8.4.1 无隐状态的神经网络

对于无隐藏装态的神经网络来说，给定一个小批量样本 $\mathbf{X}\in {\mathbb{R}}^{n\times d}$，则隐藏层的输出 $\mathbf{H}\in {\mathbb{R}}^{n\times h}$ 通过下式计算：

$$\mathbf{H}=\varphi ({\mathbf{XW}}_{xh}+{\mathbf{b}}_h)$$

• $\varphi$ 是隐藏层的激活函数
• $n$ 是批量大小
• $d$ 是输入维度
• ${\mathbf{W}}_{xh}\in {\mathbb{R}}^{d\times h}$ 是隐藏层权重
• ${\mathbf{b}}_h\in {\mathbb{R}}^{1\times h}$ 是偏置参数
• $h$ 是隐藏层数目。

接下来将隐藏变量 $\mathbf{H}$ 作为输出层的输入：

$$\mathbf{O}={\mathbf{HW}}_{hq}+{\mathbf{b}}_q$$

• $\mathbf{O}\in {\mathbb{R}}^{n\times q}$ 是输出变量
• ${\mathbf{HW}}_{hq}\in {\mathbb{R}}^{h\times q}$ 是权重参数
• ${\mathbf{b}}_q\in {\mathbb{R}}^{1\times q}$ 是输出层的偏置参数。

如果是分类问题，则可以用 $softmax(\mathbf{O})$ 计算输出的概率分布，此处无需多言。

8.4.2 有隐状态的循环神经网络

引入隐状态后，情况就完全不同了。具体地说，当前时间步隐藏变量由当前时间步的输入与前一个时间步的隐藏变量一起计算得出：

$${\mathbf{H}}_t=\varphi ({\mathbf{X}}_t{\mathbf{W}}_{xh}+{\mathbf{H}}_{t-1}{\mathbf{W}}_{hh}+{\mathbf{b}}_h)$$

• ${\mathbf{X}}_t\in {\mathbb{R}}^{n\times d}$ 是时间步 $t$ 的小批量输入
• ${\mathbf{H}}_t\in {\mathbb{R}}^{n\times h}$ 是时间步 $t$ 的隐藏变量
• ${\mathbf{H}}_{t-1}$ 是前一个时间步的隐藏变量
• ${\mathbf{W}}_{hh}\in {\mathbb{R}}^{h\times h}$ 是权重参数

由于在当前时间步中，隐状态使用的定义与前一个时间步中使用的定义相同，因此此计算是循环的（recurrent）。于是基于循环计算的隐状态神经网络被命名为循环神经网络（recurrent neural network）。

对于时间步 $t$，输出层的输出类似于多层感知机中的计算：

$${\mathbf{O}}_t={\mathbf{H}}_t{\mathbf{W}}_{hq}+{\mathbf{b}}_q$$

在不同的时间步，循环神经网络也总是使用这些模型参数。因此，循环神经网络的参数开销不会随着时间步的增加而增加。

import torch
from d2l import torch as d2l

X, W_xh = torch.normal(0, 1, (3, 1)), torch.normal(0, 1, (1, 4))
H, W_hh = torch.normal(0, 1, (3, 4)), torch.normal(0, 1, (4, 4))
torch.matmul(X, W_xh) + torch.matmul(H, W_hh)

tensor([[-0.9743,  0.4619, -0.7949,  0.3287],
        [ 5.9413,  2.1961,  0.6053,  0.1704],
        [-1.0903, -0.2396, -1.0930, -0.8530]])

torch.matmul(torch.cat((X, H), 1), torch.cat((W_xh, W_hh), 0))

tensor([[-0.9743,  0.4619, -0.7949,  0.3287],
        [ 5.9413,  2.1961,  0.6053,  0.1704],
        [-1.0903, -0.2396, -1.0930, -0.8530]])

8.4.3 基于循环神经网络的字符级语言模型

以 “machine” 为例：

8.4.4 困惑度（Perplexity）

我们使用困惑度来评估模型。

一个更好的语言模型应该能让我们更准确地预测下一个词元，所以我们可以通过一个序列中所有的 $n$ 个词元的 交叉熵损失的平均值 来衡量：

$$\frac{1}{n}\sum _{t=1}^n-\log P(x_t|x_{t-1},\dots ,x_1)$$

由于历史原因，自然语言处理的科学家更喜欢使用困惑度（perplexity）的。简而言之，它是上式的指数：

$$\exp \left(-\frac{1}{n}\sum _{t=1}^n\log P(x_t|x_{t-1},\dots ,x_1)\right)$$

练习

（1）如果我们使用循环神经网络来预测文本序列中的下一个字符，那么任意输出所需的维度是多少？

啥叫“任意输出”？输出应该和输入是一个形状。

---

（2）为什么循环神经网络可以基于文本序列中所有先前的词元，在某个时间步表示当前词元的条件概率？

因为每个时间步的输入都有上一个时间步的输出。

---

（3）如果基于一个长序列进行反向传播，梯度会发生什么状况？

更容易出现梯度消失或者梯度爆炸。

---

（4）与本节中描述的语言模型相关的问题有哪些？

略。