基于RNN和Transformer的词级语言建模 代码分析 _generate_square_subsequent_mask

flyfish

Word-level Language Modeling using RNN and Transformer

word_language_model

PyTorch 提供的 word_language_model 示例展示了如何使用循环神经网络RNN(GRU或LSTM)和 Transformer 模型进行词级语言建模 。默认情况下，训练使用Wikitext-2数据集,generate.py可以使用训练好的模型来生成新文本。

源码地址
https://github.com/pytorch/examples/tree/main/word_language_model

文件：model.py

import torch
import matplotlib.pyplot as plt
import numpy as np

def _generate_square_subsequent_mask(sz):
    return torch.log(torch.tril(torch.ones(sz, sz)))

# 设置矩阵大小
sz = 5
mask = _generate_square_subsequent_mask(sz)

# 将 mask 转换为 numpy 数组，方便可视化
mask_np = mask.numpy()

# 可视化
plt.imshow(mask_np, cmap='viridis')
plt.colorbar()
plt.title("Square Subsequent Mask")
plt.show()

可视化图示
在可视化结果中，你会看到一个下三角矩阵，其值为 0 的部分为下三角部分，值为负无穷的部分为上三角部分。图像中通常负无穷会被显示为一种不同的颜色。

这样，你可以直观地理解生成的掩码矩阵的结构和作用。这个掩码矩阵主要用于 Transformer 模型中，以确保模型在预测时只能看到当前时刻及之前的时刻信息，而不能看到未来的信息。

结果
运行这段代码，你会看到一个 5x5 的矩阵，其中下三角部分是 0（因为 log(1) = 0），上三角部分是负无穷（由于 log(0) 是负无穷）。

def _generate_square_subsequent_mask(sz):
    return torch.log(torch.tril(torch.ones(sz, sz)))

# 设置矩阵大小
sz = 5
mask = _generate_square_subsequent_mask(sz)

# 打印矩阵
print(mask)

输出

tensor([[0., -inf, -inf, -inf, -inf],
        [0., 0., -inf, -inf, -inf],
        [0., 0., 0., -inf, -inf],
        [0., 0., 0., 0., -inf],
        [0., 0., 0., 0., 0.]])

在数学上，定义对数函数时，log(0) 是未定义的，但在计算中，我们处理这种情况的方式是认为 log(0) 的极限值是负无穷。因此，计算机通常会返回负无穷来表示这种情况。

在 PyTorch 中，torch.log(0) 的结果是 -inf（负无穷）。这是因为对数函数是单调递增的，并且在接近0时值会急剧下降到负无穷。