为什么 Transformer 需要位置编码？揭开位置编码的奥秘

news2024/11/7 0:32:40

9. PositionalEncoding

为什么 Transformer 需要位置编码？揭开位置编码的奥秘

在 Transformer 模型中，注意力机制能让模型同时“关注”输入中的所有词语，而不依赖词的顺序。但这样带来了一个新问题：如果输入是“我喜欢苹果”和“苹果喜欢我”，虽然词相同，顺序不同，含义却完全不同。如果不提供位置信息，模型将无法区分出句子的顺序。这时，位置编码（Positional Encoding)应运而生，为每个词加入位置信息，让模型知道每个词在句子中的位置。

位置编码的数学原理

位置编码通过正弦（sine）和余弦（cosine）函数生成独特的编码，将它加到每个词的嵌入向量上。这些编码公式如下：

$\text{PE}{(pos, 2i)} = \sin \left(\frac{\text{pos}}{10000^{\frac{2i}{d}}}\right)\\ \text{PE}{(pos, 2i+1)} = \cos \left(\frac{\text{pos}}{10000^{\frac{2i}{d}}}\right)$

pos：表示词在句子中的位置。
i：表示嵌入向量的维度索引（即第 i 个维度）。
d：嵌入向量的总维度。

这种编码方式让每个位置拥有独特的向量，同时具有顺序信息，确保模型可以感知词的相对顺序。

为什么使用正弦和余弦？

周期性：正弦和余弦是周期函数，能在不同维度上为词语生成独特的周期编码，表示相对顺序。
平滑性：相邻位置的编码变化平滑，帮助模型理解相邻词语的关系。
可推广性：这种编码对长序列依然有效，确保句子长度超过训练时见过的句子长度时模型依然能正常工作。

代码实现位置编码

我们可以用 Python 和 PyTorch 来实现位置编码：

import torch
import math

class PositionalEncoding(torch.nn.Module):
    def __init__(self, embed_size, max_len=5000):
        super(PositionalEncoding, self).__init__()
        pe = torch.zeros(max_len, embed_size)
        position = torch.arange(0, max_len).unsqueeze(1)
        div_term = torch.exp(torch.arange(0, embed_size, 2) * (-math.log(10000.0) / embed_size))

        pe[:, 0::2] = torch.sin(position * div_term)
        pe[:, 1::2] = torch.cos(position * div_term)

        pe = pe.unsqueeze(0)  # 扩展为 (1, max_len, embed_size) 以适应批处理
        self.register_buffer('pe', pe)  # 将 pe 注册为模型常数

    def forward(self, x):
        x = x + self.pe[:, :x.size(1), :]
        return x

# 示例：初始化位置编码模块并测试
embed_size = 256
pos_encoder = PositionalEncoding(embed_size)

x = torch.zeros(64, 10, embed_size)  # 假设有 64 个样本，每个样本长度为 10
out = pos_encoder(x)
print(out.shape)  # 输出形状应为 (64, 10, 256)

代码解释

构建位置编码矩阵：创建形状为 (max_len, embed_size) 的矩阵 pe，表示每个位置的编码。
计算公式中的指数项：用 torch.exp 和 math.log 生成 div_term，表示公式中的 $10000^{\frac{2i}{d}}$ 。
赋值给偶数和奇数维度：偶数维度使用正弦函数，奇数维度使用余弦函数。
扩展 batch 维度：位置编码的维度扩展为 (1, max_len, embed_size) 以便与输入向量逐元素相加。

为什么位置编码使用加法？

位置编码与词嵌入通过加法结合，确保模型同时获取词语的语义信息和位置信息。这样既不影响词的嵌入信息，也能将位置信息融入到句子中。

位置编码可视化

为了更直观地理解，我们可以绘制位置编码矩阵的热力图，展示它在不同维度上的模式。

import matplotlib.pyplot as plt

pos_encoding = PositionalEncoding(embed_size=16, max_len=100)
pe = pos_encoding.pe[0, :, :].detach().numpy()  # 提取编码矩阵

plt.figure(figsize=(10, 8))
plt.imshow(pe, cmap='viridis', aspect='auto')
plt.colorbar()
plt.title("Positional Encoding Visualization")
plt.xlabel("Embedding Dimension")
plt.ylabel("Sequence Position")
plt.show()