层归一化（Layer Normalization），简称 LayerNorm，会将神经网络层的激活值规范到均值为0，并将其方差归一化为1。尤其是在循环神经网络（RNNs）和自注意力模型（如 Transformers）中。
LayerNorm 会对输入样本分别归一化（下图中的行,水平箭头）; 使用dim=-1是在最后一个维度（特征维度）而不是行维度（样本数）上进行计算

层归一化步骤

对于一个给定的层的激活值 x，假设 x 的维度为 (batch_size, num_features)，或者在更复杂的模型中可能是 (batch_size, seq_len, num_features)。

层归一化的步骤如下：

1. 计算均值和方差：
   对于每个样本 x，计算其在指定维度（通常是特征维度上的）上的均值 μ 和方差 σ^2：
   $$\mu =\frac{1}{H}\sum _{i=1}^H{x}_i$$
   $${\sigma }^2=\frac{1}{H}\sum _{i=1}^H(x_i-\mu {)}^2$$
   其中，H 是特征的总数量，即 H = num_features。

2. 归一化：
   使用计算得到的均值 μ 和标准差 σ 对激活值进行归一化：

   $${\hat{x}}_i=\frac{x_i-\mu }{\sqrt{{\sigma }^2+ϵ}}$$

   这里的 ε 是一个很小的常数，用于防止分母为零，通常取值为 1e-5 或 1e-6。

3. 线性变换：
   为了确保网络的表达能力，通常会再引入可学习的缩放因子 γ 和偏移量 β，对归一化后的激活值进行线性变换：

   $$y_i=\gamma {\hat{x}}_i+\beta$$

   其中 γ 和 β 是与输入的维度相同的可训练参数。

层归一化的优势

1. 适应小批量训练：
   与批量归一化（Batch Normalization）不同，层归一化在计算均值和方差时只考虑单个样本的所有特征，而不是整个批次。这使得它在小批量甚至是批次大小为1的情况下表现更加稳定。

2. 适应不同模型结构：
   层归一化在循环神经网络（RNNs）和自注意力机制中特别有用，因为它不依赖于批量数据，从而避免了批量归一化在这些模型中的不稳定性。

3. 加速训练：
   通过规范化激活值的分布，层归一化可以减少梯度消失和爆炸的问题，加速训练收敛。

PyTorch中的实现

在 PyTorch 中，可以通过 torch.nn.LayerNorm 来使用层归一化，代码示例如下：

import torch
import torch.nn as nn

# 定义输入张量 (batch_size, seq_len, num_features)
x = torch.randn(10, 20, 30)  # 例如 batch_size=10, seq_len=20, num_features=30

# 定义层归一化，归一化维度为最后一个维度
layer_norm = nn.LayerNorm(normalized_shape=30)

# 通过层归一化层
output = layer_norm(x)

print(output.shape)  # 输出维度与输入相同

在这个示例中，LayerNorm 被应用于最后一个维度（即特征维度），以对每个样本的激活值进行归一化。

有个代码例子

torch.manual_seed(123)

# 创建两个训练样例，每个样例有5个维度（特征）
batch_example = torch.randn(2, 5) 

layer = nn.Sequential(nn.Linear(5, 6), nn.ReLU())
out = layer(batch_example)
print(out)

# 均值方差
mean = out.mean(dim=-1, keepdim=True)
var = out.var(dim=-1, keepdim=True)

print("Mean:\n", mean)
print("Variance:\n", var)

# 归一化，并看结果
out_norm = (out - mean) / torch.sqrt(var)
print("Normalized layer outputs:\n", out_norm)

# 确认一下每个输入的均值都为0，方差都为1
mean = out_norm.mean(dim=-1, keepdim=True)
var = out_norm.var(dim=-1, keepdim=True)
print("Mean:\n", mean)
print("Variance:\n", var)