参考pyttorch官方文档:
LayerNorm — PyTorch 2.4 documentation
在深度学习模型中,层归一化(Layer Normalization, 简称LN)是一种常用的技术,用于稳定和加速神经网络的训练。层归一化通过对单个样本内的所有激活进行归一化,使得训练过程更加稳定。
关于层归一化是否可训练,其实层归一化中确实包含可训练的参数。具体来说,层归一化会对激活值进行如下变换:
-
均值和方差的计算:对于给定的输入 (例如一个mini-batch内的数据),计算其均值 μ 和方差 σ2。
-
归一化:将输入 x 归一化到均值为0和方差为1的分布,计算方式为:
其中,ϵ是一个很小的数,防止除数为0。
-
缩放和偏移:这是层归一化中可训练的部分。归一化后的值 会被重新缩放和偏移,使用可训练的参数 γ和 β:
这里, 和 是针对每个神经元分别学习的参数,它们允许模型在归一化后恢复最有用的数据表示。
因此,层归一化是包含可训练参数的,这些参数可以在模型训练过程中学习和更新。这一点与批量归一化(Batch Normalization)相似,后者同样使用了可训练的缩放和偏移参数,但归一化的范围和计算方式有所不同。
通过这些可训练的参数,层归一化不仅能帮助模型控制内部数据的分布,还能适应数据的具体特征,这对于模型的泛化能力和学习效率都是非常重要的。