神经网络的初始化

news2024/11/25 19:00:44

为什么需要初始化？

初始化的常用方法：

是否必须初始化？

初始化神经网络中的权重和偏置是深度学习模型训练中非常重要的一步，虽然在某些情况下不进行初始化也能训练出模型，但正确的初始化方法能够显著提高训练效率并帮助模型更好地收敛。

为什么需要初始化？

防止梯度消失或爆炸：神经网络如果不进行适当的初始化，神经网络可能会遇到梯度消失或梯度爆炸的问题，导致训练无法有效进行；合理的初始化可以确保在反向传播过程中梯度的流动正常，避免这些问题。

加速收敛：使网络在训练的早期阶段就具备良好的起点，从而加速优化过程；没有初始化或者初始化不当可能导致模型训练非常缓慢，甚至收敛到不好的局部最优解。

确保非线性激活函数正常工作：在深度网络中，很多激活函数（如 ReLU、Sigmoid 等）依赖于输入的大小。如果权重初始化不当，激活函数可能会“饱和”或“死亡”，导致学习过程受阻。

初始化的常用方法：

Kaiming (He) 初始化：适用于 ReLU 等非线性激活函数，能够避免梯度消失问题。它通过计算输出层的大小来调整权重的标准差，使得每一层的输出方差稳定。

卷积层权重的 Kaiming 初始化代码展示：

import torch
import torch.nn as nn
import torch.nn.init as init

# 创建一个卷积层
# fan_out：适用于输出激活值的方差一致。
conv_layer = nn.Conv2d(in_channels=3, out_channels=64, kernel_size=3)

init.kaiming_normal_(conv_layer.weight, mode='fan_out', nonlinearity='relu')

# 如果卷积层包含偏置（通常建议设置为 False），可以将其初始化为零
if conv_layer.bias is not None:
    init.constant_(conv_layer.bias, 0)

全连接层权重的 Kaiming 初始化

# 创建一个全连接层
fc_layer = nn.Linear(in_features=128, out_features=64)

# 使用 Kaiming 均匀分布初始化权重
# fan_in：适用于输入激活值的方差一致（默认值）
init.kaiming_uniform_(fc_layer.weight, mode='fan_in', nonlinearity='relu')

# 偏置初始化为零
if fc_layer.bias is not None:
    init.constant_(fc_layer.bias, 0)

Xavier (Glorot) 初始化：适用于 Sigmoid 或 Tanh 激活函数，旨在保持每一层输入和输出的方差一致，减少梯度消失问题。

正态分布初始化代码展示：

import torch
import torch.nn as nn
import torch.nn.init as init

# 创建一个全连接层
fc_layer = nn.Linear(in_features=128, out_features=64)

# 使用 Xavier 正态分布初始化权重
init.xavier_normal_(fc_layer.weight)

# 均匀分布初始化
init.xavier_uniform_(fc_layer.weight)

# 如果层包含偏置，可以将偏置初始化为零
if fc_layer.bias is not None:
    init.constant_(fc_layer.bias, 0)