BN测试和训练时有什么不同, 在测试时怎么使用?

news2025/4/12 16:46:57

我们来彻底搞懂 Batch Normalization（BN） 在训练和测试阶段的区别，以及 测试时怎么用。

🧠 一句话总结：

训练时：使用 当前 mini-batch 的均值和方差

测试时：使用 整个训练集估计的“滑动平均均值和方差”

🧪 训练阶段的 BN（model.train()）：

1. 对每个 mini-batch：

• 计算该 batch 的均值 μ 和方差 σ²

• 进行标准化：

$\hat{x} = \frac{x - \mu_{\text{batch}}}{\sqrt{\sigma^2_{\text{batch}} + \epsilon}}$

• 然后进行缩放和平移：

$y = \gamma \hat{x} + \beta$

2. 同时更新全局滑动均值和滑动方差（moving mean/var）用于测试。

✅ 测试阶段的 BN（model.eval()）：

1. 不再用当前 batch 的统计量（因为测试数据可能 batch 很小，甚至 batch=1，统计不稳定）

2. 使用训练时保存下来的滑动均值和方差来做归一化：

$\hat{x} = \frac{x - \mu_{\text{moving}}}{\sqrt{\sigma^2_{\text{moving}} + \epsilon}}$

🔁 在 PyTorch 中怎么做？

训练时：

model.train()  # 启用 dropout、BN 用 batch 统计

测试/验证时：

model.eval()   # 关闭 dropout，BN 用全局 moving 均值/方差

你想实际测试一个 BN 层，可以这样

import torch
import torch.nn as nn

bn = nn.BatchNorm2d(3)

x = torch.randn(4, 3, 8, 8)

# 训练时
bn.train()
out_train = bn(x)

# 测试时
bn.eval()
out_test = bn(x)

📌 小结表格

模式	统计方式	是否更新均值/方差	适用场景
train()	当前 mini-batch	✅ 是	训练
eval()	滑动平均值	❌ 否	推理、验证

全局滑动均值和滑动方差是什么

全局滑动均值（moving mean）和滑动方差（moving variance）是 Batch Normalization（BN） 在训练过程中用于统计数据分布的全局估计值。它们通过 指数加权移动平均 的方式进行更新，并在 测试阶段 使用。具体而言，它们用于避免测试时每次计算时都依赖小批量数据（mini-batch）的统计信息。

🧠 具体解释：

1. 滑动均值（Moving Mean）：

• 训练时，BN层 会不断计算当前 batch 的均值（mean）和方差（variance）。

• 但是，为了让测试时能够使用更稳定的均值和方差，BN会 维护一个滑动均值。

• 这个均值是通过以下公式更新的：

$\mu_{\text{moving}}^{t} = \alpha \cdot \mu_{\text{batch}}^t + (1 - \alpha) \cdot \mu_{\text{moving}}^{t-1}$