文章目录
- 概要
- 整体架构流程
- 训练阶段
- 推理阶段
- 模型中使用的注意事项
概要
面试百度时候被问到了BN 内部详细的训练阶段,推理阶段的计算过程。没回答好,来记录一下
推荐一下b站up: Enzo_Mi。视频做的确实不错
bn 讲解视频
整体架构流程
训练阶段
均值和标准差的计算过程 就是把一个batch中相同的通道的feature map拿出来计算。
最后得到新的feature map的值还需要 经过gamma和beta两个值的反变换。
均值和方差是为了归一化,两个可学习的参数gamma,beta是为了将归一化后的值拉回到原来的尺度以拟合原始数据。
推理阶段
推理阶段的均值和方差就不是根据推理的输入进行计算的,是通过训练时候的均值和方差进行滑动平均得到的。(面试的时候没回答上来)