环境

• python 3.9
• numpy 1.24.1
• pytorch 2.0.0+cu117

一、Dropout

dropout在全连接层使用。

假设丢弃概率是P，有两种实现方式，不管是在《测试阶段》还是《训练阶段》对每层的输出做缩放，都是为了保持伯努利分布的期望np。《测试阶段》没dropout 而是全量神经元参与运算，不然预测结果具有随机性。为了保持每层输出和训练时一样的期望，所以需要缩放。

形象化理解：

10个人拉一个10吨的车：10*1=10

第一次（训练时）：当只有8个人出力（有p=0.2的人被dropout），为保持10吨的车照常运行。

从：10*1* [(1-p)/(1-p)] = 10       即：10*(1-p) *  [1/(1-p)] =10

可得每人需要 8人需要多发力1.25。

第二次（预测时）：10个人需要同时出力（没dropout），为保持结果不变需乘 (1-p)

即：这次每个人出力 1.25 * (1-0.2) =  1

dropout为什么可以缓解