Dropout层的作用
dropout 能够避免过拟合，我们往往会在全连接层这类参数比较多的层中使用dropout；在训练包含dropout层的神经网络中，每个批次的训练数据都是随机选择，实质是训练了多个子神经网络，因为在不同的子网络中随机忽略的权重的位置不同，最后在测试的过程中，将这些小的子网络组合起来，类似一种投票的机制来作预测，有点类似于集成学习的感觉。
关于dropout，有nn.Dropout和nn.functional.dropout两种。推荐使用nn.Dropout，因为一般情况下只有训练train时才用dropout，在eval不需要dropout。使用nn.Dropout，在调用model.eval()后，模型的dropout层和批归一化（batchnorm）都关闭，但用nn.functional.dropout，在没有设置training模式下调用model.eval()后不会关闭dropout。
这里关闭dropout等的目的是为了测试我们训练好的网络。在eval模式下，dropout层会让所有的激活单元都通过，而batchnorm层会停止计算和更新mean和var，直接使用在train训练阶段已经学出的mean和var值。同时我们在用模型做预测的时候也应该声明model.eval()。
注⚠️：为了进一步加速模型的测试，我们可以设置with torch.no_grad()，主要是用于停止autograd模块的工作，以起到加速和节省显存的作用，具体行为就是停止梯度gradient计算和储存，从而节省了GPU算力和显存，但是并不会影响dropout和batchnorm层的行为，这样我们可以使用更大的batch进行测试。
model.eval()下不启用 Batch Normalization 和 Dropout。
如果模型中有BN层(Batch Normalization）和Dropout，在测试时添加model.eval()。model.eval()是保证BN层能够用全部训练数据的均值和方差，即测试过程中要保证BN层的均值和方差不变。对于Dropout，model.eval()是利用到了所有网络连接，即不进行随机舍弃神经元。
下面一段话是关于BN层的解释：
在训练过程中，Dropout的实现是让神经元以超参数p的概率停止工作或者激活被置为0,未被置为0的进行缩放，缩放比例为1/(1-p)
Dropout正则化
-
概念
-
每次迭代过程中，按照层，随机选择某些节点删除前向和后向连接
-
注意：对隐藏层的某一个节点给删掉 （dropout的时候，神经网络的输入和输出节点个数没有发生变化）
-
-
看成机器学习中的集成方法（ensemble technique）
-
删除一些神经元, 减少模型复杂度, 也减少了过拟合
-
-
被失活的神经元输出为0 其他神经元被放大 1/(1-rate)倍
-
只在网络训练时有效, 模型预测时无效
-
神经网络中独有的方法
-
重中之重：随机置零的是神经元，也就是forward里的self.linear(x)里的x
注意：Dropout只针对隐藏层来说的！！！
代码实现：
单纯调用Dropout：
import torch
import torch.nn as nn
import torch.nn.functional as F
import torch.optim as optim
def dropout_test():
torch.random.manual_seed(0)
inputs = torch.randn(2, 5)
dropout = nn.Dropout(p=0.4)
print("dropout之前=>>>inputs", inputs)
out = dropout(inputs)
print("dropout之后=>>>inputs", out)
print("各个元素乘以 1 / (1-p)=>>>", inputs * 1 / (1 - 0.4))
if __name__ == '__main__':
dropout_test()
运行结果：
上图展示了“在训练过程中，Dropout的实现是让神经元以超参数p的概率停止工作或者激活被置为0,未被置为0的进行缩放，缩放比例为1/(1-p)”这句话的体现！！！
nn.Module类型的例子：
import torch
import torch.nn as nn
import torch.nn.functional as F
import torch.optim as optim
class LinearModule(nn.Module):
def __init__(self):
super().__init__()
self.linear1 = nn.Linear(in_features=3, out_features=5)
self.linear2 = nn.Linear(in_features=5, out_features=20)
self.out = nn.Linear(in_features=20, out_features=2)
self.dropout = nn.Dropout(p=0.2)
def forward(self, x):
x = self.linear1(x)
print("Dropout前的权重=>>>", x)
x = self.dropout(x)
print("Dropout后的权重=>>>", x)
x = torch.relu(x)
x = self.linear2(x)
x = self.dropout(x)
x = torch.relu(x)
out = self.out(x)
return F.log_softmax(out, dim=1)
def train():
learning_rate = 0.1
inputs = torch.randn(5, 3, dtype=torch.float32)
label = torch.tensor([1, 0, 1, 0, 0], dtype=torch.int64)
model = LinearModule()
optimizer = optim.Adam(model.parameters(), lr=learning_rate)
criterion = nn.NLLLoss()
y_pred = model(inputs)
loss = criterion(y_pred, label)
optimizer.zero_grad()
loss.backward()
optimizer.step()
if __name__ == '__main__':
train()
运行结果：
