1.添加L1 loss

# 方式1：添加到损失函数中
def l1_regularization(model, l1_alpha):
    l1_loss = []
    for module in model.modules():
        if type(module) is nn.BatchNorm2d:
            l1_loss.append(torch.abs(module.weight).sum())
    return l1_alpha * sum(l1_loss)
    
# 方式2：添加到反向传播后的参数梯度中
def l1_regularization(model, l1_alpha):
    for module in model.modules():
        if type(module) is nn.BatchNorm2d:
            module.weight.grad.data.add_(l1_alpha * torch.sign(module.weight.data))

2.添加L2 loss

方式1：添加到损失函数中
def l2_regularization(model, l2_alpha):
    l2_loss = []
    for module in model.modules():
        if type(module) is nn.Conv2d:
            l2_loss.append((module.weight ** 2).sum() / 2.0)
    return l2_alpha * sum(l2_loss)
    
# 方式2：添加到反向传播后的参数梯度中
def l2_regularization(model, l2_alpha):
    for module in model.modules():
        if type(module) is nn.Conv2d:
            module.weight.grad.data.add_(l2_alpha * module.weight.data)

3.代码报错：AttributeError: ‘NoneType’ object has no attribute ‘data’

我在for module in model.modules():中，当循环遍历到module为BatchNorm2d时，获取 module.weight报错。
解决办法：
检查，在定义nn.BatchNorm2d时，有没有将偏执项bias关闭，将affine设置为True，或者直接将这个参数设置删除（默认为True）。