AlexNet，VGG，NiN，GoogleNet，批量归一化

news2024/10/6 2:26:34

学着学着突然发现，数据分析numpy，matplotlib，pandas这一部分内容没学完，还有pytorch的一些代码没有学完，所以在看像AlexNet这一些代码实现的时候，很多都看不懂，也得慢慢的补上来了hhh。

这一周花了一些时间学习了数据分析的一些内容，然后继续学习深度学习。

AlexNet

AlexNet比LeNet复杂一点，先是11*11的卷积层，然后是一个最大池化层，再是5*5的卷积层，然后又是一个最大池化层，接下来是3个卷积层，一个最大池化层，最后是三个全连接层。

import torch
from torch import nn
from d2l import torch as d2l

net = nn.Sequential(
    nn.Conv2d(1, 96, kernel_size=11, stride=4, padding=1), nn.ReLU(),
    nn.MaxPool2d(kernel_size=3, stride=2),
    nn.Conv2d(96, 256, kernel_size=5, padding=2), nn.ReLU(),
    nn.MaxPool2d(kernel_size=3, stride=2),
    nn.Conv2d(256, 384, kernel_size=3, padding=1), nn.ReLU(),
    nn.Conv2d(384, 384, kernel_size=3, padding=1), nn.ReLU(),
    nn.Conv2d(384, 256, kernel_size=3, padding=1), nn.ReLU(),
    nn.MaxPool2d(kernel_size=3, stride=2),
    nn.Flatten(),
    nn.Linear(6400, 4096), nn.ReLU(),
    nn.Dropout(p=0.5),
    nn.Linear(4096, 4096), nn.ReLU(),
    nn.Dropout(p=0.5),
    nn.Linear(4096, 10))

ALexNet相比于LeNet来说是更大更深的一种网络，新进入了丢弃法，ReLU，最大池化层和数据增强。

VGG

VGG使用可重复使用的卷积块来构建深度卷积神经网络。

VGG网络可以分为2部分，第一部分主要由卷积层和汇聚层组成，第二部分由全连接层组成。

VGG-11：第一个模块有64个输出通道，每个后续模块将输出通道数量翻倍，直到该数字达到512。8个卷积层，3个全连接层。

import torch
from torch import nn
from d2l import torch as d2l

# 卷积层的数量和输出通道的数量
def vgg_block(num_convs, in_channels, out_channels):
    layers = []
    for _ in range(num_convs):
        layers.append(nn.Conv2d(in_channels, out_channels,kernel_size=3, padding=1))
        layers.append(nn.ReLU())
        in_channels = out_channels
    layers.append(nn.MaxPool2d(kernel_size=2,stride=2))
    return nn.Sequential(*layers)

conv_arch = ((1, 64), (1, 128), (2, 256), (2, 512), (2, 512))

def vgg(conv_arch):
    conv_blks = []
    in_channels = 1
    # 卷积层部分
    for (num_convs, out_channels) in conv_arch:
        conv_blks.append(vgg_block(num_convs, in_channels, out_channels))
        in_channels = out_channels

    return nn.Sequential(
        *conv_blks, nn.Flatten(),
        # 全连接层部分
        nn.Linear(out_channels * 7 * 7, 4096), nn.ReLU(), nn.Dropout(0.5),
        nn.Linear(4096, 4096), nn.ReLU(), nn.Dropout(0.5),
        nn.Linear(4096, 10))

net = vgg(conv_arch)