卷积神经网络各层介绍

1 卷积层

2 BN层

3 激活层

3.1 ReLU（Rectified Linear Unit）

3.2 sigmoid

3.3 tanh（双曲正切）

3.4 Softmax

4 池化层

5 全连接层

6 模型例子

1 卷积层

卷积是使用一个卷积核（滤波器）对矩阵进行内积（相乘后求和）的操作，通过该操作可以获得输入矩阵（图片）的重要信息，在此基础上，更深层次的卷积操作会获得更重要的特征信息。

一个 padding = 1, stride = 2，kernel size = 3 的单通道卷积过程示意图如下：

torch.nn.Conv2d(in_channels, out_channels, kernel_size, stride=1, padding=0, dilation=1, groups=1, bias=True, padding_mode='zeros')

参数：

in_channels (int): 输入通道数，即输入图像的深度。例如，对于 RGB 图像，这个值通常为 3。
out_channels (int): 输出通道数，即卷积核的数量。每个卷积核会提取一个特征图。
kernel_size (int 或 tuple): 卷积核的大小。如果是正方形，可以只用一个整数表示，例如 3 表示 3x3 的卷积核。
stride (int 或 tuple, 可选): 卷积操作的步长，默认为 1。
padding (int 或 tuple, 可选): 输入的每一边要填充的像素数量，默认为 0。
dilation (空洞卷积，int 或 tuple, 可选): 卷积核元素之间的间距，默认为 1。
groups (分组卷积，int, 可选): 控制输入和输出之间的连接方式，默认为 1。groups 值大于 1 时，相当于对输入进行组卷积。
bias (bool, 可选): 如果 True，添加一个学习偏置，默认为 True。
padding_mode (str, 可选): 填充模式，可以是 'zeros'（默认，零填充）、'reflect'（反射填充，矩阵边缘为对称轴）、'replicate'（复制矩阵边缘的值）或 'circular'。

卷积操作输出图片大小的计算公式：

多通道输入

输入图片是多通道的，则卷积核对应也是多通道（多维）的，之后对卷积结果进行求和得到一个二维矩阵

参考文档

卷积操作原理解析与nn.Conv2d用法详解https://blog.csdn.net/sazass/article/details/116790155

PyTorch Conv2d中的四种填充模式解析https://www.jianshu.com/p/a6da4ad8e8e7

2 BN层

BN层的作用

加快网络的训练和收敛的速度
控制梯度爆炸防止梯度消失
防止过拟合（存在争议）

注：BN层一般接在线性层和卷积层后面

torch.nn.BatchNorm2d(num_features, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)

num_features: 整数，表示输入特征的数量，即输入通道数。例如，对于一个三通道的RGB图像，num_features 应该设置为3。对于卷积层的输出，这个值通常是卷积核的数量。
eps: 浮点数，一个非常小的值，用于数值稳定性。默认值为1e-5。在计算方差时，会加上这个值以避免除以零的情况。
momentum: 浮点数，动量因子，用于更新运行均值和方差。默认值为0.1。动量可以帮助稳定均值和方差的估计，特别是在小批量数据的情况下。
affine: 布尔值，是否使用可学习的仿射变换参数。如果设置为 True（默认值），则会学习缩放和平移参数。如果设置为 False，则不使用这些参数，仅进行标准化处理。

参考文档

神经网络中BN层的原理与作用https://blog.csdn.net/weixin_42080490/article/details/108849715

BN(Batch Normalization)层原理与作用https://blog.csdn.net/chaipp0607/article/details/112853861

3 激活层

为什么要用激活函数？激活函数给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中。

下图是使用sigmoid激活函数去逼近一个非线性函数

下图中不同的参数c、b、w构成的sigmoid函数（这里就这样表述吧）也不同

如下图所示，不同的sigmoid函数（蓝色显示）可以构成一个新的sigmoid函数（红色显示）

下图x是输入，y是输出，函数是我们训练的模型，其它的是训练得到的参数

3.1 ReLU（Rectified Linear Unit）

公式:
优点:
- 计算简单，梯度下降时计算效率高。
- 在正域内不会产生梯度消失问题。
缺点:
- 负域内的梯度为0，可能导致“神经元死亡”现象。
- 不是以0为中心的输出。

3.2 sigmoid

公式:
优点:
- 求导容易，输出范围在0到1之间，可以作为概率解释。
缺点:
- 容易产生梯度消失问题。
- 计算复杂度较高。

3.3 tanh（双曲正切）

公式:
优点:
- 输出范围在-1到1之间，适合作为初始化权重。
缺点:
- 同样容易产生梯度消失问题。
- 计算复杂度比sigmoid高。

3.4 Softmax

公式：

优点：
- 概率解释性：Softmax函数将输入向量转换为一个概率分布，其中每个元素的值都在0到1之间，且所有元素的总和为1。这种特性使得Softmax函数在多分类问题中特别有用，因为可以直接将输出解释为属于各个类别的概率。
- 非负性：Softmax函数的输出值介于0和1之间，确保了概率的非负性。
缺点：
- 易造成梯度消失：当输入值非常大或非常小时，Softmax函数的梯度可能会变得非常小，导致梯度消失问题。这会影响神经网络的训练效果，使得网络难以学习到有效的特征。
- 幂运算复杂：Softmax函数涉及指数运算，这会增加训练时间。
- 输出非零均值：Softmax函数的输出是非零均值的，这可能会导致后续层的神经元接收到的输入也是非零均值的，从而影响神经网络的收敛速度。

参考文档

激活函数 - 维基百科，自由的百科全书https://zh.wikipedia.org/wiki/%E6%BF%80%E6%B4%BB%E5%87%BD%E6%95%B0盘点当前最流行的激活函数及选择经验http://giantpandacv.com/academic/%E7%AE%97%E6%B3%95%E7%A7%91%E6%99%AE/%E7%BB%BC%E8%BF%B0%E7%B1%BB/%E7%9B%98%E7%82%B9%E5%BD%93%E5%89%8D%E6%9C%80%E6%B5%81%E8%A1%8C%E7%9A%84%E6%BF%80%E6%B4%BB%E5%87%BD%E6%95%B0%E5%8F%8A%E9%80%89%E6%8B%A9%E7%BB%8F%E9%AA%8C/

4 池化层

人类用眼睛识别物体时不是把眼睛所看到的所有信息全部传递入大脑进行处理，而是有重点的选择部分信息进行处理。池化操作也是类似。池化可以缩减模型的大小，减少冗余的信息，提高神经网络运算效率并防止过拟合，常用的池化有最大池化、平均池化。

池化层的具体操作与卷积层类似，都是利用一个窗口在图像上滑动，它的参数包括 filter size (n) ，stride (s) 和跳跃步长 (s)。一般情况下设置 n=s，即每（ n×n ）个像素提取一个像素，这样图像尺寸为原先的 1/n。

最大池化，选择某个矩阵中的最大值；平均池化，取矩阵中所有值的平均值

参考文档

卷积神经网络中的池化(Pooling)层https://0809zheng.github.io/2021/07/02/pool.html

5 全连接层

全连接层（fully connected layers，FC）是神经网络的一种基本层类型，通常位于网络的最后几层，用于分类任务的输出层。在全连接层中，输入向量通过一个权重矩阵进行线性变换，然后加上一个偏置项，最后通过激活函数（如ReLU、Sigmoid、Tanh等）进行非线性变换。通常会将全连接层的维度设为类别数量或通过Softmax函数输出每个类别的概率分布（有时全连接层不需要加入激活函数，如使用CrossEntropyLoss损失函数计算损失时会用到Softmax激活函数），从而实现对输入数据的分类。另一种说法是，全连接可以是卷积核大小为输入特征大小的卷积运算，卷积的结果为一个节点，对应全连接层的一个点。如输入特征是3x3x5，那么需要一个3x3x5的卷积核进行运算，得到一个数值，对应全连接的一个神经元。

我们现在的任务是区别下面的这张图片是不是猫

假设猫有以下几个特征

红色的神经元表示这些被找到了（激活了），然后通过全连接将这些特征拼接起来，即卷积获取的是局部特征，全连接就是把这些局部特征连接起来。

参考文档

CNN 入门讲解：什么是全连接层（Fully Connected Layer）?https://zhuanlan.zhihu.com/p/33841176

6 模型例子

import torch.nn


class Net(torch.nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        self.conv1 = torch.nn.Sequential(
            # 5x5卷积核
            torch.nn.Conv2d(1, 10, kernel_size=5),
            # 激活函数
            torch.nn.ReLU(),
            # 最大池化
            torch.nn.MaxPool2d(kernel_size=2),
        )
        self.conv2 = torch.nn.Sequential(
            torch.nn.Conv2d(10, 20, kernel_size=5),
            torch.nn.ReLU(),
            torch.nn.MaxPool2d(kernel_size=2),
        )
        self.fc = torch.nn.Sequential(
            #输入320，输出50的线性层
            torch.nn.Linear(320, 50),
            torch.nn.Linear(50, 10)
            # 未加入激活函数，计算损失时，CrossEntropyLoss损失函数会用到Softmax激活函数
        )

    def forward(self, x):
        batch_size = x.size(0)
        x = self.conv1(x)  # 一层卷积层,一层池化层,一层激活层(图是先卷积后激活再池化，差别不大)
        x = self.conv2(x)  # 再来一次
        x = x.view(batch_size, -1)  # flatten 变成全连接网络需要的输入 (batch, 20,4,4) ==> (batch,320), -1 此处自动算出的是320
        x = self.fc(x)
        return x  # 最后输出的是维度为10的，也就是（对应数学符号的0~9）