计算CNN卷积层和全连接层的参数量

先前阅读

• CNN Explainer
• A Comprehensive Guide to Convolutional Neural Networks — the ELI5 way

本文主旨意在搞明白2个问题：
第一个问题
一个卷积操作，他的参数，也就是我们要训练的参数，也就是我们说的权重，有多少个？ 看到一个nn.Conv()函数，就能知道有多少个，它由那些因子决定的？
参数量是由以下3个因子决定的：

• 卷积核大小（HxW）
• 卷积核维度(D)
• 卷积核有多少个

则卷积层的参数量为 卷积核大小（HxW） * 卷积核维度(D) * 卷积核有多少个

第二个问题
一个全连接操作，参数又有多少个？它由那些因子决定的？

• 输入大小为 N
• 输出大小为 M

则全连接层的参数量为 N×M

计算CNN卷积层的参数量

案例1

动态演示

看上图案例1的计算，输入图像为 5x5x1， 卷积核3x3x1， 输出3x3x1；

思考3个参数：

• 卷积核大小（HxW） ==》3x3
• 卷积核维度(D) ==》1
• 卷积核有多少个 ==》1

参数量为 3x3x1x1 = 9个

案例2

看上图案例2的计算，输入图像为 H1xW1x3， 卷积核3x3x3， 输出H2xW2x1；
思考3个参数：

• 卷积核大小（HxW） ==》3x3
• 卷积核维度(D) ==》3
• 卷积核有多少个 ==》1

参数量为 3x3x3x1 = 27个

从上面的两个案例可以看出， 参数量与输入图像的HxW没有关系， 参数量与输出图像的HxW也没有关系。

案例3

VGG-16为例,conv1-1，第一层
输入224x224x3， 输出是224x224x64，卷积核3x3
思考3个参数：

• 卷积核大小（HxW） ==》3x3
• 卷积核维度(D) ==》3
• 有多少个卷积核 ==》64

卷积核的维度是多少？ 是由输入图像的维度决定，这里是3
卷积核的个数是多少？ 是由输出图像的维度决定，这里是64

所以参数量 = 3x3x卷积核维度x卷积核个数 = 3x3x3x64 = 27个

Pytorch代码辅助理解

代码

nn.Conv2d(in_channels, out_channels, kernel_size, stride=1, padding=0, dilation=1, groups=1, bias=True, padding_mode='zeros')

案例3中的卷积操作如下：

nn.Conv2d(in_channels=3, out_channels=64, kernel_size=3, stride=1, padding=0, dilation=1, groups=1, bias=True, padding_mode='zeros')

参数量计算： = kernel_size * kernel_size * in_channels(卷积核维度) * out_channels(卷积核个数) = 3 * 3 * 3 * 64

stride=1, padding=0， 这两个会影响到输出的HxW，上文已经提到和我们要计算的参数量无关。

最后，补上偏置参数，
每个卷积核都加个偏置 ,所以总得参数量：
参数量计算： = kernel_size * kernel_size * in_channels(卷积核维度) * out_channels(卷积核个数) + bias(=卷积核个数) = 3 * 3 * 3 * 64+64

计算FC全连接层的参数量

先看一段代码，这是我们经常看到的一段代码，先把x解析到1x9的维度，再做全连接操作

self.fc = nn.Linear(9, 4)

x = x.view(-1, 9) # 把x，解析到1x9的维度，这一个操作是没有权重的
x = self.fc(x) # 做全连接操作

上面的代码对应的操作图，如下

图片来源 | Fully Connected Layer vs. Convolutional Layer: Explained

红色框的参数，就是我们要找的权重参数，有多少个？
思考问题？

• 输入大小为 N = 9
• 输出大小为 M =4

计算参数量 = 9x4 = 36个

再看对应的连接图

上图中的每一条连接线（橙色和蓝色的线），都有一个权重参数，共36条，所以有36个参数。

最后，补上偏置参数，
偏置参数数量： 每个输出节点有一个偏置项（bias），因此偏置参数的数量等于输出节点的数量，即 M=4
所以，总的参数数量为N×M+M = 40，即 M 为输出节点数量，N 为输入节点数量。

END

---