1、call 方法
是一个特殊的方法，它允许类的实例表现得像函数一样。也就是说，你可以使用圆括号 () 来调用一个实例，就像调用普通函数一样。
当你调用 model(input_data) 时，实际上是调用了模型的 __ call __ 方法，其会自动调用 forward() 方法，完成前向传播的计算。而不需要（显示地）手动调用 model.forward(input_data)。
2、什么是卷积神经网络
卷积神经网络是一种带有卷积结构的深度神经网络，卷积结构可以减少深层网络占用的内存量，其三个关键的操作，其一是局部感受野，其二是权值共享，其三是 pooling 层，有效的减少了网络的参数个数，缓解了模型的过拟合问题。
3、卷积神经网络注意事项
数据驱动的模型一般依赖于数据集的大小，CNN 和其他经验模型一样，能够适用于任意大小的数据集，但用于训练的数据集应该足够大， 能够覆盖问题域中所有已知可能出现的问题。
4、正交初始化（Orthogonal Initialization）
是一种用于神经网络权重初始化的方法，旨在使权重矩阵具有正交性。正交矩阵的行或列是彼此正交并且单位化的，这种初始化方式有助于维持梯度的规模，防止在深度神经网络训练过程中发生梯度爆炸或消失。
正交初始化的具体实现步骤
生成随机矩阵：首先，从均值为0、方差为1的高斯分布中随机生成一个矩阵。
奇异值分解（SVD）：对生成的随机矩阵进行奇异值分解（SVD），得到两个正交矩阵U和V，以及一个对角矩阵Σ。
选择正交矩阵：从U和V中选择一个作为初始化后的权重矩阵。通常选择形状与目标权重矩阵匹配的那个。
正太分布、均匀分布和正交分布都叫随机初始化
5、零值初始化
在零值初始化中，所有权重 W 和偏置 b 都被设置为零：
W=0,b=0
零值初始化的问题
对称性问题：
如果所有权重都初始化为零，那么在训练过程中，所有神经元的输出和梯度更新都会相同。这导致模型无法有效学习，因为所有的隐含单元都计算相同的函数，这种情况称为对称性问题（Symmetry Breaking Problem）。
例如，对于一个简单的神经网络，如果所有权重都初始化为零，那么每个神经元的输入和输出在每一层都会相同，梯度更新也会相同，从而无法打破对称性。
梯度消失问题：
由于所有初始值都为零，梯度在反向传播过程中也会非常小，这可能导致梯度消失问题，使得模型难以收敛。
6、如何选择激活函数
（1）任选其一：若网络层数不多
（2）ReLU：若网络层数较多
不宜选择sigmoid、tanh，因为它们的导数都小于1，sigmoid的导数更是在[0, 1/4]之间。
根据微积分链式法则，随着网络层数增加，导数或偏导将指数级变小。
所以，网络层数较多的激活函数其导数不宜小于1也不能大于1，大于1将导致梯度爆炸，导数为1最好，而relu正好满足这个要求。
7、全局平均池化
常用于卷积神经网络的末端，以替代传统的全连接层，减少模型的参数量，简化网络结构，提高计算效率
参考
https://blog.csdn.net/shinuone/article/details/127289512
https://blog.csdn.net/jiaoyangwm/article/details/80011656