Batch Normalization
神经元在经过激活函数之后会处于饱和状态,无论后续怎么变化都不会再起作用。
每一层都会进行batch normalization的处理!
without normalization 会导致数据分布再饱和区
全连接层:
全连接层(fully connected layers,FC)在整个卷积神经网络中起到“分类器”的作用。如果说卷积层、池化层和激活函数层等操作是将原始数据映射到隐层特征空间的话,全连接层则起到将学到的“分布式特征表示”映射到样本标记空间的作用。
简单来说:它把特征值整合到一起,输出为一个值。这样做有一个什么好处:就是大大减少特征位置对分类带来的影响。注:样本标记空间也叫样本输出空间