2023.2.1

一、全连接层神经网络：

之前学习的神经网络称为 全连接神经网络 （ Fully-Connected），它的特点就是相邻层所有的神经元都有联接，通过Affine层实现全连接层。

在全连接层神经网络中，Affine层后面跟着激活函数ReLU层（或者Softmax层）。Softmax层输出最终的概率；

 

关于Affine层可以查看这篇文章：“深度学习”学习日记。误差反向传播法--Affine/Softmax层的实现_Anthony陪你度过漫长岁月的博客-CSDN博客误差反向传播法Affine/softmax层的实现https://blog.csdn.net/m0_72675651/article/details/128719989

 二、卷积神经网络的结构：

卷积神经网络（Convolution Neural Network，CNN），相比较于全连接层神经网络，CNN中新添加了卷积层和池化层。

CNN的连接顺序是 “Convolution-ReLU-Pooling”，以此代替"Affine-ReLU"的连接；

在CNN中，靠近输出层中使用了“Affine-ReLU”组合，输出层使用了“Affine-Softmax”组合，二Convolution-ReLU-Pooling也可以将Pooling（省略） 。这些组合都是一般CNN中常见的结构；

理解卷积神经网络可以参照这个视频：什么是卷积神经网络CNN？【知多少】

https://www.bilibili.com/video/BV1AL4y1b7er/?spm_id_from=333.337.search-card.all.clickhttps://www.bilibili.com/video/BV1AL4y1b7er/?spm_id_from=333.337.search-card.all.click