深度学习实践指南：打造强大AI应用的关键步骤和技巧

news2025/1/16 1:51:33

深度学习发展总图

深度学习(deep learning)发展史 - 知乎

不同的神经元模型

麦卡洛克 - 皮茨神经元模型（McCulloch - Pitts Neuron Model）

　麦卡洛克 - 皮茨神经元模型（McCulloch - Pitts Neuron Model）是模仿生物学神经元功能的简单线性模型，由心理学家 Warren McCulloch 和数学家 Walter Pitts 在 1943 年提出。该模型针对输入的 $x_{1}, x_{2}, x_{3}... x_{n}$ ，分别赋予不同的权重 $w_{1},w_{2},w_{3}...w_{n}$ ，形成 $\oint (x,y)=\sum_{i=1}^{n} x_{i}w_{i}$ 检验函数用以模仿生物神经元的膜电位，再通过 $o_{j}(t+1)=f ((\sum_{i=1}^{n} x_{i}w_{ij}(t))-T_{j})$ 模仿在每个 t 时刻神经元细胞的输出（信号空间的求和与神经元阀值 $T_{j}$ 差值的正负），完成分类。同时 MP 模型也存在不足之处，即权重需要人为给定，一旦权重分配不合理，将无法得出期望的分类结果

感知器（Perceptron）

　感知器（Perceptron）是 Frank Rosenblatt 在 1957 年就职于 Cornell 航空实验室（Cornell Aeronautical Laboratory）时所发明的一种人工神经网络。它可以被视为一种最简单形式的前馈神经网络，是一种二元线性分类器。感知器，解决了 MP 模型的无法自主学习的问题，成为第一个能根据每个类别的输入样本来学习权重的模型。此外，Frank Rosenblatt 给出了相应的感知器学习算法，常用的有感知器学习、最小二乘法和梯度下降法。譬如，感知器利用梯度下降法对损失函数进行极小化，求出可将训练数据进行线性划分的分离超平面，从而求得感知器模型。感知器也被称为单层人工神经网络，以区别于较复杂的多层感知器（Multilayer Perceptron）。尽管结构简单，感知器却能学习并解决相当复杂的问题。不过，感知器存在本质上的缺陷，就是无法处理线性不可分问题

多层感知器（MLP, Multilayer Perceptron）

　多层感知器（MLP, Multilayer Perceptron）是一种前馈神经网络（Feedforward Neural Network），映射一组输入向量到一组输出向量。MLP 可以被看作是一个有向图，由多个的节点层所组成，每一层都全连接到下一层。除了输入节点，每个节点都是一个带有非线性激活函数的神经元（或称处理单元）。另外，MLP 是（单层）感知器的推广，摆脱了早期离散传输函数的束缚，使用激活函数（Sigmoid / Tanh / ReLU / …）模拟神经元对激励的响应，在训练算法上则使用反向传播算法，解决了感知器不能对线性不可分数据进行处理的问题

深度神经网络（DNN, Deep Neural Networks）

　深度神经网络（DNN, Deep Neural Networks）是一种判别模型，可以使用反向传播算法进行训练。DNN 通过 “预训练” 和 “ReLU、Maxout 等激活函数” 解决了多层感知器中的 “局部最优解” 和 “梯度衰减” 问题。不过，与其他神经网络模型类似，如果仅仅是简单地训练，深度神经网络可能会存在很多问题。常见的两类问题是过拟合（Overfiting）和过长的运算时间

　因为增加了隐藏层，会使得模型对训练数据中较为罕见的依赖关系进行建模，所以深度神经网络很容易出现过拟合现象。对此，可以利用稀疏（�1 正则化）或者 权重递减（�2 正则化）等方法在训练过程中减少过拟合现象。另外，还有一种叫做丢弃法（Dropout）的正则化方法，即在训练中随机丢弃一部分隐层单元，来避免对较为罕见的依赖进行建模

　反向传播算法和梯度下降法由于其实现简单，并且相比其他方法，能够收敛到更好的局部最优值，因而成为神经网络训练的通行方法。但是，这些方法的计算代价很高，尤其是在训练 DNN 时，因为其规模（即层数和每层的节点数）、学习率、初始权重等众多参数都需要考虑。考虑到时间代价，想要扫描所有的参数是不可行的，因而考虑将多个训练样本组合进行 小批量训练（mini-batching），而非每次只使用一个样本进行训练，从而加速模型训练。而最显著地速度提升来自 GPU，因为矩阵和向量计算非常适合使用 GPU 实现。但使用大规模集群进行 DNN 训练仍然存在瓶颈，因而在并行化方面仍有很大的提升空间

卷积神经网络（CNN, Convolutional Neural Network）

　卷积神经网络（CNN, Convolutional Neural Network）是一种前馈神经网络，由哈弗医学院生理学家 Hubel 和 Wiesel 通过对猫视觉皮层细胞的研究，在 1962 年提出了感受野（Receptive Field）的概念，随后在 1984 年日本学者 Fukushima 基于 RF 的概念，设计出了神经感知机（Neocognitron）。其人工神经元可以响应一部分覆盖范围内的周围单元，对于图像处理和语音识别有着出色的表现

　卷积神经网络由一个或多个卷积层和顶端的全连通层（对应经典的神经网络）组成，同时也包括关联权重和池化层（Pooling Layer）。这一结构使得 CNN 能够利用输入数据的二维结构，也可以使用反向传播算法进行训练。相比较其他的前馈神经网络，CNN 通过卷积核控制只在同一个核内的神经元进行全连接，使得需要估计的参数很少，从而在根本上解决了 DNN 的参数膨胀的问题。但是，CNN 仍然存在无法对时间序列进行建模的缺陷

递归神经网络（RNN, Recurrent Neural Networks）

　递归神经网络（RNN, Recurrent Neural Networks）是两种人工神经网络的总称。一种是时间递归神经网络（Recurrent Neural Network），另一种是结构递归神经网络（Recursive Neural Network）。前者的神经元间连接构成有向图，而后者利用相似的神经网络结构递归构造更为复杂的深度网络。RNN 一般指代时间递归神经网络。单纯递归神经网络因为无法处理随着递归，权重指数级爆炸或消失的问题（Vanishing Gradient Problem），所以难以捕捉长期时间的关联；而结合不同变种的 LSTM 网络可以很好解决这个问题

长短期记忆网络（LSTM, Long Short Term Memory Networks）

　长短期记忆（LSTM, Long Short Term Memory Networks）是时间递归神经网络（RNN）的一种，论文首次发表于 1997 年。由于巧妙的设计结构，LSTM 适合于处理和预测时间序列中间隔和延迟非常长的重要事件。因为时间递归神经网络和前馈神经网络（Feedforward Neural Network）接受较特定结构的输入不同，RNN 将状态（Cell State）在自身网络中循环传递，使得 LSTM 可以接受更广泛的时间序列结构的输入，进而更好地描述动态时间行为

　一般的，LSTM 的表现会比时间递归神经网络（RNN）及隐马尔科夫模型（HMM）更好，比如用在不分段连续手写识别上。在 2009 年，用 LSTM 构建的人工神经网络模型就赢过了 ICDAR 手写识别比赛冠军。同时，LSTM 还普遍应用于自主语音识别，2013 年运用 TIMIT 自然演讲数据库达成 17.7% 错误率的纪录。而作为非线性模型，LSTM 又可当作复杂的非线性单元用于构造更庞大的深度神经网络