1、模型分类
深度学习是解决问题的一系列模型与方法,但深度学习模型不是深度学习领域中唯一的研究方向,且不一定是最重要的研究方向。除了模型之外,比较重要的还有优化算法、损失函数、采样方法等。
1.1 DNN
深度神经网络(Deep Neural Networks, 以下简称DNN)是深度学习的基础,DNN有时也叫做多层感知机(Multi-Layer perceptron,MLP)
DNN内部的神经网络层可以分为三类,输入层,隐藏层和输出层,包括前向传播算法,反向传播算法BP(back propagation)
BP神经网络是一种按照误差逆向传播算法训练的多层前馈神经网络,Vanilla Neural Networks实际上就是BP神经网络。Vanilla本意是香草,在这里基本等同于raw,即最原始的CNN。
1.2 CNN 卷积神经网络
能够将大数据量的图片有效的降维成小数据量 (并不影响结果);能够保留图片的特征,类似人类的视觉原理;
实际应用:图片分类、检索;目标定位检测;目标分割;人脸识别;骨骼识别。
1.3 RNN 循环神经网络
传统神经网络的结构:输入层 – 隐藏层 – 输出层。RNN 跟传统神经网络最大的区别在于每次都会将前一次的输出结果,带到下一次的隐藏层中,一起训练。RNN 有短期记忆问题,无法处理很长的输入序列;训