Three Steps for Deep Learning

与机器学习三步骤基本相同。
注意step1中function为Neural Network

Fully Connect Feedforward Network

Neuron不同的连接方式导致了不同的结构，其中最常见的就是全连接前馈网络，示意图如下：

• 对于一个神经网络对应不同的参数，就是不同的function，可能的function集合起来就得到了一个function set
• Layer和Layer之间所有神经元两两间都有连接，所以叫Fully Connect Network；传递的方向为从前往后，所以叫Feedforward Network
• 现在基本上只要是neural Network base的方法都说是deep learning的方法

Matrix Operation

$$激活函数(权重w\ast 输入+偏移b)=输出$$

对于多层就是将前面的结果放到输入中：

使用矩阵运算，这样可以使用GPU加速，比用CPU计算快

Output Layer as Multi-Class Classifier

hidden layers是feature extractor(特征提取器)可以看做feature engineering，feature transformation；output layer就是一个Multi-class classifier，最后会加上一个softmax；具体图如下：

Example Application

Neural Network

对于16x16的手写数字图像，输入是256维，输出是10维；

假如使用Feedforward network这个network structure，它已经确定了一个function set，需要使用gradient descent去计算出一组参数，挑一个最适合拿来做手写数字识别的function

Goodness of function

根据输出结果与真实值计算cross Entropy，调整network的参数使得cross Entropy越小越好

对于整体而言，需要计算所有图片的交叉熵之和，得到Total Loss L，要找到一组参数最小化Loss

Pick the best function

依然使用GD进行迭代更新，这里就不介绍了，过程如下：

That is Deep Learning，so simple！