细节内容请关注微信公众号：运筹优化与数据科学

ID: pomelo_tree_opt

---

Outline

1. ANN与SVM

2. ANN的数学基础

3. ANN history

4. Deep neural network

------------------------------

1. ANN与SVM的区别

• SVM, SVR中有很多数学推导的过程，

  例如primal model, dual model, dual-to-primal conversion, optimality condition等。

• ANN或NN中也有很多数学推导，但是这里大部分的数学知识都go beyond大部分人的数学功力了，所以学NN一般不是去推导什么内容，只是知道其中的function是怎么运作的，掌握应用的技巧，会动手实现是关键。

====================

2. ANN的数学基础

ANN的数据基础是一个叫universal approximation的东西

这个universal approximation表现形式上，就是简单的线性的东西，经过非线性的operation，再combinOute起来，就得到了g(x), 用g(x)来近似f(x). 

思想上就是，我们不知道f(x)在做什么，可是我可以借由一连串我知道的东西把你表现出来，而且表现得很好，这就是ARR中approximation的思想。

------------------------------

从NN来看，就是f(x)很难，我们都不知道f(x)是什么形式，可是NN却可以经由一连串的连接来近似，而且能够保证效果够好。

Principle: complexity can be embedded in layered simplicity.

Layered simplicity can generate desired complexity.

The intelligence(computational power) of a neural network comes from properly layered neurons.

思想就是复杂的东西，往往嵌套在一层一层的简单东西中。Layered simplicity就是一层一层的简单的东西。Simplicity的东西经过一层一层的组合就能产生complexity.

不管f(x)有多难，我们都可以借由一层一层最简单的线性的东西，经过activation function变成非线性的；这样一层一层去做，就可以做出来一个g(x)，与f(x)相差不大。

另外，NN的功能，computational power或者说intelligence就来自这一层一层的简单的东西堆出来的。这个一层一层的想法很重要。

====================

3. ANN history

• 1873年Alexander Bain出的书《Mind and Body》

• 1890年William James出的书《The principle of Psychology》

两个人一起uncovered preliminary theoretical bases of “thoughts and body activities are from interactions of neurons (via electric flows) in the brain”. 尤其是William这个人提出了微电流electric flows的观点。

-------------------------------------

• 从1890到1898年，1898年，C. S. Sherrington真的验证了脑神经元的交互是通过微电流实现的。

• 再50年后，1943年Warren McCulloch and Walter Pitts设计了第一个“threshold logic” computation model，就是那个XOR的东西，逻辑运算用的，这是个pioneering的work，用数学建立了一个逻辑网络，用来做判断。

• 再到1948年，Alan Turing提出把neuron串起来，当作一个machine来用，就是NN的concept，自此很多人开始研究这个东西。

-------------------------------------

• 1958年，F. Rosenblatt创造了第一个perceptron，感知器，也就是一个artificial neuron. 用数学的模式制造了一个神经元，所以Rosenblatt也被称为“father of neural network”, “father of deep learning”.

• 1974年，Paul Werbos在他的PhD thesis中第一次提出了“backpropagation”的概念，前面都是在创造人工神经元，这里是提出了学习机制，perceptron的性能得到加强，真正起到学习的作用。从“过去”中学习，吸取教训，refine work. 他的PhD thesis叫做“Beyond regression”，回归之后，怎么加强学习。自此，neural network逐渐成型。

-------------------------------------

• 1982年，J. J. Hopfield提出了一个经典的ANN结构，” recurrent Hopfield network”. 

• 1986年，D. E. Rumelhart and J. McClelland提出了full exposition on the use of connectionism in computers to simulate neural processes. 这两个人是专门研究connectionism的，也就是连接机制，交互作用。

• 2006年，G. E. Hinto, S. Osindero, and Y. The proposed a fast learning algorithm for deep belief nets. 这个是在大数据背景下，提出了新的算法，快速学习的算法。

-------------------------------------

总体上来讲，1990s之前，NN就发展的很好了。

2000年以后，有了大数据，computational element之后，NN越来越powerful, 也出现了deep learning的东西。

====================

4. Deep neural network

Deep learning for computer vision, image procession, pattern recognition, approximate reasoning, etc.

像下面这张图，从Pixels到line segments, 再到distinct features的转变，就是卷积convolution operation, 能够抓住feature, 例如两只眼，一个鼻子什么的。

我们人类认知是从feature开始的，很快认识到是只狗。而电脑需要从像素到feature, convolution operation就是专门做这个的。

深度学习，深度神经网络，像CNN，就是在多层感知机的基础上前面又加了很多卷积层，汇聚层等，这就是所谓的深度网络 deep network。与之相对的是shallow network，就是网络的层数比较少.

在计算能力不强的时候，人们希望神经网络层数越少越好，每一层用的神经元越少越好，总的来说就是越精简越好，容易计算。

后来计算能力变强了，人们开始不纠结网络层数的事情，反正电脑运算能力够用，而且网络层数越多，直观上会更容易表现出来更复杂的东西。只是一个朴素的认识，实际上有证明，很简单的神经网络结构就能基本上近似所有的函数形式。