线性模型假设的问题

如上图，对非线性类边界的数据进行分类

一个解决方案是将数据映射到更高维的空间，就变成线性可分的了。

$\varphi$ 是一个映射函数，将x从一个低维空间映射到高维空间。

$\varphi$ 可不可以是一个线性函数？
$\varphi (x)=W^{T}x$ 并不能起到将x映射到高维空间的效果。

这个函数本质上还是线性的，没有什么变化。

非线性特征

$\sigma$是一个非线性函数，但是并不改变矩阵的维度。可以是cosine函数之类的。

两层神经网络

矩阵形式

非线性层

线性的函数，只能在给定空间中进行线性划分，能拟合直线或者空间中的超平面。

加入非线性层，比有更强的拟合效果，能拟合曲线，空间中的曲面等。

全连接神经网络一般形式

全连接的神经网络一般有L层，又称多层感知机。

$\theta =W_1,...,W_L$

有些时候，每一层还会加一个偏移项 bi

$$Z_{i+1}={\sigma }_i(Z_i{W}_i+b_i)$$

如何训练？

计算两层网络的梯度