分类用图形来解释，把他想象为有大小有方向带箭头的向量。

设权重向量为$w$，虚线为使权重向量称为法线向量的直线。

直线的表达式为：$w\cdot x=0$ (两个向量的内积)

也可写为：$w\cdot x=\sum _{i=1}^n{w}_i{x}_i=w_1{x}_1+w_2{x}_2=0$

$w\cdot x=|w|\cdot |x|\cdot cos\theta$ 要使内积0，$\theta =90°$或$\theta =270°$

感知机

感知机是接受多个输入后将每个值与各自的权重相乘，最后输出总和的模型。是神经网络和深度学习的基础模型。人们常用这样的图来表示它。

训练数据的准备

$f_w(x)$：根据参数向量$x$来判断图像是横向还是纵向的函数，即返回1或者-1的函数,这个函数被称为判别函数。

$f_w(x)=\{\begin{array}{ll}1& (w\cdot x\ge 0)\\ -1& (w\cdot x<0)\end{array}$

根据内积正负来分割区域

权重向量的更新表达式

$w:=\{\begin{array}{ll}w+y^{(i)}{x}^{(i)}& (f_w(x^{(i)})\ne y^{(i)})\\ w& (f_w(x^{(i)})=y^{(i)})\end{array}$

分类正确不动，分类失败更新权重向量，$y^{(i)}$为1或-1，做向量的加法和减法去旋转直线。

线性可分

感知机只能解决线性可分问题。

无法解决下图情况

之前提到的感知机也被称为简单感知机或单层感知机，实际上多层感知机就是神经网络。

逻辑回归

sigmoid函数

$f_{\theta }(x)=\frac{1}{1+exp(-{\theta }^{T}x)}$ ($exp(x)=e^x$)

图形如下：

${\theta }^{T}x=0$时$f_{\theta }(x)=0.5$，$0<f_{\theta }(x)<1$是sigmoid函数的两个特征。

决策边界

把位置数据$x$是横向图像的概率作为$f_{\theta }(x)$，表达式如下

$P(y=1|x)=f_{\theta }(x)$

这是在给出$x$的数据时$y=1$，即图像为横向的概率。

$y=\{\begin{array}{ll}1& (f_{\theta }(x)\ge 0.5)\\ 0& (f_{\theta }(x)<0.5)\end{array}$

可以改写为：

$y=\{\begin{array}{ll}1& ({\mathbf{\theta }}^T\mathbf{x}\ge 0)\\ 0& ({\mathbf{\theta }}^T\mathbf{x}<0)\end{array}$

我们将${\mathbf{\theta }}^T\mathbf{x}=0$这条直线作为边界线，把数据分类为横向和纵向，这种用于数据分类的直线称为决策边界。

为了求正确的参数$\theta$而定义目标函数，进行微分，然后求参数的更新表达式。这种算法就称为逻辑回归

似然函数

开始求参数的更新表达式。

$P(y=1|x)$是图像为横向的概率，$P(y=0|x)$是图像为纵向的概率。

我们期待的概率是这样的

假定所有的训练数据都是互不影响、独立发生的，这种情况下整体的概率就可以用下面的联合概率来表示。

$L(\theta )=P(y^{(1)}=0|x^{(1)})P(y^{(2)}=0|x^{(2)})\cdots P(y^{(6)}=1|x^{(6)})$

将其一般化，写法如下：

$L(\theta )=\prod _{i=1}^{n}P(y^{(i)}=1|x^{(i)}{)}^{y^{(i)}}P(y^{(i)}=0|x^{(i)}{)}^{1-y^{(i)}}$

考虑使目标函数最大化的参数$\theta$，可以认为似然函数$L(\theta )$中，使其值最大的参数$\theta$能够最近似地说明训练数据。

对数似然函数

取似然函数的对数

$logL(\theta )=log\prod _{i=1}^{n}P(y^{(i)}=1|x^{(i)}{)}^{y^{(i)}}P(y^{(i)}=0|x^{(i)}{)}^{1-y^{(i)}}$

log是单调递增函数，如图

$L(\theta )$最大化等价于$logL(\theta )$最大化

$logL(\theta )=log\prod _{i=1}^{n}P(y^{(i)}=1|x^{(i)}{)}^{y^{(i)}}P(y^{(i)}=0|x^{(i)}{)}^{1-y^{(i)}}$函数变形如下
$$\begin{array}{rl}logL(\theta )& =log\prod _{i=1}^{n}P(y^{(i)}=1|x^{(i)}{)}^{y^{(i)}}P(y^{(i)}=0|x^{(i)}{)}^{1-y^{(i)}}\\ & =\sum _{i=1}^n(logP(y^{(i)}=1|x^{(i)}{)}^{y^{(i)}}+logP(y^{(i)}=0|x^{(i)}{)}^{1-y^{(i)}})\\ & =\sum _{i=1}^n(y^{(i)}logP(y^{(i)}=1|x^{(i)})+(1-y^{(i)})logP(y^{(i)}=0|x^{(i)}))\\ & =\sum _{i=1}^n(y^{(i)}logP(y^{(i)}=1|x^{(i)})+(1-y^{(i)})log(1-P(y^{(i)}=1|x^{(i)})))\\ & =\sum _{i=1}^n(y^{(i)}log{f}_{\theta }(x^i)+(1-y^{(i)})log(1-f_{\theta }(x^{(i)})))\end{array}$$
接下来对各个参数${\theta }_j$求微分
$$\begin{array}{rl}\frac{\partial logL(\theta )}{\partial {\theta }_j}& =\frac{\partial }{\partial {\theta }_j}\sum _{i=1}^n(y^{(i)}logP(y^{(i)}=1|x^{(i)})+(1-y^{(i)})log(1-f_{\theta }(x^{(i)})))\end{array}$$
$f_{\theta }(x)=\frac{1}{1+exp(-{\theta }^{T}x)}$

过程省略得
$$\frac{\partial logL(\theta )}{\partial {\theta }_j}=\sum _{i=1}^n(y^{(i)}-f_{\theta }(x^{(i)}))x_j^{(i)}$$
最大化为目标，与微分结果符号相同得方向移动，更新表达式如下
$${\theta }_j:={\theta }_j+\eta \sum _{i=1}^n(y^{(i)}-f_{\theta }(x^{(i)}))x_j^{(i)}$$
也可以调整为下面这样
$${\theta }_j:={\theta }_j-\eta \sum _{i=1}^n(f_{\theta }(x^{(i)})-y^{(i)})x_j^{(i)}$$

线性不可分

将逻辑回归应用于线性不可分问题

不能用直接分类，但是用曲线可以分类

向训练数据中加入$x_1^2$
$$\mathbf{\theta }=\left[\begin{array}{c}{\theta }_0\\ {\theta }_1\\ {\theta }_2\\ {\theta }_3\end{array}\right],\mathbf{x}=\left[\begin{array}{c}1\\ x_1\\ x_2\\ x_1^2\end{array}\right]$$

$${\mathbf{\theta }}^T\mathbf{x}={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+{\theta }_3{x}_1^2$$

若
$$\mathbf{\theta }=\left[\begin{array}{c}{\theta }_0\\ {\theta }_1\\ {\theta }_2\\ {\theta }_3\end{array}\right]=\left[\begin{array}{c}0\\ 0\\ 1\\ -1\end{array}\right]$$
${\mathbf{\theta }}^T\mathbf{x}=x_2-x_1^2\ge 0$如下图

现在决策边界是曲线了，参数$\theta$可以再调整。如果再增加$x_2^2$就会有圆形得决策边界。

这就是逻辑回归，还有SVM（支持向量机得分类算法）也有很名。