线性可分SVM和硬间隔最大化

函数间隔和几何间隔

用 $y(wx+b)$ 表示分类的正确性和确信度

• 函数间隔

  样本点的函数间隔

  $${\hat{\gamma }}_i=y_i(w{x}_i+b)$$

  数据集的函数间隔：所有样本点的函数间隔最小值

  $$\hat{\gamma }=\underset{i=1,\cdots ,N}{\min }{\hat{\gamma }}_i$$

• 几何间隔：只要成比例地改变 w, b ，函数间隔就会改变。因此规范化，样本点的几何间隔

  $${\gamma }_i=y_i(\frac{w}{||w||}\cdot x_i+\frac{b}{||w||})$$

  这刚好是点到直线的距离

  数据集的几何间隔为

  $$\gamma =\underset{i=1,\cdots ,N}{\min }{\gamma }_i$$

  可得函数间隔和几何间隔的关系

  $$\gamma =\frac{\hat{\gamma }}{||w||}$$

间隔最大化

SVM学习的基本思想：求解能正确划分训练集并且几何间隔最大的分离超平面

原最优化问题

$$\begin{gathered} \underset{w,b}{\max }\gamma \\ s.t.y_i(\frac{w}{||w||}\cdot x_i+\frac{b}{||w||})\ge \gamma ,i=1,2,\cdots ,N \end{gathered}$$

改写为函数间隔的形式

$$\begin{gathered} \underset{w,b}{\max }\frac{\hat{\gamma }}{||w||} \\ s.t.y_i(w\cdot x_i+b)\ge \hat{\gamma },i=1,2,\cdots ,N \end{gathered}$$

而函数间隔的取值并不影响最优化问题的解，因此取 1 ，并转换成最小化凸函数的形式（凸优化问题，局部最优解就是全局最优解）

$$\begin{gathered} \underset{w,b}{\min }\frac{1}{2}||w|{|}^2 \\ s.t.y_i(w\cdot x_i+b)-1\ge 0,i=1,2,\cdots ,N \end{gathered}$$

支持向量

在线性可分的情况下，训练数据集的样本点中与分离超平面距离最近的样本点的实例称为支持向量，也就是使约束条件等号成立的向量

$$y_i(w\cdot x_i+b)-1=0$$

H1与H2之间的距离成为间隔，H1, H2称为间隔边界。决定分离超平面时，只有支持向量起作用。移动其他的样本点并不改变所求的解，因此SVM由很少的“重要的”训练样本决定。

学习的对偶算法

有关对偶问题和KKT条件的前导知识可见此篇
简单地说，

• 原始问题：先求关于算子的极大，再求关于参数的极小
• 对偶问题：先求关于参数的极小，再求关于算子的极大

线性可分SVM的拉格朗日函数

$$L(w,b,\alpha )=\frac{1}{2}||w|{|}^2-\sum _{i=1}^N{\alpha }_i{y}_i(w{x}_i+b)+\sum _{i=1}^N{\alpha }_i$$

对偶问题

$$\underset{\alpha }{\max }\underset{w,b}{\min }L(w,b,\alpha )$$

1. 求 ${\min }_{w,b}L(w,b,\alpha )$

   对 $w,b$ 求偏导，得到约束

   $$\begin{gathered} w=\sum _{i=1}^N{\alpha }_i{y}_i{x}_i \\ \sum _{i=1}^N{\alpha }_i{y}_i=0 \end{gathered}$$

   代入原式即可。

2. 求极大（线性可分SVM算法）

$$\begin{gathered} \underset{\alpha }{\max }-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)+\sum _{i=1}^N{\alpha }_i \\ s.t.\begin{array}{rl}& \sum _{i=1}^N{\alpha }_i{y}_i=0\\ & {\alpha }_i\ge 0\end{array} \end{gathered}$$

由于原始问题满足C.2的条件，原始问题可以转换为对偶问题

提炼一下，

$$L(w,b,\alpha )=\frac{1}{2}||w|{|}^2-\sum _{i=1}^N{\alpha }_i{y}_i(w{x}_i+b)+\sum _{i=1}^N{\alpha }_i$$

原始问题

$$\begin{gathered} \underset{w,b}{\min }\frac{1}{2}||w|{|}^2 \\ s.t.y_i(w\cdot x_i+b)-1\ge 0,i=1,2,\cdots ,N \end{gathered}$$

对偶问题

$$\begin{gathered} \underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)-\sum _{i=1}^N{\alpha }_i \\ s.t.\begin{array}{rl}& \sum _{i=1}^N{\alpha }_i{y}_i=0\\ & {\alpha }_i\ge 0\end{array} \end{gathered}$$

带入得到原始最优化问题的解

$$\begin{gathered} w^{\ast }=\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i \\ {b}^{\ast }=y_j-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x_i\cdot x_j) \end{gathered}$$

其中， $j$ 满足 ${\alpha }_j^{\ast }>0$ ，事实上也就是支持向量。

线性SVM和软间隔最大化

假设训练数据集不是线性可分的，通常情况是有一些特异点，去除了这些特异点之后数据集就线性可分了。引入一个松弛变量，使得函数间隔加上松弛变量大于等于1

$$y_i(w{x}_i+b)\ge 1-{\xi }_i$$

改变目标函数
提炼一下，

$$\frac{1}{2}||w|{|}^2+C\sum _{i=1}^N{\xi }_i$$

$$L(w,b,\xi ,\alpha ,\mu )=\frac{1}{2}||w|{|}^2+C\sum _{i=1}^N{\xi }_i-\sum _{i=1}^N{\alpha }_i(y_i(w{x}_i+b)-1+{\xi }_i)-\sum _{i=1}^N{\mu }_i{\xi }_i$$

原始问题

$$\begin{gathered} \underset{w,b}{\min }\frac{1}{2}||w|{|}^2+C\sum _{i=1}^N{\xi }_i \\ s.t.\begin{array}{rl}& y_i(w\cdot x_i+b)\ge 1-{\xi }_i,i=1,2,\cdots ,N\\ & {\xi }_i\ge 0,i=1,2,\cdots ,N\end{array} \end{gathered}$$

对偶问题

$$\begin{gathered} \underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)-\sum _{i=1}^N{\alpha }_i \\ s.t.\begin{array}{rl}& \sum _{i=1}^N{\alpha }_i{y}_i=0\\ & 0\le {\alpha }_i\le C\end{array} \end{gathered}$$

线性SVM的对偶问题和线性可分SVM的对偶问题差不多，只在最后一条约束里有改动，这是在对参数求 $\min$ 时 ${\xi }_i$ 那项带来的。

$w,b$ 的计算过程和线性可分SVM的一样。

支持向量

在线性不可分的情况下，将对偶问题的解中对应 ${\alpha }_i^{\ast }>0$ 的样本点的实例作为支持向量

• ${\alpha }_i^{\ast }<C$ ：由KKT条件，此时 ${\xi }_i=0$ ，支持向量恰好落在间隔边界上

  （${\mu }_i^{\ast }=C-{\alpha }_i^{\ast }>0,{\mu }_i^{\ast }{\xi }_i=0$）

• ${\alpha }_i^{\ast }=C$ ：由KKT条件， ${\xi }_i>0$

  • $0<{\xi }_i<1$ ：支持向量落在间隔边界和超平面之间，分类正确
  • ${\xi }_i=1$ ：支持向量落在超平面上
  • ${\xi }_i>1$ ：支持向量落在误分类一侧

上述关系可由线性SVM的KKT条件得到，

非线性SVM和核函数

采取非线性变换，将非线性问题转化为线性问题

核函数的大义

$$\varphi (x)=\mathcal{X}\to \mathcal{H},K(x,z)=\varphi (x)\cdot \varphi (z)$$

• 对于给定的核 $K$ ，特征空间 $\mathcal{H}$ 和映射 $\varphi$ 的取法不唯一

因为特征向量 $x$ 可能有很多维，可以修改线性SVM的对偶问题

$$W(\alpha )=\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_{j}K(x_i\cdot x_j)-\sum _{i=1}^N{\alpha }_i$$

分类决策函数中的内积也可以换

$$\begin{gathered} f(x)=\mathrm{sign}(\sum _{i=1}^N{\alpha }_i^{\ast }{y}_{i}K(x_i,x)+b^{\ast }) \\ {b}^{\ast }=y_j-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_{i}K(x_i,x) \end{gathered}$$
提炼一下，

$$\begin{gathered} \underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_{j}K(x_i\cdot x_j)-\sum _{i=1}^N{\alpha }_i \\ s.t.\begin{array}{rl}& \sum _{i=1}^N{\alpha }_i{y}_i=0\\ & 0\le {\alpha }_i\le C,i=1,2,\cdots ,N\end{array} \end{gathered}$$

• 常用的核函数
  

SMO算法

求解这个对偶问题

$$\begin{gathered} \underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_{j}K(x_i\cdot x_j)-\sum _{i=1}^N{\alpha }_i \\ s.t.\begin{array}{rl}& \sum _{i=1}^N{\alpha }_i{y}_i=0\\ & 0\le {\alpha }_i\le C,i=1,2,\cdots ,N\end{array} \end{gathered}$$

变量有 $N$ 个，太多了。如果每个变量都满足KKT就好了，所以每次选取两个变量去让它们接近于满足KKT条件

求解二次规划

启发算法，一次选择两个变量，固定其他变量，求解二次规划子问题，这个二次规划问题关于这两个变量的解应该更接近原始二次规划问题的解。
选取一个违反KKT条件最严重的变量，另一个自动确定（因为在固定 $n-2$ 个变量之后，也就固定了 $y_1{\alpha }_1+y_2{\alpha }_2$ 的值，那么 ${\alpha }_1$ 确定时 ${\alpha }_2$ 也确定了）

从原始对偶问题中抽出和选出变量 ${\alpha }_1,{\alpha }_2$ 相关的部分，可以得到子问题

$$\begin{gathered} \underset{\alpha }{\min }\frac{1}{2}{K}_{11}{\alpha }_1^2+\frac{1}{2}{K}_{22}{\alpha }_2^2+y_1{y}_2{K}_{12}{\alpha }_1{\alpha }_2-({\alpha }_1+{\alpha }_2)+y_1{\alpha }_1\sum _{i=3}^N{\alpha }_i{y}_i{K}_{i1}-y_2{\alpha }_2\sum _{i=3}^N{\alpha }_i{y}_i{K}_{i2} \\ \begin{array}{rl}s.t.& y_1{\alpha }_1+y_2{\alpha }_2=-\sum _{i=3}^N{\alpha }_i{y}_i=\varsigma \\ & 0\le {\alpha }_i\le C,i=1,2\end{array} \end{gathered}$$

该二次规划问题又可以转换为单变量优化问题，因为 $y_i$ 的取值只能是 $\pm 1$ 。
$$\begin{array}{rl}s.t.& y_1{\alpha }_1+y_2{\alpha }_2=-\sum _{i=3}^N{\alpha }_i{y}_i=\varsigma \\ & 0\le {\alpha }_i\le C,i=1,2\end{array}$$

那么固定 ${\alpha }_1^{new}$ ，限定 ${\alpha }_2^{new}$ 的取值范围为 $L\le {\alpha }_2^{new}\le H$ ，其中

• $y_1\ne y_2$
  • ${\alpha }_2^{old}-{\alpha }_1^{old}\le 0$： $L=0,H=C+{\alpha }_2^{old}-{\alpha }_1^{old}$
  • ${\alpha }_2^{old}-{\alpha }_1^{old}>0$： $L={\alpha }_2^{old}-{\alpha }_1^{old},H=C$
• $y_1=y_2$
  • ${\alpha }_1^{old}+{\alpha }_2^{old}\le C$： $L=0,H={\alpha }_1^{old}+{\alpha }_2^{old}$
  • ${\alpha }_1^{old}+{\alpha }_2^{old}>C$： $L={\alpha }_1^{old}+{\alpha }_2^{old}-C,H=C$

子问题沿着约束方向未经剪辑（指没考虑7.103，最后一行）的解是

$$\begin{gathered} {\alpha }_2^{new,unc}={\alpha }_2^{old}+\frac{y_2(E_1-E_2)}{\eta } \\ \eta =K_{11}+K_{22}-2K_{12}=||\varphi (x_1)-\varphi (x_2)|{|}^2\text{\hspace{1em}(7.106)} \end{gathered}$$

可以根据此得到 ${\alpha }_1^{new},{\alpha }_2^{new}$ 。

如果 ${\alpha }_2^{new,unc}$ 夹在 $L,H$ 的范围内，就直接那它作为 ${\alpha }_2^{new}$ 的值，否则就按需取 $L$ 或 $H$ 。

根据 $y_1{\alpha }_1+y_2{\alpha }_2=-{\sum }_{i=3}^N{\alpha }_i{y}_i=\varsigma$ ，可以得到如下等式

$$y_1{\alpha }_1^{old}+y_2{\alpha }_2^{old}=y_1{\alpha }_1^{new}+y_2{\alpha }_2^{new}$$

由于 $y_1\cdot y_1=1$ ，等式两边同乘 $y_1$ , ${\alpha }_1^{new}={\alpha }_1^{old}+y_1{y}_2({\alpha }_2^{old}-{\alpha }_2^{new})$

选择变量

第一个变量

外层循环，选择违反KKT条件最严重的样本点 ${\alpha }_1$ 。首先遍历间隔边界上（ $0<{\alpha }_i<C$ ）的支持向量点，如果这些点都满足KKT条件，就遍历整个训练集。

由KKT条件（ 线性SVM的KKT条件在支持向量小节的图片中有列出），可知 $0<{\alpha }_i<C$ 时 ${\mu }_i>0$ ，则松弛变量 ${\xi }_i=0$ ，所以 $0<{\alpha }_i<C$ 意味着该点在间隔边界上

KKT条件如下

$$\begin{array}{rl}{\alpha }_i=0& \iff y_{i}g(x_i)\ge 1\\ 0<{\alpha }_i<C& \iff y_{i}g(x_i)=1\\ {\alpha }_i=C& \iff y_{i}g(x_i)\le 1\end{array}$$

由于 $E_i=g(x_i)-y_i$ ，上式可以改写为

$$\begin{array}{rl}{\alpha }_i=0& \iff y_i{E}_i\ge 0\\ 0<{\alpha }_i<C& \iff y_i{E}_i=0\\ {\alpha }_i=C& \iff y_i{E}_i\le 0\end{array}$$

违反KKT条件的检验应在 $\epsilon$ 范围内进行，

$$\begin{array}{r}{\alpha }_i<C\iff y_i{E}_i\ge 0\iff y_i{E}_i<ϵ则违反KKT条件\\ {\alpha }_i>0\iff y_i{E}_i\le 0\iff y_i{E}_i>ϵ则违反KKT条件\end{array}$$

第二个变量

内层循环，选择能发生足够大变化的 ${\alpha }_2$ 。由(7.106)知 ${\alpha }_2^{new}$ 依赖于 $|E_1-E_2|$ ，

• 直观做法，由于 ${\alpha }_1,E_1$ 确定，直接选和 $E_1$ 相差最远的 $E_i$ 作为 $E_2$
• 启发方法，如果变化不够大，就随机用间隔边界上的支持向量
• 还不行就从整个训练集里挑一个

计算 $b$ 和 $E_i$