统计学习方法 支持向量机（上）

读李航的《统计学习方法》中，关于支持向量机的相关笔记。

支持向量机（SVM）是一种二分类模型。其学习策略为间隔最大化，可形式化为一个求解凸二次规划的问题，同时也等价于正则化荷叶损失函数最小化的问题。间隔最大使它有别于感知机。

线性可分支持向量机与硬间隔最大化

线性可分支持向量机使用硬间隔最大化的算法，因此要求线性可分的训练数据集。

定义

线性可分支持向量机：给定线性可分数据集，通过硬间隔最大化或等价求解相应的凸二次规划问题学习到的分离超平面：
$$w^{\ast }\cdot x+b^{\ast }=0$$
以及相应的分类决策函数：
$$f(x)=\text{sign}(w^{\ast }\cdot x+b^{\ast })$$
称为线性可分支持向量机。

函数间隔：给定训练数据 $T$ 与超平面 $(w,b)$，超平面关于样本点 $(x_1,y_i)$ 的函数间隔为：
$${\hat{\gamma }}_i=y_i(w\cdot x_i+b)$$

• 超平面参数确定的情况下，函数间隔可以反映样本点距离超平面的远近和分类的正确性与可信度；

几何间隔：给定训练数据 $T$ 与超平面 $(w,b)$，超平面关于样本点 $(x_1,y_i)$ 的几何间隔为：
$${\hat{\gamma }}_i=\frac{1}{||w||}{y}_i(w\cdot x_i+b)$$

• 几何间隔表示样本点到超平面的距离带上是否分类正确的符号，即带符号的距离；
• 函数间隔的大小受到 $w$ 和 $b$ 的 scale 的影响，但几何间隔反映了实际距离，二者的关系为：

$$\gamma =\frac{\hat{\gamma }}{||w||}$$

其中：
$$\gamma =\underset{i=1,\cdots ,N}{\min }{\gamma }_i,\hat{\gamma }=\underset{i=1,\cdots ,N}{\min }{\hat{\gamma }}_i$$

硬间隔最大化

硬间隔最大化：SVM 学习的基本想法是，求解能够正确划分数据集、并且几何间隔最大的分离超平面。对于线性可分的数据集，可正确划分的超平面可能有无穷多个，但几何间隔最大的分离超平面是唯一的。

也就是说，我们要找到的分离超平面，不仅可以正确划分数据，同时还能与数据保持尽量远的距离，这样灵活性更高，加入新的未知的实例时能有更好的分类预测能力。

该问题可以表示为下面的约束最优化问题：
$$\begin{array}{l}\underset{w,b}{\max }\gamma \\ \text{s.t. }\frac{1}{||w||}{y}_i(w\cdot x_i+b)\ge \gamma ,i=1,2,\cdots ,N\end{array}$$
使用函数间隔的话，可以表示为：
$$\begin{array}{l}\underset{w,b}{\max }\frac{\hat{\gamma }}{||w||}\\ \text{s.t. }{y}_i(w\cdot x_i+b)\ge \hat{\gamma },i=1,2,\cdots ,N\end{array}$$
函数间隔的取值并不影响最优化问题的解，因为比如将 $w$ 和 $b$ 等比例放大为 $\lambda w$ 和 $\lambda b$ ，此时函数间隔也变为 $\lambda \hat{\gamma }$ 。所以可以取 $\hat{\gamma }=1$ ，这样问题转化为：
$$\begin{array}{l}\underset{w,b}{\min }\frac{1}{2}||w|{|}^2\\ \text{s.t. }{y}_i(w\cdot x_i+b)-1\ge 0,i=1,2,\cdots ,N\end{array}$$
这样就变成了一个凸二次规划的问题。

凸二次规划问题：约束最优化问题，形如：
$$\begin{array}{rl}\underset{w}{\min }& f(w)\\ \text{s.t. }& g_i(w)\le 0,i=1,2,\cdots ,k\\ & h_i(w)=0,i=1,2,\cdots ,l\end{array}$$
目标函数 $f(w)$ 和约束函数 $g_i(w)$ 都是 ${\mathbb{R}}^n$ 上连续可微的凸函数（convex function），而约束函数 $h_i(w)$ 是 ${\mathbb{R}}^n$ 上的仿射函数（即线性变换函数，$f(x)=a\cdot x+b$）；

算法：线性可分支持向量机学习算法 - 最大间隔法

• 输入：线性可分训练数据集 T = {   ( x 1 , t 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N )   } T=\set{(x_1,t_1),(x_2,y_2),\cdots,(x_N,y_N)} T={(x1​,t1​),(x2​,y2​),⋯,(xN​,yN​)} ，其中 $x_i\in \mathcal{X}\subseteq {\mathbb{R}}^n$ ， y i ∈ Y = {   1 ,   − 1   } y_i\in\mathcal{Y}=\set{1,\,-1} yi​∈Y={1,−1}
• 输出：最大间隔分离超平面和分类决策函数

1. 构造并求解约束最优化问题：

$$\begin{array}{l}\underset{w,b}{\min }\frac{1}{2}||w|{|}^2\\ \text{s.t. }{y}_i(w\cdot x_i+b)-1\ge 0,i=1,2,\cdots ,N\end{array}$$

求得最优解 $w^{\ast }$ ，$b^{\ast }$ ；

2. 由此得到分离超平面：

$$w^{\ast }\cdot x+b^{\ast }=0$$

分类决策函数：
$$f(x)=\text{sign}(w^{\ast }\cdot x+b^{\ast })$$

最大间隔分离超平面的存在唯一性：如果训练数据 $T$ 线性可分，则可以将所有样本点正确分开并且最大间隔的分离超平面存在且唯一。

（存在性很明显，唯一性由凸最优问题的解的唯一性可以得到）

支持向量：所谓的支持向量，就是处在离超平面最近的间隔上的点，即：
$$y_i(w\cdot x_i+b)-1=0$$
$y_i=+1$ 的支持向量在超平面：
$$H_1:w\cdot x+b=1$$
$y_i=-1$ 的支持向量在超平面：
$$H_2:w\cdot x+b=-1$$
间隔：$H_1$ 和 $H_2$ 之间的距离称为间隔，为 $\frac{2}{||w||}$ ；$H_1$ 和 $H_2$ 称为间隔边界。

所以说 SVM 具有稀疏性，因为只有少数几个样本点（支持向量）在起作用。

对偶算法

对偶算法的推导：硬间隔最大化问题的 Lagrangian 为：
$$\begin{array}{rl}L(w,b,\alpha )=& \frac{1}{2}||w|{|}^2+\sum _{i=1}^N{\alpha }_i(1-y_i(w\cdot x_i+b))\\ =& \frac{1}{2}||w|{|}^2-\sum _{i=1}^N{\alpha }_i{y}_i(w\cdot x_i+b))+\sum _{i=1}^N{\alpha }_i\end{array}$$
等价为极小极大问题：（参考拉格朗日对偶性的笔记）
$$\underset{w,b}{\min }\underset{\alpha }{\max }L(w,b,\alpha )$$
等价为对应的对偶问题，即极大极小问题：
$$\underset{\alpha }{\max }\underset{w,b}{\min }L(w,b,\alpha )$$
为了求解对偶问题，我们要先求解极小问题，再求解极大问题：

1. 求 $\underset{w,b}{\min }L(w,b,\alpha )$ ：由 FOC 得：

$$\begin{array}{rl}\frac{\partial L}{\partial w}=& w-\sum _{i=1}^N{\alpha }_i{y}_i{x}_i=0\Rightarrow w=\sum _{i=1}^N{\alpha }_i{y}_i{x}_i\\ \frac{\partial L}{\partial b}=& -\sum _{i=1}^N{\alpha }_i{y}_i=0\Rightarrow \sum _{i=1}^N{\alpha }_i{y}_i=0\end{array}$$

代回原来的 Lagrangian ，得到：
$$L(w,b,\alpha )=-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)+\sum _{i=1}^N{\alpha }_i$$

2. 求 $\underset{\alpha }{\max }\left(\underset{w,b}{\min }L(w,b,\alpha )\right)$ ：我们取个负号，得到对应的对偶优化问题：

$$\begin{array}{rl}\underset{\alpha }{\min }& \frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)-\sum _{i=1}^N{\alpha }_i\\ \text{s.t.}& \sum _{i=1}^N{\alpha }_i{y}_i=0\\ & {\alpha }_i\ge 0,i=1,2,\cdots ,N\end{array}$$

因此，我们先解决对应的对偶优化问题，得到 ${\alpha }^{\ast }$ ，再带入得到 $w^{\ast }$ 和 $b^{\ast }$ 。其中 $b^{\ast }$ 的计算为：由于对偶优化问题满足 KKT 条件（参考拉格朗日对偶性的笔记），因此有：
$${\alpha }_i^{\ast }(y_i(w^{\ast }\cdot x_i+b^{\ast })-1)=0,i=1,2,\cdots ,N$$
要么 ${\alpha }_i^{\ast }=0$ ，说明 $x_i$ 没有起到约束作用；要么 ${\alpha }_i^{\ast }>0$ ，即 $x_i$ 是支持向量。至少存在一个 $a_j^{\ast }>0$ ，此时有：
$$y_j(w^{\ast }\cdot x_j+b^{\ast })-1=0$$
代入 $w=\sum _{i=1}^N{\alpha }_i{y}_i{x}_i$ ，而且 $\frac{1}{y_j}=y_j$ ，所以有：
$$b^{\ast }=y_j-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i$$
算法：线性可分支持向量机学习算法 - 最大间隔法 的对偶算法

• 输入：线性可分训练数据集 T = {   ( x 1 , t 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N )   } T=\set{(x_1,t_1),(x_2,y_2),\cdots,(x_N,y_N)} T={(x1​,t1​),(x2​,y2​),⋯,(xN​,yN​)} ，其中 $x_i\in \mathcal{X}\subseteq {\mathbb{R}}^n$ ， y i ∈ Y = {   1 ,   − 1   } y_i\in\mathcal{Y}=\set{1,\,-1} yi​∈Y={1,−1}
• 输出：最大间隔分离超平面和分类决策函数

1. 构造并求解约束最优化问题：

$$\begin{array}{rl}\underset{\alpha }{\min }& \frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)-\sum _{i=1}^N{\alpha }_i\\ \text{s.t.}& \sum _{i=1}^N{\alpha }_i{y}_i=0\\ & {\alpha }_i\ge 0,i=1,2,\cdots ,N\end{array}$$

得到最优解 ${\alpha }^{\ast }$ ；

2. 计算：

$$w^{\ast }=\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i$$

并选择 ${\alpha }^{\ast }$ 的一个正分量 ${\alpha }_j^{\ast }$ ，计算：
$$b^{\ast }=y_j-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x_i\cdot x_j)$$

3. 由此得到分离超平面：

$$w^{\ast }\cdot x+b^{\ast }=0$$

分类决策函数：
$$f(x)=\text{sign}(w^{\ast }\cdot x+b^{\ast })$$

线性支持向量机与软间隔最大化

线性支持向量机不要求数据集线性可分，仅仅是支持向量机的数学形式是线性的。

定义

线性支持向量机：对于给定的线性不可分的训练数据集，通过软间隔最大化问题或对应的凸二次规划问题，得到的分离超平面为：
$$w^{\ast }\cdot x+b^{\ast }=0$$
以及相应的分类决策函数：
$$f(x)=\text{sign}(w^{\ast }\cdot x+b^{\ast })$$
称为线性支持向量机。

软间隔最大化

软间隔最大化：软间隔的思想是，对于非线性可分的数据集，只是存在一些特异点（outlier），将这些特异点去除后数据集就变得线性可分了。那么，特异点不能满足函数间隔大于等于 1 的约束条件，我们需要引入新的变量：

松弛变量：每个样本引入一个松弛变量 ${\xi }_i\ge 0$ ，使得约束条件变为：
$$y_i(w\cdot x_i+b)\ge 1-{\xi }_i$$
惩罚参数：对于分类问题，我们是想让尽量多的样本点处于间隔之外，所以松弛变量应当尽可能小，需要对松弛变量支付代价，目标函数变为：
$$\frac{1}{2}||w|{|}^2+C\sum _{i=1}^N{\xi }_i$$
其中惩罚参数 $C>0$ ，是 SVM 的超参数之一。

算法：线性支持向量机学习算法 - 最大间隔法

• 输入：非线性可分训练数据集 T = {   ( x 1 , t 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N )   } T=\set{(x_1,t_1),(x_2,y_2),\cdots,(x_N,y_N)} T={(x1​,t1​),(x2​,y2​),⋯,(xN​,yN​)} ，其中 $x_i\in \mathcal{X}\subseteq {\mathbb{R}}^n$ ， y i ∈ Y = {   1 ,   − 1   } y_i\in\mathcal{Y}=\set{1,\,-1} yi​∈Y={1,−1}
• 输出：最大间隔分离超平面和分类决策函数

1. 构造并求解约束最优化问题：

$$\begin{array}{rl}\underset{w,b}{\min }& \frac{1}{2}||w|{|}^2+C\sum _{i=1}^N{\xi }_i\\ \text{s.t.}& y_i(w\cdot x_i+b)\ge 1-{\xi }_i,i=1,2,\cdots ,N\\ & {\xi }_i\ge 0,i=1,2,\cdots ,N\end{array}$$

求得最优解 $w^{\ast }$ ，$b^{\ast }$ ；

2. 由此得到分离超平面：

$$w^{\ast }\cdot x+b^{\ast }=0$$

分类决策函数：
$$f(x)=\text{sign}(w^{\ast }\cdot x+b^{\ast })$$

对偶算法

对偶算法的推导：软间隔最大化问题的 Lagrangian 为：
$$\begin{array}{rl}L(w,b,\xi ,\alpha ,\mu )=& \frac{1}{2}||w|{|}^2+C\sum _{i=1}^N{\xi }_i+\sum _{i=1}^N{\alpha }_i(1-{\xi }_i-y_i(w\cdot x_i+b))-\sum _{i=1}^N{\mu }_i{\xi }_i\\ =& \frac{1}{2}||w|{|}^2+C\sum _{i=1}^N{\xi }_i-\sum _{i=1}^N{\alpha }_i{y}_i(w\cdot x_i+b))+\sum _{i=1}^N{\alpha }_i-\sum _{i=1}^N({\alpha }_i+{\mu }_i){\xi }_i\end{array}$$
等价为极小极大问题：（参考拉格朗日对偶性的笔记）
$$\underset{w,b,\xi }{\min }\underset{\alpha ,\mu }{\max }L(w,b,\xi ,\alpha ,\mu )$$
等价为对应的对偶问题，即极大极小问题：
$$\underset{\alpha ,\mu }{\max }\underset{w,b,\xi }{\min }L(w,b,\xi ,\alpha ,\mu )$$
为了求解对偶问题，我们要先求解极小问题，再求解极大问题：

1. 求 $\underset{w,b,\xi }{\min }L(w,b,\xi ,\alpha ,\mu )$ ：由 FOC 得：

$$\begin{array}{rl}\frac{\partial L}{\partial w}=& w-\sum _{i=1}^N{\alpha }_i{y}_i{x}_i=0\Rightarrow w=\sum _{i=1}^N{\alpha }_i{y}_i{x}_i\\ \frac{\partial L}{\partial b}=& -\sum _{i=1}^N{\alpha }_i{y}_i=0\Rightarrow \sum _{i=1}^N{\alpha }_i{y}_i=0\\ \frac{\partial L}{\partial {\xi }_i}=& C-{\alpha }_i-{\mu }_i=0\end{array}$$

代回原来的 Lagrangian ，得到（这个结果和前面的硬间隔最大化的结果是一样的，已经没有 $\mu$ 了）：
$$L(w,b,\alpha )=-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)+\sum _{i=1}^N{\alpha }_i$$

2. 求 $\underset{\alpha ,\mu }{\max }\left(\underset{w,b,\xi }{\min }L(w,b,\xi ,\alpha ,\mu )\right)$ ：我们取个负号，得到对应的对偶优化问题：

$$\begin{array}{rl}\underset{\alpha }{\min }& \frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)-\sum _{i=1}^N{\alpha }_i\\ \text{s.t.}& \sum _{i=1}^N{\alpha }_i{y}_i=0\\ & C-{\alpha }_i-{\mu }_i=0\\ & {\alpha }_i\ge 0\\ & {\mu }_i\ge 0,i=1,2,\cdots ,N\end{array}$$

$w^{\ast }$ 和 $b^{\ast }$ 的计算跟前面硬间隔最大化是一样的。既然这里已经没有 ${\mu }_i$ 了，因此 ${\alpha }_i$ 的取值范围实际上可以写成：
$$0\le {\alpha }_i\le C$$
也就是说，软间隔最大化的对偶算法相比于硬间隔最大化中的对偶算法，只多了一个 ${\alpha }_i$ 的约束条件：不大于 C。

支持向量：同样地：

• 若 ${\alpha }_i=0$ ，则样本点 $x_i$ 落在间隔外；

• 若 $0<{\alpha }_i<C$ ，则样本点 $x_i$ 为支持向量；

• 若 ${\alpha }_i=C$ ，则样本点 $x_i$ 落在间隔内（也可以称为支持向量），此时：

  • 若 ${\xi }_i=0$ ，则样本点 $x_i$ 落在正确的间隔边界上；
  • 若 $0<{\xi }_i<1$ ，则样本点 $x_i$ 落在分离超平面与正确的间隔边界之间；
  • 若 ${\xi }_i=0$ ，则样本点 $x_i$ 落在分离超平面上；
  • 若 ${\xi }_i>1$ ，则样本点 $x_i$ 落在分离超平面与错误的间隔边界之间；

样本 $x_i$ 到间隔边界的距离为 $\frac{{\xi }_i}{||w||}$ ：

算法：线性支持向量机学习算法 - 最大间隔法 的对偶算法

• 输入：线性可分训练数据集 T = {   ( x 1 , t 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N )   } T=\set{(x_1,t_1),(x_2,y_2),\cdots,(x_N,y_N)} T={(x1​,t1​),(x2​,y2​),⋯,(xN​,yN​)} ，其中 $x_i\in \mathcal{X}\subseteq {\mathbb{R}}^n$ ， y i ∈ Y = {   1 ,   − 1   } y_i\in\mathcal{Y}=\set{1,\,-1} yi​∈Y={1,−1}
• 输出：最大间隔分离超平面和分类决策函数

1. 确定超参数：惩罚参数 $C>0$ ；构造并求解约束最优化问题：

$$\begin{array}{rl}\underset{\alpha }{\min }& \frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)-\sum _{i=1}^N{\alpha }_i\\ \text{s.t.}& \sum _{i=1}^N{\alpha }_i{y}_i=0\\ & 0\le {\alpha }_i\le C,i=1,2,\cdots ,N\end{array}$$

得到最优解 ${\alpha }^{\ast }$ ；

2. 计算：

$$w^{\ast }=\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i$$

并选择 ${\alpha }^{\ast }$ 的一个分量 $0<{\alpha }_j^{\ast }<C$ ，计算：
$$b^{\ast }=y_j-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x_i\cdot x_j)$$

3. 由此得到分离超平面：

$$w^{\ast }\cdot x+b^{\ast }=0$$

分类决策函数：
$$f(x)=\text{sign}(w^{\ast }\cdot x+b^{\ast })$$

合页损失函数

线性支持向量机学习还可以解释为：最小化以下目标函数：
$$\sum _{i=1}^N{\left[1-y_i(w\cdot x_i+b)\right]}_{+}+\lambda ||w|{|}^2$$

• 第一项是经验损失或经验风险函数，称为合页损失函数 （下标 $+$ 代表 ReLU）：

$$L(y(w\cdot x+b))={\left[1-y(w\cdot x+b)\right]}_{+}$$

• 第二项则是 L2 正则化项；

Th 7.4：线性支持向量机原始最优化问题：
$$\begin{array}{rl}\underset{w,b}{\min }& \frac{1}{2}||w|{|}^2+C\sum _{i=1}^N{\xi }_i\\ \text{s.t.}& y_i(w\cdot x_i+b)\ge 1-{\xi }_i,i=1,2,\cdots ,N\\ & {\xi }_i\ge 0,i=1,2,\cdots ,N\end{array}$$
等价于最优化问题：
$$\underset{w,b}{\min }\sum _{i=1}^N{\left[1-y_i(w\cdot x_i+b)\right]}_{+}+\lambda ||w|{|}^2$$
证明：令 ${\xi }_i={\left[1-y_i(w\cdot x_i+b)\right]}_{+}$ ，则 ${\xi }_i\ge 0$ 成立，且 $y_i(w\cdot x_i+b)\ge 1-{\xi }_i$ 成立。所以新的优化问题可以写成：
$$\underset{w,b}{\min }\sum _{i=1}^N{\xi }_i+\lambda ||w|{|}^2$$
取 $\lambda =\frac{1}{2C}$ ，则变为：
$$\underset{w,b}{\min }\frac{1}{C}\left(\frac{1}{2}||w|{|}^2+C\sum _{i=1}^N{\xi }_i\right)$$
和原始最优化问题等价。

代理损失函数：图中展示了 0-1 损失函数和合页损失函数。可以认为为 0-1 损失函数是二分类问题真正的损失函数，而合页损失函数是 0-1 损失函数的一个上界，称为代理损失函数。

虚线是感知机的损失函数，可以看出在 $[0,1)$ 区间内，合页损失函数仍有损失，而感知机的损失函数已经是 0 了，说明感知机只要要求分类正确即可，而合页损失函数需要在分类正确的前提下，确信度足够高（即样本位于间隔之外），才能没有损失。