1、Soft Margin SVM 对偶求解

构造拉格朗日函数
$$\begin{array}{rl}& L=\frac{1}{2}\Vert w{\Vert }^2+C\sum _{i=1}^n{\xi }_i-\sum _{i=1}^n{\alpha }_i\left(y_i\left(w^T{x}_i+b\right)-1+{\xi }_i\right)-\sum _{i=1}^n{\gamma }_i{\xi }_i\\ & {\alpha }_i\ge 0{\gamma }_i\ge 0\end{array}$$
求偏导
$$\begin{array}{c}\frac{\partial L}{\partial w}=0\Rightarrow w=\sum _i{\alpha }_i{y}_i{x}_i\\ \frac{\partial L}{\partial b}=0\Rightarrow \sum _i{\alpha }_i{y}_i=0\\ \frac{\partial L}{\partial {\xi }_i}=0\Rightarrow {\alpha }_i+{\gamma }_i=C\Rightarrow 0\le {\alpha }_i\le C\end{array}$$
于是问题转化为
$$\begin{array}{rl}& \max .W(\mathbf{\alpha })=\sum _{i=1}^n{\alpha }_i-\frac{1}{2}\sum _{i=1,j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j{\mathbf{x}}_i^T{\mathbf{x}}_j\\ & \text{ subject to }C\ge {\alpha }_i\ge 0,\sum _{i=1}^n{\alpha }_i{y}_i=0\end{array}$$
并且注意到$\mathbf{w}={\sum }_{j=1}^s{\alpha }_{t_j}{y}_{t_j}{\mathbf{x}}_{t_j}$

1. 在对偶空间中，Hard Margin SVM和Soft Margin SVM得到了统一，唯一不同就是这边的拉格朗日乘子${\alpha }_i$有一个上界$C$
2. 在对偶空间中，Soft Margin SVM也是一个QP问题!!!

KKT条件
$$\{\begin{array}{l}{\alpha }_i\left(y_{i}f\left(x_i\right)-1+{\xi }_i\right)=0\\ {\gamma }_i{\xi }_i=0\\ {\alpha }_i+{\gamma }_i=C\Rightarrow 0\le {\alpha }_i\le C\end{array}$$
$$\{\begin{array}{ll}{\alpha }_i=0& \Rightarrow y_{i}f\left(x_i\right)\ge 1\Rightarrow \text{ Samples outside the boundary }\\ 0<{\alpha }_i<C& \Rightarrow y_{i}f\left(x_i\right)=1\Rightarrow \text{ Samples on the boundary }\\ {\alpha }_i=C& \Rightarrow y_{i}f\left(x_i\right)\le 1\Rightarrow \text{ Samples within the boundary }\end{array}$$

如何求偏置$b$
$$\begin{array}{c}0<{\alpha }_i<C\Rightarrow y_{i}f\left({\mathrm{x}}_i\right)=1\\ f(\mathrm{z})=\sum _{j=1}^s{\alpha }_j{y}_j{\mathrm{x}}_j^T\mathrm{z}+b\end{array}$$
$$b=y_i-\sum _{j=1}^s{\alpha }_j{y}_j{x}_j^T{x}_i\forall 0<{\alpha }_i<C$$
随便找一个支撑向量点，带进去就能算出$b$。不同的支撑向量点算出的$b$是一样的。

2、非线性SVM

对于任意给定的线性不可分的数据集，我们总能找到一种映射$\varphi (\cdot )$，在映射空间中，样本点是线性可分的。

回忆一下
$$\begin{array}{rl}\text{ maximize }& \sum _{i=1}^N{\alpha }_i-\frac{1}{2}\sum _{i=j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i{x}_j\\ \text{ subject to }& C\ge {\alpha }_i\ge 0,\sum _{i=1}^N{\alpha }_i{y}_i=0\end{array}$$
我们发现，当把数据映射到高维空间后，我们只需要计算数据之间的内积，因此我们不去显式地去定义$\varphi (\cdot )$，转而去定义高维空间的内积，也就是核函数
$$K\left(x_i,x_j\right)=\varphi \left(x_i\right)\cdot \varphi \left(x_j\right)$$
所以非线性SVM只要把所有的内积都换成核函数就行了
$$\begin{array}{rl}& \max .W(\mathbf{\alpha })=\sum _{i=1}^n{\alpha }_i-\frac{1}{2}\sum _{i=1,j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j{\mathbf{x}}_i^T{\mathbf{x}}_j\\ & \text{ subject to }C\ge {\alpha }_i\ge 0,\sum _{i=1}^n{\alpha }_i{y}_i=0\end{array}$$
换成
$$\begin{array}{rl}& \max .W(\mathbf{\alpha })=\sum _{i=1}^n{\alpha }_i-\frac{1}{2}\sum _{i=1,j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_{j}K\left({\mathbf{x}}_i,{\mathbf{x}}_j\right)\\ & \text{ subject to }C\ge {\alpha }_i\ge 0,\sum _{i=1}^n{\alpha }_i{y}_i=0\end{array}$$
最终的分类器
$$\begin{array}{rl}& \mathbf{w}=\sum _{j=1}^s{\alpha }_{t_j}{y}_{t_j}{\mathbf{x}}_{t_j}\\ & f={\mathbf{w}}^T\mathbf{z}+b=\sum _{j=1}^s{\alpha }_{t_j}{y}_{t_j}{\mathbf{x}}_{t_j}^T\mathbf{z}+b\end{array}$$
换成
$$\begin{array}{rl}\mathbf{w}& =\sum _{j=1}^s{\alpha }_{t_j}{y}_{t_j}\varphi \left({\mathbf{x}}_{t_j}\right)\\ f& =⟨\mathbf{w},\varphi (\mathbf{z})⟩+b=\sum _{j=1}^s{\alpha }_{t_j}{y}_{t_j}K\left({\mathbf{x}}_{t_j},\mathbf{z}\right)+b\end{array}$$
可以看到，非线性SVM中，咱们构造不出$\mathbf{w}$了，好在最终的判别函数要计算的还是内积，可以直接计算判别函数值，而不用去显式地把分类器表示出来。

最终的$b$
$$b=y_i-\sum _{j=1}^s{\alpha }_j{y}_j{x}_j^T{x}_i\forall 0<{\alpha }_i<C$$
换成
$$b=y_i-\sum _{j=1}^s{\alpha }_j{y}_{j}k\left(x_j,x_i\right)\forall 0<{\alpha }_i<C$$

3、An Example

4、SVM是凸优化

回忆一下凸函数

$D-$ a domain in ${\mathbb{R}}^n$
$$f\left((1-\alpha ){\mathbf{x}}_0+\alpha {\mathbf{x}}_1\right)\le (1-\alpha )f\left({\mathbf{x}}_0\right)+\alpha f\left({\mathbf{x}}_1\right)$$


SVM的优化问题是
$$\underset{\mathbf{w}\in {\mathbb{R}}^d}{\min }C\sum _i^N\max \left(0,1-y_{i}f\left({\mathbf{x}}_i\right)\right)+\Vert \mathbf{w}{\Vert }^2$$

该式左半部分是Hinge Loss的和，右边是一个二次函数，由于凸函数的非负线性组合还是凸函数，所以SVM是个凸优化问题，也就是说，损失函数的 local minimum 就是 global minimum.