支持向量机
任务：找到超平面
在样本空间中，找到最好的超平面把样本分开，即找到正中间的超平面
满足
- 该超平面 分开了两类
- 该超平面 最大化支持向量间隔
- 该超平面处于 间隔中间，到所有支持向量距离相等
如何找：表示出间隔求最大化
以二分类为例，决定超平面的样本是离超平面最近的两类样本，称为支持向量。支持向量至少有两个，可能有多个。两类支持向量见的距离称为间隔
为了方便起见，我们让过两类的支持向量的超平面，称为正负面。我们可以通过代数变换，把正负面的方程变换为
为什么能这么变换？因为支持向量到最中间超平面（我们想要的）的距离相等
经过上面的变换，我们就能把间隔表示为
γ = 2/ ||w||
转化为求γ最大即可
拉格朗日乘子法
SMO求解方法
数据混在一块儿分不出来怎么办
将样本从原始空间映射到更高维的特征空间，使得样本线性可分
转化后
总是以内积形式出现，单独算不好处理，考虑设计核函数
如何找核函数
我们不能找到一个唯一的最优函数来替代φφT，只能从核函数集合中选择一个
缓解过拟合：软间隔
引入软间隔，允许在一些样本上不满足约束
由于0/1函数不易优化，我们选择一个替代函数
引入拉格朗日乘子法求解
应用
