非参数化模型，当数据集规模增大时，其参数量也相应变多

希望从这无数个可以分隔两个点集的超平面中，挑选出与任意一点间隔（margin）的最小值最大的平面

支持向量机的数学描述

对上式来说，当w和b的大小同时变为λ倍时，式中的分母||w||也变为λ倍，这时划分超平面完全不变 

定义γ = yi(wx+b)为函数间隔，γi = γ / ||w||为几何间隔。我们希望所有样本到平面的几何间隔 γi 的最小值最大

 于是，支持向量机的优化目标可以写为：

上面已经提到，函数间隔γ关于w和b的大小并不影响实际的几何间隔γi，因为其变化总会被||w||所抵消。因此，不妨令γ=1。这样上面的优化目标就变为： 

为了求解方便，我们选择凸的单调递增函数，进一步将优化目标等价地写为：

 

如果数据线性不可分，我们可以适当放低上面的约束要求，引入松弛变量ξi，将约束问题改写为： 

凸优化的原始问题：
 

定义其拉格朗日函数（Lagrangian function）为：

当约束条件满足时，拉格朗日函数的最大值恰好就等于原问题的目标函数f(w)，从而原问题可以写为：

将上面优化问题中计算min和max的顺序交换，定义其对偶问题为：

所以求解拉格朗日函数得到w和b，代入对偶函数得到：

 

序列最小优化

pass