机器学习（三）

学习机器学习过程中的心得体会以及知识点的整理，方便我自己查找，也希望可以和大家一起交流。

—— 吴恩达机器学习第五章 ——

四、逻辑回归

线性回归局限性
线性回归对于分类问题的局限性：由于离群点的存在，线性回归不适用于分类问题。如下图（阈值为0.5），由于最右离群点，再用线性回归与实际情况不拟合。

因此，我们引入逻辑回归算法，来解决这个问题。
假设陈述
逻辑回归的假设函数值总是在0到1之间，逻辑回归模型： $h_{θ}(x)$ , 使得 $0 ≤ h_{θ}(x) ≤ 1$ 。
在线性回归中， $h_{θ}(x) = θ^{T}x$ ，在逻辑回归中令 $h_{θ}(x) = g(θ^{T}x )$ ，将 $θ^{T}_{x}$ 带入g(x)得：

其中 $g(z)=\frac{1}{1+e^{-z}}$ 被称为Sigmoid函数，也叫Logistic函数。

$h_{θ}(x)=P ( y=1∣x ;θ )$ ( 对于输入的x，y=1的概率估计)
决策界限
决策边界不是训练集的属性，而是假设本身及其参数的属性。
假设有一个训练集： $h_{θ}(x)=g(θ_{0}+θ_{1}x_{1}+θ_{2}x_{2})$ 。用一种方法或者假设，得到参数 $θ_{0} = -3，θ_{1} = 1，θ_{2} = 1$ 。预测 $y = 1 if -3 + x_{1} + x_{2} ≥ 0$ ，即 $x_{1} + x_{2} ≥ 3$ 。则有下图，中间洋红色直线即为 决策边界 $x_{1}+ x_{2} = 3）$

其他的例子如下图：

其他参数更多更复杂的也同理。
代价函数
将线性回归的代价函数改写为如下形式:
$J(θ)=\frac{1}{m}\sum_{i=1}^{m}\frac{1}{2}(h_{θ}(x^{(i)})-y^{(i)})^{2}$ ，进而定义cost函数为 $Cost(h_{θ}(x^{(i)},y^{(i)})=\frac{1}{2}(h_{θ}(x^{(i)}-y^{(i)})^{2}$

将cost function 运用到逻辑回归中：.

其中 y 表示实际，hθ(x)表示预测。

当y = 1时：
$if \ h_{θ}(x) = 1, cost = 0$
$if \ h_{θ}(x) = 0, cost = ∞$ （预测与实际完全不一致，要花费很大的代价惩罚算法）
当y = 0时：
$if\ h_{θ}(x) = 0, cost = 0$
$if\ h_{θ}(x) = 1, cost = ∞$ （预测与实际完全不一致，要花费很大的代价惩罚算法）

简化代价函数与梯度下降

将上述式子合并为一个式子: $Cost(h_{θ}(x),y)=-y(h_{θ}(x))-(1-y)log(1-h_{θ}(x))$
当y = 1时，后一个式子整体为0；当y = 0时，前一个式子整体为0。进而得到：
$J(θ)=\frac{1}{m}[\sum_{i=1}^{m}y^{(i)}logh_{θ}(x^{(i)})+(1-y^{(i)})log(1-h_{θ}(x^{(i)}))]$
求最小代价函数由 $θ_{j}:=θ_{j}-\alpha\frac{\partial }{\partial θ_{j} }J(θ)$ ，得 $θ_{j}:=θ_{j}-\alpha\sum_{i=1}^{m}(h_{θ}(x^{(i)})-y^{(i)})x_{j}^{(i)}$ 。

注意：

逻辑回归的代价函数看似与线性回归的代价函数相同，但本质不同。
逻辑回归中的 $h_{θ}(x)=\frac{1}{e-θ^{T}x}$ 。
线性回归中的 $h_{θ}(x) = θ^{T}x$ 。

逻辑回归解决问题：多元分类
多元分类即结果有多种可能。如下图，有三种可能结果。

将它们两两作为一组，方法是将其中一个类别作为正类，其他作为负类，依次建立新的训练集，得到

即为 $h_{θ}^{(i)}(x)=P(y=i|x;θ)\ (i=1,2,3)$ ，最后需要输入一个x，选择h最大的类别，也即在三个分类器中选择可信度最高，效果最好的。