林轩田机器学习基石——笔记1.2 Learn to Answer Yes/No（如何进行学习）

news2024/9/19 9:34:41

When can Mechine learn？

2.Learn to Answer Yes/No（如何进行学习）

2.1perceptron hypothesis set

2.2Perceptron Learning Algorithm

2.3Guarantee of PLA

2.4Non-Separate Data

Why can Mechine learn？

How can Mechine learn？

How can Mechine learn better？

When can Mechine learn？

2.Learn to Answer Yes/No（如何进行学习）

本节课主要介绍了线性感知机模型，以及解决这类感知机分类问题的简单算法：PLA。我们详细证明了对于线性可分问题，PLA可以停下来并实现完全正确分类。对于不是线性可分的问题，可以使用PLA的修正算法Pocket Algorithm来解决。

2.1perceptron hypothesis set

what H can be use?

对于信用卡的例子，每个 x 有d个特征向量，每个特征赋予不同的权重w，表示该特征对输出的影响有多大。然后对所有特征进行加权和与阈值进行比较，根据阈值进行分类判别。我们的目的就是计算出所有的权值w和阈值threshold。

为了计算方便，通常我们将阈值threshold当做w_0，引入一个x_0=1的量与w_0相乘，这样就把threshold也转变成了权值w_0，简化了计算。h(x)的表达式做如下变换：

W represents a hypothesis h.

so what do perceptron h look like?

为了更清晰地说明感知机模型，假设x向量在一个二维平面上，h(x) 可以由如下公式进行表示，当 h(x) = 0 的时候，是正负的切换点，当 h(x) = 0 ，就是一条直线。

在此图：perceptron <-> linear classifier。感知器线性分类不限定在二维空间中，在3D中，线性分类用平面表示，在更高维度中，线性分类用超平面表示，即只要是形如w^Tx的线性模型就都属于linear(binary) classifiers。

2.2Perceptron Learning Algorithm

H = all possible perceptrons, g = ?

根据上一部分的介绍，我们已经知道了hypothesis set由许多条直线构成。接下来，我们的目的就是如何设计一个演算法A，来选择一个最好的直线，能将平面上所有的正类和负类完全分开，也就是找到最好的g，使 $g\approx f$ 。

我们想要： $g\approx f$ 。虽然 f 不知道，但我们可以在数据 D 上使得 $g(x_n) = f(x_n) = y_n$ ，从而找到 $g \approx f \ on\ D$ 。

如何找到这样一条最好的直线使得 $g(x_n) = f(x_n) = y_n$ ？我们可以使用逐点修正的思想，首先在平面上随意取一条直线，看看哪些点分类错误。然后开始对第一个错误点就行修正，即变换直线的位置，使这个错误点变成分类正确的点。接着，再对第二个、第三个等所有的错误分类点就行直线纠正，直到所有的点都完全分类正确了，就得到了最好的直线。这种“逐步修正”，就是PLA思想所在。

g0随机选取，然后根据mistakes进行修正，直到这条线能correct所有x。但有可能这个数据 D 并不是线性可分的，因此我们是不能 correct 所有错误的。并且训练完后真的 g ≈ f ？

如何修正：

对于一个错误的判别（这里只有1/-1），如果 y = 1，但是 wx < 0，说明 w 和 x 向量之间的夹角是一个钝角，此时我们需要减少夹角大小。类似的，对于 y = -1，wx > 0，需要增大夹角。因此我们可以使用 $w_{t+1} = w_t+y_{n(t)}x_{n(t)}$ 来进行更新，如果 $y_{n(t)}$ 是正的，就会减少夹角；反之，增大夹角，如下图所示：

修正过程（w的方向和线是垂直的，是x变化最快的路径）：

初始化W=0，找到一个点x1，出现错误，使用 $w_{t+1} = w_t+y_{n(t)}x_{n(t)}$ 进行更新，所以再一次的划线会垂直于这条紫色的线。

因为一次只看一个点，转的角度会变大。

2.3Guarantee of PLA

演算法两个核心：

1.找出一个错误的点
2.利用错误点更新w

对于 $y_nW_{t}^Tx_n$ 的含义：

如果PLA停下来，在数据集上没有任何错误，我们称 D 是线性可分的。如果不是线性可分的，线性分类器停不下来。

证明线性可分（演算法能停）：

如下所示，我们可以知道如果存在一个 $w_f$ 可以使得 $y_n = sign(W_{f}^Tx_n)$ ，那么对于任意一个x都应该存在 $y_nW_{f}^Tx_n>0$ 。

我们将 $W_{f}^TW_{t+1}$ 进行点积，经过变换，如上图所示， $W_{f}^TW_{t+1}>W_{f}^TW_{t}$ ，从推导可以看出， $w_{t+1}$ 与 $w_f$ 的内积跟 $w_t$ 与 $w_f$ 的内积相比更大了。似乎说明了 $w_{t+1}$ 更接近 $w_f$ ，但是内积更大，可能是向量长度更大了，不一定是向量间角度更小。所以，下一步，我们还需要证明 $w_{t+1}$ 与 $w_t$ 向量长度的关系：

$w_t$ 只会在分类错误的情况下更新，最终得到的 $||w_{t+1}^2||$ 相比 $||w_{t}^2||$ 的增量值不超过 $max||x_n||^2$ 。也就是说， $w_t$ 的增长被限制了， $w_{t+1}$ 与 $w_t$ 向量长度不会差别太大！

（余弦相似度）

证明过程：

其中

2.4Non-Separate Data

综上，我们证明了在线性可分的情况下，PLA是可以停下来并正确分类的。同样可以扩展到d维空间。

W_f 和 W_t 的内积会快速增长
W_t 的长度也会缓慢增长

但对于非线性可分的情况，我们可以把它当成是数据集 D 中掺杂了一些 noise，事实上，大多数情况下我们遇到的D，都或多或少地掺杂了noise。这时，机器学习流程是这样的：

在非线性情况下，我们可以把条件放松，即不苛求每个点都分类正确，而是容忍有错误点，取错误点的个数最少时的权重w：

事实证明，上面的解是NP-hard问题，难以求解。然而，我们可以对在线性可分类型中表现很好的PLA做个修改，把它应用到非线性可分类型中，获得近似最好的g。

修改后的PLA称为Packet Algorithm。它的算法流程与PLA基本类似，首先初始化权重w0w_0，计算出在这条初始化的直线中，分类错误点的个数。然后对错误点进行修正，更新w，得到一条新的直线，在计算其对应的分类错误的点的个数，并与之前错误点个数比较，取个数较小的直线作为我们当前选择的分类直线。之后，再经过n次迭代，不断比较当前分类错误点个数与之前最少的错误点个数比较，选择最小的值保存。直到迭代次数完成后，选取个数最少的直线对应的w，即为我们最终想要得到的权重值。（取模型最优的时候）