引言

上一节从霍夫丁不等式为切入点，介绍了样本平均值和全样本期望，本节将继续介绍$\text{PAC}$学习。

回顾：霍夫丁不等式

霍夫丁不等式$(\text{Hoeffding’s Inequality})$可表示为如下形式：
$$\mathcal{P}(|v-\mu |>ϵ)\le 2\exp (-2{ϵ}^{2}N)$$
其中$N$表示数据集$\mathcal{D}$内的样本数量；$v$和$\mu$分别表示样本平均值和全样本方差：
其中$x_1,x_2,\cdots ,x_p$是相互独立的随机变量;
$$\{\begin{array}{l}\begin{array}{rl}& v=\frac{1}{p}\sum _{i=1}^p{x}_i\\ & \mu =\frac{1}{p}\sum _{i=1}^p\mathbb{E}[x_i]\end{array}\end{array}$$
其中$\mu$是数据集$\mathcal{D}$所描述分布$D$的真实期望。也就是说，在分布$D$客观存在的条件下，其期望$\mu$也是一个客观存在的结果；而$v$表示数据集$\mathcal{D}$自身样本的均值(期望)结果。

当样本数量$N$增大时，数据集$\mathcal{D}$所描述的分布越完整，越收敛于分布$D$；从而均值$v$越趋近于真实期望$\mu$。最终使$v$和$\mu$之间差距大于设定边界$ϵ$的概率越小。而霍夫丁不等式使用具体公式对该思想进行描述。
关于‘霍夫丁不等式’的证明过程，推荐文章见下方链接。侵删。

再次观察霍夫丁不等式，当设定边界$ϵ$确定的条件下，$|v-\mu |>ϵ$这个事件(可理解为$\mathcal{D}$和$D$相差‘较大’，大于设定边界)发生的概率存在上界。也就是该概率必不超过$\delta =2\exp (-2{ϵ}^{2}N)$。

相反，也就是说，必然至少存在$1-\delta$的概率$|v-\mu |\le ϵ$。$\delta$越小，$\mathcal{D}$和$D$的差距越小，越符合任务期望的结果。

霍夫丁不等式的问题及其优化

基于数据集$\mathcal{D}$归纳得到假设函数$h(x)$和$\delta$之间存在关联关系：

• $\delta$越小，说明函数$h(x)$越优秀；其越接近真实函数$\mathcal{G}(x)$；
• 相反，$\delta$越大，说明函数$h(x)$通过数据集$\mathcal{D}$的预测分布与真实分布$D$的差距较大，说明$h(x)$对$D$的泛化能力较差。

新的问题随之到来：

• 通过假设函数$h(x)$的预测分布表达样本平均数和全样本方差，无论$v$还是$\mu$，它们的表达结果都是不准确的——毕竟$h(x)$和$\mathcal{G}(x)$之间存在差距。那么两个不准确结果之间的差异自然没有意义。
  $$\mathcal{P}\left\{\left|\frac{1}{N}\sum _{i=1}^{N}h[x^{(i)}]-{\mathbb{E}}_{x^{(i)}\sim D}\left[h(x^{(i)})\right]\right|>ϵ\right\}\le 2\exp (-2{ϵ}^{2}N)$$

换个思路思考，由于我们的目标是得到最接近$\mathcal{G}(x)$的假设函数$h(x)$，那么直接针对$\mathcal{G}(x)$和$h(x)$之间的差距进行量化，去描述$|v-\mu |$。

• 数据集$\mathcal{D}$就是从真实分布$D$中采集的样本，自然会有如下结果：
  $$y^{(i)}=\mathcal{G}(x^{(i)})(x^{(i)},y^{(i)})\in \mathcal{D}$$
• 此时$v$不再被描述为样本均值，而是描述为假设函数$h(x)$在$\mathcal{D}$上误差的均值：
  由于$\mathcal{G}(x^{(i)})=y^{(i)}$，也可看作是$\mathcal{G}(x)$和$h(x)$在$\mathcal{D}$上体现的差异的均值。
  $$v={\mathbb{E}}_{in}(h)=\frac{1}{N}\sum _{i=1}^N\left[h(x^{(i)})\ne y^{(i)}\right]$$
• 同理，$\mu$被表示为基于$D$中所有样本条件下，函数$\mathcal{G}(x)$和$h(x)$在样本中体现差异的期望结果：
  $$\mu ={\mathbb{E}}_{out}(h)={\mathbb{E}}_{x^{(i)}\sim D}\left[h(x^{(i)})\ne \mathcal{G}(x^{(i)})\right]$$
  从而得到新的不等式：
  个人理解：${\mathbb{E}}_{in}(h)$和${\mathbb{E}}_{out}(h)$之间的区别就是样本量的大小，其余没有区别。只不过将预测划分‘不准确’(误差)作为衡量指标进行描述。
  P { ∣ E i n ( h ) − E o u t ( h ) ∣ > ϵ } ≤ 2 exp ⁡ ( − 2 ϵ 2 N ) \mathcal P \{|\mathbb E_{in}(h) - \mathbb E_{out}(h)| > \epsilon\} \leq 2\exp(-2\epsilon^2N) P{∣Ein​(h)−Eout​(h)∣>ϵ}≤2exp(−2ϵ2N)

此时我们发现，上述的不等式无论${\mathbb{E}}_{in}(h)$还是${\mathbb{E}}_{out}(h)$，都有一个参考系的支撑：$\mathcal{G}(x)$。并且由于数据集$\mathcal{D}$是分布$D$所描述全集的一个子集，那么必然有：如果通过优化假设函数$h(x)$，使得在数据集$\mathcal{D}$中的误差${\mathbb{E}}_{in}(h)$减小，那么在全集内也必然使其误差${\mathbb{E}}_{out}(h)$减小。而${\mathbb{E}}_{out}(h)$就是我们想要的结果。这就是$\text{PAC}$机器学习理论框架。

$\text{PAC}$

$\text{PAC(Probably Approximately Correct)}$，也就是概率近似正确——它通过两个不确定性的组合来描述一个客观事实：

• ${\mathbb{E}}_{in}(h),{\mathbb{E}}_{out}(h)$分别作为在$\mathcal{D}$和全集内与真实模型$\mathcal{G}(x)$的误差，它们之间的近似关系由误差参数$ϵ$描述：
  $$|{\mathbb{E}}_{in}(h)-{\mathbb{E}}_{out}(h)|>ϵ\iff {\mathbb{E}}_{in}(h)\approx {\mathbb{E}}_{out}(h)$$
• 而这个近似关系的表达也是不确定的——使用概率的方式对这个近似关系本身的不确定性进行表达。随着数据集$\mathcal{D}$的样本量$N$的增加，对应概率结果不断减小：
  并且这个表达‘近似关系’的概率结果，我们并不能求出它的具体值，而仅仅是知道它的一个上界$\delta$。
  $$\mathcal{P}(|{\mathbb{E}}_{in}(h)-{\mathbb{E}}_{out}(h)|>ϵ)\le \delta$$
  并且既然是‘概率值’，无论$\delta$数值多小，它都存在发生的可能性。

引出新问题——霍夫丁不等式无法通过直接比较获取最优假设函数

继续观察${\mathbb{E}}_{in}(h),{\mathbb{E}}_{out}(h)$，如果它们等于零意味着什么：根据公式，${\mathbb{E}}_{in}(h)=0$自然意味着数据集$\mathcal{D}$内的所有样本均被划分正确。即$h(x^{(i)})=y^{(i)},(x^{(i)},y^{(i)})\in \mathcal{D}$；同理，${\mathbb{E}}_{out}(h)=0$意味着分布$D$所描述全集的样本内，所有样本均划分正确。也就是说，此时的$h(x)=\mathcal{G}(x)$。

如果将$h$视作一个变量，而${\mathbb{E}}_{in}(h),{\mathbb{E}}_{out}(h)$分别作为该变量的函数。那么从分布$D$中独立采样出$N$个样本所组成的数据集称作${\mathcal{D}}_N^{(1)}$，此时的${\mathbb{E}}_{in}(h)$对${\mathcal{D}}_N^{(1)}$进行描述，两函数的图像结果表示如下：
图像来源见下方链接，侵删，下同。其中${\mathcal{D}}_N^{(1)}$表示包含$N$个样本的$1$号数据集。

图中的$h^{\ast }$和$\mathcal{G}$分别描述了在数据集${\mathcal{D}}_N^{(1)}$和全集上的最优变量结果。

• 我们事先知道，只要分布$D$是不变的，那么$\mathcal{G}$所描述的变量值位置是不变的；
• 其次，描述${\mathbb{E}}_{in}(h)$的最优变量$h^{\ast }$不仅由变量$h$控制，并且与数据集$\mathcal{D}$之间存在关联关系。这里使用的是数据集${\mathcal{D}}_N^{(1)}$，如果换成基于分布$D$的另一个数据集${\mathcal{D}}_M^{(2)}$，最优变量$h^{\ast }$的位置也可能发生变化。

此时${\mathbb{E}}_{in}(h),{\mathbb{E}}_{out}(h)$已经表述出来，继续观察$|{\mathbb{E}}_{in}(h)-{\mathbb{E}}_{out}(h)|$的图像结果以及该值与$ϵ$的关系：

实际上就是第一张图中阴影部分在$h$轴上的体现，假设已经设定好了$ϵ$的范围，对应图中的红色阴影部分表示$|{\mathbb{E}}_{in}(h)-{\mathbb{E}}_{out}(h)|>ϵ$的结果；剩余的蓝色阴影部分则是$|{\mathbb{E}}_{in}(h)-{\mathbb{E}}_{out}(h)|\le ϵ$的结果。

但概率值$\mathcal{P}(|{\mathbb{E}}_{in}(h)-{\mathbb{E}}_{out}(h)|>ϵ)$如何进行表示呢？是红色阴影面积比上整体阴影面积吗？并不是。这个概率描述的是：在分布$D$独立采样产生的不同数据集内，相同$h$产生的$|{\mathbb{E}}_{in}(h)-{\mathbb{E}}_{out}(h)|$与$ϵ$比较，经过统计产生的概率结果。此时我们独立采样出一个包含$N$个数据的新数据集${\mathcal{D}}_N^{(2)}$，其对应图像表示如下：

这里比较同一个$h$(红色矩形框)，统计其$|{\mathbb{E}}_{in}(h)-{\mathbb{E}}_{out}(h)|>ϵ$的次数：
这里的$j\Rightarrow \infty$,因为可以从分布$D$中任意独立地进行采样。
$$\mathbb{I}(|{\mathbb{E}}_{in}(h)-{\mathbb{E}}_{out}(h)|>ϵ){|}_{{\mathcal{D}}_N^{(k)}}=\{\begin{array}{l}1\text{if }|{\mathbb{E}}_{in}(h)-{\mathbb{E}}_{out}(h)|>ϵ\\ 0\text{Otherwise}\end{array}k=1,2,\cdots ,j$$

• 关于数据集${\mathcal{D}}_N^{(1)}$，其$|{\mathbb{E}}_{in}(h)-{\mathbb{E}}_{out}(h)|>ϵ$，返回结果1；
• 关于数据集${\mathcal{D}}_N^{(2)}$，其$|{\mathbb{E}}_{in}(h)-{\mathbb{E}}_{out}(h)|\le ϵ$，返回结果0；
• 以此类推，最终可得到概率结果：
  而这个概率结果是存在上界的。
另一个注意的点：这里所有采集的数据集合${\mathcal{D}}_N^{(1)},{\mathcal{D}}_N^{(2)},\cdots ,{\mathcal{D}}_N^{(j)}$,它们都是有$N$个样本组成的集合。
  $$\mathcal{P}(|{\mathbb{E}}_{in}(h)-{\mathbb{E}}_{out}(h)|>ϵ)=\frac{1}{j}\sum _{k=1}^j\mathbb{I}(|{\mathbb{E}}_{in}(h)-{\mathbb{E}}_{out}(h)|>ϵ){|}_{{\mathcal{D}}_N^{(k)}}\le 2\exp (-2{ϵ}^{2}N)$$

至此，已经得到了这个概率值的表示，回顾假设函数$h$，$h$对于这个概率值产生什么样的影响$?$如果将$\mathcal{P}(|{\mathbb{E}}_{in}(h)-{\mathbb{E}}_{out}(h)|>ϵ)$看做是关于$h$的函数。即：
$$f(h)=\frac{1}{j}\sum _{k=1}^j\mathbb{I}(|{\mathbb{E}}_{in}(h)-{\mathbb{E}}_{out}(h)|>ϵ){|}_{{\mathcal{D}}_N^{(k)}}$$
关于$h$和$f(h)$的函数关系表示如下：

这仅是一个示意图，我们仅能确定$f(\mathcal{G})$。当$h(x)=\mathcal{G}(x)$时，无论我们如何采集样本，都有${\mathbb{E}}_{in}(h)={\mathbb{E}}_{out}(h)=0$，从而$f(h)=0$。但与此同时，无论$h$产生的预测分布多么离谱，这个概率值$f(h)$均小于$2\exp (-2{ϵ}^{2}N)$。

并且根据上图，也可以看出，当$f(h)$越小时，这意味着$|{\mathbb{E}}_{in}(h)-{\mathbb{E}}_{out}(h)|>ϵ$这种不好的情况发生的次数更少，而对应的$h$也越可靠：
$$\sum _{k=1}^j\mathbb{I}(|{\mathbb{E}}_{in}(h)-{\mathbb{E}}_{out}(h)|>ϵ){|}_{{\mathcal{D}}_N^{(k)}}\Downarrow$$

相反，这引出一个新的问题：此时只能根据$\text{PAC}$提出的思路，知道函数$f(h)$存在上界$2\exp (-2{ϵ}^{2}N)$，对于 $f(h)$的大小/$h$的可靠程度 我们是未知的。

例如下图中的两条曲线：

通过图像可以看出，数据集${\mathcal{D}}_N^{(1)}$对应学习出的最优模型$h^{\ast }$与数据集${\mathcal{D}}_N^{(2)}$对应学习出的最优模型$h^{\ast }$相比，后者要更优秀(因为$h^{\ast }$距离$\mathcal{G}$更近)，但真实情况是，我们并不知道$\mathcal{G}$的具体位置是什么，导致无法进行比较。

总结一下：
利用霍夫丁不等式来实现机器学习是无法实现的：

• 关于真实模型$\mathcal{G}$是未知的 $\Rightarrow$ 无法通过假设函数$h$与$\mathcal{G}$直接进行比较；
• 如果抛开$\mathcal{G}$不谈，仅仅对各假设函数$h$相互比较。即从所有可能的$h$中挑出一个最优的$h$。但是我们能够比较的仅仅是${\mathbb{E}}_{in}(h)$，${\mathbb{E}}_{out}(h)$因无法采出全部样本是无法求解的。即便找到了一个${\mathbb{E}}_{in}(h^{\ast })=0$，该$h^{\ast }$与$\mathcal{G}$的差距也是无法确定的。
• 并且，由于已知的信息仅仅是一个上界，并且这个上界与$h$自身无关。从而无法通过找出最小上界值的形式确定最优$h$。

问题的解决方法

针对上面的问题，一种解决方法是：不去单个比较假设函数，而是通过对所有可能的假设函数$h$构建一个假设函数空间$\mathcal{H}$，并将其划分成若干个部分： { H 1 , H 2 , H 3 , ⋯   } \{\mathcal H_1,\mathcal H_2,\mathcal H_3,\cdots\} {H1​,H2​,H3​,⋯}，从而找到最优的函数空间部分，最终在最优部分中找到的假设函数可信度更高：

上图我们将假设函数空间划分出$3$个子空间${\mathcal{H}}_1,{\mathcal{H}}_2,{\mathcal{H}}_3$。分别在${\mathcal{D}}_N^{(1)},{\mathcal{D}}_N^{(2)}$数据集条件下，我们能够找到在${\mathcal{H}}_1$中${\mathbb{E}}_{in}(h)$的最小值(蓝色点)；同理，我们也能够找到${\mathcal{H}}_2,{\mathcal{H}}_3$中${\mathbb{E}}_{in}(h)$的最小值(分别是橙色点和绿色点)。

相比之下，${\mathcal{H}}_2$中的两个橙色点虽然不是最小值，但相比于蓝色点和绿色点，它们的值都比较小，并且很稳定。因而在${\mathcal{H}}_2$空间中找出一个优秀的$h$，其可信度是较高的。

如何让假设函数子空间之间进行比较呢$?$由于霍夫丁不等式只与数据集${\mathcal{D}}_N^{(i)}(i=1,2,\cdots ,j)$的选择有关，这意味着$h$自身也是一个随机变量，它和数据集对判定结果起到共同作用：

• 关于$|{\mathbb{E}}_{in}(h_j)-{\mathbb{E}}_{out}(h_j)|$，我们可以将其看作是：在给定假设函数$h_j$的条件下，关于数据集${\mathcal{D}}_N^{(i)}$的一个偏差结果。记作${\Delta }_{h_j}({\mathcal{D}}_N^{(i)})$；

  但需要假设函数共同作用下的结果，同样将$h_j$作为随机变量放入$\Delta$函数中：
  $${\Delta }_{h_j}({\mathcal{D}}_N^{(i)})\Rightarrow \Delta (h_j,{\mathcal{D}}_N^{(i)})$$

• 同理，此时我们的样本不再仅仅是${\mathcal{D}}_N^{(i)}\in D$(全集)，而是数据集和假设函数相绑定 的笛卡尔积结果：
  $${\mathcal{D}}_N^{(i)}\in D\Rightarrow ⟨{\mathcal{D}}_N^{(i)},h_j⟩\in \mathcal{D}\times \mathcal{H}$$

这种方式对原始的$h$的选择存在什么样的变化$?$

• 原始做法通过$f(h)$进行衡量，$f(h)$越小，$h$越优秀；
  $$f(h)=\frac{1}{j}\sum _{k=1}^j\mathbb{I}(|{\mathbb{E}}_{in}(h)-{\mathbb{E}}_{out}(h)|>ϵ){|}_{{\mathcal{D}}_N^{(k)}}$$
• 现在我们不将目光放在某个假设函数$h$上，而是某一假设函数子空间${\mathcal{H}}_i\in \mathcal{H}$，如何衡量一个假设函数子空间的好坏，就需要将该空间内的所有假设函数$h$与各数据集${\mathcal{D}}_N^{(i)}$各计算一次，从而挑出满足条件($>ϵ$)的结果并进行比值：
  $$\begin{array}{rl}{\mathcal{P}}_{\mathcal{H}}& =\frac{{\sum }_{⟨{\mathcal{D}}_N^{(i)},h_j⟩\in \mathcal{D}\times \mathcal{H}}\mathbb{I}(|{\mathbb{E}}_{in}(h_j)-{\mathbb{E}}_{out}(h_j)|>ϵ){|}_{{\mathcal{D}}_N^{(i)}}}{|\mathcal{D}\times \mathcal{H}|}\\ & =\frac{{\sum }_{h_j\in \mathcal{H}}{\sum }_{{\mathcal{D}}_N^{(i)}\in D}\left[\mathbb{I}(|{\mathbb{E}}_{in}(h_j)-{\mathbb{E}}_{out}(h_j)|>ϵ){|}_{{\mathcal{D}}_N^{(i)}}\right]}{|\mathcal{D}\times \mathcal{H}|}\end{array}$$

新方法对于霍夫丁不等式的约束证明

继续观察上式，该式子是否能够受到霍夫丁不等式的约束$?$

• 从极端角度观察的话，如果基于某一数据集条件下，只要存在一个假设函数$h^{\prime }$，使其$|{\mathbb{E}}_{in}(h^{\prime })-{\mathbb{E}}_{out}(h^{\prime })|>ϵ$，那么我们就武断地将所有$h\in \mathcal{H}$在该数据集下都有$|{\mathbb{E}}_{in}(h)-{\mathbb{E}}_{out}(h)|>ϵ$。基于这个假设，必然有：
  $$\begin{array}{rl}{\mathcal{P}}_{\mathcal{H}}& \le \frac{|\mathcal{H}|\cdot {\sum }_{{\mathcal{D}}_N^{(i)}\in D}\mathbb{I}(|{\mathbb{E}}_{in}(h)-{\mathbb{E}}_{out}(h)|>ϵ){|}_{{\mathcal{D}}_N^{(i)}}}{|\mathcal{D}\times \mathcal{H}|}(h\in \mathcal{H})\\ & =\frac{{\sum }_{{\mathcal{D}}_N^{(i)}\in D}\mathbb{I}(|{\mathbb{E}}_{in}(h)-{\mathbb{E}}_{out}(h)|>ϵ){|}_{{\mathcal{D}}_N^{(i)}}}{|\mathcal{D}|}(h\in \mathcal{H})\end{array}$$
• 将分子展开，得到如下结果：
  由于武断的假设，导致上式结果和$h$无关了，将数据集${\mathcal{D}}_N^{(i)}$划分成两种类型：$>ϵ$和$<ϵ$两种。
  $$\begin{array}{rl}{\mathcal{P}}_{\mathcal{H}}& \le \frac{\left[{\sum }_{{\mathcal{D}}_N^{(i)}\in D}\mathbb{I}(|{\mathbb{E}}_{in}(h_1)-{\mathbb{E}}_{out}(h_1)|>ϵ)+\cdots +{\sum }_{{\mathcal{D}}_N^{(i)}\in D}\mathbb{I}(|{\mathbb{E}}_{in}(h_j)-{\mathbb{E}}_{out}(h_j)|>ϵ)\right]}{|\mathcal{D}|}\\ & ={\mathcal{P}}_{h_1}+\cdots +{\mathcal{P}}_{h_j}\\ & \le |\mathcal{H}|\cdot 2\exp (-2{ϵ}^{2}N)\end{array}$$

也就是说，通过对假设函数空间为单位进行比较时，同样在霍夫丁不等式中得到证明，存在上界。

总结

上述所描述的新方法主要分为两个步骤：

• 从完整的假设函数空间$\mathcal{H}$中选择一个比较优秀的假设函数子空间${\mathcal{H}}_i$；
• 从${\mathcal{H}}_i$中再挑选假设函数$h$。

这种方式贯穿在机器学习的过程中，关于机器学习的三要素：模型，策略(损失函数)，算法，模型的选择相当于函数子空间的选择，例如：线性模型。而策略相当于选择具体假设函数$h$的判别方法。

例如在线性模型的基础上，基于错误驱动的感知机算法，线性判别分析，支持向量机等等。

相关参考：
霍夫丁不等式(Hoeffding‘s Inequality)的证明
VC维是如何推导出来的？为什么说它是机器学习理论最重要的发明?