todo
这里主要讲了如果挑选训练数据集，后续的内容在，等之后看到这里再补充笔记

案例：宝可梦、数码宝贝分类器

案例：需要找一个函数，输入一个动物，输出类别宝可梦还是数码宝贝

第一步：需要定义一个含有未知数的function

先对资料做一些观察，想象一下function应该长什么样。

观察发现①数码宝贝的线条比较复杂②宝可梦的线条比较简单 => 根据线条风格区分

使用一些工具包做Edge detection边缘检测后，将图片隐射成黑白，白色的为边缘，输出白色像素点的个数。白色像素点的个数超过某个阈值，说明线条复杂。

这个阈值h是一个未知参数，我们先假设函数只有这一个未知参数。

第二步：loss of a function

首先需要数据集D，loss根据数据集D算出

1.有数据集$D=\{(x^1,{\hat{y}}^1),....,(x^n,{\hat{y}}^n)\}$，n表示第几个资料

$x$：输入宝可梦或者数码宝贝的图片

$\hat{y}$: 该图是宝可梦还是数码宝贝

2.先随机给个阈值h，然后根据资料D计算参数h的loss

数据集的损失L(h,D)：输入阈值h和数据集D，输出错误率

每一笔资料的loss $l(h,x^n,{\hat{y}}^n))$：h是f的参数，输入xⁿ,输出yⁿ，比较model值与真实值是否相等，不相等就输出0，相等就输出1

Error rate 很直观。也可以选择使用cross-entropy

如何Sample Training Examples => 如何抽样可以得到一个较好的结果

理想情况：假设我们可以收集所有的宝可梦和数码宝贝，其集合为$D_{all}$。我们找到了最好的阈值$h^{all}$, $h^{all}=arg{\min }_{h}L(h,D_{all})$

这里的损失函数不可以微分，所以没办法用梯度下降方法。但是h的个数其实是有限的，可以通过穷举的方法找出使损失函数值最小的阈值h。

事实情况：我们只能收集到$D_{all}$中的部分案例$D_{train}$(从all中随机抽样出来的案例，案例符合独立同分布)，$D_{train}=\{(x^1,{\hat{y}}^1),....,(x^n,{\hat{y}}^n)\}$。可以找到$h^{train}=arg{\min }_{h}L(h,D_{train})$

希望现实情况的$h^{train}$在所有数据集中的表现和$h^{all}$在所有数据集中的表现越接近越好。

不同的$D_{train}$训练出来出来的$h^{train}$不同，这里$h^{train}$在所有数据集中的表现很依赖训练h时Sample到的数据集。

问题：我们希望$L(h^{train},D_{all})-L(h^{all},D_{all})\le \delta$，什么样的$D_{train}$训练出来的$h^{train}$可以满足这个期望？

$h^{all}$是从$D_{all}$中找出来让$L(h^{all},D_{all})$最小的值，所以$L(h^{train},D_{all})$是大于等于$L(h^{all},D_{all})$。

不过$L(h^{train},D_{train})$是有可能小于$L(h^{all},D_{all})$。

解：Smaple出来的资料$D_{train}$，穷举所有可能的h(从1到10000)，任意h满足$|L(h,D_{train})-L(h,D_{all})|\le \frac{\delta }{2}$，理想和显示就会很接近。 => $D_{train}$与$D_{all}$分布很像。

问题：有多大的可能性Sample出来一个bad $D_{train}$

• 以下的讨论与模型无关
• 以下的讨论对资料本来的分布无假设
• 以下的讨论可以使用任何loss function

每一个坏的资料，背后都存在一个h使得$|L(h,D_{train})-L(h,D_{all})|>ϵ$ => $P(D_{train}isbad)={\cup }_{h\in \mathrm{H}}P(D_{train}isbadduetoh\le {\sum }_{h\in \mathrm{H}}P(D_{train}isbadduetoh)$重叠的地方会多次被计算

由最后的式子可知，$|H|$是候选项h的数量，N是所选数据集$D_{train}$里资料的个数

1. 增加训练样本数量，N越大$D_{train}$越接近$D_{all}$，$P(D_{train}isbad)$的概率越小。
2. 较少模型复杂性，|H|候选项的数目越小，较少模型的复杂程度，$P(D_{train}isbad)$的概率越小。

其实这些理论只是用来试图解释原理，但并没有人用在实际数据集中真正计算，因为计算的结果往往会大于1

最小样本量应该满足以下式子

问题：本案例中h的取值是离散的，所以$|H|$是个确定值。当h取值是连续的，$|H|$是一个无穷 ，那$P(D_{train}isbad)$永远小于无穷大，那式子还有什么意思？

回答

1. 在计算机中没有真正连续的东西，用计算机中的bit描述数值时，精度终究是有限的(所以就不是无穷的)。
2. VC-dimension另外一种计算参数是连续时模型的复杂程度

如何权衡模型的复杂程度 Tradeoff of Model Complexity

理论上，理想与现实接近的方法

1. 增加训练样本数量，N越大$D_{train}$越接近$D_{all}$，$P(D_{train}isbad)$的概率越小。
2. 较少模型复杂性，|H|候选项的数目越小，较少模型的复杂程度，$P(D_{train}isbad)$的概率越小。

问题：|H|太小会导致什么问题？模型复杂程度太小会导致什么问题？

|H|太小，能选择的h数量太少，可能找不到使$L(h,D_{all})$最小的h。(大海捞针，针不在大海)

收集数据集中案例的个数N通常不是我们能控制的，可能想采用小的|H|来让理想和现实更接近。

=> 小的|H|会导致可选择的参数h数量变少，导致最优的$h^{all}$在可选范围之外，也就是说得到一个较大的$L(h^{all},D_{all})$