机器学习——结构风险最小化（SRM）

news2024/11/19 17:34:10

问：基于结构风险最小化 (SRM)原则会倾向于选择更复杂的模型，因此其泛化能力一般较差。

答：错误，基于经验风险最小化（ERM）会倾向于选择更复杂的模型。基于结构风险最小化原则的模型选择会考虑模型的复杂度和数据拟合程度，从而找到一个在偏差和方差之间平衡的最优模型，一般能够获得较好的泛化能力。

1、定义

　　统计学习理论提出了一种新的策略,即把函数集构造为一个函数子集序列,使各个子集按照VC维的大小排列;在每个子集中寻找最小经验风险,在子集间折衷考虑经验风险和置信范围,取得实际风险的最小。这种思想称作结构风险最小化(Structural Risk Minimization)，即SRM准则。

2、经验风险与真实风险的关系

　　统计学习理论系统地研究了对于各种类型的函数集,经验风险和实际风险之间的关系。得出如下结论：对指示函数集中的所有函数(包括使经验风险最小的函数), 经验风险和实际风险之间以至少的概率满足如下关系：

$R(w) \leq R_{\text { owp }}(w)+\sqrt{\frac{h(\ln (2 n / h)+1)-\ln (\eta / 4)}{n}}$

　　其中h是函数集的VC维,n是样本数.

　　这一结论从理论上说明了学习机器的实际风险是由两部分组成的:

一是经验风险(训练误差),另一部分称作置信范围,它和学习机器的VC维及训练样本数有关。

　　上式可以简单地表示为：

$R(w) \leq R_{e m p}(w)+\phi(h / n)$

　　它表明,在有限训练样本下,学习机器的VC维（h）越高(复杂性越高)则置信范围越大,导致真实风险与经验风险之间可能的差别越大.这就是为什么会出现过学习现象的原因.机器学习过程不但要使经验风险最小,还要使VC维尽量小以缩小置信范围,才能取得较小的实际风险,即对未来样本有较好的推广性.

3、结构风险最小化(SRM)的基本思想

　　传统机器学习方法中普遍采用的经验风险最小化原则在样本数目有限时是不合理的, 会出现过学习现象（训练误差小并不总能导致好的预测效果.某些情况下,训练误差过小反而会导致推广能力的下降,即真实风险的增加,这就是过学习问题）, 因此，需要同时最小化经验风险和置信范围。

　　为此，统计学习理论提出了一种新的策略,即把函数集构造为一个函数子集序列,使各个子集按照VC维的大小排列;在每个子集中寻找最小经验风险,在子集间折衷考虑经验风险和置信范围,取得实际风险的最小。这种思想称作结构风险最小化(Structural Risk Minimization)，即SRM准则。　　