机器学习_集成学习之偏差和方差

news2024/10/7 6:50:02

文章目录

介绍
偏差和方差——机器学习性能优化的风向标
目标：降低偏差与方差
数据集大小对偏差和方差的影响
预测空间的变化带来偏差和方差的变化

介绍

集成学习，就是机器学习里面的协同作战。

如果训练出一个模型比较弱，又训练出一个模型还是比较弱，但是，几个不大一样的模型组合起来，很可能其效率会好过一个单独的模型。这个思路导出的随机森林、梯度提升决策树,以及XGBoost等算法,都是常用的、有效的、经常在机器学习竞赛中夺冠的“法宝”。

它的核心策略是通过模型的集成减少机器学习中的偏差(bias)和方差(variance)。

偏差和方差——机器学习性能优化的风向标

方差是从统计学中引入的概念，方差定义的是一组数据距离其均值的离散程度。而机器学习里面的偏差用于衡量模型的准确程度。

注：机器学习内部参数w和b中的参数b，英文也是bias，它是线性模型内部的偏置。而这里的 bias是模型准确率的偏差。两者英文相同，但不是同一个概念。

在这里插入图片描述

偏差评判的是机器学习模型的准确度，偏差越小，模型越准确。它度量了算法的预测与真实结果的离散程度，刻画了学习算法本身的拟合能力。也就是每次打靶，都比较靠近靶心。

方差评判的是机器学习模型的稳定性(或称精度)，方差越小，模型越稳定。它度量了训练集变动所导致的学习性能变化，刻画了数据扰动所造成的影响。也就是每次打靶，不管打得准不准，击中点都比较集中。

目标：降低偏差与方差

低偏差和低方差，是我们希望达到的效果，然而一般来说，偏差与方差是鱼与熊掌不可兼得的，这被称作偏差-方差窘境(bias-variance dilemma )。

给定一个学习任务，在训练的初期，模型对训练集的拟合还未完善，能力不够强，偏差也比较大。正是由于拟合能力不强，数据集的扰动是无法使模型的效率产生显著变化的——此时模型处于欠拟合的状态，把模型应用于训练集数据，会出现高偏差。
随着训练的次数增多，模型的调整优化，其拟合能力越来越强，此时训练数据的扰动也会对模型产生影响。
当充分训练之后，模型已经完全拟合了训练集数据，此时数据的轻微扰动都会导致模型发生显着变化。当训练好的模型应用于测试集，并不一定得到好的效果——此时模型应用于不同的数据集，会出现高方差，也就是过拟合的状态。

机器学习性能优化领域的最核心问题，就是不断地探求欠拟合-过拟合之间，也就是偏差 - 方差之间的最佳平衡点，也是训练集优化和测试集泛化的平衡点。
在这里插入图片描述
如图所示，如果同时为训练集和测试集绘制损失曲线，大概可以看出以下内容。

在训练初期，当模型很弱的时候，测试集和训练集上，损失都大。这时候需要调试的是机器学习的模型，或者甚至选择更好算法。这是在降低偏差。
在模型或者算法被优化之后，损失曲线逐渐收敛。但是过了一段时间之后，发现损失在训练集上越来越小，然而在测试集上逐渐变大。此时要集中精力降低方差。

因此，机器学习的性能优化是有顺序的，一般是先降低偏差，再聚焦于降低方差。

数据集大小对偏差和方差的影响

通过调整数据集的大小来观测损失的情况，进而判定是偏差还是方差影响着机器学习效率。

这是因为，数据集越大，越能够降低过拟合的风险。数据集越大，训练集和测试集上的损失差异理论上应该越小，因为更大的数据集会导致训练集上的损失值上升，测试集上的损失值下降。

如果随着数据集逐渐增大，训练集和测试集的误差的差异逐渐减小，然后都稳定在一个值附近。这说明此时模型的方差比较小。如果这个模型准确率仍然不高，需要从模型的性能优化上调整，减小偏差。

在这里插入图片描述

如果随着数据集的增大，训练集和测试集的误差的差异仍然很大，此时就说明模型的方差大。也就是模型受数据的影响大，此时需要增加模型的泛化能力。

预测空间的变化带来偏差和方差的变化

知道偏差大还是方差大，就知道应该把模型往哪个方向调整。

不同的模型，有不同的复杂度，其预测空间大小不同、维度也不同。一个简单的线性函数，它所能够覆盖的预测空间是比较有限的，其实也可以说简单的函数模型方差都比较低。这是好事儿。那么如果增加变量的次数，增加特征之间的组合，函数就变复杂了，预测空间就随着特征空间的变化而增大。再发展到很多神经元非线性激活之后组成神经网络，可以包含几十万、几百万个参数，它的预测空间维度特别大。这个时候，方差也会迅速增大。
在这里插入图片描述
简单的线性函数虽然方差低，但是偏差高。对于稍微复杂的问题，根本不能解决。那么只能用威力比较大的、覆盖面比较大的‘大杀器’来解决问题了。而神经网络就像是原子弹,一旦被发射,肯定能够把要打击的目标击倒。但是如何避免误伤无辜，降低方差，就又回到如何提高精度的问题了。这样，偏差一方差窘境就又出现了。