【AdaBoost算法】

news2025/1/16 15:48:46

AdaBoost算法的原理介绍

AdaBoost算法核心思想

AdaBoost算法 (Adaptive Boosting) 是一种有效而实用的Boosting算法，
它以一种高度自适应的方法顺序地训练弱学习器。AdaBoost根据前一次的
分类效果调整数据的权重，上一个弱学习器中错误分类样本的权重会在下一
个弱学习器中增加，正确分类样本的权重会相应减少，并且在每一轮迭代时
会向模型加入一个新的弱学习器。不断重复调整权重和训练弱学习器的过程，
直到误分类数低于预设值或迭代次数达到指定最大迭代次数时，从而得到一
个强分类器。
在这里插入图片描述
预先设定AdaBoost算法在误分类数为0时终止迭代，即全部分类正确时
（即误差率为0）停止迭代，并定义误差率为错误划分类别的样本权重之和，
例如对于9个样本，每个样本的权重为1/9，若此时有2个样本划分错误，那
么此时的误差率就是1/9 + 1/9=2/9

算法步骤：
步骤一：设定各样本初始权重相等，均为1/9，切一刀划分类别使得误差率最低。
步骤二：误分类数为3，此时的误差率为1/9+1/9+1/9=1/3；这时提高分类错
误的样本权重，降低分类正确的样本权重。
步骤三：根据新权重，再切一刀划分类别使得误差率最低。
在这里插入图片描述
步骤四：误分类数为2，未达到预设值0，重复步骤二。
步骤五：重复步骤三。
步骤六：误差率已达预设值0，建模结束。