1、最基本的有均值法、加权平均法
2、基于贝叶斯优化的权重搜索:这里以TPE搜索为例:
步骤:创造参数空间,定义目标函数
问题:得到的权重带入模型后得到的准确率并不高,原因是这里的训练和模型之前的训练重复了,会出现过拟合
如何解决:去掉一些超参数或是缩小范围
流程图如下
3、stacking
整体流程如下
思路:在得到各个模型结果后,采用模型来训练出权重
软投票:输出概率预测结果;硬投票:输出类别预测结果。在使用优化方法时,软投票好
问题:过拟合
解决方法:交叉验证
由此也可联想到几种优化方法:
1、可以用三层stacking堆叠
2、特征增强,指一级学习器和元学习器带入不同的特征组合,提高模型多样性,效果可能最好,但最难
3、优化一、二级学习器,包括一级学习器训练方法优化与元学习器优化
4、级联优化:把一级学习器和元学习器的参数放在一个空间进行搜索
BLENDING方法:
stacking的一种改良,把训练集划成训练集合留出集,前者用于一级学习器训练,后者用于留出集训练,保证数据隔离,流程如下