《XGBoost算法的原理推导》12-14决策树复杂度的正则化项 公式解析

news2024/11/24 17:59:12

本文是将文章《XGBoost算法的原理推导》中的公式单独拿出来做一个详细的解析,便于初学者更好的理解。


我们定义一颗树的复杂度 Ω Ω Ω,它由两部分组成:

  • 叶子结点的数量;
  • 叶子结点权重向量的 L 2 L2 L2范数;
    在这里插入图片描述

公式(12-14)是:

Ω ( f t ) = γ T + 1 2 λ ∑ j = 1 T w j 2 \Omega(f_t) = \gamma T + \frac{1}{2} \lambda \sum_{j=1}^{T} w_j^2 Ω(ft)=γT+21λj=1Twj2

是在 XGBoost 中用于正则化的公式,它描述了第 t t t 轮生成的树 f t f_t ft 的复杂度惩罚项。XGBoost 的正则化项通过控制树的复杂度来防止过拟合,从而提高模型的泛化能力。

公式中的符号解释

  1. Ω ( f t ) \Omega(f_t) Ω(ft):表示第 t t t 轮生成的树 f t f_t ft 的正则化项,作为模型复杂度的惩罚。XGBoost 的目标函数包含损失项和正则化项,正则化项的目的是控制树的复杂度。

  2. T T T:树的叶子节点总数。树的复杂度通常与叶子节点数量直接相关,更多的叶子节点通常意味着更复杂的树结构。

  3. γ \gamma γ:控制叶子节点数的正则化参数。它决定了树的叶子节点数对模型复杂度的影响。较大的 γ \gamma γ 值会增加每增加一个叶子节点的成本,从而限制树的生长。

  4. w j w_j wj:第 j j j 个叶子节点的权重值。每个叶子节点都有一个预测值(权重),用于预测所有落入该节点的样本的值。

  5. λ \lambda λ:控制叶子节点权重大小的正则化参数。它用于限制叶子节点权重的大小,防止权重过大导致模型对训练数据的过拟合。

公式的分解与理解

公式可以分为两个部分:

第一部分:叶子节点数量惩罚项

γ T \gamma T γT

  • 这一部分表示树中叶子节点数量的惩罚, γ \gamma γ 是正则化参数,控制每增加一个叶子节点的复杂度成本。
  • 树的叶子节点越多,模型的表达能力越强,但也更容易出现过拟合。因此,通过增加叶子节点的成本,XGBoost 可以有效地限制树的复杂度。
  • 较大的 γ \gamma γ 值会让树的叶子节点数量减少,从而使模型更加简单,增强泛化能力。
第二部分:叶子节点权重惩罚项

1 2 λ ∑ j = 1 T w j 2 \frac{1}{2} \lambda \sum_{j=1}^{T} w_j^2 21λj=1Twj2

  • 这一部分是对叶子节点权重的正则化,通过惩罚权重的平方和来限制权重的大小。
  • λ \lambda λ 是控制权重大小的正则化参数。较大的 λ \lambda λ 值会对权重 w j w_j wj 施加更大的惩罚,从而抑制每个叶子节点的输出值。
  • 权重 w j w_j wj 的平方和表示所有叶子节点的权重复杂度。通过限制权重的大小,XGBoost 可以防止某些叶子节点权重过大,以避免模型对训练样本的过拟合。

正则化项的作用

  1. 防止过拟合:正则化项通过限制叶子节点数量 T T T 和叶子节点权重 w j w_j wj 的大小,来控制树的复杂度,从而减少模型的过拟合风险。
  2. 增强泛化能力:通过控制模型的复杂度,XGBoost 可以更好地在新数据上表现。正则化项让模型不再过于依赖训练数据中的特定模式,而是更关注数据的整体结构。
  3. 控制模型复杂度 γ \gamma γ λ \lambda λ 参数为用户提供了控制模型复杂度的手段,用户可以通过调整这两个超参数,来选择合适的树结构和节点权重,找到泛化能力和训练精度之间的最佳平衡。

总结

公式(12-14)

Ω ( f t ) = γ T + 1 2 λ ∑ j = 1 T w j 2 \Omega(f_t) = \gamma T + \frac{1}{2} \lambda \sum_{j=1}^{T} w_j^2 Ω(ft)=γT+21λj=1Twj2

是 XGBoost 的正则化项,用于控制树的复杂度。第一部分 γ T \gamma T γT 惩罚树的叶子节点数量,防止模型过于复杂;第二部分 1 2 λ ∑ j = 1 T w j 2 \frac{1}{2} \lambda \sum_{j=1}^{T} w_j^2 21λj=1Twj2 惩罚叶子节点权重的大小,防止某些节点权重过大而导致的过拟合。通过正则化项,XGBoost 可以有效地控制模型的复杂度,从而在训练精度和泛化能力之间取得平衡。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2238729.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

使用postmain 测试下载文件接口

文章目录 前言使用postmain 测试下载文件接口 前言 如果您觉得有用的话,记得给博主点个赞,评论,收藏一键三连啊,写作不易啊^ _ ^。   而且听说点赞的人每天的运气都不会太差,实在白嫖的话,那欢迎常来啊!!…

Python函数详解

目录 一、函数的定义 二、函数的特性 三、函数参数 四、返回值 五、文档字符串 六、高级函数 七、偏函数 八、装饰器 总结 在Python编程中,函数是构建程序的基本模块,它提供了一种封装特定任务的方式,使得代码更加模块化、可重用和易…

【贪心算法】贪心算法三

贪心算法三 1.买卖股票的最佳时机2.买卖股票的最佳时机 II3.K 次取反后最大化的数组和4.按身高排序5.优势洗牌(田忌赛马) 点赞👍👍收藏🌟🌟关注💖💖 你的支持是对我最大的鼓励&#…

【Android、IOS、Flutter、鸿蒙、ReactNative 】文本点击事件

Android Studio 版本 Android Java TextView 实现 点击事件 参考 import androidx.appcompat.app.AppCompatActivity; import android.os.Bundle; import android.util.Log; import android.view.View; import android.widget.TextView; import android.widget.Toast;public c…

超30万亿消费规模下,低龄VS高龄、他VS她、共性VS个性的市场机会

作者 | NewAgingPro团队 前言 NewAgingPro团队基于多年研究沉淀,发现每个行业都具备为老年人群再次细分的机会,中国的银发经济市场将围绕老年人需求不断往细分场景垂直深耕。具体哪些需求是市场增长的源动力?40岁泛银发群体的需求趋势如何…

贪心算法-汽车加油

这道题目描述了一个汽车旅行场景,需要设计一个有效的算法来决定在哪几个加油站停车加油,以便最小化加油次数。题目给出了汽车加满油后的行驶距离n公里,以及沿途若干个加油站的位置。我们需要找出一个方案,使得汽车能够完成整个旅程…

【动手学电机驱动】STM32-FOC(6)基于 IHM03 的无感方波控制

STM32-FOC(1)STM32 电机控制的软件开发环境 STM32-FOC(2)STM32 导入和创建项目 STM32-FOC(3)STM32 三路互补 PWM 输出 STM32-FOC(4)IHM03 电机控制套件介绍 STM32-FOC(5&…

CNN实现地铁短时客流预测

项目源码获取方式见文章末尾! 600多个深度学习项目资料,快来加入社群一起学习吧。 《------往期经典推荐------》 项目名称 1.【基于CNN-RNN的影像报告生成】 2.【卫星图像道路检测DeepLabV3Plus模型】 3.【GAN模型实现二次元头像生成】 4.【CNN模型实现…

SDL打开YUV视频

文章目录 问题1:如何控制帧率?问题2:如何触发退出事件?问题3:如何实时调整视频窗口的大小问题4:YUV如何一次读取一帧的数据? 问题1:如何控制帧率? 单独用一个子线程给主线…

Linux 系统结构

Linux系统一般有4个主要部分:内核、shell、文件系统和应用程序。内核、shell和文件系统一起形成了基本的操作系统结构,它们使得用户可以运行程序、管理文件并使用系统。 1. linux内核 内核是操作系统的核心,具有很多最基本功能,它…

使用vscode 连接linux进行开发

1. 在Vscode中安装扩展功能remote ssh 2. 打开命令窗口 3. 在弹出的命令窗口输入ssh,并从弹出的提示中选择 Add New SSH Host 4. 在弹出的输入窗口中输入类似下面形式的 连接地址: 5. 输入回车后出现下面的对话框,这个对话框是说你要用哪个…

【C++】 C++游戏设计---五子棋小游戏

1. 游戏介绍 一个简单的 C 五子棋小游戏 1.1 游戏规则&#xff1a; 双人轮流输入下入点坐标横竖撇捺先成五子连线者胜同一坐标点不允许重复输入 1.2 初始化与游戏界面 初始化界面 X 输入坐标后 O 输入坐标后 X 先达到胜出条件 2. 源代码 #include <iostream> #i…

计算机新手练级攻略——如何搜索问题

目录 计算机学生新手练级攻略——如何搜索问题1.明确搜索意图2.使用精确关键词3.使用专业引擎搜索4.利用好技术社区1. Stack Overflow2. GitHub3. IEEE Xplore4. DBLP 5.使用代码搜索工具1. GitHub 代码搜索2. Stack Overflow 代码搜索3. Papers with Code4. IEEE Xplore 6.查阅…

【MySQL】MySQL基础知识复习(下)

前言 上一篇博客介绍了MySQL的库操作&#xff0c;表操作以及CRUD。 【MySQL】MySQL基础知识复习&#xff08;上&#xff09;-CSDN博客 本篇将进一步介绍CRUD操作&#xff0c;尤其是查找操作 目录 一.数据库约束 1.约束类型 1.1NULL约束 1.2UNIQUE&#xff1a;唯一约束 …

从0开始学docker (每日更新 24-11-6)

限制容器运行的资源 限制容器的内存使用 容器的内存包括两部分&#xff1a;物理内存和交换空间&#xff08;swap&#xff09; 用户内存限制 -m,--memory&#xff1a;容器可用的最大内存&#xff0c;该值最低为4MB --memory-swap&#xff1a;允许容器置入磁盘交换空间的内存…

C++初阶——vector

一、什么是vector vector是表示可变大小的数组的序列容器&#xff0c;就像数组一样&#xff0c;vector也采用连续空间来存储元素。也就是说它的访问和数组一样高效&#xff0c;但是它的大小是动态可变的&#xff0c;并且它的大小会被容器自动处理。 二、vector的构造 常用的构…

GIT的基本使用与进阶

GIT的简单入门 一.什么是git&#xff1f; Git 是一个开源的分布式版本控制系统&#xff0c;用于跟踪文件更改、管理代码版本以及协作开发。它主要由 Linus Torvalds 于 2005 年创建&#xff0c;最初是为 Linux 内核开发而设计的。如今&#xff0c;Git 已经成为现代软件开发中…

CulturalBench :一个旨在评估大型语言模型在全球不同文化背景下知识掌握情况的基准测试数据集

2024-10-04&#xff0c;为了提升大型语言模型在不同文化背景下的实用性&#xff0c;华盛顿大学、艾伦人工智能研究所等机构联合创建了CulturalBench。这个数据集包含1,227个由人类编写和验证的问题&#xff0c;覆盖了包括被边缘化地区在内的45个全球区域。CulturalBench的推出&…

C语言中,“extern”关键字的含义与用法

在C语言中&#xff0c;extern 关键字用于声明一个已经在其他地方定义的变量或函数。它的主要作用是告诉编译器&#xff0c;某个变量或函数是在当前文件之外定义的&#xff0c;编译器应该在链接阶段找到这个变量或函数的实际定义。以下是 extern 的一些常见用途和用法&#xff1…

「Mac玩转仓颉内测版1」入门篇1 - Cangjie环境的搭建

本篇详细介绍在Mac系统上快速搭建Cangjie开发环境的步骤&#xff0c;涵盖VSCode的下载与安装、Cangjie插件的离线安装、工具链的配置及验证。通过这些步骤&#xff0c;确保开发环境配置完成&#xff0c;为Cangjie项目开发提供稳定的基础支持。 关键词 Cangjie开发环境搭建VSC…