【机器学习】- L1L2 正则化操作

news2024/11/22 6:49:17

目录

0.引言

在机器学习中,正则化是一种通过约束模型参数控制模型复杂度的技术。它可以有效减少过拟合,提高模型的泛化能力。常见的正则化方法包括 L1 正则化L2 正则化


1.正则化的基本思想

在训练模型时,我们的目标是最小化损失函数。正则化通过在损失函数中加入一个正则化项,对模型参数施加约束,从而避免过于复杂的模型。

带有正则化的损失函数一般形式为:

损失函数 = 数据误差 + λ ⋅ 正则化项 \text{损失函数} = \text{数据误差} + \lambda \cdot \text{正则化项} 损失函数=数据误差+λ正则化项

其中:

  • 数据误差:如均方误差 (MSE) 或交叉熵损失。
  • 正则化项:对模型参数的约束,如 L 1 L1 L1 L 2 L2 L2
  • λ \lambda λ:正则化强度(超参数),控制正则化项的权重。

2.L1 正则化

  1. 定义
    L1 正则化的正则化项是模型参数的绝对值之和:

    R ( w ) = ∥ w ∥ 1 = ∑ i = 1 n ∣ w i ∣ R(\boldsymbol{w}) = \|\boldsymbol{w}\|_1 = \sum_{i=1}^n |w_i| R(w)=w1=i=1nwi

    L1 正则化后的损失函数为:

    L = 数据误差 + λ ∑ i = 1 n ∣ w i ∣ L = \text{数据误差} + \lambda \sum_{i=1}^n |w_i| L=数据误差+λi=1nwi

  2. 特性

    • 通过惩罚参数的绝对值,鼓励某些参数变为零
    • 适合特征选择,因为它会自动剔除不重要的特征(参数为零)。
  3. 适用场景

    • 特征数量较多,且希望通过稀疏性来筛选重要特征(如高维数据)。

3.L2 正则化

  1. 定义
    L2 正则化的正则化项是模型参数的平方和:

    R ( w ) = ∥ w ∥ 2 2 = ∑ i = 1 n w i 2 R(\boldsymbol{w}) = \|\boldsymbol{w}\|_2^2 = \sum_{i=1}^n w_i^2 R(w)=w22=i=1nwi2

    L2 正则化后的损失函数为:

    L = 数据误差 + λ ∑ i = 1 n w i 2 L = \text{数据误差} + \lambda \sum_{i=1}^n w_i^2 L=数据误差+λi=1nwi2

  2. 特性

    • 通过惩罚参数的平方值,鼓励模型参数较小但不为零。
    • 与 L1 不同,它不会让参数变为完全零,而是接近零。
  3. 适用场景

    • 当希望模型平滑,避免过度拟合时(如线性回归)。

4.L1 与 L2 正则化的比较

特性L1 正则化L2 正则化
正则化项 ∣ w ∣ 1 = ∑ w i |\boldsymbol{w}|_1 = \sum w_i w1=wi ∣ w ∣ 2 2 = ∑ w i 2 |\boldsymbol{w}|_2^2 = \sum w_i^2 w22=wi2
参数特性产生稀疏解(参数可能为零)参数更平滑(接近零但不为零)
特征选择可以选择特征不适用于特征选择
计算效率非凸优化,计算复杂凸优化,计算简单
适用场景高维稀疏数据常规数据,避免过拟合

5.应用:控制模型复杂度

  1. 减少过拟合

    • 正则化通过限制参数的幅度,避免模型过度拟合训练数据中的噪声。
  2. 提高泛化能力

    • 限制模型复杂度,使其在新数据上表现更稳定。
  3. 特征选择

    • L1 正则化的稀疏性帮助自动选择重要特征。

6.超参数 λ \lambda λ 的选择

正则化强度 λ \lambda λ 是一个超参数,其值需要通过交叉验证或网格搜索来选择。

  • λ \lambda λ 较小
    • 正则化效果弱,模型复杂度高,容易过拟合。
  • λ \lambda λ 较大
    • 正则化效果强,模型复杂度低,可能导致欠拟合。

7.总结

正则化是控制模型复杂度的重要方法,通过引入 L1 或 L2 正则化项,既可以提高模型的泛化能力,又可以在某些场景下实现特征选择。合理设置正则化强度 λ \lambda λ,能够帮助模型在偏差与方差之间取得良好的平衡。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2245170.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Android kotlin之配置kapt编译器插件

配置项目目录下的gradle/libs.versions.toml文件,添加kapt配置项: 在模块目录下build.gradle.kt中增加 plugins {alias(libs.plugins.android.application)alias(libs.plugins.jetbrains.kotlin.android)// 增加该行alias(libs.plugins.jetbrains.kotl…

设计模式:4、命令模式(双重委托)

目录 0、定义 1、命令模式包括四种角色 2、命令模式的UML类图 3、代码示例 0、定义 将一个请求封装为一个对象,从而使用户可用不同的请求对客户进行参数化;对请求排队或记录请求日志,以及支持可撤销的操作。 1、命令模式包括四种角色 接…

详细教程-Linux上安装单机版的Hadoop

1、上传Hadoop安装包至linux并解压 tar -zxvf hadoop-2.6.0-cdh5.15.2.tar.gz 安装包: 链接:https://pan.baidu.com/s/1u59OLTJctKmm9YVWr_F-Cg 提取码:0pfj 2、配置免密码登录 生成秘钥: ssh-keygen -t rsa -P 将秘钥写入认…

短剧系统小程序开发产品设计实例解析

短剧系统小程序开发架构深度解析引言 随着数字娱乐市场的蓬勃发展,短剧因其紧凑的情节、创新的表现形式和便捷的观看体验,迅速吸引了大量观众的关注。作为承载短剧内容的重要平台,短剧系统小程序不仅需要在用户体验、内容管理等方面做到极致&…

STM32--JLINK下载问题记录

1.下载提示: 现象:keil下载,会提示如上信息; 使用segger jflash可以连接成功,但是下载程序会失败; 解决过程:尝试一边复位一边下载程序,一直失败;STM32CubeProgrammer也…

推荐算法(基于用户/物品的协同过滤算法)

1.1 推荐算法概述 信息过载的时代。信息消费者面临的问题是如何收集到自己感兴趣的信息。对于信息生产者来说,高效地把信息推送给感兴趣的信息消费者,而不是淹没在信息互联网的海洋之中,也非常困难。 如何从大量的数据信息中获取有价值的信息…

【PCIE常见面试问题-1】

PCIE常见面试问题-1 1 PCIE概述1.1 PCI为何发展开PCIE?1.2 什么是Root Complex(RC)1.3 什么是EP?1.4 什么是Swith1.5 PCIE协议如何组织通信的?1.6 简要介绍一下PCIE的分层结构,为什么需要分层?1.7 PCIE的事务类型有哪些…

Easyexcel(5-自定义列宽)

相关文章链接 Easyexcel(1-注解使用)Easyexcel(2-文件读取)Easyexcel(3-文件导出)Easyexcel(4-模板文件)Easyexcel(5-自定义列宽) 注解 ColumnWidth Data…

C++进阶:哈希表实现

目录 一:哈希表的概念 1.1直接定址法 1.2哈希冲突 1.3负载因子 1.4实现哈希函数的方法 1.4.1除法散列法/除留余数法 1.4.2乘法散列法 1.4.3全域散列法 1.5处理哈希冲突 1.5.1开放地址法 线性探测 二次探测 ​编辑 双重散列 1.5.2链地址法 二.代码实现 2.1开放地址…

汽车资讯新趋势:Spring Boot技术解读

5系统详细实现 5.1 管理员模块的实现 5.1.1 用户信息管理 汽车资讯网站的系统管理员可以管理用户,可以对用户信息修改删除审核以及查询操作。具体界面的展示如图5.1所示。 图5.1 用户信息管理界面 5.1.2 汽车品牌管理 系统管理员可以汽车品牌信息进行添加&#xf…

EdgeNeXt:面向移动视觉应用的高效融合CNN-Transformer架构

摘要 https://arxiv.org/pdf/2206.10589 为了追求更高的准确性,通常会开发大型且复杂的神经网络。这些模型需要高计算资源,因此无法部署在边缘设备上。构建资源高效通用网络在多个应用领域都非常有用,因此备受关注。在本研究中,我…

udp_socket

文章目录 UDP服务器封装系统调用socketbind系统调用bzero结构体清0sin_family端口号ip地址inet_addrrecvfromsendto 新指令 netstat -naup (-nlup)包装器 的两种类型重命名方式包装器使用统一可调用类型 关键字 typedef 类型重命名系统调用popen UDP服务器封装 系统调用socket …

Spring Boot教程之五:在 IntelliJ IDEA 中运行第一个 Spring Boot 应用程序

在 IntelliJ IDEA 中运行第一个 Spring Boot 应用程序 IntelliJ IDEA 是一个用 Java 编写的集成开发环境 (IDE)。它用于开发计算机软件。此 IDE 由 Jetbrains 开发,提供 Apache 2 许可社区版和商业版。它是一种智能的上下文感知 IDE,可用于在各种应用程序…

高效高质量SCI论文撰写及投稿流程及策略丨从论文选题、文献调研、实验设计、数据分析、论文结构及语言规范等重要环节

科学研究的核心在于将复杂的思想和实验成果通过严谨的写作有效地传递给学术界和工业界。对于研究生、青年学者及科研人员,如何高效撰写和发表SCI论文,成为提升学术水平和科研成果的重要环节。本教程旨在帮助学员系统掌握从选题到投稿的全过程&#xff0c…

Mac下的vscode远程ssh免密码登录

Mac下的vscode远程ssh免密码登录(同理可迁移至windows及linux系统) 在日常开发中,使用远程服务器进行开发是非常常见的,而通过 SSH 免密码登录可以显著提高效率,避免每次连接时都需要输入密码。本文将介绍如何在 macOS…

记录eslint报错的情况

这几天在调试vue的eslint,害,我领导说eslint要打开规范代码,顺带看了一下eslint的规则,并且研究一下报错。切记每次修改了.eslintrc配置文件,需要重启项目再查看控制台,否则之前的报错会一直存在。 第一个…

汽车软件DevOps解决方案

汽车软件DevOps解决方案是专为现代汽车行业设计的一套集成化需求、开发、测试、部署、OTA与监控,旨在加速软件开发流程,提高软件质量和安全性,同时确保整个生命周期的高效性和灵活性。以下是经纬恒润汽车软件DevOps解决方案的关键组成部分和优…

openCV与eigen两种方法---旋转向量转旋转矩阵

#include <Eigen/Dense> #include <opencv2/core/eigen.hpp> #include <opencv2/opencv.hpp> using namespace cv; using namespace std; int main() {// opencv 旋转向量cv::Vec3d rvec(1.0, 2.0, 3.0);cv::Mat rotation_matrix;cv::Rodrigues(rvec, rotati…

Vue项目搭建-2-组合式API

入口-setup 在组件渲染时会优先执行 setup 中代码&#xff0c;执行时机为 beforeCreate 之前 setup 方法中的对象若想要在 template 中使用&#xff0c;需要将方法 return 出去: <script> export default {setup() {console.log(setup had run)const msg "hello…

国产linux系统(银河麒麟,统信uos)使用 PageOffice 动态生成word文件

PageOffice 国产版 &#xff1a;支持信创系统&#xff0c;支持银河麒麟V10和统信UOS&#xff0c;支持X86&#xff08;intel、兆芯、海光等&#xff09;、ARM&#xff08;飞腾、鲲鹏、麒麟等&#xff09;、龙芯&#xff08;LoogArch&#xff09;芯片架构。 数据区域填充文本 数…