目录
- 0.引言
- 1.正则化的基本思想
- 2.L1 正则化
- 3.L2 正则化
- 4.L1 与 L2 正则化的比较
- 5.应用:控制模型复杂度
- 6.超参数 λ \lambda λ 的选择
- 7.总结
0.引言
在机器学习中,正则化是一种通过约束模型参数来控制模型复杂度的技术。它可以有效减少过拟合,提高模型的泛化能力。常见的正则化方法包括 L1 正则化 和 L2 正则化。
1.正则化的基本思想
在训练模型时,我们的目标是最小化损失函数。正则化通过在损失函数中加入一个正则化项,对模型参数施加约束,从而避免过于复杂的模型。
带有正则化的损失函数一般形式为:
损失函数 = 数据误差 + λ ⋅ 正则化项 \text{损失函数} = \text{数据误差} + \lambda \cdot \text{正则化项} 损失函数=数据误差+λ⋅正则化项
其中:
- 数据误差:如均方误差 (MSE) 或交叉熵损失。
- 正则化项:对模型参数的约束,如 L 1 L1 L1 或 L 2 L2 L2。
- λ \lambda λ:正则化强度(超参数),控制正则化项的权重。
2.L1 正则化
-
定义
L1 正则化的正则化项是模型参数的绝对值之和:R ( w ) = ∥ w ∥ 1 = ∑ i = 1 n ∣ w i ∣ R(\boldsymbol{w}) = \|\boldsymbol{w}\|_1 = \sum_{i=1}^n |w_i| R(w)=∥w∥1=i=1∑n∣wi∣
L1 正则化后的损失函数为:
L = 数据误差 + λ ∑ i = 1 n ∣ w i ∣ L = \text{数据误差} + \lambda \sum_{i=1}^n |w_i| L=数据误差+λi=1∑n∣wi∣
-
特性
- 通过惩罚参数的绝对值,鼓励某些参数变为零。
- 适合特征选择,因为它会自动剔除不重要的特征(参数为零)。
-
适用场景
- 特征数量较多,且希望通过稀疏性来筛选重要特征(如高维数据)。
3.L2 正则化
-
定义
L2 正则化的正则化项是模型参数的平方和:R ( w ) = ∥ w ∥ 2 2 = ∑ i = 1 n w i 2 R(\boldsymbol{w}) = \|\boldsymbol{w}\|_2^2 = \sum_{i=1}^n w_i^2 R(w)=∥w∥22=i=1∑nwi2
L2 正则化后的损失函数为:
L = 数据误差 + λ ∑ i = 1 n w i 2 L = \text{数据误差} + \lambda \sum_{i=1}^n w_i^2 L=数据误差+λi=1∑nwi2
-
特性
- 通过惩罚参数的平方值,鼓励模型参数较小但不为零。
- 与 L1 不同,它不会让参数变为完全零,而是接近零。
-
适用场景
- 当希望模型平滑,避免过度拟合时(如线性回归)。
4.L1 与 L2 正则化的比较
特性 | L1 正则化 | L2 正则化 |
---|---|---|
正则化项 | ∣ w ∣ 1 = ∑ w i |\boldsymbol{w}|_1 = \sum w_i ∣w∣1=∑wi | ∣ w ∣ 2 2 = ∑ w i 2 |\boldsymbol{w}|_2^2 = \sum w_i^2 ∣w∣22=∑wi2 |
参数特性 | 产生稀疏解(参数可能为零) | 参数更平滑(接近零但不为零) |
特征选择 | 可以选择特征 | 不适用于特征选择 |
计算效率 | 非凸优化,计算复杂 | 凸优化,计算简单 |
适用场景 | 高维稀疏数据 | 常规数据,避免过拟合 |
5.应用:控制模型复杂度
-
减少过拟合
- 正则化通过限制参数的幅度,避免模型过度拟合训练数据中的噪声。
-
提高泛化能力
- 限制模型复杂度,使其在新数据上表现更稳定。
-
特征选择
- L1 正则化的稀疏性帮助自动选择重要特征。
6.超参数 λ \lambda λ 的选择
正则化强度 λ \lambda λ 是一个超参数,其值需要通过交叉验证或网格搜索来选择。
-
λ
\lambda
λ 较小:
- 正则化效果弱,模型复杂度高,容易过拟合。
-
λ
\lambda
λ 较大:
- 正则化效果强,模型复杂度低,可能导致欠拟合。
7.总结
正则化是控制模型复杂度的重要方法,通过引入 L1 或 L2 正则化项,既可以提高模型的泛化能力,又可以在某些场景下实现特征选择。合理设置正则化强度 λ \lambda λ,能够帮助模型在偏差与方差之间取得良好的平衡。