16 正则化回归
16.1 简介
正则化回归是一种在回归模型中引入约束的技术,目的是防止模型过拟合并提高其泛化能力。最常见的正则化方法有岭回归(L2正则化)和套索回归(L1正则化)。这些方法通过添加惩罚项来限制模型参数的大小,从而降低模型的复杂度。
16.2 岭回归(L2正则化)
岭回归在损失函数中添加了一个二次惩罚项,该惩罚项是所有回归系数的平方和。岭回归的目标函数可以表示为:
在Python中,可以使用scikit-learn
中的Ridge
类来实现岭回归。
from sklearn.linear_model import Ridge
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error
impor