1 过拟合

1.1 过拟合问题

• 欠拟合（Underfitting）

  模型过于简单，无法捕捉数据中的模式，导致训练误差和测试误差都较高。

  也称为高偏差（High Bias），即模型对数据有较强的先入之见（如强行用线性模型拟合非线性数据）。

• 过拟合（Overfitting）

  模型过于复杂，过度拟合训练数据（甚至噪声），导致泛化能力差。

  也称为高方差（High Variance），即模型对训练数据的微小变化非常敏感。

• 泛化（Generalization）

  模型在未见过的数据上表现良好的能力，是机器学习的核心目标。

模型类型	拟合情况	问题
线性模型（一次多项式）	直线拟合数据	欠拟合（高偏差），无法反映房价随面积增长而趋于平缓的趋势。
二次多项式（加入 $x^2$）	曲线拟合数据	恰到好处，能较好捕捉数据趋势，泛化能力强。
四次多项式（加入 $x^3,x^4$）	曲线完美穿过所有训练点	过拟合（高方差），模型波动剧烈，无法合理预测新数据。

1.2 解决过拟合

​ 过拟合问题：

• 模型在训练集上表现极好，但在新数据上泛化能力差。
• 特征过多或模型过于复杂时容易发生（如高阶多项式回归）。

收集更多训练数据

• 原理：更多的数据能帮助模型学习更通用的模式，而非噪声。
• 适用场景：当数据获取成本较低时（如房价预测中新增房屋记录）。
• 局限性：某些领域数据稀缺（如罕见病例诊断）。

减少特征数量

• 原理：仅保留与目标最相关的特征，降低模型复杂度。
• 例如：房价预测中仅使用面积、卧室数量，而忽略到咖啡店距离等弱相关特征。
• 方法：
  • 人工选择：基于领域知识筛选特征。
  • 自动选择：后续课程会介绍算法（如递归特征消除）。
• 缺点：可能丢弃有用信息（若所有特征都有贡献）。

正则化（Regularization）

• 核心思想：不删除特征，而是通过惩罚大参数值（$w_j$）来限制模型复杂度。使参数值趋近于0（但不完全为 0），减弱不重要特征的影响。
• 优势：
  • 保留所有特征，避免信息丢失。
  • 尤其适用于特征多、数据少的场景（如医疗数据）。
• 注意：通常仅正则化权重参数 $w_1,w_2,\cdots ,w_n$，偏置项 $b$ 可忽略（对模型复杂度影响小）。

方法	优点	缺点	适用场景
收集更多数据	直接提升泛化能力	成本高或不可行	数据易获取时优先使用
特征选择	简化模型，降低计算成本	可能丢失有用信息	特征间冗余性高时
正则化	保留所有特征，灵活控制复杂度 度)	需调整超参数（如正则化强）	最常用，尤其 适合高维数据

2 正则化

• 目标：通过限制参数 $w_j$ 的大小，降低模型复杂度，防止过拟合。
• 方法：在成本函数中增加惩罚项，迫使算法选择较小的参数值。

​ 例如：对高阶多项式项（如 $w_3{x}^3,w_4{x}^4$）的参数施加惩罚，使其接近 0，从而近似退化为低阶模型（如二次函数）。

2.1 正则化代价函数

​ 线性回归的原始成本函数：
$$J(\vec{w},b)=\frac{1}{2m}\sum _{i=1}^m(f_{\vec{w},b}({\vec{x}}^{(i)})-y^{(i)}{)}^2$$
​ 加入正则化项后：
$$J_{\text{reg}}(\vec{w},b)=\frac{1}{2m}\sum _{i=1}^m(f_{\vec{w},b}({\vec{x}}^{(i)})-y^{(i)}{)}^2+\frac{\lambda }{2m}\sum _{j=1}^n{w}_j^2$$

• 第一项：均方误差（拟合训练数据）。
• 第二项：正则化项（惩罚大参数，$\lambda$ 控制惩罚强度）。
• 注意：
  • 通常不惩罚偏置项 $b$（对模型复杂度影响极小）。
  • 系数 $\frac{1}{2m}$ 用于统一缩放，便于选择 $\lambda$。

$\lambda$ 取值	影响	结果
$\lambda =0$	无正则化	可能过拟合（如高阶多项式完美拟合噪声）。
$\lambda$ 适中	平衡拟合与简化	模型复杂度降低，泛化能力增强（如保留四阶项但参数较小）。
$\lambda$ 极大（如 1010）	过度惩罚	所有 $w_j\approx 0$，模型退化为水平线（欠拟合）。

2.2 线性回归的正则化

原始线性回归（无正则化）

• 权重 $w_j$

$$w_j:=w_j-\alpha \frac{\partial J}{\partial w_j},\frac{\partial J}{\partial w_j}=\frac{1}{m}\sum _{i=1}^m(f_{\vec{w},b}({\vec{x}}^{(i)})-y^{(i)})x_j^{(i)}$$

• 偏置 $b$

$$b:=b-\alpha \frac{\partial J}{\partial b},\frac{\partial J}{\partial b}=\frac{1}{m}\sum _{i=1}^m(f_{\vec{w},b}({\vec{x}}^{(i)})-y^{(i)})$$

正则化线性回归

• 权重 $w_j$
  • 新增项：$\frac{\lambda }{m}{w}_j$（来自正则化项的导数）。
  • 物理意义：每次迭代时，$w_j$ 会被额外缩小 $\alpha \frac{\lambda }{m}{w}_j$。
  • 系数 $1-\frac{\lambda }{m}$：由于 $\alpha$（学习率）和 $\lambda$ 通常很小（如 $\alpha =0.01,\lambda =1$），$1-\frac{\lambda }{m}$ 略小于 1（如 0.9998）。每次迭代时，$w_j$ 先轻微缩小（如乘以 0.9998），再减去原始梯度。从而逐步压缩参数值 $w_j$，防止其过大。

$$\begin{array}{rl}{w}_j& :=w_j-\alpha \left[\frac{1}{m}\sum _{i=1}^m(f_{\vec{w},b}({\vec{x}}^{(i)})-y^{(i)})x_j^{(i)}+\frac{\lambda }{m}{w}_j\right]\\ & :=w_j\left(1-\alpha \frac{\lambda }{m}\right)-\alpha \cdot \text{(原始梯度项)}\end{array}$$

• 偏置 $b$（不变）
  • 不变原因：正则化通常不惩罚 $b$。

$$b:=b-\alpha \frac{1}{m}\sum _{i=1}^m(f_{\vec{w},b}({\vec{x}}^{(i)})-y^{(i)})$$

2.3 逻辑回归的正则化

• 权重 $w_j$
  • 新增项：$\frac{\lambda }{m}{w}_j$（来自正则化项的导数）。
  • 物理意义：每次迭代时，$w_j$ 会被额外缩小 $\alpha \frac{\lambda }{m}{w}_j$（类似线性回归）。

$$\begin{array}{rl}{w}_j& :=w_j-\alpha \left[\frac{1}{m}\sum _{i=1}^m(f_{\vec{w},b}({\vec{x}}^{(i)})-y^{(i)})x_j^{(i)}+\frac{\lambda }{m}{w}_j\right]\\ & :=w_j\left(1-\alpha \frac{\lambda }{m}\right)-\alpha \cdot \text{(原始梯度项)}\end{array}$$

• 偏置 $b$（不变）
  • 不变原因：正则化通常不惩罚 $b$。

$$b:=b-\alpha \frac{1}{m}\sum _{i=1}^m(f_{\vec{w},b}({\vec{x}}^{(i)})-y^{(i)})$$