【机器学习】基础知识：拟合度（Goodness of Fit）

news2025/7/15 10:11:51

拟合度概念及意义

拟合度（Goodness of Fit）是衡量统计模型对数据解释能力的指标，用于评价模型对观测数据的拟合效果。在回归分析、分类模型或其他预测模型中，拟合度是模型性能的重要衡量标准。

1. 拟合度的作用

拟合度的主要作用包括：

评估模型质量：衡量模型对实际数据的解释程度，帮助判断模型是否合理。
变量筛选：通过拟合度分析，确定哪些变量对模型贡献较大。
模型选择：在多个候选模型中，选择拟合度更高的模型。

2. 拟合度的常用指标

回归分析中的拟合度指标

决定系数 $R^2$
$R^2$ 表示解释变量（自变量）能够解释响应变量（因变量）变异的比例：
- SSR：残差平方和，表示模型未能解释的变异。
- SST：总平方和，表示观测值的总变异。
$R^2$ 范围为 0 到 1，值越接近 1，模型拟合效果越好。
调整 $R^2$
调整 $R^2$ 引入了模型自由度的惩罚，适用于变量较多的模型：
$\text{Adjusted } R^2 = 1 - \left( \frac{\text{SSR} / (n - k - 1)}{\text{SST} / (n - 1)} \right)$
其中，n 是样本数，k 是自变量数。
均方误差（MSE）
衡量模型预测值与真实值之间的平均误差平方：
$\text{MSE} = \frac{1}{n} \sum_{i=1}^n (y_i - \hat{y}_i)^2$
值越小，模型拟合越好。
均方根误差（RMSE）
均方误差的平方根：
$\text{RMSE} = \sqrt{\text{MSE}}$

分类模型中的拟合度指标

准确率（Accuracy）
Accuracy = 正确分类的样本数 / 总样本数
F1 分数
F1 分数结合了准确率和召回率，适用于类别不平衡的场景：
$F1 = 2 \cdot \frac{\text{Precision} \cdot \text{Recall}}{\text{Precision} + \text{Recall}}$
对数似然（Log-Likelihood）
用于衡量模型与数据的匹配程度，特别是在广义线性模型中。

3. 拟合度与过拟合

过拟合（Overfitting）是拟合度分析中的一个重要问题。当模型过于复杂时，尽管拟合度指标（如 $R^2$ 可能较高，但模型对新数据的泛化能力较差。因此，需通过交叉验证等方法评估模型的真实性能。

4. 提高模型拟合度的方法

特征工程：选择相关性强的变量，剔除冗余或噪声变量。
正则化：使用 L1 或 L2 正则化限制模型复杂度，防止过拟合。
非线性模型：若线性模型拟合度较低，可以尝试使用非线性模型。
增加样本量：更多的数据可以提高模型的稳定性和泛化能力。

import numpy as np
from sklearn.linear_model import LinearRegression
from sklearn.metrics import r2_score, mean_squared_error

# 示例数据
X = np.array([[1], [2], [3], [4], [5]])
y = np.array([1.1, 2.0, 2.9, 4.1, 5.2])

# 线性回归模型
model = LinearRegression()
model.fit(X, y)
y_pred = model.predict(X)

# 拟合度指标
r2 = r2_score(y, y_pred)  # 决定系数 R^2
mse = mean_squared_error(y, y_pred)  # 均方误差
rmse = np.sqrt(mse)  # 均方根误差

print(f"R^2: {r2:.4f}")
print(f"MSE: {mse:.4f}")
print(f"RMSE: {rmse:.4f}")

输出结果