什么是均方误差（Mean Squared Error, MSE）

news2024/10/8 17:05:43

均方误差（Mean Squared Error, MSE） 是一种常用的损失函数，常用于评估模型的预测值与真实值之间的差异。它通过计算预测值和真实值之间的误差平方的平均值，来衡量模型的预测性能。均方误差越小，表示模型的预测越准确；均方误差越大，表示模型的预测误差越大。

均方误差的公式如下：
$\text{MSE} = \frac{1}{n} \sum_{i=1}^{n} (y_i - \hat{y}_i)^2$

其中：

均方误差将所有预测误差的平方求和，并取平均值，得到的结果就是该模型的均方误差。

计算每个样本的预测误差：对于每个样本，计算其真实值 $y_i$ 和预测值 $\hat{y}_i$ 之间的差异，即误差 $y_i - \hat{y}_i$ 。
对误差取平方：为了避免正负误差相互抵消，均方误差对每个误差取平方。
求平方误差的平均值：最后，将所有误差的平方值加起来，除以样本总数 $n$ ，得到均方误差。

衡量预测精度：均方误差用于衡量模型的预测值和真实值之间的偏差。MSE 越小，模型的预测结果与实际结果越接近，模型的性能越好；反之，MSE 越大，说明模型的预测误差越大。
对大误差更加敏感：由于 MSE 对误差进行了平方运算，因此它对大误差更敏感。也就是说，如果模型的某些预测结果偏离真实值较大，均方误差会显著增大。这有助于让模型更关注大误差，试图最小化它们。
用作损失函数：在机器学习的回归任务中，均方误差经常作为损失函数（Loss Function）。模型通过不断调整参数，最小化 MSE 来提高预测精度。

假设我们有以下 5 个样本的真实值和模型的预测值：

计算误差：对于每个样本，计算预测值和真实值之间的误差：
$\text{误差}_1 = 3 - 2 = 1, \quad \text{误差}_2 = 5 - 4 = 1, \quad \text{误差}_3 = 2 - 2.5 = -0.5, \quad \dots$
计算误差平方：
$1^2 = 1, \quad 1^2 = 1, \quad (-0.5)^2 = 0.25, \quad \dots$
计算均方误差：
$\text{MSE} = \frac{1 + 1 + 0.25 + 1 + 1}{5} = \frac{4.25}{5} = 0.85$

因此，这个模型的均方误差是 0.85。

平均绝对误差（Mean Absolute Error, MAE）：
- 平均绝对误差是对误差的绝对值取平均，而不对误差进行平方。MAE 对大误差的敏感度低于 MSE，因为 MAE 只考虑误差的绝对值。
- 公式为： $\text{MAE} = \frac{1}{n} \sum_{i=1}^{n} |y_i - \hat{y}_i|$
均方根误差（Root Mean Squared Error, RMSE）：
- RMSE 是均方误差的平方根。RMSE 和 MSE 度量的本质相同，但 RMSE 与原数据的单位相同，因而更加直观。
- 公式为： $\text{RMSE} = \sqrt{\text{MSE}}$

优点：

局限性：

对异常值敏感：由于 MSE 对误差进行平方，大的异常值会对整体误差有很大的影响，导致 MSE 值偏大。如果数据中存在异常值，可能需要对其进行预处理或使用其他更加鲁棒的误差度量（如 MAE）。
非直观：MSE 度量的单位是原始数据单位的平方，解释上可能不够直观。相比之下，RMSE 更加直观，因为 RMSE 与原始数据的单位相同。