大家好，这里是好评笔记，公主号：Goodnote，专栏文章私信限时Free。本笔记介绍机器学习中常见的损失函数和代价函数，各函数的使用场景。
热门专栏
机器学习
机器学习笔记合集
深度学习
深度学习笔记合集
文章目录
- 热门专栏
- 机器学习
- 深度学习
- 损失函数
- 一、回归问题中的损失函数
- 1. 均方误差（Mean Squared Error, MSE）
- 2. 平均绝对误差（Mean Absolute Error, MAE）
- 3. 对数余弦损失（Log-Cosh Loss）
- 4. Huber 损失（Huber Loss）
- 5. 平均平方对数误差（Mean Squared Logarithmic Error, MSLE）
- 总结
- 二、分类问题中的损失函数
- 1. 0-1 损失（0-1 Loss）
- 2. 对数损失（Log Loss）或交叉熵损失（Cross-Entropy Loss）
- 二分类问题
- 多分类问题
- 3. Focal 损失（Focal Loss）
- 4. Hinge 损失（合页损失）
- 5. Kullback-Leibler 散度（KL Divergence）
- 总结
损失函数
一、回归问题中的损失函数
1. 均方误差（Mean Squared Error, MSE）
定义：
MSE = 1 n ∑ i = 1 n ( y i − y ^ i ) 2 \text{MSE} = \frac{1}{n} \sum_{i=1}^{n} (y_i - \hat{y}_i)^2 MSE=n1i=1∑n(yi−y^i)2
- 描述：MSE 衡量的是预测值和真实值之间的平方误差的平均值。对较大的误差会进行更大的惩罚，因此它对异常值（outliers）非常敏感。
- 应用场景：线性回归、岭回归等模型的损失函数。
- 优点：简单易于理解，容易求导和计算。
- 缺点：对异常值敏感，可能导致模型被少数异常样本主导。
2. 平均绝对误差（Mean Absolute Error, MAE）
定义：
MAE
=
1
n
∑
i
=
1
n
∣
y
i
−
y
^
i
∣
\text{MAE} = \frac{1}{n} \sum_{i=1}^{n} |y_i - \hat{y}_i|
MAE=n1i=1∑n∣yi−y^i∣
- 描述：MAE 衡量的是预测值和真实值之间的绝对误差的平均值。它对每个误差的惩罚是线性的，因此对异常值的惩罚不如 MSE 严重。
- 应用场景：在对异常值不敏感的回归任务中使用。
- 优点：对异常值不敏感，能够更加稳定地反映模型性能。
- 缺点：在优化过程中，绝对值函数不可导，求解困难。
3. 对数余弦损失（Log-Cosh Loss）
定义：
Log-Cosh Loss
=
1
n
∑
i
=
1
n
log
(
cosh
(
y
i
−
y
^
i
)
)
\text{Log-Cosh Loss} = \frac{1}{n} \sum_{i=1}^{n} \log\left(\cosh\left(y_i - \hat{y}_i\right)\right)
Log-Cosh Loss=n1i=1∑nlog(cosh(yi−y^i))
说明： cosh ( x ) \cosh(x) cosh(x): 双曲余弦函数，公式为 cosh ( x ) = e x + e − x 2 \cosh(x) = \frac{e^x + e^{-x}}{2} cosh(x)=2ex+e−x。
- 描述：对数余弦损失是Huber 损失的变体，它的行为类似于 MAE，同时对大误差有更小的增长率。
- 应用场景：适用于异常值影响较大的回归任务。
- 优点：具有平滑性，易于求导，对小误差敏感而对大误差鲁棒。
- 缺点：相比其他损失函数计算复杂度较高。
4. Huber 损失（Huber Loss）
定义：
L
(
y
i
,
y
^
i
)
=
{
1
2
(
y
i
−
y
^
i
)
2
if
∣
y
i
−
y
^
i
∣
≤
δ
,
δ
⋅
∣
y
i
−
y
^
i
∣
−
1
2
δ
2
if
∣
y
i
−
y
^
i
∣
>
δ
.
L(y_i, \hat{y}_i) = \begin{cases} \frac{1}{2} (y_i - \hat{y}_i)^2 & \text{if } |y_i - \hat{y}_i| \leq \delta, \\ \delta \cdot |y_i - \hat{y}_i| - \frac{1}{2} \delta^2 & \text{if } |y_i - \hat{y}_i| > \delta. \end{cases}
L(yi,y^i)={21(yi−y^i)2δ⋅∣yi−y^i∣−21δ2if ∣yi−y^i∣≤δ,if ∣yi−y^i∣>δ.
- δ \delta δ: 超参数，定义切换 MSE 和 MAE 的阈值。
- ∣ y i − y ^ i ∣ |y_i - \hat{y}_i| ∣yi−y^i∣: 误差的绝对值。
- 描述：Huber 损失是MSE 和 MAE 的折中。对于小误差，使用 MSE；对于大误差，使用 MAE，从而对异常值有一定的鲁棒性。
- 应用场景：回归问题中存在异常值，但又不希望过于忽略异常值的场景。
- 优点：对小误差敏感，同时对大误差具有一定的抗干扰性。
- 缺点：参数 ( δ \delta δ) 需要手动调节，不同数据集效果不同。
5. 平均平方对数误差（Mean Squared Logarithmic Error, MSLE）
定义：
MSLE
=
1
n
∑
i
=
1
n
(
log
(
1
+
y
i
)
−
log
(
1
+
y
^
i
)
)
2
\text{MSLE} = \frac{1}{n} \sum_{i=1}^{n} \left( \log(1 + y_i) - \log(1 + \hat{y}_i) \right)^2
MSLE=n1i=1∑n(log(1+yi)−log(1+y^i))2
- n n n: 数据点的总数。
- y i y_i yi: 第 i i i 个真实值（必须为非负数）。
- y ^ i \hat{y}_i y^i: 第 i i i 个预测值（必须为非负数）。
- log ( 1 + x ) \log(1 + x) log(1+x): 对 x x x 加 1 后取自然对数，用于平滑较小的值和避免对 0 的对数操作。
- 描述：MSLE 用于处理目标值差异较大且有显著指数增长趋势的情况。它更关注相对误差，而非绝对误差。
- 应用场景：如人口增长预测、市场销量预测等场景。
- 优点：对大数值的预测更稳定，对目标值的比例关系有更好的衡量。
- 缺点：当目标值非常小时，惩罚效果不明显。
总结
| 损失函数 | 描述 | 应用场景 | 优点 | 缺点 |
|---|---|---|---|---|
| 均方误差 (MSE) | 衡量预测值和真实值之间平方误差的平均值，对较大误差进行更大惩罚。 | 线性回归、岭回归等 | 简单易于理解，容易求导。 | 对异常值敏感。 |
| 平均绝对误差 (MAE) | 衡量预测值和真实值之间绝对误差的平均值。 | 对异常值不敏感的回归任务 | 对异常值不敏感，反映模型性能更稳定。 | 优化困难，绝对值函数不可导。 |
| 对数余弦损失 (Log-Cosh) | Huber 损失的变体，既能捕捉小误差，也对大误差有更小的增长率。 | 异常值影响较大的回归任务 | 平滑性好，易于求导，适应大误差和小误差。 | 计算复杂度高。 |
| Huber 损失 (Huber Loss) | 结合MSE和MAE，小误差时使用 MSE，大误差时使用 MAE，平衡异常值的影响。 | 存在异常值但不希望完全忽略的场景 | 对小误差敏感，对大误差有抗干扰性。 | 需调节参数 (delta)。 |
| 平均平方对数误差 (MSLE) | 衡量目标值差异大且有指数增长趋势的情况，关注相对误差而非绝对误差。 | 人口增长预测、市场销量预测等 | 对大数值预测更稳定，适应有比例关系的数据。 | 对极小值目标效果不佳。 |
二、分类问题中的损失函数
1. 0-1 损失（0-1 Loss）
定义：
L ( y , y ^ ) = { 0 , if y = y ^ , 1 , if y ≠ y ^ . L_(y, \hat{y}) = \begin{cases} 0, & \text{if } y = \hat{y}, \\ 1, & \text{if } y \neq \hat{y}. \end{cases} L(y,y^)={0,1,if y=y^,if y=y^.
- 描述：0-1 损失表示分类是否正确，0 为正确分类，1 为错误分类。它无法直接用于模型优化，只能用于评价模型性能。
- 应用场景：模型性能的评估，如准确率（Accuracy）的计算。
- 优点：简单直观，能够清晰判断分类是否正确。
- 缺点：不可导，无法用于梯度优化。
2. 对数损失（Log Loss）或交叉熵损失（Cross-Entropy Loss）
- 描述：交叉熵损失衡量的是预测分布和真实分布之间的距离。在二分类与 Sigmoid 函数结合；在多分类与 Softmax 函数结合。
- 应用场景：广泛用于逻辑回归、神经网络等分类任务。
- 优点：能够很好地度量概率分布之间的差异，梯度计算简单。
- 缺点：对数据不平衡较为敏感。
二分类问题
在二分类问题中，交叉熵损失衡量真实标签 ( y y y ) 和预测概率 ( y ^ \hat{y} y^ ) 之间的差异。公式为：
L
(
y
,
y
^
)
=
−
[
y
log
(
y
^
)
+
(
1
−
y
)
log
(
1
−
y
^
)
]
L(y, \hat{y}) = - \left[ y \log(\hat{y}) + (1 - y) \log(1 - \hat{y}) \right]
L(y,y^)=−[ylog(y^)+(1−y)log(1−y^)]
符号说明
- y ∈ { 0 , 1 } y \in \{0, 1\} y∈{0,1}：真实标签（0 表示负类，1 表示正类）。
- y ^ ∈ [ 0 , 1 ] \hat{y} \in [0, 1] y^∈[0,1]：预测为正类的概率。
多分类问题
对于 k k k 个类别的多分类问题，交叉熵损失扩展为多个输出类的加权损失，公式为：
L ( y , y ^ ) = − ∑ i = 1 k y i log ( y ^ i ) L(y, \hat{y}) = - \sum_{i=1}^{k} y_i \log(\hat{y}_i) L(y,y^)=−i=1∑kyilog(y^i)
符号说明
- k k k：类别数量。
- y i ∈ { 0 , 1 } y_i \in \{0, 1\} yi∈{0,1}：第 i i i 类的真实标签，使用独热编码表示（只有一个值为 1，其余为 0）。
- y ^ i ∈ [ 0 , 1 ] \hat{y}_i \in [0, 1] y^i∈[0,1]：模型预测的第 i i i 类的概率，通常通过 softmax 函数获得。
Sigmoid 函数：
- 公式：
σ ( z ) = 1 1 + e − z \sigma(z)=\frac1{1+e^{-z}} σ(z)=1+e−z1- 其中， z z z 是模型的线性输出，即预测值。
- Sigmoid 函数将模型的线性输出 z z z转化为一个介于 0 和 1 之间的值，表示属于类别 1 的概率。
交叉熵损失：
- 在二分类任务中，真实标签 y y y通常取 0(负类)或1(正类)。
- 交叉熵损失的公式为： L o s s = − [ y ⋅ log ( p ) + ( 1 − y ) ⋅ log ( 1 − p ) ] \mathrm{Loss}=-\left[y\cdot\log(p)+(1-y)\cdot\log(1-p)\right] Loss=−[y⋅log(p)+(1−y)⋅log(1−p)]
- 其中， p = σ ( z ) p=\sigma(z) p=σ(z)是经过 Sigmoid 函数后模型预测属于类别 1 的概率。
Softmax 函数：
- 公式： S o f t m a x ( z i ) = e z i ∑ j e z j \mathrm{Softmax}(z_i) = \frac{e^{z_i}}{\sum_j e^{z_j}} Softmax(zi)=∑jezjezi
- 其中， z i z_i zi 是第 i i i 个类别的得分， ∑ j e z j \sum_j e^{z_j} ∑jezj 是所有类别的得分的指数和。
- Softmax 函数将每个类别的得分 z i z_i zi 转化为一个概率 p i p_i pi，即样本属于第 i i i 个类别的概率。
交叉熵损失：
- 在多分类任务中，真实标签 y y y 是一个 one-hot 编码向量，即样本的真实类别的概率是 1，其他类别的概率是 0。
- 交叉熵损失的公式： Loss = − ∑ i y i ⋅ log ( p i ) \text{Loss} = -\sum_i y_i \cdot \log(p_i) Loss=−i∑yi⋅log(pi)
- 其中， p i p_i pi 是 Softmax 函数输出的属于类别 i i i 的概率， y i y_i yi 是真实的类别标签，通常为 0 或 1。
3. Focal 损失（Focal Loss）
定义：
Focal Loss
=
−
α
t
(
1
−
p
^
t
)
γ
log
(
p
^
t
)
\text{Focal Loss} = -\alpha_t (1 - \hat{p}_t)^\gamma \log(\hat{p}_t)
Focal Loss=−αt(1−p^t)γlog(p^t)
- 其中：
- p ^ t \hat{p}_t p^t 是模型对正确类别的预测概率。
- α t \alpha_t αt 是类别平衡权重，用来调整类别不平衡问题， α t ∈ [ 0 , 1 ] \alpha_t \in [0, 1] αt∈[0,1]，通常用于为不同类别分配不同的权重。
- γ \gamma γ 是调节因子，控制模型对难分类样本的关注程度，常取值为 0 到 5 之间，通常选取 γ = 2 \gamma = 2 γ=2 效果较好。
注：t 是该样本的真实类别标签
- p ^ t \hat{p}_{t} p^t: 这是模型对样本真实类别 t t t 的预测概率。假设样本属于类别 t t t，则 p ^ t \hat{p}_{t} p^t 就是模型对类别 t t t 的预测概率。如果是二分类任务， t t t 为 1 代表正类，为 0 代表负类；如果是多分类任务， t t t 是类别的索引。
- α t \alpha_{t} αt: 这是类别 t t t 的权重系数。通过 t t t，可以为当前样本所属类别 t t t 分配一个权重 α t \alpha_{t} αt。对于不平衡数据集来说， α t \alpha_{t} αt 通常设置为少数类的权重大，主要用来调整损失函数对不同类别样本的关注程度。
- 描述：Focal 损失是对交叉熵损失的改进，用于解决类别不平衡问题。通过调节参数 ( γ \gamma γ ) 和 ( α \alpha α )，它增加了对困难样本的关注，降低了对易分类样本的影响。
- 应用场景：目标检测中的单阶段检测器（如 RetinaNet），以及其他类别不平衡的分类问题。
- 优点：有效解决类别不平衡问题，增强模型对困难样本的关注。
- 缺点：参数选择复杂，训练时间较长。
4. Hinge 损失（合页损失）
定义：对于二分类问题：
L
(
y
,
y
^
)
=
max
(
0
,
1
−
y
⋅
y
^
)
L(y, \hat{y}) = \max(0, 1 - y \cdot \hat{y})
L(y,y^)=max(0,1−y⋅y^)
其中， y ∈ { − 1 , 1 } y \in \{ -1, 1 \} y∈{−1,1}， y ^ \hat{y} y^是模型的预测输出。
- 描述：Hinge 损失用于支持向量机（SVM）中。它在样本被正确分类且间隔大于 1 时，损失为 0；否则损失为 1。旨在最大化样本的分类间隔。
- 应用场景：线性支持向量机、核支持向量机等。
- 优点：有助于最大化分类间隔，提高模型的泛化能力。
- 缺点：对于误差大的样本损失增长过快。
5. Kullback-Leibler 散度（KL Divergence）
定义：
K
L
(
p
∥
q
)
=
∑
i
p
(
x
i
)
log
p
(
x
i
)
q
(
x
i
)
KL(p \parallel q) = \sum_i p(x_i) \log \frac{p(x_i)}{q(x_i)}
KL(p∥q)=i∑p(xi)logq(xi)p(xi)
- 描述：KL 散度衡量两个概率分布之间的差异，常用于无监督学习中的聚类分析。
- 应用场景：概率模型的优化，如变分自编码器（VAE）、生成对抗网络（GAN）中的判别模型。
- 优点：对概率分布之间的微小差异非常敏感。
- 缺点：对稀疏分布的概率模型不稳定。
总结
| 损失函数 | 描述 | 应用场景 | 优点 | 缺点 |
|---|---|---|---|---|
| 0-1 损失 (0-1 Loss) | 分类正确为 0，错误为 1，用于衡量分类是否正确。 | 准确率等分类性能评估 | 简单直观。 | 不可导，无法用于优化。 |
| 交叉熵损失 (Cross-Entropy) | 衡量预测分布和真实分布之间的距离，二分类结合 Sigmoid，多分类结合 Softmax。 | 逻辑回归、神经网络等分类任务 | 很好地衡量概率分布差异，梯度计算简单。 | 对数据不平衡敏感。 |
| Focal 损失 (Focal Loss) | 交叉熵的改进，通过调节 ( gamma ) 和 ( alpha )，增加对困难样本的关注，减少易分类样本影响，解决类别不平衡问题。 | 类别不平衡问题，如目标检测 (RetinaNet) | 增强对困难样本的关注，解决类别不平衡。 | 参数选择复杂，训练时间较长。 |
| Hinge 损失 (合页损失) | 用于 SVM，正确分类且间隔大于 1 时损失为 0，旨在最大化分类间隔。 | 线性 SVM、核 SVM | 提高泛化能力，有助于最大化分类间隔。 | 对误差大的样本损失增长快。 |
| KL 散度 (KL Divergence) | 衡量两个概率分布的差异，常用于无监督学习中的聚类分析。 | 概率模型优化，如 VAE、GAN | 对概率分布的差异敏感。 | 对稀疏分布不稳定。 |
