深度学习：神经网络中的损失函数的使用

news2024/11/22 1:35:09

深度学习：神经网络中的损失函数的使用

损失函数是监督学习中的关键组成部分，用于衡量模型预测值与真实值之间的差异。优化算法（如梯度下降）通过最小化损失函数来调整模型参数，以提高模型的预测精度。以下是几种常用的损失函数及其在PyTorch中的实现和应用的详细解释：

1. L1 损失（绝对误差损失）

L1 损失是一个基于预测值和真实值之间绝对差值的损失函数，常用于回归问题。它有助于提高模型的鲁棒性，尤其是在异常值存在的情况下。

数学表达式

[ $\hat{y}) = \sum_{i=1}^n |y_i - \hat{y}_i|$ ]
其中 ( $y_i$ ) 是真实值，( $\hat{y}_i$ ) 是预测值。

PyTorch 实现

import torch
import torch.nn as nn

loss_fn = nn.L1Loss()
y_true = torch.tensor([2, 3, 4, 5], dtype=torch.float)
y_pred = torch.tensor([1.5, 3.5, 3.8, 5.2], dtype=torch.float)
loss = loss_fn(y_pred, y_true)

示例

计算 L1 损失：
[ $L = |2 - 1.5| + |3 - 3.5| + |4 - 3.8| + |5 - 5.2| = 0.5 + 0.5 + 0.2 + 0.2 = 1.4 $]

2. MSE 损失（均方误差损失）

均方误差损失是回归问题中最常用的损失函数之一，计算真实值与预测值之间差值的平方和的均值。它放大了较大误差的影响，使模型更加注重减少大的预测误差。

数学表达式

[ $L(y, \hat{y}) = \frac{1}{n} \sum_{i=1}^n (y_i - \hat{y}_i)^2 $KaTeX parse error: Can't use function '\]' in math mode at position 1: \̲]̲ 其中 $$ y_i $KaTeX parse error: Can't use function '$' in math mode at position 1: \̲)̲ 是真实值，\($ \hat{y}_i$) 是预测值。

PyTorch 实现

loss_fn = nn.MSELoss()
loss = loss_fn(y_pred, y_true)

示例

计算 MSE：
[ $\frac{1}{4}((2 - 1.5)^2 + (3 - 3.5)^2 + (4 - 3.8)^2 + (5 - 5.2)^2) = \frac{1}{4}(0.25 + 0.25 + 0.04 + 0.04) = 0.145$ ]

3. 交叉熵损失（Cross-Entropy Loss）

交叉熵损失是分类问题中最常用的损失函数之一，特别适用于多类分类问题。它衡量的是预测概率分布与真实分布之间的差异。

数学表达式

[ $-\sum_{c=1}^M y_c \log(p_c)$ ]
其中 ( $y_c$ ) 是如果样本属于类别 ( $c$ )，则为1，否则为0；( $p_c$ ) 是预测样本属于类别 ( $c$ ) 的概率。

PyTorch 实现

loss_fn = nn.CrossEntropyLoss()
# 注意：CrossEntropyLoss的输入不应用one-hot编码，且预测值不通过softmax
y_true = torch.tensor([1])  # 类别索引为1
y_pred = torch.tensor([[0.1, 0.6, 0.3]])  # logits
loss = loss_fn(y_pred, y_true)