损失函数

损失函数的作用

• 度量决策函数f（x）和实际值之间的差异。
• 作为模型性能参考。损失函数值越小，说明预测输出和实际结果（也称期望 输出）之间的差值就越小，也就说明我们构建的模型越好。学习的过程，就 是不断通过训练数据进行预测，不断调整预测输出与实际输出差异，使的损失值最小的过程。

常用损失函数

均方误差

均方误差（Mean square error）损失函数。均方误差是 回归问题常用的损失函数 ，它是预测值与目标值之间差值的平方和，其公式和图像如下所示：

 

为什么使用误差的平方

• 曲线的最低点是可导的

• 越接近最低点，曲线的坡度逐渐放缓，有助于通过当前的梯度来判断接近最低点的程 度（是否逐渐减少步长，以免错过最低点）

 

交叉熵

交叉熵（Cross Entropy）。交叉熵是Shannon信息论中一个重要概念，主要用于度量两个概率分布间的差异性信息，在机器学习中用来作为分类问题的损失函数。假设有两个概率分布，tk与yk ,其交叉熵函数公式及图形如下所示：

import numpy as np

y_true =  [0  ,0  ,0  ,1  ,0]
pred_y1 = [0.1,0.1,0.1,0.6,0.1]
pred_y2 = [0.1,0.1,0.05,0.7,0.05]
pred_y3 = [0.01,0.02,0.03,0.8,0.05]


total1,total2,total3 = 0,0,0 
for i in range(len(y_true)):
    total1 += y_true[i] * np.log(pred_y1[i])
    total2 += y_true[i] * np.log(pred_y2[i])
    total3 += y_true[i] * np.log(pred_y3[i])

total1,total2,total3 = -total1,-total2,-total3 

print('交叉熵1:',total1)
print('交叉熵2:',total2)
print('交叉熵3:',total3)

注意：交叉熵越小越好

梯度下降

梯度（gradient）是一个向量（矢量，有方向），表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处沿着该方向（此梯度的方向）变化最快，变化率最大。损失函数沿梯度相反方向收敛最快（即能最快找到极值点）。当梯度向量为零（或接近于零），说明损失函数到达一个极小值点，模型准确度达到一个极大值点。

导数

所谓导数，就是用来分析函数“变化率”的一种度量。其公式为：

偏导数

学习率

梯度递减训练法则

注意中间是恒等于。

批量梯度下降

• 优点：

1. 一次迭代是对所有样本进行计算，此时利用矩阵进行操作，实现了并行。
2. 由全数据集确定的方向能够更好地代表样本总体，从而更准确地朝向极值所在的方向。 当目标函数为凸函数时，BGD一定能够得到全局最优。

• 缺点：

1. 当样本数目 m 很大时，每迭代一步都需要对所有样本计算，训练过程会很慢。

随机梯度下降

• 优点：

1. 由于不是在全部训练数据上的损失函数，而是在每轮迭代中，随机优化某一条训练数据上的损失函数，这样每一轮参数的更新速度大大加快。

• 缺点：

1. 准确度下降。由于即使在目标函数为强凸函数的情况下，SGD仍旧无法做到线性收敛。
2. 可能会收敛到局部最优，由于单个样本并不能代表全体样本的趋势。
3. 不易于并行实现。

小批量梯度下降

• 优点：

1. 通过矩阵运算，每次在一个batch上优化神经网络参数并不会比单个数据慢太多。
2. 每次使用一个batch可以大大减小收敛所需要的迭代次数，同时可以使收敛到的结果更加接近梯度下降的效果。

• 缺点：

1. batch_size的不当选择可能会带来一些问题。

几种梯度下降算法收敛比较

• 批量梯度下降稳健地向着最低点前进 的
• 随机梯度下降震荡明显，但总体上向最低点逼近
• 小批量梯度下降位于两者之间