理论公式

计算实例

图像分类实例：

        我们希望根据图片动物的轮廓、颜色等特征，来预测动物的类别，有三种可预测类别:猫、狗、猪。假设我们当前有两个模型（参数不同)，这两个模型都是通过sigmoid/softmax的方式得到对于每个预测结果的概率值:

模型1：

        预测值                  真实值                             是否正确  

0.3   0.3    0.4            0    0     1 （猪）                   √

0.3   0.4    0.3            0    1     0 （狗）                   √

0.1   0.2    0.7            1    0     0 （猫）                   ×

对于样本1和样本2以非常微弱的优势判断正确，对于样本3的判断则彻底错误。

模型2：

        预测值                  真实值                             是否正确  

0.1   0.2    0.7            0    0     1 （猪）                   √

0.1   0.7    0.2            0    1     0 （狗）                   √

0.3   0.4    0.3            1    0     0 （猫）                   ×

对于样本1和样本2判断非常准确，对于样本3判断错误，但是相对来说没有错得太离谱。
 

对于上述模型根据公式计算损失