1、准确率、精确率、召回率、误报率、漏报率概念及公式

• 重点参考博文：【机器学习】准确率、精确率、召回率、误报率、漏报率概念及公式
• 误报率、漏报率、准确率和召回率（虚警率、漏警率）
  • 误报率和漏报率的关系：一般来说无法同时降低误报率和漏报率。举个例子来说，某门卫为了防止小偷进入小区，凡是过往人员都要盘查，这时漏报率为0，但是显著提高了误报率；反之如果门卫什么都不做，任由人员出入，那么这是漏报率就会提高，而误报率降低为0。
  • 漏检率 + 召回率 = 1，也就是召回率越高，漏检率越低
• 【积累】机器学习知识，看里面的1.1.2 二分类问题

阳性（正）样例 P 和 阴性（负）样例 N：

• 正样本预测为正样本的为True positive（TP）
• 正样本预测为负样本的为False negative（FN）
• 负样本预测为正样本的为False positive（FP）
• 负样本预测为负样本的为True negative（TN）

所以有：
$$\begin{gathered} P=TP+FN \\ N=FP+TN \end{gathered}$$

1.1 准确率 Accuracy

• 反映模型对整体样本判断正确的能力，值越大越好
• 但样本不平衡时，ACC 不能很好地评估模型性能
  $$Acc=\frac{TP+TF}{TP+FP+TN+FN}$$

1.2 精确率 Precision

• 反映模型正确预测正样本精度的能力，值越大越好
• 也称精度，查准率，阳性预测值(positive predictive value, PPV)
• 即：衡量在所有预测为正样本的数据中，有多少是真正的正样本
  $$Precision(PPV)=\frac{TP}{TP+FP}$$

1.3 召回率 Recall

• 反映模型正确预测正样本全度的能力，值越大越好
• 也称真阳性率（true positive rate, TPR），灵敏度，查全率
• 即：衡量在所有真实的正样本中，有多少被预测为正样本
  $$Recall(TPR)=\frac{TP}{TP+FN}=\frac{TP}{P}$$

1.4 F1-Score

• 是对精确率和召回率的加权求和
  $$F1-Score=\frac{2\times Precision\times Recall}{Precision+Recall}$$

1.5 误检率 false rate

• 反映模型正确预测正样本纯度的能力，值越小越好
• 又称虚警率、假阳性率（False Positive Rate）
• 即：在所有真实的负样本中，有多少被预测为正样本
  $$FPR=\frac{FP}{TN+FP}=\frac{FP}{N}$$

1.6 漏检率 miss rate

• 反应模型正确预测负样本纯度的能力，值越小越好
• 又称错检率、漏警率、假阴性率（False Negative Rate）
• 即：在所有真实的正样本中，有多少被预测为负样本
• 漏检率 + 召回率 = 1
  $$FNR=\frac{FN}{TP+FN}=\frac{FN}{P}$$

2、YOLOv7混淆矩阵分析

• 应该YOLO其他系列的也可以这样分析
• 图中格子里面的数字表示比例，其余重要的含义在图中已表示

例如，通过计算可以得到：对角线的值就表示的召回率，漏检率=1-Recall=0.4

$$\begin{gathered} 类别D_{00}的召回率=Recall(TPR)=\frac{TP}{TP+FN}=\frac{TP}{P}=\frac{0.60}{0.60+0.01+0.39}=0.6 \\ 类别D_{00}的漏检率=FNR=\frac{FN}{TP+FN}=\frac{FN}{P}=\frac{0.01+0.39}{0.60+0.01+0.39}=0.4=1-Recall \end{gathered}$$

以D00类别来看：

• 该列除了对角线上的那个值以外，反映的是漏检率（漏检成了其他的类别）
• 该行除了对角线上的那个值以外，反映的是误检率（误检成了其他的类别）

例如，第1列第3行的值0.01表示：漏检D00且认为是D20的概率是0.01
第2列第1行的值0.01表示：误检D00且认为是D10的概率是0.01