1.平均倒数排名（MRR）
1.定义
MRR 是衡量检索系统返回的结果列表中第一个相关结果位置的指标。具体来说，它是所有查询倒数排名的平均值。
2.计算步骤
- 对每个查询，找到第一个正确答案在结果列表中的排名 𝑅𝑎𝑛𝑘。
- 计算该排名的倒数 1/Rank。
- 对所有查询的倒数求平均。
3.例子
Query1： 查询关键词：“Python 编程教程”
结果列表：
Python 基础教程 - 正确
Java 编程指南
数据科学概述
Python 进阶教程
在这个查询中，第一个正确答案 (“Python 基础教程”) 在结果列表的第1个位置，所以排名是1。
Query2： 查询关键词：“机器学习基础”
结果列表：
数据分析工具
深度学习简介
机器学习概述 - 正确
统计学入门
在这个查询中，第一个正确答案 (“机器学习概述”) 在结果列表的第3个位置，所以排名是3。
因此，当我们说查询结果排名分别是1、3，这意味着：
- 第一个查询的正确答案在第1个位置。
- 第二个查询的正确答案在第3个位置。
根据这些排名，我们可以计算 MRR为1+1/3≈1.33。
4.作用：
MRR 能反映系统多快能找到正确答案，数值越高表示系统越有效。
2.recall@K
1.定义：
recall@K 是用于评估系统在前 K 个检索结果中找到相关项目的能力的指标。
2.计算步骤：
- 对
每个查询，检查前 K 个结果中是否包含至少一个相关项目。 - 计算包含相关项目的查询比例。
3.例子：
在这个例子中，有 8 个查询在前 5 个结果中找到了相关项目（查询1、查询3、查询4、查询5、查询7、查询8、查询9、查询10）。因此recall@5=8/10=0.8。
4.公式：
Recall@K= Total number of relevant documents / Number of relevant documents in top K results
5.结果：
recall@K 评估系统在给定结果数量内找到相关信息的可能性，数值越高表示系统在较短结果列表中找到正确答案的能力越强。
