这段时间试着在公司内部举办一场图片标注大赛,我负责制定规则,挑选比赛素材。这几天试了一种得分计算方法,结果尚可。利用我司研发的标注工具,我们很容易就可以得出下图结果。
这个结果中的标注框其实就是标准答案,漏检,误检一键可以比对出来,好了,在知道这几个数值的时候,我们该怎么制定得分规则呢?
计分放两部分:一个是准确率得分,一个是用时得分(防止有人拼命拖延时间提高准确率)。
查全率=1-漏检率=1-漏检框/标准款
准确率=1-误检率=1-误检框/(误检框+标准款)
利用fscore算法得分=2*准确率*查全率/(准确率+查全率)
所以准确率得分=80*fscore
时间得分=20*(1-用时/20),用时高于20分钟(这个基准时间可能会调整),时间得分为负数,用时少于20分钟,时间得分为正数。
综合得分=准确率得分+时间得分。