Motivation

假定我们现在有$N$个作文样例，以及它们对应的人类评分和GPT评分。评分一共有$C$个互斥类别，分别是{0,1,2,3}。现在我们要衡量人类评分和GPT评分的一致性。
一个很直观的想法是，画出混淆矩阵，然后将对角线上的值汇总，除以总的样本数：
$$Consistenc{y}_{human-GPT}=\frac{N_{人类评分=GPT评分}}{N_{样本总数}}$$
这种计算方法没有考虑随机一致性。由于在分类任务中，有时两名评分者可能仅仅因为偶然而达成一致。下面引入的Cohen’s kappa指标，不仅仅考虑了观察到的一致性，而是通过考虑评分者随机达成一致的概率来调整这种一致性。

Cohen’s kappa：最基本的kappa统计

该指标用于衡量评分者之间的一致性。其值位于0和1之间，值越大说明一致性越高。下表解释了不同区间值所代表的一致性程度[1]：

有如下定义：
$$\kappa =\frac{p_o-p_e}{1-p_e}=1-\frac{1-p_o}{1-p_e}$$
其中，
$p_o$: observed agreement，观察到的评分者间的一致性
$p_e$: chance agreement，假定的基于随机选择的评分者间一致性
可以看到，相比于原来的直接使用$p_o$来计算一致性，这里分子分母同时剔除了“随机一致性”$p_e$。
随机一致性的计算如下：
$$P_{人类评分=0}=\frac{N_{人类评分=0}}{N_{样本总数}}$$
$$P_{GPT评分=0}=\frac{N_{GPT评分=0}}{N_{样本总数}}$$
$$p_{e_{人类评分=GPT评分=0}}=P_{人类评分=0}\ast P_{GPT评分=0}$$
得到最终的随机一致性为：
$$p_e=\sum _i^C(P_{人类评分=i}\ast P_{GPT评分=i})$$

Weighted Kappa

Weighted kappa是Cohen’s kappa的扩展，特别适用于有序分类的情境。通过为每一对分类分配一个权重，可以根据不一致的严重性给予不同的惩罚。比如，评分0和3之间的不一致，大于1和2之间的不一致，那么应当给前者更重的惩罚。Quadratic Weighted Kappa，应用了平方权重，通常为分类间的距离的平方：
$$w_{i,j}=\frac{(i-j{)}^2}{(C-1{)}^2}$$
这里使用了归一化权重，分母用了$C-1$，是因为两个评分$i$和$j$的差异的最大值是$C-1$。如此，确保权重的范围在0到1之间。
$$\kappa =1-\frac{{\sum }_{i,j}{w}_{i,j}{O}_{i,j}}{{\sum }_{i,j}{w}_{i,j}{E}_{i,j}}$$

(未完待续)

[1] 图片源自https://www.statology.org/cohens-kappa-statistic/