效度是指设计的题确实在测量某个东西，一般问卷中使用到。如果是量表类的数据，其一般是用因子分析这种方法去验证效度水平，其可通过因子分析探究各测量量表的内部结构情况，分析因子分析得到的内部结构与自己预期的内部结构进行对比，进而判断效度情况。
但如果本身数据不是量表，比如都是些选择题，这些测量项是否有效地测量对应的概念（变量或维度信息），此时无法使用因子分析，此时可考虑使用内容效度，内容效度的概念较为广泛，其是指测量项真实可以测量的文字分析佐证，比如来源于某文献或者得到专家的认可等。本文档则是指专家打分数据的数字化结果论证，将专家打分数据收集后分析，利用实际指标来判断内容效度。
内容效度案例
1、背景
某研究者新设计一份问卷，希望通过专家打分方式来判断其有效性，避免个人主观臆断情况，研究者共设计出20个测量项（即20个题），并且找到8位该研究领域的专家进行打分（专家打分只能为1/2/3/4共4个分值，1分代表较差，2分表示一般，3分表示较好，4分表示良好）并且整理得到数据结果如下图所示。
需要提示的是：打分分值只能为1/2/3/4共4个数字，这是由当前算法决定，如果不是这样，系统会提示‘专家打分只能为1/2/3/4分!’。以及第1列测量项的名称可修改为实际的名称，第1行的专家1/2/3等也可修改为实际的专家名称。
2、理论
SPSSAU中内容效度的计算参考文献来源如下：
史静琤, 莫显昆, & MO Xiankun. (2012). 量表编制中内容效度指数的应用. 中南大学学报：医学版, 37(2), 4.
柯友枝, 孙建刚, 李博, & 刘阳. (2023). 问卷是否有效—基于2010-2020年cssci收录体育期刊文献的系统分析. 上海体育学院学报, 47(2), 37-47.
内容效度的计算上较为简单，专家打分只能为1/2/3/4分，3/4分表示测量项较好或者好，那么首先计算出每项时打分为3/4分的专家数量，从而得到打分为3/4分的占比情况（即I-CVI指标），该指标值越大越好，可使用该指标进行内容效度判断，其判断标准如下表格：
| 专家数量 | 判断标准 |
|---|---|
| <=5个专家时 | I-CVI<1小于1则不通过I-CVI=1则通过 |
| >5个专家时 | I-CVI<1小于0.78则不通过I-CVI>=0.78则通过 |
当专家个数小于等于5个时即专家个数较少时，此时希望专家打分均为3/4分。如果专家个数大于5个时即专家个数较多时，此时只要78%的专家打分为3/4分即可。
与此同时，为防止专家打分出现随机性，还可计算专家打分随机一致性概率Pc值，并且计算校正内容效度（调整Kappa，K*值），进一步进行内容效度判断。专家打分随机一致性指标的目的在于衡量专家打分的独立性，比如10个专家全部都打4分的概率一般较低，那么如果出现了就需要校正它，即计算调整 Kappa值。专家打分随机一致性概率Pc值=C(n,A)*(0.5^n)，此处n表示专家总数量，A表示某测量项时专家打分为3/4的个数，C表示数学上的组合计算。得到专家打分随机一致性概率Pc值后，接着计算校正内容效度即调整Kappa值（K*值），调整Kappa值=(I-CVI值 – Pc值) / (1 – Pc值)，如果是正常的专家打分数据，Pc值通常较高，最后结合调整Kappa值进行内容效度判断，其判断标准如下表格：
| 调整Kappa（K*值） | 判断标准 |
|---|---|
| <0.4 | 差 |
| [0.4, 0.6) | 一般 |
| [0.6, 0.74) | 良好 |
| [0.74, 1) | 优秀 |
调整Kappa值越大越好，一般大于0.6即说明内容效度良好，但如果调整Kappa值小于0.4则无法接受。I-CVI指标是针对具体每测量项，当然还可计算全部一起的测量项，比例本文档所述共20个测量项全部一起时的整体内容效度情况，其有两个指标，分别全体一致S-CVI(也称S-CVI或UA值)，还有平均S-CVI指标值。全体一致S-CVI = 打分全部都为3/4的测量项个数 / 总测量项个数，其用于判断到底有多少测量项均全部是3/4分，通常其判断标准是0.8，即需要有80%以上的测量项全部都被专家认为是良好或者好才行。而平均一致S-CVI则是I-CVI指标的算术平均值而已，其通常标准为0.9，即需要平均来看I-CVI指标大于0.9才可以。一般情况下可能使用I-CVI较多。
3、操作
本例子操作如下图：
直接将SPSSAU默认数据进行粘贴替换即可。
4、SPSSAU输出结果
SPSSAU共输出3个表格，分别是测量项内容效度专家评分及指标计算、整体内容效度（S-CVI）和不同专家人数各情况下I-CVI的评估速查表。如下述：
| 表格 | 说明 |
|---|---|
| 测量项内容效度专家评分及指标计算 | 输出I-CVI指标及校正内容效度（调整Kappa值）等，用于每个测量项的内容效度判断 |
| 整体内容效度（S-CVI） | 输出全体一致S-CVI(也称S-CVI或UA值)，平均S-CVI指标值，用于整体内容效度判断 |
| 不同专家人数各情况下I-CVI的评估速查表 | 其为一个评估速查表，包括3~9个打分专家时的I-CVI合格临界值及调整Kappa合格临界值等信息 |
5、文字分析
本次案例结果分别如下：
上表格可以看到，共有20个测量项并且8个专家进行打分，8个专家对20个测量项打分为3/4的次数是152，即仅有8次是打分1或2。具体来看，测量项13为校正内容效度为一般，测量项13时，共有5个专家打分为3/4分，还有3个专家均打2分。其I-CVI=5/8=0.625<0.78，因而I-CVI不通过即内容效度不达标。与此同时Pc值=C(8,5)*(0.5^8)=0.21875，调整Kappa=(0.625-0.21875)/(1-0.21875)=0.52，介于0.4到0.6之间，意味着调整内容效度一般。通常情况下建议使用调整内容效度即针对调整Kappa值进行判断，因为调整Kappa值将专家打分独立性纳入考虑范畴。
上表格展示整体内容效度的两个指标，分别是全体一致S-CVI和平均S-CVI指标。计算上，全体一致S-CVI=打分全部都为3/4的测量项个数 / 总测量项个数 = 14/20=0.7<0.8，因而不通过。如果是平均S-CVI指标，其为I-CVI指标的算术平均为0.95>=0.9，其通过。全体一致S-CVI指标衡量的是所有测量项整体内容效度情况，而平均S-CVI指标衡量的是平均内容效度，一般查阅全体一致S-CVI可能更加适合。
上表格展示不同专家数量时I-CVI的评价临界值，比如如果6个专家，那么如果评价为3/4的专家人数为4个则I-CVI为0.667则不通过（但此时调整Kappa值=0.565，调整内容效度通过），该表格仅为速查使用，无其它意义。
6、剖析
涉及以下几个关键点，分别如下：
S-CVI和调整Kaapa两个指标均是衡量内容效度，但二者结论可能不一致，此时建议以调整Kappa指标结果为准，因为该指标考虑专家打分独立性情况，通常更准确。
全体一致S-CVI和平均S-CVI指标这两个指标结论不一致，一般以全体一致S-CVI指标结论作为标准较多，因为平均S-CVI仅为I-CVI的算术平均而已。
