信度分析概述
效度
效度指的是量表是否真正反映了我们希望测量的东西。一般来说,有4种类型的效度:内容效度、标准效度、结构效度和区分效度。内容效度是一种基于概念的评价指标,其他三种效度是基于经验的评价指标。如果一个量表实际上是有效的,那么我们希望上述4种指标都比较满意。
信度
是指测量的一致性。信度本身与测量所得结果正确与否无关,它的功能在于检验测量本身是否稳定。制作完成一份量表或问卷后,首先应该对该量表进行信度分析,以确保其可靠性和稳定性,以免影响问卷内容分析结果的准确性。
信度与效度关系
效度与信度的关系是信度为效度的必要而非充分条件,即有效度一定有信度,但有信度不一定有效度。
内在信度分析
基本概念
内在信度也称为内部一致性,用以衡量组成量表题项的内在一致性程度如何。常用的检测方法是Cronbach'sα系数法和分半(Split-half)系数法。
统计原理
Cronbach'sα系数
分半信度系数
是在测试后对测试项目按奇项、偶项或其他标准分成两半,分别记分,由两半分数之间的相关系数得到信度系数。需要进行斯皮尔曼——布朗公式校正,校正的公式为:
SPSS统计分析实例
在学生的性格特征调查中共选了10名学生在8个项目上进行测试,其数据如下表,试对其进行内在信度分析。
序号 | 内向性 | 活动性 | 支配性 | 深思性 | 健壮性 | 稳定性 | 社会性 | 激动性 |
1 | 4 | 6 | 5 | 5 | 5 | 3 | 5 | 4 |
2 | 2 | 5 | 4 | 5 | 5 | 3 | 4 | 2 |
3 | 3 | 5 | 3 | 6 | 4 | 1 | 3 | 1 |
4 | 5 | 6 | 4 | 7 | 5 | 5 | 6 | 2 |
5 | 3 | 6 | 5 | 6 | 4 | 4 | 6 | 3 |
6 | 3 | 3 | 3 | 2 | 1 | 1 | 2 | 1 |
7 | 4 | 6 | 6 | 6 | 5 | 6 | 5 | 1 |
8 | 7 | 6 | 2 | 6 | 4 | 5 | 6 | 4 |
9 | 2 | 3 | 2 | 2 | 7 | 4 | 7 | 2 |
10 | 2 | 3 | 4 | 4 | 5 | 6 | 3 | 1 |
主要结果及分析
可知α系数为0.79,其标准化后的α系数为0.79,说明量表的信度一般,还有进一步优化的必要。
所有评估项目的描述性情况表
显示了将某一项从量表中删除的情况下,量表的平均分、方差、每个项目得分与剩余各项目得分之间的相关系数,以该项目为自变量,所有其他项目为因变量建立回归方程的 值以及Cronbach's 值。从表中可以看出,“活动性”与其他项目之间的相关性最高,为0.752,而且“活动性”与其他项目的复相关系数也最高,为0.982,这表明“活动性”与其他项目的关系最为密切。同时也可以看出,如果删除“支配性”,则其 系数变成了0.802,有所提升,但幅度并不大。
再测信度分析
基本概念
同一个测验项目,对同一组人员进行前后两次测试,两次测试所得分数的相关系数即为再测信度。它反映两次测验结果有无变动,也就是测验分数的稳定程度,故又称为稳定性系数。
统计原理
再测信度实质是求的同一量表在两次测试中的相关系数,通常求的是如下式所示的Pearson相关系数。
SPSS实例分析
序号 | 内向性1 | 活动性1 | 支配性1 | 深思性1 | 健壮性1 | 稳定性1 | 社会性1 | 激动性1 |
1 | 3 | 5 | 6 | 5 | 4 | 4 | 4 | 4 |
2 | 2 | 5 | 5 | 5 | 3 | 4 | 5 | 3 |
3 | 3 | 5 | 3 | 6 | 5 | 2 | 3 | 2 |
4 | 4 | 6 | 4 | 7 | 5 | 4 | 5 | 3 |
5 | 3 | 6 | 5 | 6 | 4 | 4 | 4 | 5 |
6 | 4 | 3 | 2 | 2 | 1 | 1 | 3 | 2 |
7 | 4 | 6 | 6 | 6 | 4 | 5 | 5 | 2 |
8 | 6 | 6 | 2 | 5 | 4 | 5 | 5 | 4 |
9 | 3 | 3 | 3 | 3 | 6 | 5 | 6 | 3 |
10 | 2 | 3 | 4 | 4 | 5 | 6 | 4 | 2 |
内向性 | 活动性 | 支配性 | 深思性 | 健壮性 | 稳定性 | 社会性 | 激动性 | 总分 |
0.898 | 0.973 | 0.906 | 0.966 | 0.833 | 0.904 | 0.787 | 0.880 | 0.976 |
在对输出的结果表进行了整理后,各相关变量,从表中可以看出可见各变量的相关系数比较高,其中总分的相关系数为0.976,说明量表的再测信度很好。
Kendall和谐系数
基本概念
Kendall和谐系数常用于考察评分者信度。所谓评分者信度(Scorer Reliability),指多个评分者给同一批人进行评分的一致性程度。例如,在教育和心理测量中,常关心不同的评分者对同一个主观题的评分是否一致;在医学临床疗效评价中,常关心不同的医生对同一个患者的评价是否一致。当评分者人数为2时,可以采用Pearson或Spearman相关系数评价一致性;当评分者人数多于2时,可以采用Kendall和谐系数考察评分者信度。
统计原理
Kendall和谐系数的计算公式为
若评分中出现相同的等级,则需要计算校正的系数。公式如下:
SPSS实例分析
三名神经内科医生对6名重症肌无力患者分别进行肌力的评分,结果如下表所示,试评价三名医生的评分信度,计算Kendall和谐系数。
序号 | 医生甲 | 医生乙 | 医生丙 |
1 | 35 | 32 | 25 |
2 | 40 | 36 | 30 |
3 | 37 | 31 | 28 |
4 | 30 | 30 | 24 |
5 | 38 | 35 | 31 |
6 | 42 | 40 | 32 |
第1步 分析:这是一个考察几个人对同一批患者评价一致性的问题,考虑用Kendall系数来度量。
第2步 数据组织:建立“序号”、“医生甲”、“医生乙”和“医生丙”四个变量,输入数据并保存。
第3步 Kendall系数设置:按“分析→非参数检验→旧对话框→K个相关样本”顺序打开“多个关联样本检验”对话框,并按下图进行设置,之后提交系统运行。