问卷是否要做信效度分析,5类信度与4类效度常用指标及评价标准

news2024/9/24 21:40:14

论文问卷进行分析时,大家是否有这样的疑惑——

我收集的问卷是否需要进行信效度分析呢?

下面一文给大家梳理问卷信效度分析的相关内容,包括什么样的题目需要进行信效度分析、5类信度分析与4类效度分析常用指标及评价标准。

一、问卷是否需要做信效度分析

非量表问卷通常不需要进行信效度分析,信度和效度分析主要是针对量表题(如使用李克特量表的题目)。

  • 量表题

用于衡量无法直接测量的指标,如焦虑、抑郁、幸福感等。例如最常用李克特量表——该量表由一组陈述组成,每一陈述有非常同意、同意、不一定、不同意、非常不同意五种回答,分别记为5、4、3、2、1,每个被调查者的态度总分就是他对各道题的回答所得分数的加总,这一总分可说明他的态度强弱或他在这一量表上的不同状态。

  • 普通问卷题

针对不同的题目可以设置不同数量的选项以及不同的问题类型。比如单选题、多选题、填空题、开放题、排序题等。

总结:如果问卷中包含多个相关的量表题(通常每个维度至少2-3个题目),则可以进行信效度分析。如果只有个别量表题,或者全部为普通问卷题怎不需要进行信效度分析。

了解了什么样的问卷题目适合进行信效度分析,接下来介绍信度与效度分析常用指标与评价标准。

问卷分析一般先进行信度分析,再进行效度分析。这是因为一个可靠的测量工具是进行有效测量的前提。

二、五类信度分析

信度主要评价量表的精确性、稳定性和一致性,即测量过程中随机误差引起测量结果的变异程度。用于测量样本回答结果是否可靠、样本有没有真实作答量表类题项。常用的信度指标有克隆巴赫α信度系数、折半信度、McDonald's ω信度系数、theta信度系数、重测信度5类。接下来分别进行介绍。

1、克隆巴赫α信度系数

Cronbach α系数是目前最常用的信度系数,该系数评价的是量表中各题项得分间的一致性,属于内在一致性系数。通过计算评估内部各项指标之间的相关性来衡量一致性。它基于各项指标的方差和协方差,给出一个在0到1之间的值,数值越大表示内在信度越高。

(1)计算公式

Cronbach α系数公式为

式中,k为测量的题目数;Si为第i题得分数的方差;Sx为测验总分的方差。

(2)评价标准

(3)软件操作及指标解读

  • 软件操作

量表题的数据格式为:一列代表一个问题,一行代表一个样本,分别用数字1-5表示量表题被选择项,将数据整理成如下格式:

将数据上传至SPSSAU系统,在【问卷研究】模块选择【信度】,具体选择Cronbach α系数;操作如下图:

【提示】信度分析以维度为单位进行分析,最终需要将各维度α系数值进行汇总整理成表格输出。

  • 分析结果

SPSSAU输出Cronbach信度分析结果如下:

  • 校正项总计相关性(CITC):该分析项与余下各项和之间的Pearson相关系数,反映了该项与余下各项之间的相关程度。此指标用于判断题项是否应该作删除处理,如果值小于0.3,通常应该考虑将对应项进行删除处理。
  • 项已删除的α系数:该分析项删除后,余下分析项的α系数。此指标用于判断题项是否应该作删除处理,如果该值明显高于”α系数”值,此时应该考虑将对应项进行删除处理。

分析上表可知,维度A的Cronbach α系数为0.826,表明维度A的信度非常好。同样的操作将其他维度依次进行信度分析,最终整理成如下表格,汇报在论文中:

2、折半信度

折半信度是指将全部题项按奇项、偶项或者其他标准分为尽可能相等的两半,计算两组题项之间的相关系数,然后通过公式计算得到折半信度系数值。折半信度使用斯皮尔曼-布朗公式估计整个量表的信度系数rrt。

(1)计算公式

斯皮尔曼—布朗校正公式为:

式中,ru为整个量表的信度估计值;rhh为两半得分之间的相关系数。需要注意的是,如果测量题目较少,比如10题以下,就不适合用这种方法来估计信度。

(2)评价标准

其判断标准可参考α信度系数的衡量标准。

(3)软件操作及指标解读

将数据上传至SPSSAU系统,在【问卷研究】模块选择【信度】,具体选择折半系数,操作如下图:

SPSSAU输出折半信度分析结果如下:

  • Cronbach α系数:折半信度会同时输出Cronbach α系数,可以简要描述即可。
  • 折半系数(等长&不等长):如果说测量题数量为偶数,则刚好两部分题项数量相等,反之则不相等。分析时需要结合两部分题项是否相等,查看对应的折半系数。
  • Guttman Split-Half系数:有时候还可以直接使用Guttman Split-Half 系数衡量信度质量,但此类情况较少,更多关注于折半系数。

3、McDonald 's ω信度系数

McDonald's ω信度系数计算原理基于因子分析,旨在通过浓缩信息来更准确地估计测量工具的可靠性。通过因子分析提取各项指标的载荷(loading)系数,进而计算出每个题项对整体测量的贡献。该方法考虑了测量误差的方差,使得它比Cronbach's α系数更为严格和准确。

(1)计算公式

McDonald's ω信度系数的计算公式如下:


式中,loading为载荷系数值,uniqueness是测量误差为1-loading^2。

(2)评价标准

其判断标准可参考α信度系数的衡量标准。

(3)软件操作及指标解读

将数据上传至SPSSAU系统,在【问卷研究】模块选择【信度】,具体选择McDonald's ω系数。SPSSAU输出McDonald's ω信度系数分析结果如下:

  • 项已删除的McDonald's ω系数:如果“项已删除的McDonald Omega信度系数”值明显高于McDonald Omega信度系数,此时可考虑对将该项进行删除后重新分析。

4、theta系数

(1)计算公式

theta系数计算公式如下:

式中,N为分析项个数入为最大特征根值。从上式可以看到,当分析项个数越多时,theta信度系数很可能会越大,而且最大特征根越大,theta信度系数值也会越大。

(2)评价标准

其判断标准可参考α信度系数的衡量标准。

(3)软件操作及指标解读

将数据上传至SPSSAU系统,在【问卷研究】模块选择【信度】,具体选择theta系数。SPSSAU输出theta信度系数分析结果如下:

  • 项已删除的theta系数:如果“项已删除的theta信度系数”值明显高于theta信度系数,此时可考虑对将该项进行删除后重新分析。

5、重测信度

重测信度,又称再测信度、稳定性系数,应用同一测验方法,对同一组被试者先后两次进行测查,然后计算两次测查所得分数的关系系数。该信度能表示两次测试结果有无变动,反映了测验分数的稳定程度。

  • 计算公式

重测信度通常使用Pearson相关系数计算:

式中x和x一bar是第一次测量的实得分及实得分的平均值,y和y一bar是第二次测量的实得分及实得分的平均值。
重测信度用重测相关系数来表示,相关系数越趋近于1,则重测信度越高。具体可使用SPSSAU【通用方法】模块的Pearson相关分析进行重测信度分析。

【提示】当前在论文中最常用的为第一类克隆巴赫α信度系数,无特殊研究需要,建议使用该方法进行问卷信度分析即可。

二、四类效度分析

通常信度达标后,才会进行效度分析。效度主要评价量表的准确度、有效性和正确性,即量表是否真正反映了我们希望测量的东西。效度用于反映实际测量结果与预想结果的符合程度,由于无法确定目标的真实值,因此效度的评价比较复杂,常常需要与外部标准作比较才能判断。

一般来讲,效度分析包括内容效度和结构效度。其中,结构效度又可以延伸出分为区分效度和聚合效度。接下来,分别进行介绍。

1、内容效度

内容效度分析是指评估问卷题项对于相关概念测量的适用性,即题项设计是否合理和科学。通常内容效度通过文字叙述形式来说明问卷的合理性和科学性
在具体分析过程中,内容效度分析主要描述测量量表中的题项是否有严谨的理论依据,以及问卷设计是否经过专家认可和修正等。在问卷研究中,通常需要对内容效度进行详细说明,以确保测量工具能够准确反映所需构念,从而提高研究结果的可信性。

2、结构效度

(1)概念

结构效度指题项与变量之间的对应关系。通常使用探索性因子分析(EFA)进行验证,如果输出结果显示题项与变量对应关系基本与预期一致,则说明结构效度良好。

(2)分析步骤

第一:首先分析KMO值;如果此值高于0.8,则说明研究数据非常适合提取信息(从侧面反应出效度很好);如果此值介于0.7~0.8之间,则说明研究数据适合提取信息(从侧面反映出效度较好);如果此值介于0.6~0.7,则说明研究数据比较适合提取信息(从侧面反映出效度一般),如果此值小于0.6,说明数据不适合提取信息(从侧面反映出效度一般)(如果仅两个题;则KMO无论如何均为0.5);

第二:接着分析题项与因子的对应关系;如果对应关系与研究心理预期基本一致,则说明效度良好;

第三:如果效度不佳;或者因子与题项对应关系与预期严重不符,也或者某分析项对应的共同度值低于0.4(有时以0.5为标准);则可考虑对题项进行删除;

第四:删除题项共有常见标准;一是共同度值低于0.4(有时以0.5为标准);二是分析项与因子对应关系出现严重偏差;

第五:重复上述1~4共4个步骤;直至KMO达标;以及题项与因子对应关系与预期基本吻合,最终说明效度良好;

第六:对分析进行总结。

(3)操作

将数据上传至SPSSAU系统,在【问卷研究】模块选择【效度】,将所有题项拖拽到右侧分析框,选择维度,操作如下图:

篇幅限制,结构效度分析完整分析过程可查看下方帮助手册说明:
效度分析
结构效度又可具体分为区分效度和聚合效度。具体使用验证性因子分析进行区分效度和聚合效度分析。接下来分别进行说明。

3、区分效度

(1)概念

区分效度(又称判别效度、区别效度),其实质也是一种结构效度。区分效度强调本不应该在同一因子的测量项,确实不在同一因子下面。比如说,测量项A1和B1分别测量两个属性,应该分属于因子A和因子B中,如果确实是这样,那么说明区分效度很高;但是如果二者属于同一因子下,则说明区分效度不明显,量表设计的不好。

(2)操作

区分效度与聚合效度都使用验证性因子分析进行研究,上传数据后,将题项按维度分析放入右侧分析框中,编辑“因子名称”,操作如下图:

(3)检验方法

区分效度常用的有3类检验方法:AVE平方根判断法、HTMT法、MSV和ASV法。接下来将分别进行介绍。

  • AVE平方根判断法

AVE平方根值可表示因子的‘聚合性’,相关系数表示相关关系,如果因子‘聚合性’很强(明显强于与其它因子间的相关系数绝对值),则能说明具有区分效度;当每个因子的AVE平方根值均大于“该因子与其他因子的相关系数的最大值”,此时说明具有良好的区分效度
计算公式:AVE值=Average(loading平方然后求和),loading值为标准化载荷系数

分析上表:针对因子A,其AVE平方根值为0.737,大于因子间相关系数绝对值的最大值0.615,意味着其具有良好的区分效度。同理分析因子B、C、D都具有良好的区分效度。

  • HTMT法

HTMT(heterotrait-monotrait ratio)异质-单质比率,也就是特质间相关与特质内相关的比率。他是不同构面间指标相关的均值相对于相同构面间指标相关的均值乘积的开方的比值。如果HTMT值小于0.85(有时以0.9作为标准),则说明该两因子之间具有区分效度

分析上表:从HTMT分析结果来看,所有的HTMT值均小于0.85,意味着因子之间均有良好的区分度,量表的区分效度良好。

  • MSV和ASV法

MSV(Maximum Shared Variance)最大共同方差和ASV(Average Shared Variance)平均共同方差,这两个指标也可用于区分效度判断;当MSV值小于AVE的值,并且ASV值小于AVE值则说明具有区分效度

从上表可以看出,大部分因子的MSV值和ASV值都不小于AVE值,说明因子之间的区分效度并不好,进而量表的区分效度也比较差。

注意:不同的区分效度检验方法得到的检验结果可能不同。例如上述例题中三种检验区分效度的方式,得到的检验结果就不相同。此时,一般情况下只要有一种检验方式能够说明量表的区分效度良好,就可以认为量表有比较好的区分效度了。并不要求每种检验方式都要通过,才能认为区分效度良好。

4、聚合效度

(1)概念

聚合效度(convergent validity),又称收敛效度,是指测量同一变量的测量项会落在同一因子上,强调本应该在同一因子下的测量项,确实在同一因子下。即一个变量的测量题项之间要高度相关。从题项角度讲,聚合效度是维度内所有题项相关性要高。进行聚合效度分析的主要目的在于检验同一变量的各指标之间的相关程度。

(2)检验方法

聚合效度常用的有2种检验方法:

①标准载荷系数值均大于0.7为佳,0.5以上也可以接受;

②AVE和CR指标,通常情况下AVE大于0.5且CR值大于0.7,说明聚合效度较高。

  • 标准载荷系数

因子载荷系数值的统计意义就是变量i与公共因子j的相关系数(程度),范围为[-1,1],绝对值越接近1,说明变量与公共因子的关系越密切。
标准载荷系数是指经过标准化处理的因子载荷系数。验证性因子分析使用标准载荷系数判断聚合效度。各个测量项的标准载荷系数值大于0.7,说明量表的聚合效度好,或者放宽要求在0.5以上也能接受(社会学科研究编制的量表因子载荷量都不会太高)。

分析上表:标准载荷系数值绝大部分均在0.7,以上,说明该量表的聚合效度较高。

  • AVE和CR指标

AVE平均方差萃取(Average Variances Extracted),AVE值= Average(loading平方然后求和),loading值为标准化载荷系数。从公式不难看出,当loading值(标准载荷系数)越大时,AVE值越大,聚合效度越高,一般AVE值大于0.5为好。
CR组合信度(composite reliability),CR值=Sum(loading)^2 / [sum(loading)^2 + sum(e)],e为残差标准载荷系数。从公式依旧可以看出,当标准载荷系数越大时,CR值越大,聚合效度越高,一般CR值大于0.7为好。
综上,当AVE值大于0.5,且CR值大于0.7时,量表的聚合效度较高。

分析上表:本例中4个因子的平均方差萃取AVE值均大于0.5,且组合信度CR值均大于0.7,说明本次分析的量表数据具有良好的聚合效度。

SPSSAU

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2161514.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

JW01二氧化碳传感器(串行通信 STM32)

目录 一、介绍 二、传感器原理 1.工作原理介绍 2.串口数据流格式 三、程序设计 main.c文件 usart3.h文件 usart3.c文件 四、实验效果 五、资料获取 项目分享 一、介绍 JW01-CO2检测模块是一种用于检测空气中二氧化碳浓度的传感器模块。它可以广泛应用于室内空气质量…

java算法OJ(1)位运算

目录 1.前言 2.正文 2.1位运算符号 2.1俩数相除 2.1.1题目 2.1.2示例 2.1.3题解 2.2二进制求和 2.2.1题目 2.2.2示例 2.2.3题解 2.3只出现一次的数字 2.3.1题目 2.3.2示例 2.3.3题解 2.4只出现一次的数字(进阶版) 2.4.1题目 2.4.2示例…

glb数据格式

glb数据格式 glb 文件格式只包含一个glb 文件,文件按照二进制存储,占空间小 浏览 浏览glb工具的很多,ccs,3D查看器等都可以,不安装软件的话用下面网页加载就可以,免费 glTF Viewer (donmccurdy.com) glb…

uniapp小程序中通过uni.setClipboardData实现复制功能无效的原因和解决方案

// 复制下载链接const shareFile (filePath) > {const pdfUrl 复制内容uni.showModal({title: 下载提示,content: 请复制链接到浏览器中下载,confirmColor: #eb2444,confirmText: 复制链接,success(res) {if (res.confirm) {uni.setClipboardData({data: pdfUrl, // url地…

C++: unordered系列关联式容器

目录 1. unordered系列关联式容器1.1 unordered_map1.2 unordered_set 2. 哈希概念3. 哈希冲突4. 闭散列5. 开散列 博客主页: 酷酷学 感谢关注!!! 正文开始 1. unordered系列关联式容器 在C98中,STL提供了底层为红黑树结构的一系列关联式容器,在查询时…

【笔记】自动驾驶预测与决策规划_Part4_时空联合规划

文章目录 0. 前言1. 时空联合规划的基本概念1.1 时空分离方法1.2 时空联合方法 2.基于搜索的时空联合规划 (Hybrid A* )2.1 基于Hybrid A* 的时空联合规划建模2.2 构建三维时空联合地图2.3 基于Hybrid A*的时空节点扩展2.4 Hybrid A* :时空节…

多线程——“死锁”

目录 前言 一、一个线程,一把锁 1.问题介绍 2.可重入锁 二、两个线程,两把锁 1.问题介绍 2.解决方式 三、N个线程,M把锁 1.哲学家就餐问题 2.解决方式 结尾 前言 “死锁”是多线程代码中一类常见的问题,加锁是能解决线…

plt的简单使用

目录 介绍示例 介绍 plt 是 Python 中 Matplotlib 库的一个常用别名,它表示 pyplot,这是一个用于创建图形和图形的可视化表示的工具。下面是一些 plt 函数的详解和示例,以帮助大家理解和使用。 示例 示例1: import matplotlib…

AV1 Bitstream Decoding Process Specification--[9]:语法结构语义-5

原文地址:https://aomediacodec.github.io/av1-spec/av1-spec.pdf 没有梯子的下载地址:AV1 Bitstream & Decoding Process Specification摘要:这份文档定义了开放媒体联盟(Alliance for Open Media)AV1视频编解码…

loadrunner个人笔记

创建场景配置: 两个同时 去四:日志、时间、模拟、其他自动事务 加一:首选项 1、写脚本,沟通官方、文件打印扫描 MFI-sw.support.gsd.imsc.sda.globalopentext.com support.casemicrofocus.com 支持资源 | Micro Focus | OpenT…

【毕业论文+源码】基于ASP的课程指导平台的开发

引 言 随着全球信息化技术的兴起,特别是Internet的日益普及,解决了信息Internet上传递的问题,建立了一个组织得很好的信息结构框架,使得Internet用户能够在Internet上的任何一个终端,以一种简单、统一的方式来访问超…

Leetcode Hot 100刷题记录 -Day18(反转链表)

反转链表: 问题描述: 给你单链表的头节点 head ,请你反转链表,并返回反转后的链表。 示例 1: 输入:head [1,2,3,4,5] 输出:[5,4,3,2,1]示例 2: 输入:head [1,2] 输出&a…

视频监控相关笔记

一、QT 之 QTreeWidget 树形控件 Qt编程指南,Qt新手教程,Qt Programming Guide 一个树形结构的节点中的图表文本 、附带数据的添加: QTreeWidgetItem* TourTreeWnd::InsertNode(NetNodeInfo node, QTreeWidgetItem* parent_item) { // …

回文子串通用做法

647. 回文子串 先引出力扣链接 给定一个字符串,你的任务是计算这个字符串中有多少个回文子串。 具有不同开始位置或结束位置的子串,即使是由相同的字符组成,也会被视作不同的子串。示例 1: 输入:"abc" 输出…

for循环的应用

正三角 for (int i 0; i < 8; i) { for (int j 0; j < 15; j) { int kong 8 - i - 1; int star 2 * i 1; if (j < kong) { Console.Write(" "); } else if (j < kong star)…

【LLM学习之路】9月23日24日 第十、十一天 Attention代码解读

【LLM学习之路】9月23日24日 第十、十一天 Attention代码解读 Transformer模型大致分为三类 纯 Encoder 模型&#xff08;例如 BERT&#xff09;&#xff0c;又称自编码 (auto-encoding) Transformer 模型&#xff1b;纯 Decoder 模型&#xff08;例如 GPT&#xff09;&#…

多颜色绘制语义分割/变化检测结果图

在论文绘图时&#xff0c;传统的二元语义分割结果图颜色单一&#xff08;下图左&#xff09;&#xff0c;所以论文中常根据混淆矩阵类别使用多颜色进行绘制&#xff08;下图右&#xff09;&#xff0c;可以看到&#xff0c;结果的可视化效果更好。 以下是绘制代码&#xff1a; …

同等学力申硕英语网课如何选择

很多考生想知道同等学力申硕英语网课如何选择&#xff0c;小编告诉大家&#xff0c;首先明确自己的学习目标和需求是为了提高口语、阅读、写作还是听力能力? 只有明确了自己的学习目标和需求&#xff0c;才能更好地选择适合自己的课程和平台。 二、选择知名品牌和口碑良好的平…

UE5地图白屏/过曝/非常亮の解决方法

今天遇到一个问题 , 新建项目 , 打开虚幻第三人称地图的默认关卡 , 发现白屏 , 啥也看不见 猜测可能是虚幻编辑器的bug , 造成白屏的原因应该是场景过曝了 记录一下解决方案 第一种解决方法 找到场景中的 后期处理体积 (PostProcessVolume) 直接删掉 或者找到 细节面板中 -…

衍射的角谱理论

一、单色平面波与本征函数 不考虑夫琅禾费近似, 则相干光场在给定二平面间的传播过程就是通过一个二维线性空不变系统。 上式函数是这个系统的本征函数,表示振幅为1的平面波在xy平面上的复振幅分布,空间频率分量 = cos / , = cos / 与平面波的传播方向相联系, 空间…