【笔记】信度检验

news2024/11/29 11:29:48

一、信度

信度是指测量结果的一致性和稳定性。

1.一致性(Consistency)

一致性指的是测量工具内部各个部分或项目之间的协调一致程度。高一致性意味着测量工具的不同部分都在测量同一个概念或特质。

例子:智力测试

假设我们有一个包含100道题的智力测试,这些题目涵盖了语言、数学、逻辑推理等方面。如果这个测试具有高度的一致性,那么:

  • 测试中的所有题目都应该与整体智力水平相关。
  • 擅长语言题的人也可能在数学和逻辑推理题上表现良好。
  • 如果我们将测试分成两半,两半的得分应该高度相关。

我们可以通过计算Cronbach’s α系数来评估内部一致性。

2.稳定性(Stability)

稳定性指的是测量结果在不同时间点或不同情况下的一致程度。高稳定性意味着测量结果不会因时间或环境的变化而发生显著变化(假设被测量的特质本身没有变化)。

例子:抑郁症量表

假设我们有一个用于评估抑郁症状严重程度的量表。如果这个量表具有高度的稳定性,那么:

  • 对同一个人在短时间内(如一周)进行两次测试,两次的得分应该非常接近。
  • 即使测试环境有所不同(如在诊所vs在家里),得分也不应有显著差异。

可以通过计算重测信度来评估稳定性。

二、信度检验

信度检验的基本原理:

信度检验基于经典测量理论(Classical Test Theory)。该理论假设观察分数(X)由真实分数(T)和误差分数(E)组成:

X = T + E X = T + E X=T+E

信度(reliability)定义为真实分数方差与观察分数方差的比率:

r e l i a b i l i t y = σ T 2 σ X 2 reliability = \frac{\sigma_T^2}{\sigma_X^2} reliability=σX2σT2

其中, σ T 2 \sigma_T^2 σT2 是真实分数的方差, σ X 2 \sigma_X^2 σX2 是观察分数的方差。

1.重测信度(Test-Retest Reliability)

原理:在相近的时间内对同一群体进行两次测量,若结果高度一致,则可靠。

方法:
a) 选取代表性样本
b) 进行第一次测量(T1)
c) 间隔一定时间(通常1-4周)
d) 进行第二次测量(T2)
e) 计算T1和T2的皮尔逊相关系数(r)

评估标准:

  • r > 0.9: 极高的信度
  • 0.8 < r ≤ 0.9: 良好的信度
  • 0.7 < r ≤ 0.8: 可接受的信度
  • r ≤ 0.7: 信度不足,需要改进

2.内部一致性信度(Internal Consistency Reliability)

原理:项目间应该具有较高的一致性。

最常用的方法是Cronbach’s α系数:

α = k k − 1 ( 1 − ∑ i = 1 k σ i 2 σ X 2 ) \alpha = \frac{k}{k-1}(1-\frac{\sum_{i=1}^k \sigma_i^2}{\sigma_X^2}) α=k1k(1σX2i=1kσi2)

其中,k是项目数量, σ i 2 \sigma_i^2 σi2 是第i个项目的方差, σ X 2 \sigma_X^2 σX2 是总分方差。

步骤:
a) 收集数据
b) 计算各项目得分与总分的相关
c) 计算Cronbach’s α系数

评估标准:

  • α > 0.9: 优秀
  • 0.8 < α ≤ 0.9: 良好
  • 0.7 < α ≤ 0.8: 可接受
  • 0.6 < α ≤ 0.7: 有争议
  • α ≤ 0.6: 不可接受

3.分半信度(Split-Half Reliability)

原理:如果测量工具是可靠的,那么将其分成两半后,两半之间应该具有高度一致性。

步骤:
a) 将测量工具随机分为两半
b) 分别计算两半的得分
c) 计算两半得分的相关系数(r)
d) 使用Spearman-Brown公式校正:

r c o r r e c t e d = 2 r 1 + r r_{corrected} = \frac{2r}{1+r} rcorrected=1+r2r

评估标准与重测信度相似。

4.评分者间信度(Inter-rater Reliability)

原理:用于评估多个评分者之间的一致性程度。

方法:

  • 对于类别变量:使用Kappa系数
  • 对于连续变量:使用组内相关系数(Intraclass Correlation Coefficient, ICC)

步骤:
a) 选取样本
b) 多个评分者独立评分
c) 计算评分者间的一致性系数

评估标准因具体使用的系数而异,通常0.7以上被认为是可接受的。

三、SPSS实操

1.内部一致性信度(Cronbach’s α)

a) 打开SPSS,导入 ‘reliability_test_data.csv’ 文件。

b) 选择菜单:分析 -> 刻度 -> 可靠性分析。

c) 将Item_1到Item_10移到"项"框中。

d) 在"统计"按钮中,选择"项的标度"和"删除项后的标度"。

e) 点击"确定"运行分析,,得到Cronbach’s α系数值。

查看Cronbach’s α系数。通常0.7以上被认为是可接受的,0.8以上是良好的,0.9以上是优秀的。

2.重测信度

a) 选择菜单:分析 -> 相关 -> 双变量。

b) 将Item_1到Item_10和相应的Retest_Item_1到Retest_Item_10放入"变量"框。

c) 选择"Pearson"相关系数,确保进行双侧检验并标记显著性相关。

d) 点击"确定"运行分析。

查看每个项目的原始测试和重测之间的相关系数。通常0.7以上被认为是可接受的,越接近1越好。

3.分半信度:

a) 选择菜单:分析 -> 量表 -> 可靠性分析。

b) 将Item_1到Item_10移到"项"框中。

c) 点击"统计量"按钮,选中"尺度"下的"相关"和"分半"选项。

d) 点击"确定"运行分析。

查看Spearman-Brown系数。解释标准与重测信度相似。

4.组内相关系数(ICC,用于评分者间信度模拟):

  1. 点击菜单栏的"分析" > “刻度” > “可靠性分析”。
  2. 点击"模型"按钮:
    • 选择"双向随机"(如果评分者是随机选择的)或"双向混合"(如果评分者是固定的)。
    • 选择"一致性"或"绝对一致"定义。通常选择"一致性"。
  3. 点击"统计量"按钮:
    • 选择置信区间水平(通常为95%)。
  4. 点击"继续"返回主对话框,然后点击"确定"运行分析。
  5. 结果输出: SPSS将生成一个包含ICC值、置信区间和F检验结果的输出表。

解释结果:

  • ICC值范围从0到1,越接近1表示评分者间一致性越高。
  • 通常认为ICC > 0.75表示良好到优秀的一致性,0.60-0.74为中等,< 0.60为差。
  • 查看置信区间和F检验的p值来评估结果的统计显著性。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2191982.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

成为AI产品经理,应该具备哪些条件?

开篇勘误标题&#xff1a;未来不会有AI产品经理这个岗位&#xff0c;就像没有移动产品经理一样。 如果你是个产品经理&#xff0c;但是不懂移动端的产品交互和设计&#xff0c;那你就只能在自己的头衔前面加上一个“PC”&#xff1a;PC产品经理&#xff0c;代表你的细分或者不…

在线Html到Markdown转换器

具体请前往&#xff1a;在线Html转Markdown

6个最受欢迎的大模型本地运行工具

运行大型语言模型 (LLM)&#xff08;如 ChatGPT 和 Claude&#xff09;通常涉及将数据发送到 OpenAI 和其他 AI 模型提供商管理的服务器。虽然这些服务是安全的&#xff0c;但一些企业更愿意将数据完全离线&#xff0c;以保护更大的隐私。 本文介绍了开发人员可以用来在本地运…

Java 枚举一口气讲完!(´▽`ʃ♡ƪ)

Java 枚举类型 Java面向对象设计 - Java枚举类型 什么是枚举类型&#xff1f; 枚举类型创建常量的有序列表作为类型。它以特定顺序指定常量。 在枚举类型中定义的常量是该枚举类型的实例。 语法 使用关键字enum使用以下语法定义枚举类型&#xff1a; <access-modifie…

Vue基础指令用法

vue2&#xff0c;官网&#xff1a;介绍 — Vue.js (vuejs.org) 例子&#xff1a; <!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><meta name"viewport" content"widthdevice-width, initial-s…

【SpringBoot】基础+JSR303数据校验

目录 一、Spring Boot概要 1. SpringBoot介绍 2. SpringBoot优点 3. SpringBoot缺点 4. 时代背景-微服务 二、Spring Boot 核心配置 1. Spring Boot配置文件分类 1.1 application.properties 1.2 application.yml 1.3 小结 2. YAML概述 3. YAML基础语法 3.1 注意事…

生信初学者教程(二十六):特征和免疫浸润的关联分析

文章目录 介绍加载R包导入数据函数重要特征与免疫细胞的相关热图SLC6A8关联图SLC6A8与特定免疫细胞SLC6A8与其他免疫细胞输出结果总结介绍 在成功获取核心特征集之后,我们计划深入地探究这些特征与免疫浸润细胞之间的关联性,这是因为免疫浸润细胞在癌症的进程中扮演着至关重要…

成都睿明智科技有限公司抖音电商新蓝海的领航者

在当今这个数字化浪潮汹涌的时代&#xff0c;电商行业正以惊人的速度迭代升级&#xff0c;而抖音电商作为新兴势力&#xff0c;更是凭借其庞大的用户基数、精准的算法推荐和高度互动的社区氛围&#xff0c;成为了众多商家竞相追逐的蓝海市场。在这片充满机遇与挑战的海洋中&…

关于Excel将列号由字母改为数字

将Excel的列表由字母改为数字 步骤&#xff1a; 文件-选项-公式-勾选“使用公式”中的“R1C1引用样式(R)”-确定即可 部分步骤图示 设置前的样子 设置后的样子 虽然现在还不清楚在xlwings操作Excel时有什么作用&#xff0c;先留着吧。

内网靶场 | 渗透攻击红队内网域渗透靶场-1(Metasploit)零基础入门到精通,收藏这一篇就够了

“ 和昨天的文章同一套靶场&#xff0c;这次主要使用的是Kali Linux以及Metasploit来打靶场&#xff0c;熟悉一下MSF在内网渗透中的使用&#xff0c;仅供学习参考&#xff0c;大佬勿喷。本期文章靶场来自公众号&#xff1a;渗透攻击红队。” 靶场下载地址&#xff1a;https://…

SpringBoot框架在在线教育系统中的应用

3系统分析 3.1可行性分析 通过对本微服务在线教育系统实行的目的初步调查和分析&#xff0c;提出可行性方案并对其一一进行论证。我们在这里主要从技术可行性、经济可行性、操作可行性等方面进行分析。 3.1.1技术可行性 本微服务在线教育系统采用SSM框架&#xff0c;JAVA作为开…

微调大语言模型——超详细步骤

微调一个语言模型&#xff0c;其实就是在一个已经训练过的模型上&#xff0c;继续用新数据进行训练&#xff0c;帮助模型更好地理解和处理这个新的任务。可以把这个过程想象成教一个已经懂很多道理的人去解决新的问题。 这个过程可以分为五个简单的步骤&#xff1a; 加载预训练…

【目标检测】桥梁表面缺陷检测数据集6710张7类缺陷VOC+YOLO格式

数据集格式&#xff1a;Pascal VOC格式YOLO格式(不包含分割路径的txt文件&#xff0c;仅仅包含jpg图片以及对应的VOC格式xml文件和yolo格式txt文件) 图片数量(jpg文件个数)&#xff1a;6718 标注数量(xml文件个数)&#xff1a;6718 标注数量(txt文件个数)&#xff1a;6718 标注…

车载测试分享:CANoe工具使用、真实项目实操、UDS诊断测试、ECU刷写测试、物理层测试、数据链路层测试、应用层测试、HIL测试等

FOTA模块中OTA的知识点&#xff1a;1.测试过程中发现哪几类问题&#xff1f; 可能就是一个单键的ecu&#xff0c;比如升了一个门的ecu&#xff0c;他的升了之后就关不上&#xff0c;还有就是升级组合ecu的时候&#xff0c;c屏上不显示进度条。 2.在做ota测试的过程中&#xff…

知识链=知识图谱+大模型+推理-幻觉

最近由华东师大和香港大学联合提出了一种面向大语言模型推理的幻觉缓解方法Chain-of-Knowledge被ACL2024接收为长文主会。 PDF: https://arxiv.org/pdf/2306.06427 最近这两年&#xff0c;诸如GPT-4、LLaMA3等一系列超百亿规模的大语言模型相继提出&#xff0c;这些大模型以其…

AI少女/HS2甜心选择2 仿逆水寒人物卡全合集打包

内含AI少女/甜心选择2 仿逆水寒角色卡全合集打包共6张 内含&#xff1a;白灵雪魅落霞飞雁君临华歌白君临华歌黑平野星罗晚香幽韵 下载地址&#xff1a; https://www.51888w.com/436.html 部分演示图&#xff1a;

P10185 [YDOI R1] Necklace

[YDOI R1] Necklace - 洛谷 因为是方案数求和 我们考虑计算每种珠子单独贡献的方案数有 因为有二项式定理 构造 因为n不取0&#xff0c;便有 时间复杂度 modint qmi code #include <bits/stdc.h>#define INF (1ll<<60) #define eps 1e-6 using namespace std; …

Hive数仓操作(十七)

一、Hive的存储 一、Hive 四种存储格式 在 Hive 中&#xff0c;支持四种主要的数据存储格式&#xff0c;每种格式有其特点和适用场景&#xff0c;不过一般只会使用Text 和 ORC &#xff1a; 1. Text 说明&#xff1a;Hive 的默认存储格式。存储方式&#xff1a;行存储。优点…

Leetcode—763. 划分字母区间【中等】

2024每日刷题&#xff08;175&#xff09; Leetcode—763. 划分字母区间 C实现代码 class Solution { public:vector<int> partitionLabels(string s) {int rightmost[26];int l 0;int r 0;for(int i 0; i < s.length(); i) {rightmost[s[i] - a] i;}vector<…

强化学习笔记之【DDPG算法】

强化学习笔记之【DDPG算法】 文章目录 强化学习笔记之【DDPG算法】前言&#xff1a;原论文伪代码DDPG算法DDPG 中的四个网络代码核心更新公式 前言&#xff1a; 本文为强化学习笔记第二篇&#xff0c;第一篇讲的是Q-learning和DQN 就是因为DDPG引入了Actor-Critic模型&#x…