德尔菲专家法Delphi是一种结构化的预测和决策方法,主要用于收集和综合专家意见,进而做出相应决策的研究方法。比如在我们建立指标体系时,首先选择20个备选指标,然后寻找10位专家进行评价(评价该20个指标是否具有可行),那么此时就可使用Delphi专家法进行研究。Delphi法广泛用于各个行业,涉及专家打分数据均可对其进行分析,分析上首先保证专家打分数据的一致性,在此前提下时进一步分析各具体指标的各类指标,最终得出判断和决策。
德尔菲专家法Delphi
1 背景
当前有一项医疗卫生决策的指标适用性判断,共有6个指标,并且寻找到5位该领域的专家打分,专家打分使用1~5分标度法,1分认为该指标完全不适合,5分认为该指标很适合,最终整理出专家打分数据如下:
表格中数据展示打分数据,共有5个专家,因而共有5行数据,一共6个指标共6列数据。表格中的数字1表示专家认为该指标最不适合,比如指标1时专家3打分仅为1分。当然5分代表专家最为认可该指标,通常情况下希望分值越高越好。
2 理论
德尔菲专家法Delphi时包括以下几个计算步骤,分别如下:
- 确定好研究的指标;
- 确定好使用的标度,比如使用1~9分法,1分表示最差,9分表示最差;
- 寻找多个专家(通常是6~20个专家)对指标情况进行打分;
- 收集整理好数据进行Delphi法分析,包括专家打分一致性Kendall检验及其它分析等。
3 操作
本例子SPSSAU操作如下:
将打分数据粘贴(或编辑)到表格中,1行为1个专家,1列为1个指标,然后点击开始分析即可。
4 SPSSAU输出结果
SPSSAU共输出4个表格和1个箱线图,如下说明。
表格 | 说明 |
---|---|
肯德尔和谐系数Kendall W检验 | 对专家打分数据进行Kendall W检验,分析专家打分一致性情况 |
评价指标筛选界值 | 展示评价指标筛选界值,即某项评价指标是否应该保留的判断数字 |
专家意见集中程度及筛选判断 | 展示专家意见集中程度,并且结合界值分析指标是否应该保留 |
专家意见集中程度-指标 | 分析专家打分数据的集中程度 |
箱线图 | 可视化查看专家打分箱线图,分析专家打分一致性情况等 |
5文字分析
上表格展示当前5个专家针对6项指标的打分一致性情况。从上表格可以看到,首先上表格显示并没有通过Kendall W检验(p = 0.566 > 0.05),即意味着5个专家打分并没有统计意义上的一致性,而且Kendall协调系数仅为0.155,也说明一致性程度较低。整体上看,本数据的专家打分一致性较差。但出于案例需要因而接着往下查看。
在实际分析中,由于专家数量较少且评价指标不多(类似当前数据),那么可能出现数据稍微波动则没有通过一致性检验的情况,需要研究者提前关注。
上表格共展示3个指标,算术平均值指所有专家全部打分数据的平均值,变异系数CV值指所有专家全部打分数据的变异情况,满分频率指专家打满分的比率平均值,比如指标1为60%指标2为80%,那么满分频率为70%。
界值公式和判断上,其以算术平均值、变异系数CV值及满分频率这3个指标作为基础,并且通过该3个指标的平均值和标准差进行相加减计算界值。本案例数据时,专家打分的算术平均值是4.333,标准差是1.155,那么平均值减去标准差为3.179,即‘平均值’对应的界值为3.179。如果某个指标的平均值小于3.179,即意味着该指标不看好则有问题。对应的‘变异系数’的界值为0.411,如果大于该值意味着某指标波动较大则有问题。满分频率对应的‘变异系数’的界值为43.699%,如果小于该值则意味着某指标得满分的概率低则有问题。
下表格展示具体指标的信息,包括平均值、标准差、变异系数和满分频率,并且结合界值进行判断,判断指标是否有问题。
从上表格可以看到:比如指标1,其平均值为4.2>3.179这个界值,意味着指标1整体被专家认可并没有问题,其余5个指标均类似。但从变异系数指标来看(变异系数=平均值/标准差,其表示数据的波动情况),指标1的变异系数为0.426>0.411这个界值,因而指标1是有问题的,类似还有指标2。接着针对满分频率进行判断,发现指标2和指标3均有问题。
分别从平均值、变异系数和满分频率3个角度进行适用性判断后,最终进行综合判断。综合判断是指“如果3个指标均有问题则该指标应该删除,如果全部通过则保留,如果有1/2个有问题则应该综合取舍。”。比如指标1、指标2和指标3,该3个指标均有出现部分问题,因而应该综合实际情况进行取舍。但是指标4、指标5和指标6这3个,在平均值、变异系数和满分频率这3项上均正常,因而应该进行保留。
上表格展示专家打分析的集中性程度指标,包括25%、50%和75%分位数,并且展示其等级和,等级和是指专家对某指标的所有打分求和值。上表格通常是在专家打分意见不统一(一致性较差时)进行分析,本案例数据分析时Kendall W检验不通过,但单独从上面的数据来看却看不出什么问题,这主要由于本案例数据的专家数量较少且指标数据较少所致,研究者需要提前关注此问题。
6 剖析
涉及以下几个关键点,分别如下:
- 通常情况下专家数量介于6~20个之前,一般是越多越好。
- Delphi法的计算公式等可参考文献:徐志晶,夏海鸥.德尔菲法在护理研究中的应用现状[J].护理学杂志:外科版, 2008, 23(3):3.DOI:10.3760/cma.j.issn.1674-2907.2012.22.001.
7 疑难解惑
- Delphi法分析时没有通过Kendall W检验?
如果没有通过Kendall W检验,可能意味着专家对某指标的看法态度并不完全相同,此时需要考虑是否对该指标进行删除等,通常需要结合界值等信息进一步分析一致性情况。与此同时,Kendall W检验是使用统计检验方式计算,如果专家数量过少或指标个数过少等,其对数据一致性要求明显更高,轻微的不一致均会带来不通过的情况,此情况需要研究者提前知晓和关注。