学习干货IF=93.6！开发临床预测模型：分步指南

news2024/10/9 18:35:32

预测患者未来结果对临床实践至关重要，有助于医生做出明智决策。尽管每年发布大量预测模型，但许多研究存在方法学局限，如样本量不足和模型验证不充分，这削弱了模型的实际应用价值。因此，必须深入探讨并改进这些局限性，以提升模型的实用性和可靠性。

没有病例资源，也没有经费支持，小医生该怎么发表论文啊？

别急，教程这不就来了吗

2024年9月3日，The BMJ又发布了论文《Developing clinical prediction models: a step-by-step guide》（《开发临床预测模型：分步指南》）。

本文提供了一份分步指南，旨在帮助研究人员开发和评估临床预测模型。该指南涵盖了定义目标和用户、选择数据源、处理缺失数据、探索替代建模选项以及评估模型性能的最佳实践。通过复发缓解型多发性硬化症的实例，具体展示了这些步骤，同时附有全面的 R 代码供参考。

题目：Developing clinical prediction models: a step-by-step guide

杂志：The BMJ

影响因子：IF=93.6

中科院分区：医学一区

发表时间：2024年9月

一、术语表

术语表表1总结了所使用的基本概念和术语，便于读者快速理解关键内容。

二、临床预测模型的13个步骤

每年发布的许多预测模型常常存在方法上的缺陷，限制了其内部有效性和适用性。为此，制定了13步指南，帮助医疗保健专业人员和研究人员开发和验证预测模型，避免常见陷阱。

Step 01：确定目标、组建团队、查看文献、开始编写方案

Step 02：选择开发新模型或更新现有模型

Step 03：定义结果衡量标准

Step 04：确定候选预测因子并指定测量方法

候选预测变量

我们应根据文献综述和专家知识确定潜在的预测因子（第1步）。这些因子应使用既定的、可靠的方法进行客观定义和衡量，同时理解支持预测因子与结果关联的生物途径是关键。应优先纳入已证实或怀疑与结果有因果关系的预测因子，以提高模型的泛化性。但不应先验排除与结果没有因果关系的潜在预测因子，因为它们可能仍对模型性能有帮助。我们必须仅包括基线预测因子，即在做出预测时可获得的信息。对连续预测变量进行二分法或分类会减少信息并削弱统计能力，应避免。此外，不应仅根据相关模型性能选择连续结果的类别，而是应在测试多个分类阈值后做出决策。

考虑预测模型的用户

考虑模型的预期用途（在第1步中定义）和数据的可用性至关重要。应明确哪些变量在临床实践中常规测量，哪些在数据库中可用，以及与其测量相关的成本和实际问题，例如侵入性程度。比如，退伍军人老龄化队列研究指数（VACS指数2.0）预测HIV感染者的全因死亡率，但某些预测因子如肝纤维化指数（FIB-4）在许多HIV高发地区的常规实践中不可用。同样，对多发性硬化症预后模型的系统评价发现，75个模型中有44个（59%）包含不太可能在初级保健或标准医院环境中测量的预测因子。

Step 05：收集并检查数据

Step 06：考虑样本大小

简单模型或基于无关协变量的模型在开发数据和新数据中表现不佳，称为欠拟合。相反，过多预测因子的模型在小型数据集中虽表现良好，却无法准确预测新数据。过拟合比欠拟合更常见，因为数据集通常较小，研究者倾向于追求最佳性能。因此，确保数据量足够以开发稳健模型至关重要。

Step 07：处理缺失数据

如步骤5所述，删除具有大量缺失值的预测变量或结果后，我们仍需处理保留数据中的缺失值。仅依靠完整个案（即所有变量数据齐全的参与者）进行模型开发可能会显著减少样本量。为减少在模型开发和评估过程中有价值信息的损失，研究人员应考虑对缺失数据进行插补。

Step 08：拟合预测模型

①注意偏差-方差权衡

②欠拟合与过拟合

Step 09：评估预测模型的性能

①区分度、校准度，不同类型结果预测模型应选择不同的性能测量指标。

②内部验证、内部-外部验证、外部验证（作者呼吁外部验证研究应该与模型开发分开，最好是不同研究人员来做）

Step 10：确定最终模型

在性能接近的模型中选择更简单的模型（奥卡姆剃刀原理，一个有名的机器学习模型选择依据）

例如，当逻辑回归模型的性能与用于区分年轻人1型和2型糖尿病的优化机器学习模型相似时，我们更倾向于选择逻辑回归，因为它更简单、更易于沟通和使用。

Step 11：执行决策曲线分析

Step 12：评估单个预测变量的预测能力

在预测建模中，关键不在于评估单个预测因子的影响，而是优化整体模型的预测性能。尽管识别重要预测因子仍有价值，特别是在评估新生物标志物或可修改因子时，研究人员可选择评估预测变量的预测能力。通过查看广义线性回归模型的估计系数，可以简单评估不同预测因子的影响，但在假设不满足（如共线性）时，这些估计可能不可靠。另一种方法是比较包含和不包含某预测变量的模型，以观察性能变化。更高级的方法如排列重要性和SHAP算法可以提供进一步分析。无论采用何种方法，谨慎解读结果至关重要，因为数据中的关联不一定反映因果关系，需进行深入的因果推理分析以确认因果关联。