编译 | 李汭璨

审稿 | 王建民

今天为大家介绍的是来自Eric J. Topol和 Pranav Rajpurkar研究团队的一篇医学人工智能的综述论文。高度灵活、可重复使用的人工智能模型的极快发展可能会为医学带来新的能力。作者提出了医学人工智能的新范式，称为通用医学人工智能（GMAI）。GMAI模型将能够使用非常少量或没有特定任务的标记数据执行各种任务。通过在大型、多样化的数据集上进行自我监督构建，GMAI将灵活地解释不同的医学模态组合，包括来自成像、电子健康记录、实验室结果、基因组学、图表或医学文本的数据。模型将进一步产生表达能力强的输出，例如自由文本解释、口头建议或图像注释，展示高级医学推理能力。文章确定了一组GMAI的高影响潜在应用，并阐述了实现它们所需的特定技术能力和培训数据集。我们预计，GMAI启用的应用将挑战目前医学AI设备的监管和验证策略，并转变与收集大型医学数据集相关的实践。

基础模型——最新一代的人工智能模型——是在大规模、多样化的数据集上进行训练，并可应用于众多下游任务。现在，单个模型在各种问题上均可达到最先进的性能。这种多功能性代表了人工智能模型较上一代模型（为解决特定任务而设计的模型）已经有了明显变化。尽管已经有部分工作致力于开发医学基础模型，但由于访问大规模、多样化的医学数据集的困难、医学领域的复杂性以及这种发展的新近性，这种转变还没有广泛渗透到医学人工智能领域。相反，医学人工智能模型在很大程度上仍然采用针对特定任务的模型开发方法。例如，胸部X线解释模型可以在一个数据集上进行训练，该数据集中每个图像都被明确标记为肺炎的阳性或阴性，可能需要大量的注释工作。这个模型只能检测肺炎，不能完成编写全面放射学报告的完整诊断过程。这种狭隘的、针对特定任务的方法会产生僵化的模型，仅限于执行训练数据集和其标签预定义的任务。在超过500个获得美国食品药品监督管理局批准的临床医学人工智能模型中，大多数仅获得了1或2个任务的批准。

作者概述基础模型研究中的最新进展是如何打破这种针对特定任务的范式。模型这些进展包括：多模态架构，和自监督学习技术，以及模型的上下文学习能力的出现。这些进展将使得开发GMAI成为可能，这意味着它们将广泛应用于医学应用程序，很大程度上将取代针对特定任务的模型。

作者确定了三个将GMAI模型与传统医学AI模型区分开来（上图所示）的关键能力：1. 将GMAI模型适应于新任务将像用普通英语（或其他语言）描述任务一样简单。通过简单地将新任务解释给模型，使其解决以前未见过的问题，而无需重新训练。2. GMAI模型可以使用各种数据模态接受输入和产生输出（例如，可以接受图像、文本、实验室结果或任何组合）。这种灵活的交互方式与更为严格的多模式模型形成对比，后者总是将预定义的模态集合作为输入和输出（例如，必须始终同时输入图像、文本和实验室结果）。3. GMAI模型将正式理解医学知识，使它们能够推理出以前未见过的任务，并使用医学准确的语言解释它们的输出。

医学AI中通用模型的潜力

更灵活的交互：GMAI提供了通过自定义查询与模型进行交互的能力，使得不同受众更容易理解AI模型的输出，并在不同任务和环境中提供前所未有的灵活性。在当前实践中，AI模型通常处理单一任务，并产生预先确定的输出。例如，当前的模型可能会检测某种特定疾病，输入一种图像，并始终输出该疾病的可能性。相比之下，自定义查询允许用户提出多样的问题，比如：“解释这张头部MRI扫描中出现的肿块。它更有可能是肿瘤还是脓肿？”此外，查询还可以让用户自定义输出的格式：“这是一位患有胶质母细胞瘤患者的后续MRI扫描。用红色标出任何肿瘤” 通过自定义查询，用户可以在问题中包含复杂的医学信息，自由混合各种数据类型。例如，临床医生在询问诊断时可能会在其问题中包含多个图像和实验室结果。GMAI模型也可以灵活地将不同的模态组合到回答中，例如当用户要求同时提供文本答案和相应的可视化时。

医学领域知识：与临床医生截然不同的是，传统的医学AI模型在接受特定任务训练之前通常缺乏医学领域的相关知识，它们必须仅依赖于输入数据特征与预测目标之间的统计关联来推导数据关系。这种缺乏背景使得训练针对特定医学任务的模型变得更加困难，特别是当这些任务的数据很少时。GMAI模型可以通过大量医学知识来解决这个缺点。例如，知识图谱等结构可以让模型推理医学概念和它们之间的关系。此外，检索式方法使得GMAI可以从现有数据库中检索相关上下文，获取文章、图像或病例等形式的相关信息。

GMAI的应用案例：作者针对不同的用户群体和领域提出了六个潜在的GMAI使用案例，案例具体内容如下：

1. 通过GMAI实现一种新型多功能数字放射学助手，支持放射科医生在整个工作流程中的工作。GMAI模型可以自动起草放射学报告，描述异常和相关的正常发现，同时考虑患者的病史。这些模型可以通过将文本报告与交互式可视化配对来为临床医生提供进一步的帮助，放射科医生也可以通过与GMAI模型聊天来提高他们对病例的理解。

2.手术GMAI模型可以协助手术团队进行手术：“我们找不到肠破裂的位置。检查一下我们是否错过了过去15分钟内任何肠段的视觉呈现”。GMAI模型可以执行可视化任务，潜在地实时注释手术过程的视频流。它们也可以以口头形式提供信息，例如在手术医生遇到罕见解剖现象时引发警报或朗读相关文献。

3. GMAI可以提供一类新的床边临床决策支持工具，扩展了现有的基于人工智能的早期预警系统，提供更详细的解释和未来治疗建议。例如，床边决策支持的GMAI模型可以利用临床知识，并提供自由文本解释和数据摘要：“警告：该患者即将休克。过去15分钟内，她的循环已不稳定 <链接到数据摘要>。推荐下一步操作：<链接到清单>”。

4.文档编写是临床工作流程中不可或缺但劳动密集的部分。通过监控电子病人信息以及医护人员和病人的交谈，GMAI模型可以预先起草诸如电子笔记和出院报告等文档，供医护人员仅需审核、编辑和批准。因此，GMAI可以大大减少行政开销，让医护人员有更多时间与病人交流。

5. 与患者交流的聊天机器人。GMAI有潜力在临床环境之外也能为患者提供高质量的护理。例如，GMAI可以使用多种模态建立患者的全面情况，从未结构化的症状描述到连续葡萄糖监测读数到患者提供的药物日志。在解释这些异构数据类型之后，GMAI模型可以与患者互动，提供详细的建议和解释。重要的是，GMAI实现了可访问的沟通，提供关于患者计划的清晰、可读或可听的信息。

6. GMAI 可以从文本提示中生成蛋白质氨基酸序列及其三维结构。受到已有蛋白质序列生成模型的启发，这样的模型可以基于期望的功能属性来生成蛋白质序列。与此同时，基于 GMAI 的生物医学知识，可以构建与现有文本生成图像模型一样灵活且易于使用的蛋白质设计界面。此外，通过解锁上下文学习能力，基于 GMAI 的文本生成蛋白质模型可以通过几个示例指令和序列来动态定义新的生成任务，例如生成能够在满足其他限制条件的情况下与指定靶标高亲和结合的蛋白质。

GMAI的机遇和挑战

医疗实践的范式转变：GMAI的有良好的可控制性。GMAI允许用户精细控制其输出的格式，使复杂的医疗信息更易于访问和理解。例如，将会有GMAI模型能够在请求时重新表述自然语言回答。同样，GMAI提供的可视化可以进行精细的定制，例如通过改变视角或使用文本标注重要特征。模型还可以根据需要调整其输出的领域特定细节级别，或将其翻译成多种语言，有效地与各种用户沟通。最后，GMAI的灵活性使其能够适应特定地区或医院，遵循当地的习惯和政策。GMAI相比于上一代的模型，有更好的可适应性。现有的医学AI模型难以应对由于技术、程序、设置或人口变化引起的数据分布转移。然而，GMAI可以通过在上下文中学习来跟上变化的步伐。除此之外，GMAI的转变将推动广泛能力的大规模医学AI模型的开发和发布，这些模型将成为各种下游临床应用的基础。许多应用程序将直接与GMAI模型本身进行接口，直接使用其最终输出。

GMAI带来的挑战：GMAI在实际应用过程中同样存在诸多问题。1. 由于其前所未有的多功能性，GMAI模型将难以进行验证。目前，AI模型是为特定任务而设计的，因此只需要为那些预定义的用例进行验证。然而，GMAI模型可以第一次由终端用户提出执行以前未见过的任务，因此要预测所有失败模式是明显更具挑战性的。2. 除此之外，在实际应用过程中，因为GMAI模型可以处理异常复杂的输入和输出，这使临床医生更难确定它们的正确性。3. 医疗人工智能模型可能会保持偏见，对边缘化人群造成伤害。在训练过程中，数据集中可能缺乏某些患者群体或包含有害相关性，从而导致模型产生偏见。当开发GMAI时，这些风险可能更加明显。GMAI模型的开发和使用对患者隐私构成了严重的风险。4. GMAI模型可能访问丰富的患者特征，包括临床测量和信号、分子标记和人口统计信息以及行为和感官跟踪数据。此外，GMAI模型可能使用大型架构，但较大的模型更容易记忆训练数据，并直接将其重复给用户。因此，GMAI模型可能会在训练数据集中公开敏感患者数据，通过去识别化和限制为个别患者收集的信息，可以减少数据暴露造成的损害。5. 基础模型尺寸显著增加，推高了与数据收集和模型训练相关的成本，开发这样大的模型会带来巨大的环境成本。据估计，每个大规模基础模型会产生多达数百吨的二氧化碳当量。

结论

文章介绍了GMAI模型的概念和其在医疗保健中的应用。GMAI模型能够处理多种数据模态，并具有在执行任务时学习新内容的能力和利用领域知识的能力，这为医疗保健任务提供了无限的机会。GMAI的灵活性使得模型能够适应新的环境和应对新兴疾病和技术的变化，而无需经常重新训练。此外，GMAI应用程序将部署在传统的临床环境和远程设备上。但是，GMAI模型也存在独特的挑战，包括验证模型的准确性、收集和保护大规模的训练数据以及应对计算成本。作者敦促AI社区和临床利益相关者在早期就仔细考虑这些挑战，以确保GMAI在医疗保健领域持续为临床医生和患者提供价值。最终，GMAI为医疗保健带来了前所未有的可能性，支持医生完成各种重要任务，克服沟通障碍，使高质量的医疗保健更广泛地可及，并减轻医生的行政负担，使他们有更多时间与患者交流。

参考资料

Moor, M., Banerjee, O., Abad, Z.S.H. et al. Foundation models for generalist medical artificial intelligence. Nature 616, 259–265 (2023). 

https://doi.org/10.1038/s41586-023-05881-4