摘要：

医学本质上是多模式的，具有丰富的数据模式，包括文本、成像、基因组学等。灵活编码、集成和大规模解释这些数据的通才生物医学人工智能(AI)系统可以潜在地实现从科学发现到医疗服务等有影响力的应用。为了使这些模型的发展，我们首先策划了MultiMedBench，这是一个新的多模式生物医学基准。MultiMedBench包含14个不同的任务，如医学问题回答，乳房x线摄影和皮肤病学图像解释，放射学报告生成和总结，以及基因组变体调用。然后我们介绍Med-PaLM Multimodal (Med-PaLM M)，这是我们对通用生物医学人工智能系统的概念验证。Med-PaLM M是一个大型多模态生成模型，可以灵活地编码和解释生物医学数据，包括临床语言、成像和基因组学，具有相同的模型权重集。Med-PaLM M在所有MultiMedBench任务上达到了与最先进的性能竞争或超过最先进的性能，通常远远超过专业模型。我们还报告了零概率泛化到新的医学概念和任务、跨任务的正迁移学习和紧急零概率医学推理的例子。为了进一步探索Med-PaLM的能力和局限性，我们对模型生成(和人类)胸部x射线报告进行了放射科医生评估，并观察到在模型尺度上令人鼓舞的表现。在246张回顾性胸部x光片的并列排名中，临床医生在高达40.50%的病例中对Med-PaLM M报告的偏好超过放射科医生的报告，这表明了潜在的临床实用性。虽然在实际用例中验证这些模型还需要大量的工作，但我们的研究结果代表了多面手生物医学人工智能系统发展的一个里程碑。

贡献点：

1.我们推出MultiMedBench，这是一个新的多模式生物医学基准，跨越多种模式，包括医学成像、临床文本和基因组学，具有14种不同的任务，用于培训和评估通才生物医学人工智能系统。

2.Med-PaLM M是一个多任务、多模式的生物医学人工智能系统，可以使用相同的模型权重集进行医学图像分类、医学问题回答、视觉问题回答、放射学报告生成和汇总、基因组变体调用等。Med-PaLM M在MultiMedBench的多个任务上达到与最先进的(SOTA)专业模型竞争或超过最先进的性能，而无需任何特定于任务的定制。

3.除了任务绩效的定量评估之外，我们还观察到zero-shot医学推理，对新医学概念和任务的概括以及任务间的正迁移的证据。这些实验表明，这种系统在下游数据稀缺的生物医学应用中具有很大的潜力。

4.除了自动化指标外，我们还对Med-PaLM M在不同模型尺度上生成的胸部x射线报告进行放射科医生评估。在246张回顾性胸部x光片的盲法并列排名中，临床医生表示，在高达40.50%的病例中，对Med-PaLM M报告的偏好超过放射科医生的报告。此外，最好的Med-PaLM M模型平均每份报告有0.25个临床显著错误。这些结果与先前研究的人类基线相当，提示潜在的临床应用。

MultiMedBench:通用生物医学AI的基准

MultiMedBench是一个多任务、多模式的基准测试，包括12个去识别的开源数据集和14个单独的任务。它衡量了通用生物医学人工智能执行各种临床相关任务的能力。该基准涵盖了广泛的数据源，包括医学问题、放射学报告、病理学、皮肤病学、胸部x射线、乳房x光检查和基因组学。

任务类型:问题回答、报告生成和总结、视觉问题回答、医学图像分类和基因组变体调用。

模式:文本，放射学(CT, MRI和x射线)，病理学，皮肤科，乳房x光检查和基因组学。

输出格式:所有任务的开放式生成，包括分类。

MultiMedBench包括5种任务类型的14个独立任务和跨越7种生物医学数据模式的12个数据集。该基准总共包含超过100万个样本。纯语言任务包括医学问题回答，包括Singhal等人中使用的三个MultiMedQA任务，以及放射学报告总结。他们被挑选出来评估模型理解、回忆和操纵医学知识的能力。多模态任务包括医学视觉问题回答(VQA)、医学图像分类、胸部x光报告生成和基因组变体调用，这些任务非常适合评估这些模型的视觉理解和多模态推理能力。表1概述了MultiMedBench中的数据集和任务——基准测试总共包含超过100万个样本。有关各个数据集和任务的详细描述，请参见章节A.1。如下图。

Med-PaLM M:通用生物医学人工智能的概念验证

 Med-PaLM M有以下结构构成：注意，Med-PaLM M不仅继承了这些预训练模型的体系结构，还继承了编码在模型参数中的一般领域知识。