开源医疗大模型排行榜: 健康领域大模型基准测试

news2025/1/12 5:59:14

开源医疗大模型排行榜: 健康领域大模型基准测试

文章目录

  • 开源医疗大模型排行榜: 健康领域大模型基准测试
    • 一、引言
    • 二、数据集、任务和评估设置
      • 1、MedQA
      • 2、MedMCQA
      • 3、PubMedQA
      • 4、MMLU 子集 (医学和生物学)
    • 三、洞察与分析
    • 四、提交你的模型以供评估
    • 五、下一步是什么？扩展开源医疗大模型排行榜
    • 六、致谢
    • 七、关于开放生命科学 AI
    • 八、引用

本文转载自： https://huggingface.co/blog/zh/leaderboard-medicalllm
英文版：https://huggingface.co/blog/leaderboard-medicalllm

一、引言

在这里插入图片描述

多年来，大型语言模型 (LLMs) 已经发展成为一项具有巨大潜力，能够彻底改变医疗行业各个方面的开创性技术。
这些模型，如 GPT-3，GPT-4 和 Med-PaLM 2，在理解和生成类人文本方面表现出了卓越的能力，使它们成为处理复杂医疗任务和改善病人护理的宝贵工具。
它们在多种医疗应用中显示出巨大的前景，如医疗问答 (QA) 、对话系统和文本生成。
此外，随着电子健康记录 (EHRs) 、医学文献和病人生成数据的指数级增长，LLMs 可以帮助医疗专业人员提取宝贵见解并做出明智的决策。

然而，尽管大型语言模型 (LLMs) 在医疗领域具有巨大的潜力，但仍存在一些重要且具体的挑战需要解决。

当模型用于娱乐对话方面时，错误的影响很小; 然而，在医疗领域使用时，情况并非如此，错误的解释和答案可能会对病人的护理和结果产生严重后果。
语言模型提供的信息的准确性和可靠性可能是生死攸关的问题，因为它可能影响医疗决策、诊断和治疗计划。

例如，当有人问 GPT-3 关于孕妇可以用什么药的问题时，GPT-3 错误地建议使用四环素，尽管它也正确地说明了四环素对胎儿有害，孕妇不应该用。
如果真按照这个错误的建议去给孕妇用药，可能会害得孩子将来骨头长不好。

在这里插入图片描述

要想在医疗领域用好这种大型语言模型，就得根据医疗行业的特点来设计和基准测试这些模型。因为医疗数据和应用有其特殊的地方，得考虑到这些。
而且，开发方法来评估这些用于医疗的模型不只是为了研究，而是因为它们在现实医疗工作中用错了可能会带来风险，所以这事儿实际上很重要。

open_medical_llm_leaderboard : https://huggingface.co/spaces/openlifescienceai/open_medical_llm_leaderboard

构建于 Gradio.托管在 huggingface spaces

开源医疗大模型排行榜旨在通过提供一个 标准化的平台，来评估和比较各种大型语言模型 在多种 医疗任务 和数据集上的性能，以此来解决这些挑战和限制。
通过提供对每个模型的医疗知识和问答能力的全面评估，该排行榜促进了更有效、更可靠的医疗大模型的发展。

这个平台使研究人员和从业者能够识别不同方法的优势和不足，推动该领域的进一步发展，并最终有助于改善患者的治疗结果。

二、数据集、任务和评估设置

医疗大模型排行榜包含多种任务，并使用准确度作为其主要评估指标 (准确度衡量的是语言模型在各个医疗问答数据集中提供的正确答案的百分比)。

1、MedQA

MedQA 数据集包含来自美国医学执照考试 (USMLE) 的多项选择题。
它覆盖了广泛的医学知识，并包括 11,450 个训练集问题和 1,273 个测试集问题。
每个问题有 4 或 5 个答案选项，该数据集旨在评估在美国获得医学执照所需的医学知识和推理技能。

在这里插入图片描述

2、MedMCQA

MedMCQA 是一个大规模的多项选择问答数据集，来源于印度的医学入学考试 (AIIMS/NEET)。
它涵盖了 2400 个医疗领域主题和 21 个医学科目，训练集中有超过 187,000 个问题，测试集中有 6,100 个问题。
每个问题有 4 个答案选项，并附有解释。
MedMCQA 评估模型的通用医学知识和推理能力。

在这里插入图片描述

3、PubMedQA

PubMedQA 是一个封闭领域的问答数据集，每个问题都可以通过查看相关上下文 ( PubMed 摘要) 来回答。
它包含 1,000 个专家标注的问题 - 答案对。
每个问题都附有 PubMed 摘要作为上下文，任务是提供基于摘要信息的是/否/也许答案。
该数据集分为 500 个训练问题和 500 个测试问题。
PubMedQA 评估模型理解和推理科学生物医学文献的能力。

在这里插入图片描述

4、MMLU 子集 (医学和生物学)

MMLU 基准 (测量大规模多任务语言理解) 包含来自各个领域多项选择题。
对于开源医疗大模型排行榜，我们关注与医学知识最相关的子集:

  • 临床知识: 265 个问题，评估临床知识和决策技能。
  • 医学遗传学: 100 个问题，涵盖医学遗传学相关主题。
  • 解剖学: 135 个问题，评估人体解剖学知识。
  • 专业医学: 272 个问题，评估医疗专业人员所需的知识。
  • 大学生物学: 144 个问题，涵盖大学水平的生物学概念。
  • 大学医学: 173 个问题，评估大学水平的医学知识。

每个 MMLU 子集都包含有 4 个答案选项的多项选择题，旨在评估模型对特定医学和生物领域理解。

在这里插入图片描述

开源医疗大模型排行榜提供了一个鲁棒的评估，衡量模型在医学知识和推理各方面的表现。

三、洞察与分析

开源医疗大模型排行榜评估了各种大型语言模型 (LLMs) 在一系列医疗问答任务上的表现。以下是我们的一些关键发现:

  • 商业模型如 GPT-4-base 和 Med-PaLM-2 在各个医疗数据集上始终获得高准确度分数，展现了在不同医疗领域中的强劲性能。
  • 开源模型，如 Starling-LM-7B，gemma-7b，Mistral-7B-v0.1 和 Hermes-2-Pro-Mistral-7B，尽管参数量大约只有 70 亿，但在某些数据集和任务上展现出了有竞争力的性能。
  • 商业和开源模型 在 理解和推理科学生物医学文献 (PubMedQA) 以及 应用临床知识和决策技能 (MMLU 临床知识子集) 等任务上表现良好。

在这里插入图片描述

图片来源: https://arxiv.org/abs/2402.07023

谷歌的模型 Gemini Pro 在多个医疗领域展现了强大的性能，特别是在生物统计学、细胞生物学和妇产科等数据密集型和程序性任务中表现尤为出色。
然而，它在解剖学、心脏病学和皮肤病学等关键领域表现出中等至较低的性能，揭示了需要进一步改进以应用于更全面的医学的差距。

在这里插入图片描述

图片来源: https://arxiv.org/abs/2402.07023

四、提交你的模型以供评估

要在开源医疗大模型排行榜上提交你的模型进行评估，请按照以下步骤操作:

1. 将模型权重转换为 Safetensors 格式

首先，将你的模型权重转换为 safetensors 格式。
Safetensors 是一种新的存储权重的格式，加载和使用起来更安全、更快。
将你的模型转换为这种格式还将允许排行榜在主表中显示你模型的参数数量。

2. 确保与 AutoClasses 兼容

在提交模型之前，请确保你可以使用 Transformers 库中的 AutoClasses 加载模型和分词器。
使用以下代码片段来测试兼容性:

from transformers import AutoConfig, AutoModel, AutoTokenizer
config = AutoConfig.from_pretrained(MODEL_HUB_ID)
model = AutoModel.from_pretrained("your model name")
tokenizer = AutoTokenizer.from_pretrained("your model name")

如果在这一步失败，请根据错误消息在提交之前调试你的模型。很可能你的模型上传不当。

3. 将你的模型公开

确保你的模型可以公开访问。排行榜无法评估 私有模型或需要特殊访问权限的模型。

4. 远程代码执行 (即将推出)

目前，开源医疗大模型排行榜不支持需要 use_remote_code=True 的模型。
然而，排行榜团队正在积极添加这个功能，敬请期待更新。

5. 通过排行榜网站提交你的模型

一旦你的模型转换为 safetensors 格式，与 AutoClasses 兼容，并且可以公开访问，你就可以使用开源医疗大模型排行榜网站上的 “在此提交！” 面板进行评估。
填写所需信息，如模型名称、描述和任何附加细节，然后点击提交按钮。
排行榜团队将处理你的提交并评估你的模型在各个医疗问答数据集上的表现。
评估完成后，你的模型的分数将被添加到排行榜中，你可以将它的性能与其他模型进行比较。

五、下一步是什么？扩展开源医疗大模型排行榜

开源医疗大模型排行榜致力于扩展和适应，以满足研究社区和医疗行业不断变化的需求。
重点领域包括:

  1. 通过与研究人员、医疗组织和行业合作伙伴的合作，纳入更广泛的医疗数据集，涵盖医疗的各个方面，如放射学、病理学和基因组学。

  2. 通过探索准确性以外的其他性能衡量标准，如点对点得分和捕捉医疗应用独特需求的领域特定指标，来增强评估指标和报告能力。

  3. 在这个方向上已经有一些工作正在进行中。
    如果你有兴趣合作我们计划提出的下一个基准，请加入我们的 Discord 社区 了解更多并参与其中。
    我们很乐意合作并进行头脑风暴！

如果你对 AI 和医疗的交叉领域充满热情，为医疗领域构建模型，并且关心医疗大模型的安全和幻觉问题，我们邀请你加入我们在 Discord 上的活跃社区。

六、致谢

在这里插入图片描述

七、关于开放生命科学 AI

开放生命科学 AI 是一个旨在彻底改变人工智能在生命科学和医疗领域应用的项目。
它作为一个中心枢纽，列出了医疗模型、数据集、基准测试和跟踪会议截止日期，促进在 AI 辅助医疗领域的合作、创新和进步。
我们努力将开放生命科学 AI 建立为对 AI 和医疗交叉领域感兴趣的任何人的首选目的地。
我们为研究人员、临床医生、政策制定者和行业专家提供了一个平台，以便进行对话、分享见解和探索该领域的最新发展。

在这里插入图片描述

八、引用

如果你觉得我们的评估有用，请考虑引用我们的工作

医疗大模型排行榜

@misc{Medical-LLM Leaderboard,
author = {Ankit Pal, Pasquale Minervini, Andreas Geert Motzfeldt, Aryo Pradipta Gema and Beatrice Alex},
title = {openlifescienceai/open_medical_llm_leaderboard},
year = {2024},
publisher = {Hugging Face},
howpublished = "\url{https://huggingface.co/spaces/openlifescienceai/open_medical_llm_leaderboard}"
}

伊织 2024-04-30（二）

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1635714.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

node.js 解析post请求 方法二

node.js 解析post请求 方法二

前提：以前面发的node.js解析post请求方法一为模板，具体见 http://t.csdnimg.cn/ABaIn 此文我们运用第二种方法：使用第三方模块formidable对post请求进行解析。 1》代码难点 *** 在Node.js中使用formidable模块来解析POST请求主要涉及到处理…
阅读更多...
74、堆-数组中的第K个最大元素

74、堆-数组中的第K个最大元素

思路&#xff1a; 直接排序是可以的&#xff0c;但是时间复杂度不符合。可以使用优先队列&#xff0c;代码如下&#xff1a; class Solution {public int findKthLargest(int[] nums, int k) {if (numsnull||nums.length0||k<0||k>nums.length){return Integer.MAX_VAL…
阅读更多...
网工内推 | 互联网大厂百度、虎牙项目管理岗，15薪，PMP认证优先

网工内推 | 互联网大厂百度、虎牙项目管理岗，15薪，PMP认证优先

01 百度在线 招聘岗位&#xff1a;商业项目管理组_项目管理 职责描述&#xff1a; 1. 商业部核心项目管理工作&#xff0c;主导制定项目目标、计划&#xff0c;推进项目实施及交付&#xff0c;有效管控项目进度、成本、质量、风险等 2. 商业技术/业务创新氛围建设&#xff0c;…
阅读更多...
SQL底层执行过程

SQL底层执行过程

MySQL 的查询流程 客户端请求连接器 负责与客户端的通信,是半双工模式&#xff08;半双工(Half Duplex)数据传输指数据可以在一个信号载体的两个方向上传输,但是不能同时传输。&#xff09;&#xff0c;验证请求用户的账户和密码是否正确&#xff0c;③如果用户的账户和密码验…
阅读更多...
Linux基础——Linux开发工具(下)_make/makefile

Linux基础——Linux开发工具(下)_make/makefile

前言&#xff1a;在经过前面两篇学习&#xff0c;大家对Linux开发工具都有一定的了解&#xff0c;而在此之前最重要的两个工具就是vim&#xff0c;gcc。 如果对这两个工具不太了解&#xff0c;可以先阅读这两篇文章&#xff1a; Linux开发工具 (vim) Linux开发工具 (gcc/g) 首先…
阅读更多...
跟TED演讲学英文：Innovating to zero! by Bill Gates

跟TED演讲学英文：Innovating to zero! by Bill Gates

Innovating to zero! Link: https://www.ted.com/talks/bill_gates_innovating_to_zero Speaker: Bill Gates Date: February 2010 文章目录 Innovating to zero!IntroductionVocabularyTranscriptQ&A with Chris AndersonSummary后记 Introduction At TED2010, Bill Ga…
阅读更多...
.NET C# ORM 瀚高数据库

.NET C# ORM 瀚高数据库

SqlSugar ORM SqlSugar 是一款 老牌 .NET开源ORM框架&#xff0c;由果糖大数据科技团队维护和更新 &#xff0c;开箱即用最易上手的ORM 优点 &#xff1a;【生态丰富】【高性能】【超简单】 【功能全面】 【多库兼容】【适合产品】 【SqlSugar视频教程】 支持 &#xff1a…
阅读更多...
判断字符串由几个单词组成（C语言）

判断字符串由几个单词组成（C语言）

一、N-S流程图&#xff1b; 二、运行结果&#xff1b; 三、源代码&#xff1b; # define _CRT_SECURE_NO_WARNINGS # include <stdio.h>int main() {//初始化变量值&#xff1b;int world 0;int i 0;char c 0;char string[81] { 0 };int num 0;//提示用户&#xff…
阅读更多...
一个docker配置mysql主从服务器

一个docker配置mysql主从服务器

这也就是因为穷&#xff0c;不然谁用一个docker配置主从&#xff0c;哈哈 既然成功了就记录下。过程挺折磨人的。 首先要保证你的电脑安装好了docker 为了保证docker当中主从能正常连网&#xff0c;现在docker里面创建一个网络环境 docker network create --driver bridge mysq…
阅读更多...
C++-9

C++-9

C 1.已知C风格的字符串&#xff0c;完成对字符串通过下标访问时的异常处理机制(越界访问) 2.写一个程序&#xff0c;程序包含两个类&#xff0c;类中实现一个成员函数&#xff0c;MyGetChar(), 类A中每调用一 次&#xff0c;按顺序得到一个数字字符&#xff0c;比如第-次调用得…
阅读更多...
社交论坛问答发帖系统源码-java+vue+uniapp开发前后端

社交论坛问答发帖系统源码-java+vue+uniapp开发前后端

源码说明&#xff1a; 前后端分离社交论坛问答发帖BBS源码&#xff0c;社交论坛小程序|H5论坛。 下 载 地 址 &#xff1a; runruncode.com/php/19462.html 该项目是一个使用Java、Vue和Uniapp开发的前后端分离的社交论坛问答发帖/BBS项目。它包括了论坛图文帖、视频、圈子…
阅读更多...
新唐的nuc980/nuc972的开发1-环境和源码同步

新唐的nuc980/nuc972的开发1-环境和源码同步

开发环境安装 1.1更新源 服务器端&#xff1a;可以参考&#xff1a;Linux替换清华源_更改清华源-CSDN博客 下面是桌面端的方法&#xff1a; 打开系统的软件中心&#xff0c;选择自己想要使用的源 更新缓存 1.2安装必须的库 apt-get install patch apt-get install libc6-dev …
阅读更多...
SQL提升

SQL提升

1. SQL TOP 子句 TOP 子句用于规定要返回的记录的数目。 对于拥有数千条记录的大型表来说&#xff0c;TOP 子句是非常有用的。 **注释&#xff1a;**并非所有的数据库系统都支持 TOP 子句。 1.1 SQL TOP 语法 SQL Server 的语法&#xff1a; SELECT TOP number|percent c…
阅读更多...
C#基础|了解对象在程序中的状态及垃圾回收机制

C#基础|了解对象在程序中的状态及垃圾回收机制

哈喽&#xff0c;你好啊&#xff0c;我是雷工&#xff01; 本节了解对象的生命周期及对象状态和垃圾回收机制&#xff0c;以下为学习笔记。 1、对象的生命周期 对象在内存中不断地被引用&#xff0c;被释放&#xff0c;形成了类似生命周期的过程。 2、对象在内存中的状态 对…
阅读更多...
记一次生产事故的排查和解决

记一次生产事故的排查和解决

一. 事故概述 春节期间, 生产系统多次出现假死不可用现象, 导致绝大部分业务无法进行. 主要表现现象为接口无法访问. 背景为900W客户表和近实时ES, 以及春节期间疫情导致的普通卖菜场景近似秒杀等. 二. 排查过程 优先排查了info, error, catalina日志, 发现以下异常: 主要的…
阅读更多...
一文掌握Vue依赖注入：原理、应用场景以及最佳模块化与单元测试实践，提升代码的可维护性与模块化程度

一文掌握Vue依赖注入：原理、应用场景以及最佳模块化与单元测试实践，提升代码的可维护性与模块化程度

Vue 中的依赖注入&#xff08;Dependency Injection, DI&#xff09;机制通过 provide 与 inject API&#xff0c;实现了跨组件层级间的数据与服务透明传递&#xff0c;使父组件能够向其任意深度的子孙组件“注入”依赖&#xff0c;而不需要通过层层传递 props 或使用全局状态管…
阅读更多...
搭建智能客服机器人设计流程

搭建智能客服机器人设计流程

一、检索型机器人FAQ-Bot 在客服处理的问题中70%都是简单的问答业务&#xff0c;只要找到QA知识库中与用户当前问句语义最相近的标准问句&#xff0c;取出答案给用户就可以了。FAQ-Bot就是处理这类问题的。在没有使用深度学习算法之前&#xff0c;通常采用检索NLP技术处理。 …
阅读更多...
如何用智能获客开启新商机？揭秘赢销侠软件的奇效

如何用智能获客开启新商机？揭秘赢销侠软件的奇效

在当今数字化竞争日益激烈的商业环境中&#xff0c;企业为了生存和发展&#xff0c;必须寻找新的途径以获取潜在客户。智能获客作为一种新型的营销方式&#xff0c;正以其高效、精准的特点改变着传统的市场开拓模式。而在这个过程中&#xff0c;自动获客软件的作用愈发凸显&…
阅读更多...
HTML：元素分类

HTML：元素分类

HTML&#xff1a;元素分类 概述块级元素&#xff08;Block-level Elements&#xff09;内联元素&#xff08;Inline Elements&#xff09;替换元素&#xff08;Replaced Elements&#xff09;表单元素&#xff08;Form Elements&#xff09; 概述 HTML&#xff08;HyperText M…
阅读更多...
Mysql从入门到精通——Mysql知识点总结(基础篇)

Mysql从入门到精通——Mysql知识点总结(基础篇)

参考视频 黑马程序员 MySQL数据库入门到精通i 题单推荐 入门 进阶 SQL语句类型 DDL:数据定义语言&#xff0c;用来定义数据库对象(数据库&#xff0c;表&#xff0c;字段)DML:数据操作语言&#xff0c;对数据库表中的数据进行增删改DQL:数据查询语言,用来查询数据库中表的…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023