中文多模态医学大模型智能分析X光片，实现影像诊断，完成医生问诊多轮对话

news2024/10/6 6:05:35

在这里插入图片描述

项目设计集合（人工智能方向）：助力新人快速实战掌握技能、自主完成项目设计升级，提升自身的硬实力（不仅限NLP、知识图谱、计算机视觉等领域）：汇总有意义的项目设计集合，助力新人快速实战掌握技能，助力用户更好利用 CSDN 平台，自主完成项目设计升级，提升自身的硬实力。

在这里插入图片描述

  1. 专栏订阅：项目大全提升自身的硬实力

  2. [专栏详细介绍：项目设计集合（人工智能方向）：助力新人快速实战掌握技能、自主完成项目设计升级，提升自身的硬实力（不仅限NLP、知识图谱、计算机视觉等领域）

中文多模态医学大模型智能分析X光片，实现影像诊断，完成医生问诊多轮对话

1.背景介绍介绍

最近，通用领域的大语言模型 (LLM)，例如 ChatGPT，在遵循指令和产生类似人类响应方面取得了显著的成功，这种成功间接促进了多模态大模型的研究和发展，如通用领域的多模态大模型MiniGPT-4、mPLUG-Owl、Multimodal-GPT和LLaVA ，然而，此类多模态大模型却很少出现在医学领域的研究中，阻碍了相关研究发展。visual-med-alpaca虽然在医学多模态大模型方面做出了一些很有成效的工作，然而其数据为英文诊断报告，不利于促进中文领域医学多模态大模型的研究发展。为此，我们开发了XrayGLM以解决上述问题。XrayGLM在医学影像诊断和多轮交互对话上显示出了非凡的潜力。

  • 借助ChatGPT以及公开的数据集，我们构造了一个X光影像-诊断报告对的医学多模态数据集；
  • 我们将构建的中文胸部X光片诊断数据集在VisualGLM-6B进行微调训练，并开放了部分训练权重用于学术研究；

2.数据集

  • MIMIC-CXR是一个公开可用的胸部X光片数据集，包括377,110张图像和227,827个相关报告。
  • OpenI是一个来自印第安纳大学医院的胸部X光片数据集，包括6,459张图像和3,955个报告。

在上述工作中，报告信息都为非结构化的，不利于科学研究。为了生成合理的医学报告，我们对两个数据集进行了预处理，并最终得到了可以用于训练的英文报告。除此之外，为了更好的支持中文社区发展，借助ChatGPT的能力，我们将英文报告进行了中文翻译，并最终形成了可用于训练的数据集。

数据集数量下载链接质量
MIMIC-CXR-zh---
OpenI-zh6,423诊疗报告(英文)、诊疗报告(中文) 、X光影像低
OpenI-zh-plus6,423-高

3.项目快速时间

3.1.安装环境

#安装依赖
pip install -r requirements.txt
#国内换源安装依赖
pip install -i https://mirrors.aliyun.com/pypi/simple/ -r requirements.txt

此时默认会安装deepspeed库（支持sat库训练），此库对于模型推理并非必要，同时部分Windows环境安装此库时会遇到问题。 如果想绕过deepspeed安装，我们可以将命令改为：

#安装依赖
pip install -i https://mirrors.aliyun.com/pypi/simple/ -r requirements_wo_ds.txt
#安装SwissArmyTransformer
pip install -i https://mirrors.aliyun.com/pypi/simple/ --no-deps "SwissArmyTransformer>=0.3.6"

3.2.模型推理

模型权重下载链接质量微调方法
checkpoints-XrayGLM-300https://huggingface.co/wangrongsheng/XrayGLM-300低LoRA
checkpoints-XrayGLM-3000https://huggingface.co/wangrongsheng/XrayGLM-3000低LoRA
checkpoints-XrayGLM-xxx-plus-高-

3.2.1 CLI推理

python cli_demo.py --from_pretrained checkpoints/checkpoints-XrayGLM-3000 --prompt_zh '详细描述这张胸部X光片的诊断结果'

更多参数

如果您是Google Colab Pro会员，请可以直接在Colab中运行XrayGLM：https://colab.research.google.com/drive/1aR8SSaseyprsxnor-gDyMo96V9jD7iGP?usp=sharing

3.2.2 WebUI运行

python web_demo.py --from_pretrained checkpoints/checkpoints-XrayGLM-3000

此时访问http://127.0.0.1:7860即可

3.3模型训练（复现XrayGLM）

  • 硬件资源
    • 实验在A100 (4X, 80GB)上进行
      • （1）准备诊疗报告(中文)和X光影像在data/Xray文件夹下；
      • （2）开始训练：
#设置CUDA变量，主要是为了解决有时候直接训练而出现无法正确加载到显卡问题
export CUDA_VISIBLE_DEVICES=0,1,2,3

#开始训练
bash finetune_XrayGLM.sh

这里的复现过程非常简单，主要是很多过程我们都为大家准备好了，大家可以随时复现一个自己的XrayGLM。

3.4.模型训练（通用）

  • 【官方视频教程】XrayGLM微调实践
  • 复旦大学《大语言模型理论与实践》

4. 效果展示

  • 以下效果来自于低质量的数据训练和权重

4.1 影像诊断：

X光影像诊疗报告(医生)XrayGLM
根据X射线图像，心脏大小正常，肺部看起来很清晰。已经排除了肺炎、积液、水肿、气胸、腺病、结节或肿块的存在。该发现表明一切正常。换句话说，总体印象是胸部正常。X光片显示，心脏大小正常。肺部没有气胸或胸腔积液的证据。骨骼结构看起来没有任何异常。总的来说，X光片表明没有发现急性心肺疾病的迹象。
X光图片显示没有扭曲的区域、可疑的骨质不透明度或胸腺积液。心脏大小轻微增大，但非常稳定。此外，没有气胸的证据，肺野也正常。总体来说，X光片显示没有急性心脏异常，但要注意轻微的心脏扩大。X光片显示，心脏大小正常。肺部和纵隔轮廓清晰，没有气胸或胸腔积液的证据。骨骼结构完整，没有任何急性异常。
心影形态在正常范围内。没有急性骨质异常。有可能出现没有明显的吸水或肺实质状况的线索。没有大面积积液或气胸。有可能怀疑其有误吸或肺实质问题。为了确诊和治疗，可能需要进行适当的影像学随访。心脏大小正常，肺部和纵隔轮廓清晰。没有急性异常或活动受限的证据。没有任何明显的气胸、胸腔积液或肺不张的迹象。此外，也没有发现任何局灶性骨质异常或其他急性疾病。

4.2 多轮对话：

X光影像诊疗报告(医生)
右侧主动脉突出观察到。心脏大小正常。胸部未发现明显的肺气肿、胸膜积液或可疑的肺部病变。报告指出已知右侧主动脉情况正常。
>> X光影像路径：./data/Xray/861_1.png

>> 用户：这是一张什么图？
>> XrayGLM：这张图片显示的是一张肺部检查的X光片。

>> 用户：请描述这张胸部X光片的诊断结果
>> XrayGLM：心脏大小正常，肺部清晰。没有急性心肺疾病的证据。

>> 用户：是否存在肺气肿？
>> XrayGLM：没有肺气肿。心脏大小正常，肺部清晰。没有发现急性心肺疾病的证据。

>> 用户：平时饮食该注意什么？
>> XrayGLM：饮食应该健康，均衡。建议增加蛋白质的摄入量，因为蛋白质有助于维持肌肉和骨骼的健康。多食用蔬菜、水果、全谷物以及健康的脂肪来源如橄榄油、鱼类等可以帮助获得足够的维生素和矿物质。此外，避免过度饮酒或吸烟，这些习惯可能会对心脏健康产生负面影响。

5.总结

  1. 模型的能力更多来源于数据的支持，OpenI-zh作为微调数据集，其数据量足以支持研究，在更广泛的任务和性能表现上，我们认为在大规模数据集上预训练并在高质量少量数据集上微调是一种可行的方案；
  2. 普遍意义的理解上，视觉多模态模型=视觉模型+语言模型。除了需要关注视觉模型信息与语言模型输出的搭配外，还需要额外关注到语言模型的加强，在人机的对话中，尤其是医疗语言模型的问答上，除了专业的医疗问题回答，带有人文情怀的有温度的回答更应该是我们追寻的目标。
  3. 高精度的模型永远打不过大参数的模型，如果在6B模型和13B模型上选择微调，请在资源充足情况下选择13B的大参数模型；

项目致谢

  1. VisualGLM-6B为我们提供了基础的代码参考和实现；
  2. MiniGPT-4为我们这个项目提供了研发思路；
  3. ChatGT生成了高质量的中文版X光检查报告以支持XrayGLM训练；
  4. gpt_academic为文档翻译提供了多线程加速；
  5. MedCLIP 、BLIP2 、XrayGPT 等工作也有重大的

项目码源见文章顶部or文末

https://download.csdn.net/download/sinat_39620217/88009849

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/817246.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

费舍尔线性分辩分析(Fisher‘s Linear Discriminant Analysis, FLDA)

费舍尔线性分辩分析(Fisher‘s Linear Discriminant Analysis, FLDA)

费舍尔线性分辩分析(Fisher’s Linear Discriminant Analysis, FLDA) 目录 费舍尔线性分辩分析(Fishers Linear Discriminant Analysis, FLDA)1. 问题描述2. 二分类情况3. 多分类情况4. 代码实现4.1 二分类情况4.2 多分类情况 5. 参考资料 1. 问题描述 为解决两个或多个类别的…
阅读更多...
ROS-PyQt小案例

ROS-PyQt小案例

前言：目前还在学习ROS无人机框架中，，， 更多更新文章详见我的个人博客主页【前往】 ROS与PyQt5结合的小demo，用于学习如何设计一个界面，并与ROS中的Service和Topic结合，从而控制多个小乌龟的运动…
阅读更多...
从零开始搭建Vue3框架（二）：Vue-Router4.0使用与配置

从零开始搭建Vue3框架（二）：Vue-Router4.0使用与配置

前言 上篇文章我们创建了模板项目并成功运行，但是运行后的页面只是一个静态页面，并没有页面间跳转。 对于Vue这种单页应用来说，最要紧的就是控制整个系统的页面路由。因为我们使用Vue3的框架，所以这里使用Vue-Router4.0版本。 …
阅读更多...
1992-2021年全国及31省对外开放度测算数据含原始数据和计算过程（无缺失）

1992-2021年全国及31省对外开放度测算数据含原始数据和计算过程（无缺失）

1992-2021年全国及31省对外开放度测算数据含原始数据和计算过程（无缺失） 1、时间：1992-2021年 2、范围：全国及31省 3、指标：进出口总额、国内生产总值、年均汇率 4、计算方法：对外开放度进出口总额/GDP…
阅读更多...
【Git系列】Git配置SSH免密登录

【Git系列】Git配置SSH免密登录

🐳Git配置SSH免密登录 🧊1.设置用户名和邮箱🧊2. 生成密钥🧊3.远程仓库配置密钥🧊2. 免密登录 在以上push操作过程中，我们第一次push时，是需要进行录入用户名和密码的，比较麻烦。而且…
阅读更多...
【数据分析专栏之Python篇】四、pandas介绍

【数据分析专栏之Python篇】四、pandas介绍

前言 在上一篇中我们安装和使用了Numpy。本期我们来学习使用 核心数据分析支持库 Pandas。 一、pandas概述 1.1 pandas 简介 Pandas 是 Python 的 核心数据分析支持库，提供了快速、灵活、明确的数据结构，旨在简单、直观地处理关系型、标记型数据。 …
阅读更多...
Resnet与Pytorch花图像分类

Resnet与Pytorch花图像分类

1、介绍 1.1数据集介绍 flower_data├── train│ └── 1-102（102个文件夹）│ └── XXX.jpg（每个文件夹含若干张图像）├── valid│ └── 1-102（102个文件夹）└── ─── └── XXX.jp…
阅读更多...
如何使用免费敏捷工具Leangoo领歌管理Sprint Backlog

如何使用免费敏捷工具Leangoo领歌管理Sprint Backlog

什么是Sprint Backlog？ Sprint Backlog是Scrum的主要工件之一。在Scrum中，团队按照迭代的方式工作，每个迭代称为一个Sprint。在Sprint开始之前，PO会准备好产品Backlog，准备好的产品Backlog应该是经过梳理、估算和优先…
阅读更多...
ffmpeg安装

ffmpeg安装

简介 FFmpeg是一个开源的音视频处理库，它提供了一系列的工具和API，可以用于处理音视频文件。你可以使用FFmpeg的命令行工具来执行各种音视频处理操作，比如转码、剪辑、合并等。FFmpeg的命令格式通常是：ffmpeg [全局选项] {[输入文…
阅读更多...
章节5：SQL注入之WAF绕过

章节5：SQL注入之WAF绕过

章节5：SQL注入之WAF绕过 5.1 SQL注入之WAF绕过上 WAF拦截原理：WAF从规则库中匹配敏感字符进行拦截。 5.2 SQL注入之WAF绕过下 （原理简单了解） 关键词大小写绕过 有的WAF因为规则设计的问题，只匹配纯大写或纯小写的…
阅读更多...
B. Binary Cafe（二进制的妙用）

B. Binary Cafe（二进制的妙用）

题目：Problem - B - Codeforces 总结： 对于该题最简单的方法为使用二进制的数表示状态 例如： 对于一个数7的二进制：111 它的每一位都可表示两种状态我们可以理解为取或者不取 对于7这个数字它可以表示一种状态即在三个位置都…
阅读更多...
使用Roles模块搭建LNMP架构

使用Roles模块搭建LNMP架构

使用Roles模块搭建LNMP架构 1.Ansible-playbook中部署Nginx角色2.Ansible-playbook中部署PHP角色3.Ansible-playbook中部署MySQL角色4.启动安装分布式LNMP 1.Ansible-playbook中部署Nginx角色 创建nginx角色所需要的工作目录； mkdir -p /etc/ansible/playbook/rol…
阅读更多...
剖析 Kubernetes 控制器：Deployment、ReplicaSet 和 StatefulSet 的功能与应用场景

剖析 Kubernetes 控制器：Deployment、ReplicaSet 和 StatefulSet 的功能与应用场景

🌷🍁 博主猫头虎 带您 Go to New World.✨🍁 🦄 博客首页——猫头虎的博客🎐 🐳《面试题大全专栏》 文章图文并茂🦕生动形象🦖简单易学！欢迎大家来踩踩~🌺 &a…
阅读更多...
【kubernetes】k8s单master集群环境搭建及kuboard部署

【kubernetes】k8s单master集群环境搭建及kuboard部署

k8s入门学习环境搭建 学习于许大仙: https://www.yuque.com/fairy-era k8s官网 https://kubernetes.io/ kuboard官网 https://kuboard.cn/ 基于k8s 1.21.10版本 前置环境准备 一主两从，三台虚拟机 CPU内存硬盘角色主机名IPhostname操作系统4C16G50Gmasterk8s-mast…
阅读更多...
JSON动态生成表格

JSON动态生成表格

<!DOCTYPE html> <html><head><meta charset"utf-8"><title></title></head><body><script>var fromjava"{\"total\":3,\"students\":[{\"name\":\"张三\",\&q…
阅读更多...
哔哩哔哩缓存转码|FFmpeg将m4s文件转为mp4|PHP自动批量转码B站视频

哔哩哔哩缓存转码|FFmpeg将m4s文件转为mp4|PHP自动批量转码B站视频

window下载安装FFmpeg 打开ffMpeg官网选择window>Windows builds from gyan.dev 打开https://www.gyan.dev/ffmpeg/builds/ 这里是上面提取的下载链接如果过期不能用自己去官网下 配置FFmpeg环境变量 上面下载的FFmpeg是绿色软件&#xff0c;下载解压到你的常用软件安装目…
阅读更多...
配置IPv6 over IPv4 GRE隧道示例

配置IPv6 over IPv4 GRE隧道示例

组网需求 如图1&#xff0c;两个IPv6网络分别通过SwitchA和SwitchC与IPv4公网中的SwitchB连接&#xff0c;客户希望两个IPv6网络中的PC1和PC2实现互通。 其中PC1和PC2上分别指定SwitchA和SwitchC为自己的缺省网关。 图1 配置IPv6 over IPv4 GRE隧道组网图 配置思路 要实现I…
阅读更多...
【LeetCode每日一题合集】2023.7.24-2023.7.30（TODO Lazy 线段树）

【LeetCode每日一题合集】2023.7.24-2023.7.30（TODO Lazy 线段树）

文章目录 771. 宝石与石头代码1——暴力代码2——位运算集合⭐&#xff08;英文字母的long集合表示&#xff09; 2208. 将数组和减半的最少操作次数&#xff08;贪心 优先队列&#xff09;2569. 更新数组后处理求和查询⭐⭐⭐⭐⭐&#xff08;线段树&#xff09;2500. 删除每行…
阅读更多...
这所985很保护一志愿，每年招150+！非常稳定！

这所985很保护一志愿，每年招150+！非常稳定！

一、学校及专业介绍 中国海洋大学&#xff08;Ocean University of China&#xff0c;OUC&#xff09;&#xff0c;位于山东省青岛市&#xff0c;是中华人民共和国教育部直属的综合性全国重点大学&#xff0c;位列国家“双一流”、“985工程”、“211工程”重点建设高校。 1.1…
阅读更多...
CHI中的error处理

CHI中的error处理

Error Handling Error types 包含两种sub-packet级别的error, 和两种packe级别的error; Packet level error Data Error, DERR □ 访问的地址是正确的&#xff0c;但是访问的数据有错误&#xff1b;通常是在数据崩溃的时候使用&#xff0c;例如ECC&#xf…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023