Al+医学，用这个中文多模态医学大模型帮你看胸片

news2024/11/27 21:03:37

随着人工智能技术的飞速发展，AI 在医学领域的应用已经成为现实。特别是在医学影像诊断方面，AI 大模型技术展现出了巨大的潜力和价值，但目前针对中文领域医学大多模态大模型还较少。

今天为大家介绍的这款 XrayGLM，就是由澳门理工大学应用科学学院的檀韬副教授和彭祥佑老师指导，硕士生王荣胜、段耀菲、李俊蓉完成的中文多模态医学大模型。

项目名称： XrayGLM

项目作者： 澳门理工大学应用科学学院

开源许可协议： CC BY-NC-SA

项目地址：gitee.com/WangHaoyuuu…

XrayGLM 团队借助了 ChatGPT 以及公开的数据集，构造了一个X光影像-诊断报告的医学多模态数据集，随后将构建的中文胸部X光片诊断数据集在 VisualGLM-6B 进行微调训练，并开放了部分训练权重用于学术研究。

数据集来源

XrayGLM 团队选择了 MIMIC-CXR 和 OpenI 两个数据集，MIMIC-CXR 是一个公开可用的胸部X光片数据集，包括377,110张图像和227,827个相关报告，OpenI 是一个来自印第安纳大学医院的胸部X光片数据集，包括6,459张图像和3,955个报告。

为了生成合理的医学报告，XrayGLM 团队对两个数据集进行了预处理，并最终得到了可以用于训练的英文报告。除此之外，为了更好的支持中文社区发展，借助 ChatGPT 的能力将英文报告进行了中文翻译，并最终形成了可用于训练的数据集。

快速上手

1.安装环境

ruby
复制代码
# 安装依赖
pip install -r requirements.txt
# 国内换源安装依赖
pip install -i https://mirrors.aliyun.com/pypi/simple/ -r requirements.txt

此时默认会安装deepspeed库（支持sat库训练），此库对于模型推理并非必要，同时部分Windows环境安装此库时会遇到问题。如果想绕过deepspeed安装，可以将命令改为：

ruby
复制代码
# 安装依赖
pip install -i https://mirrors.aliyun.com/pypi/simple/ -r requirements_wo_ds.txt
# 安装SwissArmyTransformer
pip install -i https://mirrors.aliyun.com/pypi/simple/ --no-deps "SwissArmyTransformer>=0.3.6"

2.模型推理

CLI推理

bash
复制代码
python cli_demo.py --from_pretrained checkpoints/checkpoints-XrayGLM-3000 --prompt_zh '详细描述这张胸部X光片的诊断结果'

WebUI运行

bash
复制代码
python web_demo.py --from_pretrained checkpoints/checkpoints-XrayGLM-3000

此时访问http://127.0.0.1:7860即可

XrayGLM 团队也分享出了 XrayGLM 的微调实践教程，感兴趣的开发者可以前往图中频道或直接访问项目仓库了解更多详情：gitee.com/WangHaoyuuu…

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

😝有需要的小伙伴，可以点击下方链接免费领取或者V扫描下方二维码免费领取🆓

在这里插入图片描述