MEDICAL SAM 2: SEGMENT MEDICAL IMAGES AS VIDEO VIA SEGMENT ANYTHING MODEL 2

news2024/9/28 23:32:25

Jiayuan ZhuUniversity of Oxfordjiayuan.zhu@ieee.orgYunli QiUniversity of OxfordJunde WuUniversity of Oxfordjundewu@ieee.org

原文链接:https://arxiv.org/pdf/2408.00874

代码链接:https://github.com/MedicineToken/Medical-SAM2

文章的主要贡献如下:

1. 我们是第一个引入基于 SAM-2 的医学图像分割模型 MedSAM-2 的人。

2. 我们采用一种新颖的医学图像视频理念,它启发我们设计了一个独特的管道,解锁 MedSAM-2 中的一次性分割能力,这是以前的方法几乎无法实现的特征。

3.我们开发了独特的模块和管道,结合置信记忆库和加权拾取,在技术上促进了这种能力。

4. 我们在 15 个不同的基准测试中评估 MedSAM-2,包括 26 个不同的任务,其中模型实现了卓越的性能。

本文提到的MEDSAM2模型结构:

参考SAM2模型结构:

在本文中,理解下来的提到的主要贡献文本除了原本3D数据可以直接使用SAM2的模型直接实现之外,对于没有明确时序关系的2D数据进行了模型结构的修改以及调整,实现了ONE-PROMPT SEGMENTATION。

针对于2D医学图像的主要改进为:

1.增加了置信记忆库:

与 SAM 2 中使用的时间优先输出队列不同,我们引入了一个“置信度优先”存储库来存储模型的模板。具体来说,在推理阶段,MedSAM-2 与提示模板一起存储了它对记忆库内第一出队列中最有信心的结果。置信度是根据模型预测的概率计算的。这种方法确保内存库中的模板是模型识别的最准确样本,从而最大限度地减少噪声模板的影响。我们还在将图像添加到银行时实现了图像多样性约束,确保内存包含各种各样的图像以更好地匹配传入的输入图像;这种多样性是通过图像嵌入的相似性来评估的。

2.输入图像嵌入与记忆库中的信息合并时,通过加权拾取

采用加权拾取策略,为与输入图像更相似的图像分配更高的权重,以促进更容易的传播。在训练阶段,我们使用校准头Ji等人(2021)来确保模型预测更准确的分割,置信度较高,分割精度较低。这种校准将模型的置信度与其预测的准确性对齐,从而提高了置信度记忆库的有效性。

对3D病灶图像分割模型效果:

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2066773.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

TCRAG:图灵完备 RAG + 高效医学诊断

TCRAG:图灵完备 RAG 高效医学诊断 提出背景图灵完备过程解法拆解分析性关联图 论文:TC–RAG: Turing–Complete RAG’s Case study on Medical LLM Systems 提出背景 RAG技术大致可分为朴素RAG和高级RAG两类: 朴素RAG采用简单的"检索…

固态硬盘数据丢失了如何恢复?

在数字化时代,固态硬盘(SSD)因其高速读写性能成为许多用户首选的存储设备。然而,数据丢失的风险也随之而来。无论是误删除、系统崩溃还是硬件故障,都可能导致宝贵的数据瞬间消失。本文将为您提供一套全面的固态硬盘数据…

MinIO 企业级人工智能存储的数据和驱动器同等重要

为什么会这样?这是因为硬件故障发生在不同的级别。有一些中断会导致整个站点瘫痪。然后,会出现中断,导致集群中的一部分节点瘫痪。但是,在更精细的硬盘驱动器位级别也存在故障,这些故障需要复制本身无法提供的另一种类…

AI问答对比-谁是世界上最可爱的人?

无聊的时候突然想起皇后问魔镜问题的情节,于是突发奇想,找了几个AI问答助手试试”谁是世界上最可爱的人?”,看看AI们会怎么回答。 问之前还满怀期待的猜测:它们有可能回答自己的所属公司的老板吗,或是直白…

基于Matlab GUI的信号发生器界面程序示例

前些日子,被一朋友拜托了一课设,不是很难,但基于matlab GUI的设计中文论坛资源较少,所以我做完顺便分享一下。 程序主要内容: 效果展示: 主要代码: 代码展示,复制粘贴不能直接执行…

顶顶通呼叫中心中间件-一句话语音识别安装步骤

顶顶通呼叫中心中间件-一句话语音识别安装步骤,对接mod_vad。一句话识别(http接口提交录音文件识别) 一、安装asrproxy 1、将下载软件压缩包上传到需要安装的服务器中 2、SSH终端依次执行以下命令: mkdir -p /ddt/asrproxysud…

抖音商城随身wifi销量排行榜!排名第一的格行随身wifi怎么样?

对于经常出差办公,或者酷爱旅行的人来说随身wifi简直是必备神器,但是随身wifi行业乱象频发,不小心就会踩坑。这不,刚去青岛旅游回来的同事正在吐槽,旅游前特意买个随身wifi,咨询时商家一顿夸,结…

王丹妮演绎“美女与蛇” 红黑对撞下的超现实美学

今日,香港演员王丹妮(Louise Wong)释出一组时尚大片。 这组大片以浓郁饱满的红色和深邃奢华的黑色为主调,搭配超现实风装置,尽显神秘诗意之美。黑色背景与红色装置象征锐意与优雅的交锋;神秘面罩下&#xf…

当移动端H5中的display:flex不生效时,给我整破防了

情况&#xff1a; 在项目开发中遇到一个“更多”按钮放置于卡片的右下角时&#xff0c;在安卓9版本的浏览器打开项目&#xff0c;结果测试出来“更多”按钮样式错乱&#xff0c;做了这么久的开发&#xff0c;在移动端给我整破防了。。。 <style> display:flex; justify…

MyBatis-Plus 三、(进阶使用)

一、typeHandler 的使用 1、存储json格式字段 如果字段需要存储为json格式&#xff0c;可以使用JacksonTypeHandler处理器。使用方式非常简单&#xff0c;如下所示&#xff1a; 只需要加上两个注解即可&#xff1a; TableName(autoResultMap true) 表示自动…

使用Instrumentation创建代理程序监测Java对象信息

文章目录 创建代理使用代理监测测试代码运行配置运行效果 总结 Instrumentation 是Java提供的一种能够在程序运行时检查和修改类定义的技术。使用Instrumentation&#xff0c;可以构建一个独立于应用程序的代理程序&#xff0c;检测和协助运行在JVM上的程序&#xff0c;甚至可以…

Netty03-进阶

三. Netty 进阶 1. 粘包与半包 1.1 粘包现象 服务端代码 public class HelloWorldServer {static final Logger log LoggerFactory.getLogger(HelloWorldServer.class);void start() {NioEventLoopGroup boss new NioEventLoopGroup(1);NioEventLoopGroup worker new Ni…

高性能4G灯杆网关,未来智慧城市的神经中枢

在智慧城市的建设浪潮中&#xff0c;灯杆作为城市基础设施的重要组成部分&#xff0c;正在经历一场革命性的转变。SG600 4G灯杆网关就是这场革命的核心产品&#xff0c;它将普通的路灯转变为集照明、监控、通信、环境监测等多功能于一体的智慧终端。 产品优势&#xff1a; 高度…

[图解]分析工作流开始01

1 00:00:02,650 --> 00:00:04,200 需求工作流结束之后 2 00:00:04,610 --> 00:00:06,880 我们就要进入分析工作流了 3 00:00:07,890 --> 00:00:09,020 在分析工作流里面 4 00:00:09,030 --> 00:00:13,060 我们使用类图、序列图 5 00:00:13,710 --> 00:00:16…

深度学习入门-03

PS&#xff1a;基于小土堆视频学习https://www.bilibili.com/video/BV1hE411t7RN?p6&vd_source22926f91481026cd10af799bb45e448b 1、Dateset Dateset就是我们的目标数据&#xff0c;告诉我们如何获取数据&#xff0c;距离&#xff1a;从多种类型的数据中&#xff0c;提取…

Go语言反射入门:理解类型与值的动态操作

简介 Go 语言的反射机制是一种在运行时检查程序本身的能力&#xff0c;它允许程序在运行时动态地操作对象的类型和值。 基本概念 1.反射与类型 在静态类型语言中&#xff0c;变量的类型在编译时确定。反射允许在运行时查询和修改变量的类型信息。 2.接口与反射 Go 中的接口…

云等保安全合规解决方案

在当今数字化时代&#xff0c;云计算已成为企业数字化转型的基石&#xff0c;它不仅极大地提升了数据处理能力、降低了运营成本&#xff0c;还促进了业务模式的创新与发展。然而&#xff0c;随着云服务的广泛应用&#xff0c;云环境的安全性问题也日益凸显&#xff0c;成为制约…

Tita的OKR:研发人员的OKR

当您要建立一个以产品为中心的团队&#xff0c;并希望你的团队有一个产品的心态和时刻围绕你的客户&#xff0c;此工程研发 OKR 示例就是实现此目标的伟大方法。您将在以下文章中找到相关的技术研发 OKR 示例。 技术研发团队是任何组织中的重要组成部分&#xff0c;正确的OKR可…

U盘车载专用音乐合集 3068首 24G

包含3068首适合车载播放的音乐。 拿走的麻烦评论一下&#xff0c;感谢&#xff01;&#xff01;&#xff01; 拿走的麻烦评论一下&#xff0c;感谢&#xff01;&#xff01;&#xff01; 拿走的麻烦评论一下&#xff0c;感谢&#xff01;&#xff01;&#xff01; 链接&#…

主流短视频评论采集python爬虫(含一二级评论内容)

声明 仅用于学习交流&#xff0c;不用于其他用途 正文 随着主流短视频评论采集更新需要登录&#xff0c;由于不懈的努力&#xff0c;攻破这一难点&#xff0c;不需要登录采集作品所有评论信息 话不多说上代码看效果&#xff1a; 输入作品id: 这样就拿到评论信息了&#xff…