基于掩码自注意力机制的白内障手术后视力预测的不完整多模态学习

news2024/11/25 14:44:21

文章目录

  • Incomplete Multimodal Learning for Visual Acuity Prediction After Cataract Surgery Using Masked Self-Attention
    • 摘要
    • 方法
    • 实验结果

Incomplete Multimodal Learning for Visual Acuity Prediction After Cataract Surgery Using Masked Self-Attention

摘要

论文提出了一种新颖的框架,利用掩码自注意力机制来预测白内障手术后的视力情况。

该方法使用术前图像和患者人口统计数据作为输入,利用多模态信息,这与现有仅依赖单一模态数据的方法不同。

该方法还针对不完整的多模态数据问题,采用注意力掩码机制来提高鲁棒性。

该框架首先使用高效的Transformer提取每个模态的特征,然后利用注意力融合网络结合多模态信息。

该方法在1960名白内障手术患者的数据集上进行了评估
代码地址

方法

在这里插入图片描述
收集的数据集包含1960名患者的信息,涉及3种图像模态:光学相干断层扫描(OCT)、扫描激光眼底检查(SLO)。
数据集中包含完整的多模态图像的样本数量仅占三分之一。也就是说,大部分样本只有部分图像模态信息。
具有两种图像模态的样本数量最多,表示大部分患者数据包含两种成像技术的信息。
数据集中单模态样本(只有一种图像模态)和多模态样本(两种及以上图像模态)的数量比例相当
在这里插入图片描述
该框架包含两个主要组件:

  • 模态特定编码器(Modality-specific Encoders)
  • 多模态融合网络(Multimodal Fusion Network)

模态特定编码器使用标准的多头自注意力机制(Multi-head Self-Attention)提取每个模态(OCT、SLO等)的特征。

多模态融合网络则采用了掩码多头自注意力机制(Masked Multi-head Self-Attention)。这种机制可以有效处理不完整的多模态输入数据。

多模态融合网络以所有模态的特征(tokens)作为输入,结合跨模态信息。

每个辅助分类网络(Auxiliary Classification Network)仅接收单一模态的特征作为输入,用于预测特定任务指标。

在这里插入图片描述(a)展示了仅SLO模态缺失的情况,注意力掩码中相应的SLO部分被设置为0。
(b)展示了OCT和SLO两种模态都缺失的情况,相应的位置被设置为负无穷大。
这种注意力掩码机制确保了多模态融合网络能够专注于可用的模态信息,提高了对不完整输入的适应性

实验结果

在这里插入图片描述
图中展示了三种视力分布:

  • 手术前视力(Preoperative)
  • 预测视力(Predictive)
  • 手术后实际视力(Actual vision)
    在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1712139.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

3款免费的电脑录屏软件,总有一款适合你!

在当今信息化的时代,电脑录屏软件已经成为了一种不可或缺的工具。无论是录制游戏精彩瞬间,还是制作教学视频,一款好的录屏软件都能让用户事半功倍。然而,许多用户都难以找到一款合适的免费录屏软件。接下来,本文将介绍…

docker-compose报错

前提条件 1、使用docker-compose之前,一定要安装并且运行Docker 2、拉取镜像之前,一定要配置Docker镜像加速,否则下载特别慢 情况1 docker-compose无法打开 错误信息: cannot open self /usr/local/bin/docker-compose or arch…

据库管理-第196期 实战RDMA(20240528)

数据库管理196期 2024-05-28 数据库管理-第196期 实战RDMA(20240528)1 环境2 操作系统配置3 配置NVMe over RDMA4 挂载磁盘处理并挂载磁盘: 5 RDMA性能测试6 iSCSI部署7 iSCSI性能测试8 性能对比总结 数据库管理-第196期 实战RDMA&#xff08…

jeecgboot 同一账号只允许一个人登录

1.需求分析 jeecgboot 框架要实现同一个账号只允许一个人登录,就跟游戏账号类似,“我登录了就把你踢下去,你登录了就把我踢下去”;jwt 原理是生成 token 后一段时间内登录都有效,jeecgboot 中 jwt 和 redis 联合使用后…

基于YOLOV8/YOLOV5的远距离停车场车位检测识别系统

摘要: 在本文中深入探讨了基于YOLOv8/v7/v6/v5的停车位检测系统, 开发远距离停车位检测系统对于提高停车效率具有关键作用。。本系统核心采用YOLOv8技术,并整合了YOLOv7、YOLOv6、YOLOv5算法,以便进行性能指标对比。深入解释了YOL…

制作Dcoker镜像

文章目录 一、Docker构建镜像的原理1、镜像分层原理2、Docker的镜像结构3、分层存储原理4、构建命令与层的关系5、最终镜像的创建 二、docker commit 构建镜像1、使用场景2、手动制作yum版的nginx镜像2.1、启动一个centos容器,安装好常用的软件以及nginx2.2、关闭ng…

气膜建筑:无硬件支撑的奇迹—轻空间

气膜建筑是一种创新的建筑形式,其独特之处在于其内部没有任何硬件支撑,仅靠空气吹起来。这种技术是如何实现的呢? 气膜结构的原理 气膜建筑的核心在于其充气结构。通过不断向气膜内部充入空气,气膜内部会维持一个较高的气压。这种…

C#根据数据量自动排版标签的样例

这是一个C#根据数据量自动排版标签的样例 using System; using System.Collections.Generic; using System.Data.SqlClient; using System.Drawing; using System.Text; using System.Threading; using System.Threading.Tasks; using System.Windows.Forms; using HslCommuni…

Java基础:基本语法(一)

Java基础:基本语法(一) 文章目录 Java基础:基本语法(一)1. 前言2. 开发环境搭建2.1 Java开发工具包下载2.2 环境变量配置2.3 Java程序的运行过程 3. 数据类型3.1 基本数据类型3.2 引用数据类型 4. 常量与变…

深度学习中文笔记.pdf

深度学习和机器学习应该如何入门呢?这是很多初学者经常提的问题,针对这个问题,相信很多过来人都会推荐吴恩达的在线课程。不过,由于是英文版本,就将很多人挡在了门外。 于是,在国内,以黄海广博士…

发现一个可以白嫖GPU的平台

网址 https://platform.virtaicloud.com/gemini_web/auth/register?inviteCodeb0322161368ead7f49716688486796dd 驱动云注册有100点的算力点,目前最便宜的机器大概是0.49算力点每小时,安装个sd或者简单学习训练数据的话,应该能用挺久的。…

K8s 小白入门|从电影配乐谈起,聊聊容器编排和 K8s

来听听音乐 电影,是我们生活中的重要调味剂。 配乐,是电影中不可或缺的一部分。 有的时候,配乐可以跟剧情共振,让你按捺不住自己的情绪,或眼含热泪、或慷慨激昂、或人仰马翻、或怅然若失; 有的时候&…

探索研究大语言在生物识别技术——使用ChatGP-4从完成从人脸识别到年龄估计

0.引言 论文提出以下几要点: (1). 人脸识别、性别检测和年龄估计的性能评估: 进行了一项研究,使用GPT-4这样的大型语言模型来处理人脸识别、性别检测和年龄估计等任务。这些任务是生物识别技术中的常见应用&#xff…

深入分析 Android Activity (十)

文章目录 深入分析 Android Activity (十)1. Activity 的资源管理1.1 使用资源 ID 访问资源1.2 Drawable 资源1.3 使用 TypedArray 管理资源1.4 使用资源配置 2. Activity 的数据存储2.1 SharedPreferences2.2 文件存储2.3 SQLite 数据库2.4 ContentProvider 3. Activity 的性能…

生产者延迟消息和重试机制

messageDelayLevel1s 5s 10s 30s 1m 2m 3m 4m 5m 6m 7m 8m 9m 10m 20m 30m 1h 2h 延迟消息级别public PutMessageResult putMessage(final MessageExtBrokerInner msg) {//事务消息处理if (tranType MessageSysFlag.TRANSACTION_NOT_TYPE|| tranType MessageSysFlag.TRANSACT…

基于高光谱数据集的创新点实现-高斯核函数卷积神经网络

一、高光谱数据集简介 1.1 数据集简介 数据集链接在这:高光谱数据集(.mat.csv)-科研学术 数据集包含下面三个文件: 文件中包含.mat与.csv,145x145x220, 其实主要使用avirissub.csv文件,在代码上只是将mat文件转成了csv文件。具体avirissub.csv如下&am…

算法学习笔记(7.1)-贪心算法(分数背包问题)

##问题描述 给定 𝑛 个物品,第 𝑖 个物品的重量为 𝑤𝑔𝑡[𝑖−1]、价值为 𝑣𝑎𝑙[𝑖−1] ,和一个容量为 𝑐𝑎&…

【kubernetes】关于k8s集群如何将pod调度到指定node节点(亲和与反亲和等)

目录 一、调度约束 1.1K8S的 List-Watch 机制 ⭐⭐⭐⭐⭐ 1.1.1Pod 启动典型创建过程 二、调度过程 2.1Predicate(预选策略) 常见的算法 2.2priorities(优选策略)常见的算法 三、k8s将pod调度到指定node的方法 3.1指定…

白酒:传统产区的创新之路与品牌重塑

云仓酒庄豪迈白酒作为传统产区的品牌,面临着市场需求的不断变化和消费者口味的多样化。为了保持品牌竞争力和市场地位,传统产区需要不断创新和重塑品牌形象,以满足消费者的需求和期望。 首先,传统产区需要注重产品的品质和口感。品…

Owinps静态IP代理:跨境电商的优选解决方案

在快速发展的电子商务领域,尤其是跨境电商行业,网络的稳定性和安全性是成功经营的关键因素之一。在这背后,少不得一个重要的跨境电商工具——代理IP,而这其中,静态IP因其独特的稳定性和安全性,正逐渐成为众…