一种用于脑肿瘤和组织分割的具有体积特征对齐的三维跨模态特征交互网络

news2025/1/14 20:42:23

A 3D Cross-Modality Feature Interaction Network With Volumetric Feature Alignment for Brain Tumor and Tissue Segmentation

  • 一种用于脑肿瘤和组织分割的具有体积特征对齐的三维跨模态特征交互网络
    • 背景
    • 贡献
    • 实验
    • 方法
      • Cross-Modality Feature Interaction Module
      • Volumetric Feature Alignment Module
      • Volumetric Dual Interaction Graph Reasoning Module(体积对偶交互推理模块)
    • 损失函数
    • Thinking

一种用于脑肿瘤和组织分割的具有体积特征对齐的三维跨模态特征交互网络

IEEE JOURNAL OF BIOMEDICAL AND HEALTH INFORMATICS, VOL. 27, NO. 1, JANUARY 2023
在这里插入图片描述

背景

由于模态之间的复杂关系,使用简单多模态融合策略的三维全卷积网络(3DFCN)很难学习模态之间复杂和非线性的互补信息。同时,低层次和高层次特征之间的不区分特征聚合容易导致三维FCN中的体积特征失准。另一方面,3D FCN的3D卷积运算在建模局部关系方面非常出色,但在捕捉体积图像中的远处区域之间的全局关系方面通常效率低下。为了解决这些问题,我们提出了一种对齐的跨模态交互网络(ACMNET),用于从MR图像中分割脑肿瘤和组织的区域。在该网络中,首先设计了跨模态特征交互模块,以自适应、高效地融合和细化多模态特征。其次,开发了体积特征对齐模块,用于通过可学习的体积特征变形场动态对齐低级和高级特征。第三,我们提出了用于空间和通道维度上基于图的全局上下文建模的体积对偶交互图推理模块。

最近的相关工作[36]、[58]、[59]、[60]采用图卷积运算来捕获医学图像分割中的全局信息
[36] Z. Liu et al., “CANet: Context aware network for brain glioma segmentation,” IEEE Trans. Med. Imag., vol. 40, no. 7, pp. 1763–1777, Jul. 2021.
[58] Y. Meng et al., “Graph-Based region and boundary aggregation for biomedical image segmentation,” IEEETrans.Med.Imag., vol. 41, no. 3, pp. 690–701, Mar. 2022.
[59] S. Pang et al., “SpineParseNet: Spine parsing for volumetric MR image by a two-stage segmentation framework with semantic image representation,” IEEE Trans. Med. Imag., vol. 40, no. 1, pp. 262–273, Jan. 2021.
[60] S. Y. Shin et al., “Deep vessel segmentation by learning graphical connectivity,” Med. Image Anal., vol. 58, 2019, Art. no. 101556.

贡献

在本文中,我们提出了一种称为ACMNet的统一网络,用于从多模式MR图像中分割脑组织和肿瘤区域。在我们提出的方法中,设计了基于跨模态分支注意机制的跨模态特征交互(CMFI)模块,以自适应、高效地融合和细化多模态特征。为了缓解特征聚合过程中的体积特征错位,我们开发了体积特征对齐(VFA)模块,用于通过可学习的体积特征变形场动态对齐低级和高级特征。为了克服三维卷积运算在远距离区域关系推理中的低效性,我们设计了一个体积双交互图推理(VDIGR)模块,用于空间和通道维度的图表示和推理。与其他最先进的方法相比,实验结果表明,ACMNET在脑胶质瘤、前庭神经鞘瘤和脑组织分割任务中产生了更高或非常相似的分割性能和更好的计算效率。

  1. 我们开发了一个跨模态特征交互模块,用于在分割网络的编码阶段自适应、高效地融合和细化多模态特征。
  2. 我们提出了一个体积特征对齐模块,用于分割网络解码阶段低级别和高级别特征之间的特征聚合。
  3. 通过在两个不同的图空间中的图表示和关系推理,我们设计了一个用于空间和通道维度的全局上下文建模的体积对偶交互图推理模块。
  4. 我们构建了用于分割脑肿瘤和组织区域的对齐跨模态交互网络(ACMNET),该网络结合了上述三个模块。实验结果表明,在没有额外模型结构集合的情况下,ACMINet在所有四个基准数据集上都实现了最先进的分割性能。

实验

BraTs18 20,“Vestibular Schwannoma Segmentation Dataset”,“Brain Tissue Segmentation Dataset: The iSeg-2017 datase”,做了特征可视化和余弦相似度分析;对特征对齐模块进行特征可视化;图形推理组件的特征可视化;
在这里插入图片描述
各种可视化展示
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

方法

在这里插入图片描述

Cross-Modality Feature Interaction Module

分组、交互、融合。把T1、T1ce分为一组,T2、flair分为一组。由于每个模态对内的图像信息是一致的,而不同模态对之间的信息是不同的和互补的[11],[44],因此模态对分组操作用于显著降低多个分支的计算成本,并有效地学习CMFI模块中的多模态信息。
[11] Y. Wang et al., “Modality-pairing learning for brain tumor segmentation,” in Proc. Int. MICCAI Brainlesion Workshop, 2021, pp. 230–240.
[44] D. Zhang et al., “Cross-modality deep feature learning for brain tumor segmentation,” Pattern Recognit., vol. 110, 2021, Art. no. 107562.
在这里插入图片描述
把两组分别进行卷积,提取独特特征,把不同组的特征拼接过来,中间Cross-Modality Branch Attention提取拼接过的注意力权重,分别用了全局平均池化和全局最大池化。把注意力权重乘给两组,分别对两组进行加权,把加权后的两组特征以及原始特征图拼接,再卷积融合,得到融合特征。

Volumetric Feature Alignment Module

不同尺度的特征融合,一个来自编码器,一个来自解码器,代替了传统的拼接融合操作。
利用可学习的体积特征变形场φ∈RD×W×H×3来学习早期和晚期特征之间的空间位移
[50] G. Balakrishnan, A. Zhao, M. R. Sabuncu, J. Guttag, and A. V. Dalca, “VoxelMorph: A learning framework for deformable medical image registration,” IEEETrans.Med.Imag., vol. 38, no. 8, pp. 1788–1800, Aug. 2019.
在这里插入图片描述
Warp操作
在这里插入图片描述
grid是三维空间中的一个均匀分布的网格大小和输入一样
F.grid_sample对input进行采样插值操作,grid表示采样点的坐标网格张量,根据grid中的坐标值,再input中进行插值操作,生成output,align_corners=False参数表示不对齐角点,可以控制插值的边界条件。

Volumetric Dual Interaction Graph Reasoning Module(体积对偶交互推理模块)

为了克服卷积运算在不相交和遥远区域的关系推理中的低效性(没有长距离依赖),基于先前彩色图像中的2D图表示和推理方法[34],[57],我们设计了一个用于基于图的全局上下文建模的体积对偶交互图推理(VDIGR)模块,我们提出的VDIGR模块包含两个图推理模块:空间交互图推理(SIGR)模块特征交互图推理模块。通过组合SIGR和FIGR模块生成的两个不同但互补的关系感知特征,我们提出的VDIGR模块可以获得丰富的全局上下文信息,以实现更好的分割性能。在图卷积网络[62]中,交互图G={Vg,Eg,Ag}通常由交互图节点Vg、交互节点Eg之间的边和邻接矩阵Ag定义。为了在分割网络中构建图结构,一种常见的方法是通过对相干空间区域或特征通道进行聚类,将图像特征投影到具有较少维度和密集表示的交互图空间[65],[66]。
在这里插入图片描述
SIGR的绿块是个self-attention操作,再映射到图空间,以及残差连接,不过SIGR先下采样了一下,最后上采样回去再残差连接
FIGR通过两个1x1x1卷积得到两个不同通道数的特征图,转置相乘,得到c/2 x c/4大小的特征,再构建c/2 x c/4的图,对刚开始得到的特征加权,再卷积得到加权特征,然后残差连接
把SIGR和FIGR得到的特征图拼接,卷积融合,得到融合特征

损失函数

对不同层的特征进行深度监督,Dice损失函数
在这里插入图片描述
在这里插入图片描述

Thinking

整体是对3DUNet的改进,把DoubleConv改成Cross-Modality Feature Interaction Module,先对模态分组,计算注意力,对每组的特征进行加权,残差连接,两组特征和原始特征拼接融合;把UNet的跳跃连接换成Volumetric Feature Alignment Module,对不同尺度的特征进行体积形变场上的对齐;在瓶颈层加入了Volumetric Dual Interaction Graph Reasoning Module,相当于一个Transformer,和TransBTS的思想很像,都是在瓶颈层加入Transformer,获得长距离依赖。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1225761.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

UE 程序化网格 计算横截面 面积

首先在构造函数内加上程序化网格,然后复制网格体到程序化网格组件上,将Static Mesh(类型StaticMeshActor)的静态网格体组件给到程序化网格体上 然后把StaticMesh(类型为StaticMeshActor)Instance暴漏出去 …

Apache Hive源码阅读环境搭建

前置软件: JDK 1.8 Maven 3.3.9 1 下载源码 # 下载源码 git clone https://github.com/apache/hive.gitcd hive# 查看标签 git tag# 切换到要阅读的指定版本的tag git checkout rel/release-2.1.02 编译源码 mvn clean install -DskipTests执行报错 日志如下 E…

C#,数值计算——插值和外推,曲线插值(Curve_interp)的计算方法与源程序

1 文本格式 using System; namespace Legalsoft.Truffer { /// <summary> /// Object for interpolating a curve specified by n points in dim dimensions. /// </summary> public class Curve_interp { private int dim { get; s…

消息积压了如何处理?

欢迎大家到我的博客阅读这篇文章。消息积压了如何处理&#xff1f; - 胤凯 (oyto.github.io)在系统中使用消息队列的时候&#xff0c;消息积压这个问题也经常遇到&#xff0c;并且这个问题还不太好解决。 消息积压的直接原因通常是&#xff0c;系统中的某个部分出现了性能问题…

初刷leetcode题目(2)——数据结构与算法

&#x1f636;‍&#x1f32b;️&#x1f636;‍&#x1f32b;️&#x1f636;‍&#x1f32b;️&#x1f636;‍&#x1f32b;️Take your time ! &#x1f636;‍&#x1f32b;️&#x1f636;‍&#x1f32b;️&#x1f636;‍&#x1f32b;️&#x1f636;‍&#x1f32b;️…

YOLO目标检测——无人机检测数据集下载分享【含对应voc、coco和yolo三种格式标签】

实际项目应用&#xff1a;无人机识别数据集说明&#xff1a;无人机检测数据集&#xff0c;真实场景的高质量图片数据&#xff0c;数据场景丰富标签说明&#xff1a;使用lableimg标注软件标注&#xff0c;标注框质量高&#xff0c;含voc(xml)、coco(json)和yolo(txt)三种格式标签…

【Web】PHP反序列化的一些trick

目录 ①__wakeup绕过 ②加号绕过正则匹配 ③引用绕过相等 ④16进制绕过关键词过滤 ⑤Exception绕过 ⑥字符串逃逸 要中期考试乐(悲) ①__wakeup绕过 反序列化字符串中表示属性数量的值 大于 大括号内实际属性的数量时&#xff0c;wakeup方法会被绕过 &#xff08;php5-p…

基于海洋捕食者算法优化概率神经网络PNN的分类预测 - 附代码

基于海洋捕食者算法优化概率神经网络PNN的分类预测 - 附代码 文章目录 基于海洋捕食者算法优化概率神经网络PNN的分类预测 - 附代码1.PNN网络概述2.变压器故障诊街系统相关背景2.1 模型建立 3.基于海洋捕食者优化的PNN网络5.测试结果6.参考文献7.Matlab代码 摘要&#xff1a;针…

SQL零基础入门教程,贼拉详细!贼拉简单! 速通数据库期末考!(八)

FULL OUTER JOIN 除了前面讲到的 INNER JOIN&#xff08;内连接&#xff09;、LEFT JOIN&#xff08;左连接&#xff09;、RIGHT JOIN&#xff08;右连接&#xff09;&#xff0c;还有另外一种关联方式&#xff0c;即 FULL OUTER JOIN&#xff08;全外连接&#xff09; FULL O…

移动端路径传参以数字的形式,写死的情况

页面1 async getListTransferAndApprova() { //把mark值拼接到路径的后面&#xff0c;定义一个变量&#xff0c;使得切换穿的mark都不一样let mark ;if (this.tabsCurrent 0) {mark 2;} else if (this.tabsCurrent 1) {mark 3;}else if (this.tabsCurrent 2) {mark 4;}…

【AD封装】芯片IC-SOP,SOIC,SSOP,TSSOP,SOT(带3D)

包含了我们平时常用的芯片IC封装&#xff0c;包含SOP,SOIC,SSOP,TSSOP,SOT&#xff0c;总共171种封装及精美3D模型。完全能满足日常设计使用。每个封装都搭配了精美的3D模型哦。 ❖ TSSOP和SSOP 均为SOP衍生出来的封装。TSSOP的中文解释为&#xff1a;薄的缩小型 SOP封装。SSO…

WMS重力式货架库位对应方法

鉴于重力式货架的特殊结构和功能&#xff0c;货物由高的一端存入&#xff0c;滑至低端&#xff0c;从低端取出。所以重力式货架的每个货位在物理上都会有一个进货口和一个出货口。因此&#xff0c;在空间上&#xff0c;对同一个货位执行出入库操作需要处于不同的位置。 比如对…

Os-hackNos-1

Os-hackNos-1 一、主机发现和端口扫描 主机发现 arp-scan -l端口扫描 nmap -P 192.168.80.141二、信息收集 访问80端口&#xff0c;可知目标是ubuntu系统&#xff0c;中间件是Apache 目录扫描&#xff0c;发现两个路径 dirsearch -u http://192.168.80.141/ -e *index.html路…

FISCO BCOS 3.0【03】配置和使用pythonSDK

官方技术文档&#xff1a;https://fisco-bcos-doc.readthedocs.io/zh-cn/latest/index.html 我们在官方技术文档的基础上&#xff0c;进行&#xff0c;对文档中一些不清楚的地方进行修正 依赖软件 Ubuntu sudo apt install -y zlib1g-dev libffi6 libffi-dev wget git初始化…

STM32硬件调试器不一定准确,proteus不一定准确

我在做实验的过程中&#xff0c;发现里面的那个变量ii一直都不变搞了很久没有发现问题&#xff0c; 然后怀疑是不是软件出了问题&#xff0c;然后直接只用单片机的一个灯泡来检测是否正常&#xff0c;发现&#xff1a;单片机里面正常&#xff0c;但是硬件调试的时候&#xff0…

后端面经学习自测(三)

文章目录 1、ArrayList和Linkedlist区别&#xff1f;2、ArrayList扩容机制&#xff1f;3、ArrayList和Linkedlist分别能做什么场景&#xff1f;4、事务特性&#xff1f;MySQL事务Redis事务Spring事务5、在Spring中事务失效的场景&#xff1f;6、Java泛型&#xff1f;7、泛型擦除…

22 - 如何优化垃圾回收机制?

我们知道&#xff0c;在 Java 开发中&#xff0c;开发人员是无需过度关注对象的回收与释放的&#xff0c;JVM 的垃圾回收机制可以减轻不少工作量。但完全交由 JVM 回收对象&#xff0c;也会增加回收性能的不确定性。在一些特殊的业务场景下&#xff0c;不合适的垃圾回收算法以及…

VisualGDB 6.0 R2 Crack

轻松跨平台"VisualGDB 使 Visual Studio 的跨平台开发变得简单、舒适。它支持&#xff1a; 准系统嵌入式系统和物联网模块&#xff08;查看完整列表&#xff09; C/C Linux 应用程序 本机 Android 应用程序和库 Raspberry Pi 和其他Linux 板 Linux 内核模块&#xff08;单…

11 月 18 日 ROS 学习笔记——可视化和调试工具

文章目录 前言一、调试 ROS 节点1. gdb 调试器2. 在 ROS 节点启动时调用 gdb 调试器3. 在 ROS 节点启动时调用 valgrind 分析节点4. 设置 ROS 节点 core 文件转储5. 日志消息1). 输出日志消息2). 设置调试消息级别 二、检测系统状态1. rqt_graph2. 可视化坐标变换3. 保存与回放…

openGauss通过VIP实现的故障转移

&#x1f4e2;&#x1f4e2;&#x1f4e2;&#x1f4e3;&#x1f4e3;&#x1f4e3; 哈喽&#xff01;大家好&#xff0c;我是【IT邦德】&#xff0c;江湖人称jeames007&#xff0c;10余年DBA及大数据工作经验 一位上进心十足的【大数据领域博主】&#xff01;&#x1f61c;&am…