具有不确定性感知注意机制的肺结节分割和不确定区域预测| 文献速递-深度学习结合医疗影像疾病诊断与病灶分割

news2024/11/23 23:39:31

Title

题目

Lung Nodule Segmentation and UncertainRegion Prediction With an Uncertainty-Aware Attention Mechanism

具有不确定性感知注意机制的肺结节分割和不确定区域预测

01

文献速递介绍

肺结节分割在肺癌计算机辅助诊断(CAD)系统中至关重要,提供了关键信息,如结节大小、形状和其他重要医学特征。然而,在深度学习方法的通用训练和测试范式中,每个结节图像数据仅有一个由一名放射科医生勾画的注释掩模。因此,网络每次只能提供结节区域的单一预测。然而,在临床实践中,不同的放射科医生可能会针对肺结节提供各种分割注释,这是由于他们不同的培训和临床经验所致。因此,基于单一注释的传统方法无法反映临床经验的多样性,限制了深度学习方法的应用。

解决影像科医生之间注释变化问题的一个直接方法是为每个肺结节图像结合多个注释。然而,这会带来另一个问题:多个注释不可避免地会带来不确定性和冲突,因为放射科医生可能会以不同方式对同一区域进行注释。为了克服这个问题,Kohl等人在2018年提出了概率U-Net,利用条件变分自动编码器将多个分割变体编码为低维潜在空间。通过从该空间中采样,网络可以影响相应的分割图。基于这项研究,胡等人提出将地面真实不确定性与概率U-Net相结合,可以提高预测不确定性估计、样本准确性和样本多样性。这些方法依赖于潜在空间和在该空间中的随机样本。因此,这些方法只能通过多次预测提供不确定区域。

Abstract

摘要

Radiologists possess diverse training andclinical experiences, leading to variations in the segmentation annotations of lung nodules and resulting insegmentation uncertainty. Conventional methods typically*select a single annotation as the learning target or attemptto learn a latent space comprising multiple annotations.**However, these approaches fail to leverage the valuableinformation inherent in the consensus and disagreementsamong the multiple annotations. In this paper, we propose an Uncertainty-Aware Attention Mechanism (UAAM)that utilizes consensus and disagreements among multipleannotations to facilitate better segmentation. To this end,we introduce the Multi-Confidence Mask (MCM), which com bines a Low-Confidence (LC) Mask and a High-Confidence(HC) Mask. The LC mask indicates regions with low segmen tation confidence, where radiologists may have differentsegmentation choices. Following UAAM, we further designan Uncertainty-Guide Multi-Confidence Segmentation Network (UGMCS-Net), which contains three modules: a Feature Extracting Module that captures a general feature ofa lung nodule, an Uncertainty-Aware Module that producesthree features for the annotations’ union, intersection, andannotation set, and an Intersection-Union ConstrainingModule that uses distances between the three features tobalance the predictions of final segmentation and MCM.To comprehensively demonstrate the performance of ourmethod, we propose a Complex-Nodule Validation on LIDCIDRI, which tests UGMCS-Net’s segmentation performanceon lung nodules that are difficult to segment using common methods. Experimental results demonstrate that ourmethod can significantly improve the segmentation performance on nodules that are difficult to segment usingconventional methods.

影像科医生具有不同的培训和临床经验,导致肺结节分割注释的差异,从而产生分割的不确定性。传统方法通常选择单个注释作为学习目标,或者尝试学习包含多个注释的潜在空间。然而,这些方法未能充分利用多个注释之间的共识和分歧中蕴含的宝贵信息。在本文中,我们提出了一种不确定性感知注意机制(UAAM),利用多个注释之间的共识和分歧来促进更好的分割。为此,我们引入了多置信度蒙版(MCM),其中包括低置信度(LC)蒙版和高置信度(HC)蒙版。LC蒙版指示具有低分割置信度的区域,放射科医生可能具有不同的分割选择。在UAAM之后,我们进一步设计了一个不确定性引导的多置信度分割网络(UGMCS-Net),其中包含三个模块:一个特征提取模块,捕获肺结节的通用特征,一个不确定性感知模块,产生注释的并集、交集和注释集的三个特征,以及一个交集-并集约束模块,使用三个特征之间的距离来平衡最终分割和MCM的预测。为了全面展示我们方法的性能,我们提出了在LIDC IDRI上进行复杂结节验证,测试UGMCS-Net在使用常规方法难以分割的肺结节上的分割性能。实验结果表明,我们的方法可以显著改善对使用传统方法难以分割的结节的分割性能。

Method

方法

NetworkIn Figure 3, we present the architecture of the UncertaintyGuided Multi-Confidence Segmentation Network (UGMCSNet). The network takes the lung nodule CT image as inputs,and produces two outputs: a predicted Multi-Confidence Mask(MCM) and a final segmentation X**S. The MCM combinespredicted union ∪(X) and intersection ∩(X). The learningtargets of the network are the annotation set GT , as well astheir Union Mask ∪(**GT ) and Intersection Mask ∩(GT ). Theinput images and their corresponding masks have dimensionsof 50 × 50 pixels, obtained through cropping from the LIDCIDRI dataset with official annotations. Before being fed intothe network, the input images and masks are resized todimensions of 3 × 64 × 64 pixels.

在图3中,我们展示了不确定性引导的多置信度分割网络(UGMCS-Net)的架构。该网络以肺结节CT图像作为输入,并产生两个输出:预测的多置信度掩码(MCM)和最终分割XS。MCM结合了预测的并集∪(X)*和交集∩(X)。网络的学习目标是注释集GT,以及它们的并集掩码∪(GT )和交集掩码∩(GT )。输入图像及其相应的掩码的尺寸为50×50像素,通过从LIDC IDRI数据集中裁剪获得,带有官方注释。在输入网络之前,输入图像和掩码被调整大小为3×64×64像素。

Conclusion

结论

This paper introduces the Uncertainty-Aware AttentionMechanism (UAAM), which leverages the consensus ordisagreements among multiple annotations to improve segmentation and identify regions with low segmentation confidence. UAAM captures features from the Multi-ConfidenceMask (MCM), a combination of a Low-Confidence (LC)Mask and a High-Confidence (HC) Mask. Based on UAAM,we further design an Uncertainty-Guide Segmentation Network (UGMCS-Net), which contains a Feature ExtractingModule*, an Uncertainty-Aware Module, and an IntersectionUnion Constraining Module*. These modules together learnvaluable information from the consensus or disagreementsamong multiple annotations, providing regions with high andlow segmentation confidences, and a segmentation result thatcan balance all possibilities. Besides the traditional validationmethod, we propose a Complex-Nodule Validation on LIDCIDRI, which tests UGMCS-Net’s segmentation performanceon the lung nodules that are difficult to segment by U-Net.Experimental results demonstrate that our method can significantly improve the segmentation performance on nodules withpoor segmentation by U-Net.

本文介绍了一种不确定性感知注意机制(UAAM),利用多个注释之间的共识或分歧来改善分割,并识别具有低分割置信度的区域。UAAM从多置信度掩码(MCM)中捕获特征,该掩码是低置信度(LC)蒙版和高置信度(HC)蒙版的组合。基于UAAM,我们进一步设计了一个不确定性引导的分割网络(UGMCS-Net),其中包含一个特征提取模块、一个不确定性感知模块和一个交集-并集约束模块。这些模块共同从多个注释之间的共识或分歧中学习有价值的信息,提供具有高和低分割置信度的区域,以及可以平衡所有可能性的分割结果。除了传统的验证方法外,我们提出了在LIDC IDRI上进行的复杂结节验证,该验证测试UGMCS-Net在U-Net难以分割的肺结节上的分割性能。实验结果表明,我们的方法可以显著改善U-Net对于分割困难结节的分割性能。

Figure

图片

Fig. 1. (A). Uncertainty caused by multiple annotations. HC is highconfidence mask, which is the intersection of the annotation set. LC isLow-Confidence mask, which is the difference between the annotationset’s union and intersection. Multi-Confidence mask is the combinationof LC and HC. (B). Hounsfield unit kernel estimations in HC and LC ofLIDC-IDRI.

图1. (A). 多个注释引起的不确定性。HC代表高置信度蒙版,即注释集的交集。LC代表低置信度蒙版,即注释集的并集与交集之间的差异。多置信度蒙版是LC和HC的组合。(B). LIDC-IDRI中HC和LC的Hounsfield单位核估计。

图片

Fig. 2. Overview of Uncertainty-aware attention mechanism. The difference between union and intersection masks is the low-confidence mask,which guides the learning of low-certainty features. The intersectionmask is the high-confidence mask, which guides the learning of highcertainty features. The annotation set guides the learning of a plausiblesegmentation, which is a balance between all annotations.

图2. 不确定性感知注意机制 概述。并集掩码与交集掩码之间的差异是低置信度掩码,指导低确定性特征的学习。交集掩码是高置信度掩码,指导高确定性特征的学习。注释集指导了一个合理分割的学习,这是所有注释之间的平衡。

图片

Fig. 3. Overview of uncertainty-guided multi-confidence segmentation network. This network contains three modules: (1) Feature extracting module,(2) Uncertainty-aware module, and (3) Intersection-union constraining module.

图3不确定性引导的多置信度分割网络概述。该网络包含三个模块:(1) 特征提取模块,(2) 不确定性感知模块,以及 (3) 交集-并集约束模块。

图片

Fig. 4. Intersection-union constraining module. It contains three featureaware attention blocks, and each block has specific feature learningpreferences.

图4. 交集-并集约束模块。它包含三个特征感知注意力块,每个块具有特定的特征学习偏好。

图片

Fig. 5. Multiple annotation fusion loss.

图5. 多注释融合损失。

图片

Fig. 6. Segmentation results of U-Net, Attention U-Net, R2U-Net,Channel U-Net, Nested U-Net, UGS-Net, and UGMCS-Net. The redboxes corresponding to the Input column indicate the features thatshould be noted or the error-prone locations of the nodules duringsegmentation. The red boxes in the UGMCS-Net column indicate thesegmentation detail of UGMCS-Net at these locations. The green boxesindicate the inadequacies in the suboptimal segmentation result. The lastcolumn is the diameter of the corresponding nodule in mm.

图6. U-Net、Attention U-Net、R2U-Net、Channel U-Net、Nested U-Net、UGS-Net 和 UGMCS-Net 的分割结果。与 输入 列相对应的红色框表示在分割过程中应注意的特征或结节的易错位置。UGMCS-Net 列中的红色框表示 UGMCS-Net 在这些位置的分割细节。绿色框表示次优分割结果中的不足之处。最后一列是相应结节的直径,以毫米为单位。

图片

Fig. 7. The predicted intersection ∩(X), predicted union ∪(X), final segmentation XS, and MCM are generated by the UGMCS-Net. Colors in MCMare used for better visualization, red for ∩(X) and blue for ∪(X). In addition, final segmentation is represented in the MCM and marked with greento facilitate comparison. Red boxes indicate areas or features of nodules that are not easily distinguishable. The last column is the diameter of thecorresponding nodule in mm.

图7. UGMCS-Net 生成了预测的交集 ∩(X),预测的并集 ∪(X),最终分割 XS 和 MCM。在MCM中,红色代表 ∩(X),蓝色代表 ∪(X),用于更好地可视化。此外,最终分割也呈现在MCM中,并用绿色标记以便比较。红色框表示结节的区域或特征不易区分。最后一列是相应结节的直径,以毫米为单位。

图片

Fig. 8. Comparison of HU value kernel density estimation of real HC,LC, and predicted HC and LC.

图8. 实际高置信度(HC)、低置信度(LC)和预测的高置信度(HC)和低置信度(LC)的HU值核密度估计的比较。

图片

Fig. 9. Visualization of different convolutional layers. The Result in each case represents the final prediction of the network. M3, M2, and M1respectively represent the visual feature maps of the third from the bottom, the second, and the first convolution layer under different networkconfigurations. Red arrows indicate areas of nodules that need attention. d represents the diameter of the corresponding nodule in mm.

图9.不同卷积层的可视化。每种情况下的 结果 表示网络的最终预测。M3、M2 和 M1 分别表示在不同网络配置下,从底部数起的第三、第二和第一卷积层的视觉特征图。红色箭头表示需要注意的结节区域。d 表示相应结节的直径,以毫米为单位。

图片

Fig. 10. Failure cases demonstration. The number below each segmen tation mask is its DSC score. The unit of DSC is the percentage.

图10. 失败案例展示。每个分割掩码下方的数字是其 DSC 分数。DSC 的单位是百分比。

图片

Fig. 11. The feature visualizations of R ′ LC and R ′ HC

图11. R ′ LC 和 R ′ HC 的特征可视化

图片

Fig. 12. Complex-nodule validation. This validation tests UGMCS-Net’s segmentation performance on the lung nodules that are difficult to segmentby U-Net by three levels. The last two masks of each CT image are the segmentation results of UGMCS-Net and U-Net respectively. The segmentationresults of U-Net are shown in black, and the UGMCS-Net are shown in red. All indicators are expressed in percentages.

图12. 复杂结节验证。此验证通过三个级别测试UGMCS-Net在U-Net难以分割的肺结节上的分割性能。每张CT图像的最后两个掩码分别是UGMCS-Net和U-Net的分割结果。U-Net的分割结果显示为黑色,UGMCS-Net显示为红色。所有指标均以百分比表示。

Table

图片

TABLE I performance comparison between our ugmcs-net and ten networks based on the u-net structure on the lidc-idridataset. ugs-net represents a preliminary version of this work in a . all indicators are expressed in percentages

表格 I:基于LIDC-IDRI数据集的UGMCS-Net和十个基于U-Net结构的网络性能比较。UGS-Net代表本工作的初步版本。所有指标均以百分比表示。

图片

TABLE II statistical analysis of u-net, attentionu-net, and ugmcs-net

表II U-Net、Attention U-Net 和 UGMCS-Net 的统计分析

图片

TABLE III performance comparison between u-net, attention u-net, ugs-net, and ugmcs-net on label1 and label2, which are presented as subscript 1 and 2

表格 IIIU-Net、Attention U-Net、UGS-Net 和 UGMCS-Net 在 Label1 和 Label2 上的性能比较,它们分别表示为下标 1 和 2

图片

TABLE IV ablation study for modules. all indicators are expressed in percentages

表格 IV模块消融研究。所有指标均以百分比表示

图片

TABLE V  the parameter quantity and computation of the model under different variants

表格 V 不同变体下模型的参数数量和计算量

图片

TABLE VI  performance comparison between different backbone

表格 VI 不同骨干网络之间的性能比较

图片

TABLE VII  performance comparison between different filter settings

表格 VII 不同滤波器设置之间的性能比较

图片

TABLE VIII performance comparison between different α settings

表格 VIII 不同 α 设置之间的性能比较

图片

TABLE IX analysis of segmentation performances in complex-nodule validation. ugmcs-8a + 8b, ugmcs-iucm, and ugmcs-netaverage dsc and iou are followed by the difference (green number) from the corresponding metric of attention u-net. all indicators are expressed in percentages

表IX 复杂结节验证中分割性能的分析。UGMCS-8a + 8b、UGMCS-IUCM 和 UGMCS-Net的平均DSC和IOU,后跟着与Attention U-Net相应指标的差异(绿色数字)。所有指标均以百分比表示。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1819413.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

什么是1+N+b模式的费用直投门店管理体系?

在快消行业,为争夺市场份额,企业每年需投入大量资金。在此过程中,您是否也像李总一样面临着如下困惑: 为解决李总所面临的难题,纷享销客秉承“终端为王”的经营理念,创造性地推出了基于1Nb模式的费用直投门…

携手知名律所,合合信息旗下名片全能王打造数字化名片“新范式”

在低碳办公理念盛行的当下,数字名片成为商务交流的新方式,以数字化智能化赋能绿色化。近期,合合信息旗下名片全能王企业数字名片升级,与上海市律师协会、广州市律师协会、北京大成(上海)律师事务所等多家律…

如何用Xinstall CPS结算系统打破传统营销桎梏,实现用户增长?

在互联网流量红利逐渐衰退的今天,App推广和运营面临着前所未有的挑战。如何快速搭建起满足用户需求的运营体系,成为了众多企业急待解决的问题。而在这个关键时刻,Xinstall CPS结算系统应运而生,以其独特的优势帮助企业解决了一系列…

ESP-IDF OTA升级过程中遇到的“esp_transport_read returned:-1 and errno:128”问题(2)

接前一篇文章:ESP-IDF OTA升级过程中遇到的“esp_transport_read returned:-1 and errno:128”问题(1) 上一回讲了笔者在进行ESP-IDF的OTA调试和测试时遇到了一个新问题:大升级文件下载失败。 在网上寻找解决办法无果后,求助于乐鑫的技术支持,答复说官方例程没有问题。笔…

Django之云存储(一)

一、介绍 用户上传的文件以及项目中使用的静态文件,除了保存在本地服务器,还在可以保存在云服务中,比如: 阿里云七牛云(课程选用)亚马逊云等1.1、使用方式 注册账号 七牛云开发者平台 实名认证 创建空间

【高频电子线路】选频网络概述

什么是选频网络 选频网络是用来“滤波”的电路,用来滤除特定频率的信号以得到目标信号。 选频网络的分类 知识补充 电容和电感的基本性质 在电容中,电流与电压的变化率成正比,电流超前90。 在电感中,电压与电流的变化率成正…

算法:模拟题目练习

目录 题目一:替换所有的问号 题目二:提莫攻击 题目三:N字形变换 题目四:外观数列 题目五:数青蛙 首先先解释一下模拟算法是什么,其实模拟算法就是题目让我们干什么我们就干什么,思路比较简…

kettle从入门到精通 第六十八课 ETL之kettle kettle随机数生成的一些方案

1、在做ETL数据抽取的时候,会用到生成随机数的功能,今天我们一起来学习下如何生成随机数据。如下图所示 2、将生成随机数拉倒画布即可,然后设置字段名称和选择合适的类型,如下图所示: 类型: 随机数字&…

【后端】Java学习笔记(二周目-1)

环境 安装JDK8并配置环境变量 jvm核心类库jre jre开发工具jdk Java基础运行流程,代码从上到下,从左往右,只运行一次 桌面—>新建文件夹—>新建记事本—>打开编写代码 public class Hello{public static void main(String[] arg…

sizeof和strlen

1.sizeof和strlen的对比 1.1sizeof sizeof是计算变量所占内存空间大小的,单位是:字节 如果操作数是类型的话,计算的是使用类型创建的变量所占内存空间的大小。 sizeof只关注占用内存空间的大小,不在乎内存中存放的是什么数据 …

深入理解MySQL分区技术

前言: 在数据量不断增长的当今时代,数据库的性能优化变得尤为重要。MySQL作为一款广泛使用的数据库管理系统,提供了多种性能优化手段,其中分区技术是提升大型表处理效率的有效方法之一。通过将数据分散到多个独立的物理子表中&am…

ArcGIS Pro SDK (三)Addin控件 2 窗格界面类

ArcGIS Pro SDK (三)Addin控件 2 窗格界面类 目录 ArcGIS Pro SDK (三)Addin控件 2 窗格界面类15 ArcGIS Pro 后台选项卡15.1 添加控件15.2 Code15.2.1 选项卡按钮15.2.2 选项卡页 16 ArcGIS Pro 窗体16.1 添加控件16.2 Code 17 A…

Bean基础配置

黑马程序员SSM 文章目录 一、Bean基础配置二、bean别名配置2.1 ban的别名配置2.2 注意事项 三、Bean作用范围配置3.1 Bean作用范围3.2 bean作用范围说明 一、Bean基础配置 二、bean别名配置 2.1 ban的别名配置 2.2 注意事项 获取bean无论是通过id还是name获取,如果…

webp2jpg网页在线图片格式转换源码

源码介绍 webp2jpg-免费在线图片格式转化器, 可将jpeg、jpg、png、gif、 webp、svg、ico、bmp文件转化为jpeg、png、webp、webp动画、gif文件。 无需上传文件,本地即可完成转换! 源码特点: 无需上传,使用浏览器自身进行转换批量转换输出we…

汇编语言程序设计之数据传输类指令

文章目录 数据传送类指令通用数据传送指令MOVXCHGXLAT 换码指令 堆栈操作指令标志传送指令标志位操作指令地址传送指令 算术运算类指令常用标志位加法指令ADDADCINC 减法指令SUBSBBDECNEGCMP 乘法指令MUL(无符号)IMUL(有符号)MUL和IMUL对符号…

Sa-Token鉴权与网关服务实现

纠错: 在上一部分里我完成了微服务框架的初步实现,但是先说一下之前有一个错误,就是依赖部分 上次的学习中我在总的父模块下引入了spring-boot-dependencies(版本控制)我以为在子模块下就不需要再引用了,…

传输层——TCP

在学习计算机网络的过程中,我们知道OSI七层协议模型,但是在实际开发应 用中我们发现OSI七层协议模型并不适合实施,因为OSI上三层通常都是由开 发人员统一完成的,这三层之间在实现过程中没有一个明确的界限,所以我 们更…

数据结构逻辑

一:逻辑关系 1、线性关系 2:树型关系 3:图像关系 二:存储关系 1:顺序存储、数据在存储中会开辟一块连续的空间进行存储。一般使用数组来存储数据 2:链式存储、数据在内存中不需要开辟连续的空间进行存储 3…

vba学习系列(5)--指定区域指定字符串计数

系列文章目录 文章目录 系列文章目录前言一、需求背景二、vba自定义函数1.引入库 总结 前言 一、需求背景 想知道所有客诉项目里面什么项目最多,出现过多少次。 二、vba自定义函数 1.引入库 引用: CountCharInRange(区域,“字符串”) Function CountCh…

Mysql数据类型解析

1、MySQL 数据类型 MySQL 支持多种类型,大致可以分为三类:数值、日期/时间和字符串(字符)类型。 1.2、查看Mysql编码格式 mysql> show variables like "%char%"; ----------------------------------------------…