MMUNet:形态学特征增强网络在结肠癌病理图像分割中的应用

news2024/11/19 19:32:09

MMUNet: Morphological feature enhancement network for colon cancer segmentation in pathological images.

发表在:Biomedical Signal Processing and Control2024--影响因子:3.137

南华大学的论文

论文地址:main.pdf (sciencedirectassets.com)

代码地址:https://github.com/Yuanhaojun513/MMUNet

目录

一、摘要

二、介绍

三、方法框架

3.1改变卷积块MCNB和MCNEAB

3.2侵蚀膨胀模块EDM

 3.3边缘特征模块EFM

3.4损失函数

四、实验和结果

4.1实验

4.2结果

五、结论


一、摘要

结肠图像分析是诊断结肠癌的重要步骤,由于病理切片中细胞形状和边界的多样性,故存在困难。在本文中,我们提出了一种u型结肠癌分割网络,将深度可分卷积和形态学方法相结合,减少了模型参数的数量,有效提高了分割精度。我们利用序列卷积和外部焦点作为模型的底层架构,提高了全局和局部特征的能力。我们设计了跳跃连接,以形态学的方式融合编码器的特征,以增强形态学特征。引入边缘增强模块,利用形态学方法提取轮廓信息增强边缘特征。

二、介绍

结肠癌已被证明可以通过细胞的形状、密度和位置来预测临床结果。传统的结肠癌图像分割方法,有些方法取得了一定的成功。然而,它们需要在面对不规则形状时更具竞争力,只适用于某些类型的图像,并且不是很健壮

通过构建融合低级语义和高级语义的编码器-解码器结构,然而,这项工作没有考虑形态学信息的影响,形态学信息对于不规则的病理切片非常重要。连续的下采样和上采样可以获得丰富的语义信息,但会丢失一些目标信息,影响边缘的纹理特征。此外,卷积的局限性导致该网络只关注局部特征而忽略了远程依赖。全局特征和局部特征相辅相成,有利于增强模型提取特征的能力。因此,许多研究者将transformer引入到视觉任务中,以减轻卷积的局域性,增加远程依赖性,但这带来了巨大的计算压力。研究者发现,外部注意(EA)可以以较低的复杂性获得远程依赖的能力。 

因此本文提出了一种形态学方法UNet(MMUNet)来解决病理图像中结肠癌分割中形状不规则和边缘不准确的问题。改进了ConvNeXt的基本模块,使其适合于结肠癌的分割。

我们使用改进的块构造一个多尺度卷积模块(MCNB)来提取多尺度特征。我们构建了一个多尺度卷积外部注意块(MCNEAB),使用MCNB和EA相结合来提取局部和全局特征。其次,利用侵蚀膨胀模块(EDM)对编码器特征进行形态学融合,增强形态学特征;最后,利用边缘特征模块(Edge Feature Module, EFM)提取编码器基特征和解码器基特征,增强边缘特征 。

主要贡献:

1. 构建侵蚀膨胀模块(EDM)和边缘特征模块(EFM),分别引入形态学方法融合编码器特征和提取轮廓,进一步增强形态学特征和边缘特征

2. 我们提出了多尺度卷积块(MCNB)和多尺度卷积外部注意块(MCNEAB),增强了提取全局和局部特征的能力

3. 我们在三个结肠癌数据集上进行了广泛的实验来验证我们方法的有效性。

三、方法框架

它是一个结合卷积神经网络和形态学方法的u形网络,包括由多尺度卷积块和外部注意(EA)组成的基本架构,边缘特征模块(EFM)和使用侵蚀和膨胀的编码器特征融合模块(EDM)。我们仅在前三层使用多尺度卷积块(MCNB),在后两层使用多尺度卷积外部注意块(MCNEAB),从而降低了复杂性并提高了捕获上下文信息的能力。对于EFM,我们使用编码器的前两层和解码器的最后一层的特征信息提取边缘特征。对于EDM,形态学方法将在编码器特征上进行操作,以增强形态学特征。

3.1改变卷积块MCNB和MCNEAB

基于改进的ConvNeXt块,将7 × 7深度卷积分成4个部分。第一部分执行卷积核大小为3,第二部分执行卷积核大小为5,第三部分执行卷积核大小为7。最后一部分保存原始信息,第二部分接收第一次卷积后的结果,第三部分接收第二部分进行卷积后的结果。MCNB用于提取多尺度特征。然后,将MCNB与EA连接起来,得到远程依赖关系,称为多尺度卷积外部注意块。

 EA论文地址:https://arxiv.org/pdf/2105.02358

     ConvNeXt论文地址:https://arxiv.org/abs/2201.0354

EA使用一个外部矩阵M来建模第i个像素和第j行之间的相似性,且M是可学习的、大小可变的,同时,M还可以随着训练过程的进行建模整个数据集不同样本间的联系 在实际应用中,M分为两个:M_k、M_v,分别对应SA中的K和V:A  = Norm(FM_K^T);Fout = AM_v

3.2侵蚀膨胀模块EDM

侵蚀使图像更平滑,并去除小噪声点。膨胀增强了图像的细节,填补了小洞。我们通过侵蚀和膨胀过程融合编码器特征。该方法的优点是去除了噪声并保留了足够的形态学信息。

利用SoftMax对编码器特征映射X进行二值化。使用MaxPooling(内核大小为7,步长为1,填充为3)实现侵蚀和扩展,因为更大的内核捕获更多的上下文信息并扩展接受域。

对编码器特征X1进行并行腐蚀和扩展,对扩展后的特征映射进行Tanh计算加权。一方面,对腐蚀特征图进行Sigmoid加权,并与膨胀特征图相乘计算相似矩阵; 另一方面,利用Sigmoid算法将腐蚀后的特征图与原始地图融合,计算权值,得到原始地图的相似度矩阵。最后对两个相似矩阵信息进行融合。

 3.3边缘特征模块EFM

错误的边界会产生许多错误的病变区域。标准的卷积神经网络提取附加特征来补充边缘特征,但单个特征会丢失边缘信息。由于底层特征具有足够的边缘信息,我们使用编码器的下两层特征和解码器的最后一层特征。EFM对两个输入分别提取轮廓,去除图像中的噪声和不规则部分,得到更准确的边缘信息。

编码器第一层的特征X1直接通过形态学方法计算边缘,得到X1_edge。X2使用第二层编码器特征,通过上采样DwConv和形态学方法提取边缘信息。X1_edge和X2_edge沿通道方向连接,两部分信息融合得到更精确的边缘。最后对编码器特征X和边缘特征求和:

3.4损失函数

由于病理图像的复杂性和多样性,我们选择Dice系数和交叉熵损失来训练我们的网络,它可以关注分割区域的匹配程度和每个像素点的分类精度来提高分割性能。

其中Y_i代表真实值,P_i代表预测值

四、实验和结果

4.1实验

 数据集:三个结肠癌数据进行了广泛的实验,如下数据内容信息。

评价指标:五个评估指标包括Jaccard, Dice系数,Precision, Sensitivity和Specificity。

其中TP (TN)描绘了正确预测的标记为正(负)的病变像素。相反,FP (FN)描述了被标记为正(负)的错误预测的病变像素。

tip 我们的网络使用PyTorch实现,并在具有48G显存的A6000显卡上进行训练。我们选择AdamW作为优化器,学习率设置为0.0015,批大小设置为4,训练epoch设置为400。 我们的数据增强方法包括随机调整大小、随机裁剪、水平翻转和垂直翻转。由于三个数据集具有不同的图像分辨率大小,我们将图像随机裁剪为224 × 224像素。

4.2结果

三种数据集与其他模型进行比较

 消融实验

对比实验

损失函数以及卷积大小选择

五、结论

结肠病理图像是病理学家诊断癌症的重要标准之一,计算机辅助医学诊断对于结肠癌的初步筛查至关重要。本文提出了一种基于MMUNet的结肠癌病理切片病变区域自动分割方法。我们提出的模型在三个结肠癌数据集上得到了验证。首先,我们利用先进的卷积结构来增强模型的特征提取能力,并利用卷积模块与外部关注进行串行化,以获取远程依赖关系,降低模型复杂度。其次,引入形态学方法,重新设计跳跃连接以校正来自编码器的特征,增加形态学信息的重要性。最后,使用形态学方法直接计算边缘,方便模型学习边界特征。实验结果表明,本文提出的方法优于其他竞争方法。在未来的工作中,我们将探索如何设计和使用更多的形态学方法来获得更好的结果,适用于更多的分割任务。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1799024.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【ffmpeg】本地格式转换 mp4转wav||裁剪mp4

个人感受:太爽了!!!(可能用惯了转换网站和无良的转换软件) ———— 使用FFmpeg把mp4文件转换为WAV文件 - 简书 (jianshu.com) FFMPEG 视频分割和合并 - 简书 (jianshu.com) ———— 示例 ffmpeg -i …

计算机组成结构—IO接口(IO控制器)

目录 一、I/O 接口的功能 二、I/O 接口的基本结构 1. 总线连接的数据通路 2. I/O 接口的基本组成 三、I/O 端口及其编址 1. 统一编址 2. 不统一编址 四、I/O 接口的类型 两个系统或两个部件之间的交接部分,一般就称为 接口。接口可以是硬件上两种设备间的连…

哈夫曼树的创建

要了解哈夫曼树,可以先了解一下哈夫曼编码,假设我们有几个字母,他们的出现频率是A: 1 B: 2 C: 3 D: 4 E: 5 F: 6 G: 7。那么如果想要压缩数据的同时让访问更加快捷,就要让频率高的字母离根节点比较进,容易访问&#xf…

微生物共生与致病性:动态变化与识别挑战

谷禾健康 细菌耐药性 抗生素耐药性细菌感染的发生率正在上升,而新抗生素的开发由于种种原因在制药行业受重视程度下降。 最新在《柳叶刀-微生物》(The Lancet Microbe)上,科学家提出了基于细菌适应性、竞争和传播的生态原则的跨学…

个人vsCode配置文件<setting.js>

个人vsCode配置文件setting.js 快速打开1、使用快捷键 CtrlShiftP ,然后搜索setting2、手动 自用配置 快速打开 1、使用快捷键 CtrlShiftP ,然后搜索setting 2、手动 自用配置 {"terminal.integrated.profiles.windows": {"PowerShell&…

阿里云对象存储OSS简单使用

文章目录 概念基本概念Bucket 准备工作控制台操作对象存储OSSJava客户端操作对象存储OSS参考来源 概念 基本概念 阿里云对象存储 OSS是一款海量、安全、低成本、高可靠的云存储服务,提供最高可达 99.995 % 的服务可用性。而且提供了多种存储类型,降低我…

顶顶通呼叫中心中间件-asr录音路径修改(mod_cti基于FreeSWITCH)

顶顶通呼叫中心中间件-asr录音路径修改(mod_cti基于FreeSWITCH) 录音路径模板。如果不是绝对路径,会把这个路径追加到FreeSWITCH的recordings后面。支持变量,比如日期 ${strftime(%Y-%m-%d)}。最后一个录音文件路径会保存到变量 ${cti_asr_last_record_…

PDF 文件的解析

1、文本 PDF 的解析 1.1、文本的提取 进行文本提取的 Python 库包括:pdfminer.six、PyMuPDF、PyPDF2 和 pdfplumber,效果最好的是 PyMuPDF,PyMuPDF 在进行文本提取时能够最大限度地保留 PDF 的阅读顺序,这对于双栏 PDF 文件的抽…

刷完50题,搞定十大网络基础知识

号主:老杨丨11年资深网络工程师,更多网工提升干货,请关注公众号:网络工程师俱乐部 上午好,我的网工朋友 咱新手网工,入行之前最需要做的准备之一,就是抓住网络基础知识,毕竟是饭碗&…

C语言野指针、规避野指针、assert宏断言

目录 a.野指针成因 1.指针未初始化 2.指针越界访问 3.指针指向的空间释放 b.规避野指针 1.指针初始化 2.小心指针越界 3.指针变量不再使用时,及时置NULL,指针使用之前检查有效性 4.避免返回局部变量的地址 c.assert宏断言的使用 概念&#xff1…

上位机快速开发框架

右上角向下按钮 -> 后台配置 系统菜单 角色管理 分配权限 用户管理 设备配置 通道管理 首页界面设计 设备1配置 带反馈按钮,如:用户按键00105,PLC反馈状态00106 设备2配置 参数说明: TagName_Main:主要信息&#…

加密经济浪潮:探索Web3对金融体系的颠覆

随着区块链技术的快速发展,加密经济正在成为全球金融领域的一股新的浪潮。而Web3作为下一代互联网的代表,以其去中心化、可编程的特性,正深刻影响着传统金融体系的格局和运作方式。本文将深入探讨加密经济对金融体系的颠覆,探索We…

SpringBoot+百度地图+Mysql实现中国地图可视化

通过SpringBoot百度地图Mysql实现中国地图可视化 一、申请百度地图的ak值 进入百度开发者平台 编辑以下内容 然后申请成功 二、Springboot写一个接口 确保数据库里有数据 文件目录如下 1、配置application.properties文件 #访问端口号 server.port9090 # 数据库连接信息 spr…

Xamarin.Android实现通知推送功能(1)

目录 1、背景说明1.1 开发环境1.2 实现效果1.2.1 推送的界面1.2.2 推送的设置1.2.3 推送的功能实现1.2.3.1、Activity的设置【重要】1.2.3.2、代码的实现 2、源码下载3、总结4、参考资料 1、背景说明 在App开发中,通知(或消息)的推送&#x…

CiteScore 2023发布,AI Open斩获45分,位列全球计算机领域前1%

与影响因子(IF)一样,引用分数(CiteScore)同样是衡量学术期刊影响力的重要指标之一,且大有赶超前者的势头。 6 月 6 日,CiteScore 2023 正式发布,人工智能领域可自由访问的期刊平台 …

塑造财务规划团队的未来角色

随着企业不断改革,其财务规划团队的格局也在不断变化,领先行业的专业人士已经开始利用更创新的财务知识和思维来驾驭现代化财务规划角色的复杂性。财务团队需要不同的职能角色和技能组合来支持其发展,多学科团队和跨职能协作带来的挑战和机遇…

刷代码随想录有感(95):合并区间

题干&#xff1a; 代码&#xff1a; class Solution { public:static bool cmp(vector<int>& a, vector<int>& b){return a[0] < b[0];}vector<vector<int>> merge(vector<vector<int>>& intervals) {sort(intervals.begi…

水务设备数字化管理

在数字化浪潮席卷全球的今天&#xff0c;水务行业也迎来了数字化转型的重要契机。传统水务管理模式中&#xff0c;设备监控、数据收集、运行维护等环节往往存在效率低下、成本高昂、安全隐患多等问题。而HiWoo Cloud平台的出现&#xff0c;以其强大的设备接入能力、高效的数据处…

安卓虚拟屏幕锁屏画面源码分析部分KeyguardPresentation

背景&#xff1a; 在搞虚拟多屏和投屏相关业务时候&#xff0c;发现在锁屏时候一个画面比较特殊&#xff0c;但是明显我们自己也没有给虚拟屏幕和投屏有绘制过这个页面。 具体页面如下&#xff1a; 这个圈中小方框就是虚拟屏幕&#xff0c;在息屏待机时候居然也有个类似锁屏…

【android 9】【input】【8.发送按键事件2——InputDispatcher线程】

系列文章目录 本人系列文章-CSDN博客 目录 系列文章目录 1.简介 1.1流程介绍 1.2 时序图 2.普通按键消息发送部分源码分析&#xff08;按键按下事件&#xff09; 2.1 开机后分发线程阻塞的地方 2.2 InputDispatcher::dispatchOnceInnerLocked 2.3 InputDispatcher::disp…