【论文复现】自动化细胞核分割与特征分析

news2024/11/28 9:22:40

本文所涉及所有资源均在这里可获取。

在这里插入图片描述

作者主页: 七七的个人主页
文章收录专栏: 论文复现
欢迎大家点赞 👍 收藏 ⭐ 加关注哦!💖💖

自动化细胞核分割与特征分析

  • 引言
  • 效果展示
  • HoverNet概述
  • HoverNet原理分析
    • 整体网络框架
    • 实例分割原理
    • HoverNet评估结果
  • 复现过程
  • 细胞核特征应用说明
  • 参考文献
  • 总结
  • 备注

本文所涉及所有资源均在这里可获取。

引言

细胞核分割和分类在医学研究和临床诊断中具有重要意义。精准的细胞核分割能够帮助医生更好地识别和分析细胞核的形态学特征,从而辅助疾病诊断、癌症检测以及药物研发。HoverNet是一种基于深度学习的先进网络模型,能够同时执行细胞核分割与分类任务。除了分割和分类,提取细胞核的特征,如面积、半径和形状等,可以进一步分析细胞核的特性,这在肿瘤研究、病理分析等领域具有现实意义。

本文将实现基于Pytorch框架实现HoverNet细胞核的分割和分类,并且基于此自行完成了对细胞核特征提取,用于医学上的相关分析。同时也可以用于计算病理学相关文章的可解释性分析。

本文能够实现从细胞核分割和分类到提取细胞核相关特征全自动化。以及最后分析了提取到的细胞核特征可以有哪些应用(主要是进行了举例说明)。

效果展示

在这里插入图片描述

HoverNet概述

HoVer-Net是一种精心设计的多分支深度学习网络架构,专为处理复杂的多组织显微图像中的细胞核实例分割与精确分类任务而开发。该网络通过创新的策略,不仅有效解决了细胞核在密集聚集区域难以准确区分的问题,还实现了对每个独立细胞核类型的细致分类。
此外,HoVer-Net还引入了专门的上采样分支,这一设计旨在对每个成功分割出的细胞核实例进行进一步的核类型分类。这一分支利用高级语义信息,结合精心设计的分类策略,能够准确判断每个细胞核的所属类型,为医学研究提供了宝贵的细胞水平信息。
在这里插入图片描述

HoverNet原理分析

整体网络框架

上图中展示了整体的网络框架。HoverNet使用了一个深度神经网络来提取图像中的重要特征。这个网络是基于一个叫做“预激活残差网络”(Preact-ResNet50)的模型,但为了保留更多的细节信息,对这个模型做了一些调整,比如减少了图像缩小的次数。然后,网络通过三个不同的分支来处理图像:

核像素分支(NP分支):判断每个像素是否属于核(细胞核)还是背景。
HoVer分支:计算核像素到其中心的水平和垂直距离。这有助于将紧挨在一起的核分开。
核分类分支(NC分支):根据前两个分支的信息,进一步确定每个核的类型。
这样设计整体网络结构能够提高模型性能和效率主要是:

  1. 上采样分支的架构设计
    每个上采样分支都是通过一系列的上采样操作和“密集连接单元”来构建的。你可以把“密集连接单元”想象成一组很小且廉价的计算模块,堆叠多个这样的模块能够使模型获得更大的视野范围(即感受野),并且所需的计算参数更少。这种方式相比直接使用大卷积核的单一操作,更高效地传播梯度,帮助模型更好地训练,如图中Upsample模块。
  2. 跳跃连接与特征融合
    在模型中,通过跳跃连接(类似于在建筑中搭桥梁)将编码器(负责特征提取的部分)中的信息传递到上采样部分。这里,模型使用了“加法”而不是“拼接”的方式来融合这些信息。这种方法特别有助于图像分割任务,因为它能更精确地描绘出物体的边界。
  3. 有效卷积与边界预测
    在上采样过程中,使用了“有效卷积”来确保边界的预测结果不会出现问题。由于这种卷积操作,输出图像的尺寸会比输入图像小一些。
  4. 共享编码器
    与其为每个任务(比如分割和分类)创建单独的网络,不如使用一个共享的编码器(特征提取部分),这样可以同时训练分割和分类任务的模型。这不仅减少了训练时间,还能利用不同任务间的共享信息,提升整体性能。
  5. 根据标签调整模型
    模型可以根据是否有核的分类标签来调整其工作方式。如果没有分类标签,模型只会执行分割任务;如果有分类标签,则会同时进行分割和分类。

这个方法确保不仅能准确分割出每个核,还能正确分类它们的类型。在这里HoVer分支是这篇文章能够取得非常好的重要原因之一。

实例分割原理

HoVer分支分支使用水平和垂直距离来帮助分开紧挨在一起的细胞核,其背后的原理是利用了这些距离信息来识别和分离相邻的核。如下图:在这里插入图片描述
具体来说,HoVer分支会计算每个核像素到其质心(核的中心点)的水平和垂直距离。这些距离信息有助于在以下几个方面起作用:

识别边界:当两个或多个核紧挨在一起时,常常会导致它们的边界变得模糊,难以区分。通过计算每个像素到质心的水平和垂直距离,可以更清晰地确定哪些像素更接近哪个质心。这有助于识别核的实际边界。

分离相邻核:对于相邻的核,HoVer分支生成的距离图会在这些核的交界处表现出显著的变化。因为每个核的质心不同,越靠近核质心的像素,其水平和垂直距离会变得更小,而靠近核边界的像素,这些距离值会变得不一致或剧烈变化。因此,利用这些距离信息可以有效地分离出紧挨在一起的核。

避免错误合并:传统的分割方法可能会错误地将相邻的核合并成一个整体,而HoVer分支通过分析这些距离,确保每个核都能被正确地分离和识别,而不会被错误地合并。

可以这么通俗的解释:假设你有两个紧挨在一起的圆形气球,每个气球代表一个细胞核。你站在气球的中心点,然后开始测量从你到每个气球表面上不同点的水平和垂直距离。你会发现,越靠近你的位置,这些距离越小,越远的地方距离越大。
如果两个气球挤得很近,两个气球之间的距离会突然发生变化,因为你从一个气球的中心移动到了另一个气球的区域。HoVer分支做的事情就是检测出这些突然变化的地方,并用它来判断这是两个不同的气球(或细胞核),而不是一个大气球(或核)。
所以,通过分析每个像素到其中心的水平和垂直距离,HoVer分支就能确定哪些像素属于哪个细胞核,从而把两个紧挨在一起的细胞核正确地分开,不会把它们混为一谈。

HoverNet评估结果

不同数据集得到的分割和分类结果。
在这里插入图片描述
不同数据集不同模型评估指标对比。在这里插入图片描述

复现过程

源码获取:
可以通过这个链接从github上下载:https://github.com/vqdang/hover_net。但是,从这里下载的链接并没有提供模型的预训练权重,需要自己寻找。所以建议可以直接下载我提供的附件。附件如图:
在这里插入图片描述
那么在这个附件中是有预训练权重的。
2.环境配置:

创建环境

conda env create -f environment.yml

利用conda这一开源的、强大的包与环境管理工具,可以方便地设置、运行及更新软件包及其依赖项。为了创建一个新的Python环境,可以执行conda env create命令,并借助-f选项指定一个名为environment.yml的配置文件。这个文件详细列出了新环境所需的所有软件包及其特定版本,从而确保环境的一致性和可重复性。从下图可以看到虽然创建以基本的HoverNet环境,但是没有pytorch。
在这里插入图片描述
所以需要自行在创建的环境中安装一个基于cuda的pytorch。

激活环境
conda activate hovernet

安装pytorch
pip install torch1.6.0+cu118 torchvision0.15.1+cu118 torchaudio==1.6.1+cu118 -f https://download.pytorch.org/whl/torch_stable.html

这里pytorch的安装可以参考官网,根据自己的显卡版本安装。

代码库结构:
下面是这个项目代码库的主要目录和文件的详细解释:
代码库结构在附件中的这个文件夹下:ExtractCellularFeatureFrompng

dataloader:包含数据加载器和数据增强流程的代码。数据加载器负责从存储介质中读取数据并将其组织成适合模型训练和推理的格式。
models:包含模型定义、主要运行步骤和超参数设置。这是定义神经网络结构、选择损失函数、优化器等核心组件的地方。
dataset:主要用户存放输入图像和输出的文件(包括分割后的图片,细胞轮廓等)。
run_utils:定义训练/验证循环和回调函数。训练循环是模型学习数据的过程,而回调函数可以在训练过程中的特定时刻执行额外的操作,如保存模型、打印日志等。
run_tile.sh:用于进行分割组织病理学图像中的肿瘤区域的patch。
run_wis.sh:用于进行分割整个组织病理学图像的细胞。
cell_seg_feature.py:提取分割好的细胞核特征脚本。
ExtractCellularFeatureFromPng.sh:从分割分类到提取特征完整的脚本。
提取的细胞核特征种类:
在这里插入图片描述
在这里插入图片描述
在细胞生物学和医学成像领域,细胞形态的分析对于理解细胞的生理状态、病理变化以及细胞间的相互作用至关重要。为了精确描述和量化细胞形态,科学家们开发了多种形状描述符(也称为形态学参数)。这些描述符可以捕获细胞形态的关键特征,如大小、形状、边缘复杂度等。以下是15个常用的定量测量的形状描述符的概述,它们被广泛用于评估细胞形态。

提取细胞核特征过程:

def CalCellFeature(input_path,output_path):
    json_path = glob.glob(input_path + "/*.json")
    for json_file_path in json_path:
        cell_feature_data = []
        cell_type_list = []
        type_prob_list = []
        cell_centroid_list = []
        print("running:",json_file_path)
        G_name = os.path.basename(json_file_path)[:-5]
        with open(json_file_path, "r") as file:
            json_data = json.load(file)
        for key, value in json_data["nuc"].items():
            contour_data = value["contour"]
            cell_type = value["type"]
            type_prob = value["type_prob"]
            cell_centroid = value["centroid"]
            cell_type_list.append(cell_type)
            type_prob_list.append(type_prob)
            cell_centroid_list.append(cell_centroid)
            # 计算细胞轮廓图像的尺寸
            contour_width = max(point[0] for point in contour_data) + 1
            contour_height = max(point[1] for point in contour_data) + 1
            # 创建与细胞轮廓contour相同形状的二值图像
            contour_image = np.zeros((contour_height, contour_width), dtype=np.uint8)
            for point in contour_data:
                contour_image[point[1], point[0]] = 1
            # 使用measure.regionprops函数计算区域属性
            regions = measure.regionprops(contour_image)
            # 遍历每个区域
........

代码执行过程:
进入到ExtractCellularFeatureFrompng文件夹后,执行:

sh ExtractCellularFeatureFrompng.sh

Linux环境下,在Windows中不支持shell,当然也可以自行查看如何在Windows中使用shell。但是这个代码最好在有GPU的环境中运行。

结果文件:
在这里插入图片描述
图中的input_png是输入图片,可以更改为自己的数据;1:是HoverNet分割产生的结果文件,包括分割图和细胞轮廓。2:是细胞核特征提取产生的结果文件。里面包含了上述表格中的15个特征。产生的分割图和特征如下:在这里插入图片描述

在这里插入图片描述

细胞核特征应用说明

首先分析了提取到的面积(area)特征:它是细胞占据的二维空间大小,是评估细胞大小的基本参数。
将不同细胞的种类进行分组后得到的比较图如下:
在这里插入图片描述

由图可知,肿瘤细胞在面积上,或者说大小上与其他类型的细胞存在明显差异,(也即是肿瘤细胞更大)。这能够说明虽然单纯的肿瘤细胞面积大小并不能直接确定肿瘤的恶性程度,但通常来说,恶性程度较高的肿瘤细胞往往具有更大的面积和更强的侵袭性。
同时了解肿瘤细胞的形态和大小特征有助于医生制定更合适的治疗方案。如果肿瘤细胞面积较大且恶性程度高,可能需要采用更积极的治疗措施(如手术切除、化疗、放疗等)。

其次分析了提取到的凸包面积在不同类型细胞中的差异:能包含细胞所有点的最小凸多边形的面积,用于评估细胞的“外凸”程度。
在这里插入图片描述

由图可知肿瘤细胞的凸包面积比其他类型的细胞要大,这说明:肿瘤细胞的增殖活性增强,肿瘤细胞通常具有比正常细胞更快的增殖速度。凸面积的增大可能反映了肿瘤细胞在增殖过程中所占据的更大空间,这是其快速增殖的一个直接表现。细胞扩张快,随着肿瘤细胞的分裂和增殖,它们会不断扩张并占据更多的组织空间,从而导致凸面积的增大。

接着分析了提取到的等效直径equivalent diameter在不同类型细胞中的差异:具有与细胞相同面积的圆的直径,是另一种衡量细胞大小的参数。

在这里插入图片描述
很明显肿瘤细胞的该值也是比较大的,等效直径的增大可能是肿瘤细胞异型性的一种表现,反映了它们在生长过程中形态上的显著变化。其中异型性是指它们与正常细胞在形态和结构上的差异程度。

最后分析了肿瘤细胞和淋巴细胞的数量差异:
在这里插入图片描述
在该柱状图中,淋巴细胞的数量明显多于肿瘤细胞,这说明:淋巴细胞是免疫系统的重要组成部分,负责识别和清除外来病原体及异常细胞。当体内存在肿瘤细胞时,免疫系统会启动免疫应答,激活淋巴细胞以攻击和清除这些异常细胞。因此,淋巴细胞数量增多可能表明机体的免疫反应正在积极应对肿瘤细胞。

注:上述图像1,2,3来自我们运行后产生的test1.csv文件中的数据,图像4来自test2.csv产生的数据。所有图像的画法均来自该网站:https://hiplot.com.cn/cloud-tool/drawing-tool/list

参考文献

1.Graham S, Vu Q D, Raza S E A, et al. Hover-net: Simultaneous segmentation and classification of nuclei in multi-tissue histology images[J]. Medical image analysis, 2019, 58: 101563.
2.Lu W, Toss M, Dawood M, et al. SlideGraph+: Whole slide image level graphs to predict HER2 status in breast cancer[J]. Medical Image Analysis, 2022, 80: 102486.

总结

HoverNet不仅提高了分割的精度,还通过多任务学习减少了模型的计算成本。这种高效的设计使HoverNet能够在各种细胞图像数据集上表现出色,特别是在复杂背景下的细胞核识别和分类中,展现出优越的鲁棒性和准确性。

此外,HoverNet的多任务架构允许它同时执行分割和分类操作,这一特点极大地简化了流程,使得在实际应用中能够更快速地获得全面的分析结果。尤其在临床诊断和病理分析中,这种高效的处理方式可以显著缩短分析时间,提升医疗效率。

在细胞特征提取方面,通过从分割后的细胞核中提取面积、半径、形状因子等几何特征,能够获得更加精细的细胞核信息。这些特征不仅可以用于肿瘤检测、细胞形态学分析,还能为进一步的生物学研究提供可靠的基础数据。例如,细胞核的面积和形状特征可以用来区分不同类型的癌细胞,帮助医生做出更准确的诊断。

提取这些特征进行了相关应用的演示,可以产生很多图片,不仅可以丰富论文内容,还可以为后续的机器学习或统计分析提供更丰富的数据支持,使得研究人员能够在更大范围内探讨细胞形态与疾病之间的关系。这种方法的优势在于,它将复杂的图像处理转化为更易理解和分析的数值数据,降低了进一步研究和应用的门槛。

备注

附件下载完成后,首先看ExtractCellularFeature.md,其次找到ExtractCellularFeatureFromPng.sh这个文件,该文档集成度非常高,只要环境配置没有问题,可以直接实现分割分类和细胞核特征提取。要了解详细过程请参考readme.md。

详细复现过程的项目源码、数据和预训练好的模型可从该文章下方链接获取:https://www.aspiringcode.com/content。

  关于 今天的文章七七就先分享到这里了,如果你认为这篇文章对你有帮助,请给七七点个赞吧,如果发现什么问题,欢迎评论区留言!!💕💕

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2235564.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

阿里云文本内容安全处理

1、什么是内容安全 内容安全是一款基于AI算法和云计算技术,对多媒体内容的不宜或违规内容提供识别和标注的产品。该产品,支持对各行业及业务场景下的图片、视频、文本、语音等对象进行检测,可以帮助您提高内容审核效率、提高平台内容质量和用…

双指针算法习题解答

1.移动零 题目链接:283. 移动零 - 力扣(LeetCode) 题目解析:该题要求将数组中为0的元素全部转移到数组的末尾,同时不能改变非零元素的相对位置。 解题思路:我们可以用变量dest和cur将该数组分为三个区域。…

idea、pycharm等软件的文件名红色怎么变绿色

1.问题 有时候在写完代码打算提交的时候,会遇到某个资源文件不是绿色的,不能提交 2.解决方法 右键该文件——git——添加即可 3.不同颜色含义 3.1 蓝色(Blue) 含义:文件被修改了但尚未保存。蓝色通常表示文件自上…

Python进阶之IO操作

文章目录 一、文件的读取二、文件内容的写入三、之操作文件夹四、StringIO与BytesIO 一、文件的读取 在python里面,可以使用open函数来打开文件,具体语法如下: open(filename, mode)filename:文件名,一般包括该文件所…

ECharts折线图背景渐变设置

目录 引入 1.在一个HTML文件中编写两个图表 2.渐变背景 引入 如何在一个HTML文件中编写两个图表:(这个例子基于这个篇文章的基础)一篇搞懂前端获取数据-CSDN博客 一个例子: 1.在一个HTML文件中编写两个图表 重点在于名字的不重…

基于SpringBoot的“乐校园二手书交易管理系统”的设计与实现(源码+数据库+文档+PPT)

基于SpringBoot的“乐校园二手书交易管理系统”的设计与实现(源码数据库文档PPT) 开发语言:Java 数据库:MySQL 技术:SpringBoot 工具:IDEA/Ecilpse、Navicat、Maven 系统展示 系统首页界面图 用户注册界面图 二手…

CSS弹性布局:灵活布局的终极指南

在网页设计中,CSS 弹性布局(Flexbox)是一个不可或缺的工具。它能帮助你轻松地排列和对齐元素,尤其是在响应式设计中表现出色。今天,我们就来深入探讨一下 Flexbox 的各个属性,让你彻底掌握这个强大的布局工…

OpenJDK Vendor下载选择

首先JDK可以通过idea进行安装 File➡️Project Structure➡️SDK➡️Add SDK➡️Download JDK 然后在JDK版本选择时,Idea提供了很多版本,让我茫然了 OpenJDK国外厂商 供应商 说明 Amazon Corretto 亚马逊云基于OpenJDK构建,收费 Eclipse…

SAP-ABAP开发-ONLINE 程序、DIALOG屏幕开发

目录 一、Online 程序概览 1、程序类型 2、Online程序的主要对象 二、界面 1、SAP的屏幕开发 2、屏幕功能实现 3、界面中的事件块(Event Block) 4、界面的创建 三、简单界面元素 1、文本/输入框控件 2、数据检查 3、一些常用的关键字 四、复…

基于vue框架的的留守儿童帮扶系统143b5(程序+源码+数据库+调试部署+开发环境)系统界面在最后面。

系统程序文件列表 项目功能:留守儿童,帮扶活动,申请记录,帮扶机构,帮扶进度,帮扶人,申请加入记录,参与帮扶记录 开题报告内容 基于Vue框架的留守儿童帮扶系统开题报告 一、研究背景与意义 随着城乡经济差异的不断扩大,大量农村劳动力涌向城市寻求更好…

xftp连接中不成功 + sudo vim 修改sshd_config不成功的解决方法

我们使用sudo vim不成功,但是我们使用sudo su就可以 了! root用户权利更大! 喵的,终于成功了,一个xftp连接半天不成功。(添加上面的内容就可以连接成功了↑)

这款Chrome 插件,使浏览器页面快速滑动到最底部和最顶部,并且还能...

前言 前几日我在使用谷歌浏览器,也就是chrome的时候,浏览一个内容很长的页面,由于页面上的内容有前后关联,所以我必须不停地切换到上面和下面。这非常不方便。使我非常抓狂。后来,我灵机一动,去谷歌浏览器…

嵌入式linux中设备树控制硬件的方法

大家好,今天主要给大家分享一下,如何使用linux系统下的设备树进行硬件控制方法。 第一:linux系统中设备树驱动LED原理 在linux系统中可以使用设备树向Linux内核传递相关的寄存器地址,linux驱动中使用OF函数从设备树中获取所需的属性值,然后使用获取到的属性值来初始化相关…

2024年网鼎杯青龙组|MISC全解

转载或摘抄时请标明出处 MISC01 wdbflag{22226aba1d98c4302a6f508cad7da5d8} MISC02 一把梭工具没有任何结果,估计缺少符号表,直接strings flag > out.txt导出后慢慢找线索 在桌面上发现了png和txt文件,用文件名做一次筛选 第一行发现bas…

AI驱动无人驾驶:安全与效率能否兼得?

内容概要 如今,人工智能正以其神奇的魔力驱动着无人驾驶的浪潮,带来了无数令人兴奋的可能性。这一领域的最新动态显示,AI技术在车辆的决策过程和实时数据分析中发挥着重要作用,帮助车辆更聪明地应对复杂的交通环境。通过实时监测…

华为手机卸载系统应用的方法

摘要: 1.手机环境:手机需要开启开发者模式并使用usb连接电脑,并选择文件传输模式 2.电脑环境:使用鸿蒙工具箱进行傻瓜操作或安装adb工具进行命令卸载 3.鸿蒙工具箱和adb工具本质都是使用adb shell pm uninstall -k --user 0 xx…

一文看懂芯片算力TOPS

AI算力的发展与TOPS(Tera Operations Per Second)紧密相关。TOPS是衡量芯片每秒能执行的基本操作次数的单位,通常用于评估AI芯片性能,特别是在处理大量整数或定点运算任务时。随着AI技术进步,对算力的需求不断增加&…

在Linux系统中高效查找文件所在位置的方法

目录 引言 一、使用find命令查找文件 二、使用locate命令快速查找文件 三、利用which和whereis命令查找可执行文件 四、使用findmnt和mount命令查找挂载点 五、其他查找文件的方法 六、总结与最佳实践 引言 Linux操作系统以其强大的功能和灵活性而闻名,其文件…

连锁餐饮企业-凡塔斯,用千里聆RPA搭建用户评价管理系统,提升门店服务满意度

凡塔斯是大型连锁餐饮企业昊澜餐饮集团旗下餐饮品牌,是牛排自助餐头部品牌,旗下拥有凡塔斯、百分好、食物链KING自助烤肉及餐饮人才商学院等多个行业知名品牌。 创立至今,集团管理门店已发展到福建、广东、江西、浙江等十多个省市&#xff0c…

MES管理系统的生产绩效分析与资源可追踪性

在探讨MES管理系统的核心功能时,生产绩效分析与资源可追踪性是两个不可或缺的关键要素。它们共同构成了MES管理系统中对于生产效率、成本控制以及产品质量进行精细管理的基石。以下是对这两个关键领域的深入剖析与重新阐述。 MES管理系统中的生产绩效分析&#xff0…