OCTA数据集（Rose）+ OCTA-Net

ROSE: A Retinal OCT-Angiography Vessel Segmentation Dataset and New Model

一、摘要

二、创新点

三、数据集

A. ROSE-1

B. ROSE-2

四、Method

A. Coarse Stage: Split-based Coarse Segmentation Module（粗分割模块）

1. SCS模块概述（两个版本）

2. ResNeSt模块

3. 像素级分割和中心线级分割网络

B. Fine Stage: Split-based Refined Segmentation Module（精细化分割模块）

五、实验

六、结论

论文：ROSE: A Retinal OCT-Angiography Vessel Segmentation Dataset and New Model

代码和数据集：ROSE1&2 - 医疗影像/眼科影像团队 - imed.nimte.ac.cn

一、摘要

研究背景：摘要-光学相干断层扫描血管造影术（OCTA）是一种非侵入性成像技术，已越来越多地用于以毛细血管水平分辨率对视网膜血管进行成像。然而，由于诸如低毛细血管可见性和高血管复杂性等各种挑战，OCTA中视网膜血管的自动分割一直研究不足，尽管其在理解许多视觉相关疾病方面具有重要意义。

研究问题：此外，目前还没有公开可用的OCTA数据集，其中包含人工分级的血管，用于训练和验证分割算法。

主要工作：为了解决这些问题，在视网膜图像分析领域，我们

1. 首次构建了一个专用的视网膜OCTA分割数据集（ROSE），该数据集由229张OCTA图像组成，其中包含中心线水平或像素水平的血管注释。

2. 其次，我们提出了一种新的基于分割的OCTA图像粗到细血管分割网络（OCTA-Net），能够分别检测粗细血管。

3. 在OCTA-Net中，首先使用基于分割的粗分割模块来产生血管的初步置信图，然后使用基于分割的细化分割模块来优化视网膜微血管的形状/轮廓。

研究成果：我们对最先进的血管分割模型和OCTANet在构建的ROSE数据集上进行了全面评估。实验结果表明，我们的OCTA-Net在OCTA中的血管分割性能优于传统和其他深度学习方法。此外，我们还提供了分段微血管的分形维数分析，统计分析表明健康对照组和阿尔茨海默病组之间存在显著差异。这一结果表明，视网膜微血管的分析可能为研究各种神经退行性疾病提供一种新的方案。

二、创新点

1. 在视网膜图像分析领域，首次建立了一个公开可用的视网膜OCTA数据集，并对视网膜微血管网络进行了精确的手动注释，以促进社区的相关研究。

2. 提出了一种新的基于分裂的粗到细血管分割网络，用于OCTA中的血管分割，旨在分别检测厚血管和薄血管。在该方法中，基于分裂的粗分割（SCS）模块首先用于产生血管的初步置信图，然后使用基于分割的细化分割（SRS）模块来优化更精细的血管，以期获得更准确的整体分割结果。

3. 对OCTA微血管分割给予了全面的评估/基准测试，包括定量和定性。比较分析表明，建议的OCTA-Net工程鲁棒性不同类型的视网膜图像，并产生准确的血管分割。

三、数据集

A. ROSE-1

从上到下分别是浅层血管(SVC)、深层血管(DVC)和浅 + 深层血管(SVC+DVC)，从左至右：面、中心线级标签和像素级标签。

受试人群：ROSE-1集由来自39名受试者（包括26名阿尔茨海默病（AD）患者和13名健康对照）的总计117张OCTA图像组成。AD组的平均年龄为68.4 ± 7.4岁，对照组的平均年龄为63.0 ± 10.2岁。患有已知眼部疾病（如青光眼、年龄相关性黄斑变性、高度近视等）和已知全身性疾病（如糖尿病患者被排除在本研究之外）。AD的诊断基于NINCDSADRDA标准，参与者未接受PET成像或腰椎穿刺以评估生物标志物状态。

设备配置：所有OCTA扫描均由配备AngioVue软件的RTVue XR Avanti SD-OCT系统（Optovue，USA）捕获，图像分辨率为304 × 304像素。扫描面积为3 × 3 mm^2，以中心凹为中心，在中心凹中心周围直径为0.6 mm-2.5 mm的环形区域内。

标注种类：1. 中心线级标注，2. 像素级标注。

B. ROSE-2

对于ROSE 2，只有中心线在单个像素级别进行注释。

采集对象和设配信息：ROSE-2子集包含从112只眼睛拍摄的总共112张OCTA图像，由具有Spectralis软件的Heidelberg OCT 2系统（Heidelberg Engineering，Heidelberg，德国）采集。这些图像来自患有各种黄斑疾病的眼睛。

采集细节：该数据集中的所有图像均为中心凹3×3 mm^2 区域内SVC的正面血管造影片。这些OCTA图像由512 × 512次重复A扫描重建，采用Heidelberg自动真实的（ART）和Trutrack系统来减少伪影和噪声。将每张图像调整大小为840 × 840像素的灰度图像。由经验丰富的眼科医生使用Matlab编写的内部程序（Mathworks R2018，Natwick）手动追踪所有可见的视网膜血管。

四、Method

OCTA-Net网络的架构，OCTA-Net主要由SCS模块(粗分割)和SRS模块(细化分割)构成，如下图：

A. Coarse Stage: Split-based Coarse Segmentation Module（粗分割模块）

粗阶段：基于分割的粗分割模块（SCS模块），主要由编码器和解码器构成，其中编码器中每个层主要由ResNeSt模块 + Maxpool构成，解码器中每个层主要由Upsample + ResNeSt模块构成，如下图所示：

1. SCS模块概述（两个版本）

版本一：由于ROSE-1数据集中每个OCTA图像都包含了像素级和中心线级血管标注，所设计的粗分割(SCS)模块包括一个部分共享编码器和两个解码器分支，以平衡像素级和中心线级血管信息两者的重要性。如上图所示。

版本二：对于ROSE-2数据集和ROSE-1数据集中深层血管(DVC)，所设计的SCS模块只包括一个编码器和一个解码器(与像素级血管分割相同的架构)，因为它们只有中心线级别的标注。

2. ResNeSt模块

ResNeSt模块的详细结构，如图所示：

目的： ResNeSt块的主要目的是将特征图视为一系列不同的特征组，然后对这些组应用通道级注意力。

过程：将输入 $X \in R^{H \times W \times C}$ 分成两个cardinal组，分别送入两个结构相同的cardinal模块。在每个cardinal模块中，cardinal组被进一步等分并输入到两个并行分支。每个分支由1×1和3×3卷积层组成，然后是批量归一化(BN)和ReLU层，并输出大小为H x W x C/4的特征图。再馈入split注意力模块（其实就是sk模块）以整合来自两个分支的这些特征图，如图B所示。

1. cardinal组是一个由特征图 X 等分为大小H x W x C/2的特征图。

2. cardinal模块是一个由双分支(多个卷积层) + split注意力模块组成的模块。

3. 像素级分割和中心线级分割网络

（1）像素级的血管分割网络

网络结构：是一个 u 形网络，包括 5 个编码器层和对称的解码器层。

（2）中心线的血管分割网络

网络结构：在主干的第三编码器层之后，附加几个ResNeSt块，然后是上采样层，作为中心线级血管分割网络的解码器。最后，解码器的输出由一个具有Sigmoid函数的1×1卷积层处理，以实现中心线级分割图。（较为浅的U型结构）

设计出发点：1. 一方面，与像素级标注相比，中心线级血管标注旨在对对比度差、拓扑结构更复杂、直径相对较小的区域进行血管分级。更深的架构可能不利于更密切地关注低级别特征，这对于中心线级别血管分割具有重要意义。

2. 另一方面，由于两种类型的血管注释之间的空间依赖性，像素级和中心线级血管分割可以在特征提取之后进行共享特征。

B. Fine Stage: Split-based Refined Segmentation Module（精细化分割模块）

目的：为了进一步恢复小血管的连续细节，引入了精细模块，以自适应地细化粗阶段的血管预测结果。

过程：为了完全整合来自SCS模块的像素级和中心线级血管信息，首先将预测的像素级和中心线级血管图以及原始OCTA图像（沿通道方向）连接为SRS模块的输入。然后，通过一个包括三个卷积层的迷你网络，为像素级和中心线级图的所有位置产生归一化的m×m局部传播系数图。将像素级和中心线级图的自适应传播系数与原图分别进行自适应融合(逐元素相乘？？)，再从两个结果图中选择较大的值，得到细化的像素级图和中心线级图，最后，细化的像素级图和中心线级图合并成完整的血管分割图。产生归一化的m×m局部传播系数图，公式定义如下：

其中， $h^p_i$ 是其邻居p在位置i处的置信度值，并且m×m是propagation neighbors的大小， $w^p_i$ 表示位置i处的局部传播系数向量。

自适应融合的定义如下：

其中 $f^p_i$ 是来自SCS模块的位置i处的邻居p的置信向量，并且 $g_i$ 是位置i处的最终预测向量。

模块中的迷你网络每个卷积层具有3 × 3内核，用于从粗阶段细化像素级映射。此外，一个额外的3 × 3卷积层被附加到迷你网络的第二层，以细化粗阶段的中心线级别映射。在每个卷积层之后采用BN和ReLU层。

五、实验

损失函数：对于粗化阶段，取均方误差(MSE)作为损失函数，对于精细阶段，取Dice系数损失作为损失函数。

训练配置：初始学习率为 0.0005，批量大小为 2，权重衰减为 0.0001 的 Adam 优化。

评价指标：ROC曲线下面积(AUC)，灵敏度(SEN)，特异性（Specificity），精准度(ACC)，Kappa得分，G-mean评分，dice系数。

对比网络：在ROSE-1和ROSE 2上本文提出方法与其他最先进的分割方法进行了比较，包括三种传统方法：无限周长活动轮廓（IPAC），可训练COSFIRE滤波器和基于曲波去噪的最佳定向通量增强（COOF），用于检测具有不规则和振荡边界的血管的有效性;六种深度学习方法：U-Net，ResU-Net，CE-Net，DUNet，CS-Net和三级网络。

在ROSE-1中SVC层上，OCTA-Net达到了最优。在ROSE-1中DVC层上，但所提出的网络优于其他所有比较方法，kappa和Dice分别增加了约12.0%和11.9%，FDR比CS-Net减少了约13.2%。在ROSE-1中SVC + DVC造影上，所提出的方法实现了总体上最佳的性能，FDR分数除外。在ROSE-2数据集上，提出的方法分别获得了最佳的AUC、ACC、Kappa和Dice。