Neural Annotation Refinement:Development of a New 3D Dataset for Adrenal Gland Analysis

摘要

在这里插入图片描述

人工注释是不完美的，尤其是由初级从业者制作的注释。多专家共识通常被视为黄金标准，而这种注释协议过于昂贵，无法在许多现实世界的项目中实现。
提出了一种细化人类注释的方法，称为神经注释细化（NeAR）。它基于可学习的隐式函数，该函数将潜在向量解码为表示的形状。通过将外观集成为隐式函数的输入，外观感知NeAR修复了注释伪影。我们的方法在肾上腺分析的应用中得到了证明。我们首先证明了NeAR可以在公共肾上腺分割数据集上修复扭曲的黄金标准。
此外，我们使用所提出的NeAR开发了一个新的肾上腺gLand分析（ALAN）数据集，其中每个病例都由肾上腺的3D形状及其专家指定的诊断标签（正常与异常）组成。我们表明，根据NeAR修复的形状训练的模型可以比原始模型更好地诊断肾上腺。ALAN数据集将是开源的，有1594个形状用于肾上腺诊断，这是医学形状分析的新基准。
添加链接描述

本文方法

隐式曲面建模使用神经网络将空间坐标映射到形状表示。通常，形状表示可以是二进制占用或有符号/无符号距离。为了简单起见，我们在本研究中使用了占用域，而整个框架可以很容易地应用于距离函数。在隐式曲面建模中，首先用c维潜在向量z∈Rc对3D形状进行编码，然后通过学习映射来获得形状的连续表示：
在这里插入图片描述
这里，将c维潜在向量z∈Rc和查询点p∈R3的坐标输入到神经网络F中——通常是多层感知器（MLP）——以分类查询点是在所表示的形状内部还是外部，对于形状内部的p，占用概率o接近1，否则为0。对于阈值参数t，下表面由决策边界F（z，p）=t隐式表示。对于模型训练，我们应用自动解码。
隐式重建往往会去除人类注释者引入的高频伪影。然而，标准的隐式曲面方法不知道外观，因此重建的曲面可能与实际边界不对齐。它促使我们提出了用于注释精化的外观软件隐式曲面模型。此外，由于基于MLP的隐式函数往往需要数据，这在医学成像场景中很难满足，我们引入了具有多尺度特征的卷积架构来重建形状。

Neural Annotation Refinement

标准的深层隐式曲面以空间坐标为输入；尽管学习的形状先验能够重建高质量的表面，但重建的表面可能与实际边界不对齐。为了使隐式模型看起来更容易，我们采用了一种简单的策略，将隐式函数的输入从空间坐标p更改为具有其外观a的p，即：
在这里插入图片描述
其中a（p）的缩写表示位置p处的图像外观，例如计算机断层扫描中的Hounsfield单位。简单的修改在注释精化和下游应用程序中都比纯形状隐式模型有了显著的改进。
卷积解码器f首先将潜在向量z转换为多尺度特征图
在这里插入图片描述
对于查询点p，它通过从多尺度映射中进行三线性插值来获得其特征F（1）z（p）、F（2）z（p）、··、F（m）z（n）。为了使模型外观感知，我们进一步集成外观a=a（p）作为隐式函数的输入。具体地说，坐标和逐点特征被连接起来，并通过MLP g转换为占用域o
在这里插入图片描述

给定可学习的潜在向量，它通过卷积解码器f构建多尺度特征图Fz。查询坐标p聚合全局和局部特征，其外观来自图像。最后，这些逐点特征被馈送到用于占有预测的MLP g中，以重建感知外观的表面