一、分割|语义相关(19篇)

1.1 Mask Frozen-DETR: High Quality Instance Segmentation with One GPU

掩码冻结-DETR：一个GPU的高质量实例分割

https://arxiv.org/abs/2308.03747

在本文中，我们的目标是研究如何以最少的训练时间和 GPU 构建强大的实例分割器，而不是当前大多数方法通过构建更高级的框架来追求更准确的实例分割器，但代价是更长的训练时间和更高的成本。 GPU 要求。 为了实现这一目标，我们引入了一个简单而通用的框架，称为 Mask Frozen-DETR，它可以将任何现有的基于 DETR 的对象检测模型转换为强大的实例分割模型。 我们的方法只需要训练一个额外的轻量级掩模网络，该网络可以预测由冻结的基于 DETR 的对象检测器给出的边界框中的实例掩模。 值得注意的是，我们的方法在 COCO 测试-开发分割的性能方面优于最先进的实例分割方法 Mask DINO（55.3% vs. 54.7%），同时训练速度提高了 10 倍以上。 此外，我们所有的实验都可以仅使用一个具有 16 GB 内存的 Tesla V100 GPU 进行训练，这证明了我们提出的框架的显着效率。

1.2 AdaptiveSAM: Towards Efficient Tuning of SAM for Surgical Scene Segmentation

AdaptiveSAM：用于手术场景分割的高效SAM调整

https://arxiv.org/abs/2308.03726

分割是使用人工智能进行手术场景分析的一个基本问题。 然而，该领域固有的数据稀缺性使得采用传统的分割技术来完成该任务具有挑战性。 为了解决这个问题，当前的研究采用预训练模型并根据给定数据对其进行微调。 即便如此，每次有新数据可用时，都需要使用数百万个参数来训练深度网络。 最近发布的基础模型 Segment-Anything (SAM) 可以很好地推广到各种自然图像，从而在合理的程度上解决了这一挑战。 然而，SAM 并不能很好地推广到医疗领域，因为它没有利用大量计算资源进行微调和使用特定于任务的提示。 此外，这些提示采用边界框或前景/背景点的形式，需要为每个图像明确注释，使得该解决方案随着数据量的增加而变得越来越乏味。 在这项工作中，我们提出了 AdaptiveSAM - SAM 的自适应修改，可以快速有效地适应新数据集，同时支持文本提示分割。 对于微调 AdaptiveSAM，我们提出了一种称为偏差调整的方法，该方法需要的可训练参数数量明显少于 SAM（少于 2%）。 同时，AdaptiveSAM 需要的专家干预可以忽略不计，因为它使用自由格式的文本作为提示，并且只需标签名称作为提示即可分割感兴趣的对象。 我们的实验表明，AdaptiveSAM 在各种医学成像数据集（包括手术、超声和 X 射线）上的表现优于当前最先进的方法。

1.3 SEM-GAT: Explainable Semantic Pose Estimation using Learned Graph Attention

基于学习图注意的可解释语义姿势估计

https://arxiv.org/abs/2308.03718

本文提出了一种基于 GNN 的方法，利用语义和局部几何来指导识别可靠的点云配准候选者。 环境的语义和形态特征作为配准的关键参考点，从而实现基于激光雷达的准确姿态估计。 我们新颖的轻量级静态图结构通过识别基于语义实例的关系，为我们基于注意力的关键点节点聚合 GNN 网络提供信息，充当归纳偏差，显着减少点云注册的计算负担。 通过连接候选节点并利用跨图注意力，我们识别所有潜在配准对应的置信度分数，估计点云扫描之间的位移。 我们的管道通过将模型的性能与环境中局部结构的个体贡献相关联，可以对模型的性能进行内省分析，从而为系统的行为提供有价值的见解。 我们在 KITTI 里程计数据集上测试了我们的方法，与基准方法相比，实现了有竞争力的准确性和更高的轨道平滑度，同时依赖于更少的网络参数。

1.4 Prototype Learning for Out-of-Distribution Polyp Segmentation

基于原型学习的散乱息肉分割算法

https://arxiv.org/abs/2308.03709

现有的结肠镜检查图像息肉分割模型通常无法在不同中心的数据集上提供可靠的分割结果，限制了其适用性。 我们在这项研究中的目标是创建一个强大且通用的分割模型，名为 PrototypeLab，可以帮助进行息肉分割。 为了实现这一目标，我们将各种照明模式（例如白光成像（WLI）、蓝光成像（BLI）、链接彩色成像（LCI）和灵活光谱成像色彩增强（FICE））融入到我们的新分割模型中，该模型学习 为图像中存在的每一类对象创建原型。 这些原型代表了物体的特征，例如它们的形状、纹理、颜色。 我们的模型旨在在来自多个中心的分布外 (OOD) 数据集上有效执行。 我们首先生成一个粗略掩模，用于学习主要对象类的原型，然后使用原型生成最终的分割掩模。 通过使用原型来表示主类，我们的方法可以处理医学图像中存在的变异性，并很好地推广到新数据，因为原型捕获了数据的基础分布。 PrototypeLab 提供了一种很有前途的解决方案，其 dice 系数≥ 90%，mIoU ≥ 85%，息肉分割具有近乎实时的处理速度。 与 16 个最先进的图像分割架构相比，它在 OOD 数据集上实现了卓越的性能，有可能改善临床结果。

1.5 Feature Decoupling-Recycling Network for Fast Interactive Segmentation

用于快速交互分割的特征解耦-循环网络

https://arxiv.org/abs/2308.03529

最近的交互式分割方法迭代地将源图像、用户指导和先前预测的掩模作为输入，而不考虑源图像的不变性。 因此，在每次交互中都会重复从源图像中提取特征，从而导致大量的计算冗余。 在这项工作中，我们提出了特征解耦回收网络（FDRN），它根据建模组件的内在差异来解耦建模组件，然后为每个用户交互回收组件。 这样，整个交互过程的效率就可以得到显着的提升。 具体来说，我们从三个角度应用解耦-回收策略来分别解决三类差异。 首先，我们的模型将源图像语义的学习与用户指导的编码解耦，以分别处理两种类型的输入域。 其次，FDRN 将高层和低层特征与分层语义表示解耦，以增强特征学习。 第三，在用户引导的编码过程中，将当前用户引导与历史引导解耦，以突出当前用户引导的效果。 我们对来自不同领域和模式的 6 个数据集进行了广泛的实验，证明了我们的模型具有以下优点：1）比其他方法具有更高的效率，特别是在需要长期交互的具有挑战性的场景中特别有利（快达 4.25 倍），同时实现 良好的分割性能； 2）对各种方法的适用性强，作为通用的增强技术； 3）良好的跨任务通用性，例如医学图像分割，以及针对误导性用户指导的鲁棒性。

1.6 Keyword Spotting Simplified: A Segmentation-Free Approach using Character Counting and CTC re-scoring

简化关键词定位：一种基于字符计数和CTC重新评分的无分词方法

https://arxiv.org/abs/2308.03515

无分段关键词识别的最新进展解决了这个问题。 对象检测范例并借鉴最先进的检测系统，同时提出单词边界框提议机制并计算相应的表示。 与依赖复杂和大型 DNN 模型的此类方法的规范相反，我们提出了一种新颖的无分割系统，可以有效扫描文档图像以查找包含查询信息的矩形区域。 底层模型简单而紧凑，通过隐式学习的比例图预测矩形区域上的字符出现，并在字级注释图像上进行训练。 然后，通过积分图像和二分搜索，以经济有效的方式使用该字符计数来执行所建议的文档扫描。 最后，充分利用经过训练的 CNN 模型，通过金字塔表示和基于 CTC 的重新评分算法来细化字符计数的检索相似度。 对两个广泛使用的数据集的实验验证表明，尽管底层模型很简单，但我们的方法取得了最先进的结果，优于更复杂的替代方案。

1.7 Boosting Few-shot 3D Point Cloud Segmentation via Query-Guided Enhancement

基于查询引导增强的Few-Shot三维点云分割算法

https://arxiv.org/abs/2308.03177

尽管对 3D 点云分割进行了广泛的研究，但有效地将通用模型适应新类别仍然是一个艰巨的挑战。 本文提出了一种改进点云少样本分割（PC-FSS）模型的新方法。 与直接利用支持原型中的分类信息来识别查询样本中的新类的现有 PC-FSS 方法不同，我们的方法确定了两个关键方面，通过减少支持原型和查询特征之间的上下文差距来显着提高模型性能。 具体来说，我们（1）调整支持背景原型以匹配查询上下文，同时删除可能模糊查询样本中前景和背景的无关线索，以及（2）在查询特征的指导下整体纠正支持原型以模拟后者没有语义差距 到查询目标。 我们提出的设计与特征提取器无关，使它们很容易适用于任何基于原型的方法。 S3DIS 和 ScanNet 上的实验结果展示了显着的实际效益，因为我们的方法在保持高效率的同时实现了显着改进。

1.8 Cal-SFDA: Source-Free Domain-adaptive Semantic Segmentation with Differentiable Expected Calibration Error

CAL-SFDA：具有可区分预期校准误差的无源领域自适应语义分割

https://arxiv.org/abs/2308.03003

域自适应语义分割的流行引发了对源域数据泄露的担忧，源域的私有信息可能会无意中暴露在目标域中。 为了规避对源数据的要求，无源域适应已成为一种可行的解决方案，它利用自我训练方法来伪标记高置信度区域并使模型适应目标数据。 然而，由于过度自信和类别不平衡问题，获得的置信度分数往往存在很大偏差，这使得模型选择和优化都存在问题。 在本文中，我们提出了一种新颖的校准引导的无源域自适应语义分割（Cal-SFDA）框架。 核心思想是根据分割预测估计预期校准误差（ECE），作为模型对未标记目标域的泛化能力的有力指标。 估计的 ECE 分数反过来又有助于源训练和目标适应阶段的模型训练和公平选择。 在源域上的模型预训练期间，我们通过利用 LogSumExp 技巧并使用 ECE 分数来选择用于适应的最佳源检查点，以确保 ECE 目标的可微性。 为了在不需要标签的情况下在目标域上进行 ECE 估计，我们训练了一个用于 ECE 估计的价值网，并在其 BatchNorm 层上应用统计预热以确保稳定性。 估计的 ECE 分数有助于确定预测的可靠性，并通过积极引导适应进度和抑制潜在的错误累积来实现类平衡伪标记。 对两个广泛使用的合成到真实传输任务的大量实验表明，在公平的模型选择标准下，所提出的方法超越了之前最先进的 mIoU 高达 5.25%。

1.9 Cross-modal & Cross-domain Learning for Unsupervised LiDAR Semantic Segmentation

无监督LiDAR语义分割的跨模式跨域学习

https://arxiv.org/abs/2308.02883

近年来，人们在配对 2D 图像和 3D LiDAR 数据上研究了跨模态域自适应，以减轻目标域中 3D LiDAR 语义分割 (3DLSS) 的标记成本。 然而，在这种设置中，仍然需要付出额外的努力来收集源域中的配对 2D 和 3D 数据。 由于 2D-3D 投影可以使 3D 模型从 2D 模型中学习语义信息，因此我们询问是否可以进一步消除对源 3D 数据的需求，而仅依赖于源 2D 图像。 为了回答这个问题，本文研究了一种新的 3DLSS 设置，其中提供带有语义注释的 2D 数据集（源）以及配对但未注释的 2D 图像和 3D LiDAR 数据（目标）。 为了在这种情况下实现 3DLSS，我们提出了跨模态和跨域学习（CoMoDaL）。 具体来说，我们的 CoMoDaL 旨在建模 1）不配对的源 2D 图像和目标 3D LiDAR 数据之间的模态间跨域蒸馏，以及 2）目标 2D 图像和 3D LiDAR 数据对之间的域内跨模态引导。 在 CoMoDaL 中，我们建议应用多种约束，例如点到像素和原型到像素对齐，通过构建两种模态的混合样本来关联不同模态和域中的语义。 多个数据集上的实验结果表明，在所提出的设置中，开发的 CoMoDaL 可以在没有标记 LiDAR 数据监督的情况下实现分割。 还进行消融以提供更多分析。 代码将公开。

1.10 Semi-supervised Learning for Segmentation of Bleeding Regions in Video Capsule Endoscopy

基于半监督学习的视频胶囊内窥镜出血区域分割

https://arxiv.org/abs/2308.02869

在现代诊断技术领域，视频胶囊内窥镜 (VCE) 因其在诊断各种胃肠道 (GI) 疾病（包括不明原因出血）方面的高效性和非侵入性而脱颖而出。 重要的是，为了成功诊断和治疗这些疾病，准确识别 VCE 图像中的出血区域至关重要。 虽然基于深度学习的方法已成为自动分析 VCE 图像的强大工具，但它们通常需要具有全面注释的大型训练数据集。 获取这些标记数据集往往非常耗时、成本高昂，并且需要大量的领域专业知识。 为了缓解这个问题，我们采用了半监督学习 (SSL) 方法来分割 VCE 内的出血区域。 通过采用“Mean Teacher”方法，我们构建了一个配备 scSE 注意力块的学生 U-Net，以及具有相同架构的教师模型。 这些模型的参数在整个训练过程中交替更新。 我们使用 Kvasir-Capsule 数据集进行实验，其中包含各种胃肠道出血情况。 值得注意的是，我们自己开发了该数据集的分割注释。 我们的实验结果认可了基于 SSL 的分割策略的有效性，证明了其能够减少模型训练对大量注释的依赖，而不会影响识别的准确性。

1.11 NP-SemiSeg: When Neural Processes meet Semi-Supervised Semantic Segmentation

NP-SemiSeg：当神经过程满足半监督语义分割时

https://arxiv.org/abs/2308.02866

半监督语义分割涉及在训练时将像素级标签分配给未标记的图像。 这在广泛的现实应用中非常有用，在这些应用中收集像素级标签在时间或成本上是不可行的。 当前的半监督语义分割方法是通过模型输出的按类概率分布来预测每个像素的伪标签。 然而，如果预测的概率分布不正确，则会导致分割结果不佳，这可能会对医学图像或自动驾驶汽车等安全关键系统产生连锁反应。 因此，了解模型不知道什么非常重要，这主要是通过不确定性量化来实现的。 最近，神经过程（NP）在半监督图像分类中得到了探索，它们已成为一种计算效率高且有效的不确定性量化方法。 在这项工作中，我们通过将 NP 应用于半监督语义分割向前迈出了一步，从而产生了一种称为 NP-SemiSeg 的新模型。 我们在公共基准 PASCAL VOC 2012 和 Cityscapes 上通过不同的训练设置对 NP-SemiSeg 进行了实验评估，结果验证了其有效性。

1.12 Few-shot Class-Incremental Semantic Segmentation via Pseudo-Labeling and Knowledge Distillation

基于伪标注和知识提取的Few-Shot类增量式语义分割

https://arxiv.org/abs/2308.02790

我们解决了从少数示例中学习语义分割模型新类的问题，由于以下两个原因，这是具有挑战性的。 首先，很难从有限的新数据中学习来捕获底层的类别分布。 其次，保留现有课程的知识并避免灾难性遗忘具有挑战性。 为了从有限的数据中学习，我们提出了一种伪标记策略来增强少量训练注释，以便更有效地学习新类别。 给定一个或几个用新类别标记的图像和一组更大的未标记图像，我们通过从粗到细的伪标记方法分两步将知识从标记图像转移到未标记图像。 具体来说，我们首先将每个标记图像与其在场景级别的未标记图像集中的最近邻居进行匹配，以获得具有相似场景布局的图像。 接下来，通过应用在少数镜头注释上学习到的分类器来获得该邻域内的伪标签。 此外，我们对标记和未标记数据使用知识蒸馏来保留现有类的知识。 我们将上述步骤集成到具有统一学习目标的单个卷积神经网络中。 对 Cityscapes 和 KITTI 数据集的大量实验验证了所提出的方法在自动驾驶领域的有效性。

1.13 Guided Distillation for Semi-Supervised Instance Segmentation

用于半监督实例分割的引导式蒸馏算法

https://arxiv.org/abs/2308.02668

尽管实例分割方法已经有了相当大的改进，但主导范例是依赖完全注释的训练图像，而获取这些图像非常繁琐。 为了减轻这种依赖并提高结果，半监督方法利用未标记的数据作为附加训练信号，限制对标记样本的过度拟合。 在这种背景下，我们提出了新颖的设计选择，以显着改进师生蒸馏模型。 特别是，我们（i）通过引入新颖的“引导老化”阶段来改进蒸馏方法，以及（ii）评估不同的实例分割架构以及主干网络和预训练策略。 与之前仅在学生模型的老化阶段使用监督数据的工作相反，我们还使用教师模型的指导来利用老化阶段的未标记数据。 我们改进的蒸馏方法比以前最先进的结果有了显着的改进。 例如，在 Cityscapes 数据集上，当对 10% 的图像使用标签时，我们将 mask-AP 从 23.7 改进到 33.9；在 COCO 数据集上，当仅对 1% 的图像使用标签时，我们将 mask-AP 从 18.3 改进到 34.1 训练数据。

1.14 Learning to Generate Training Datasets for Robust Semantic Segmentation

学习生成用于稳健语义分割的训练数据集

https://arxiv.org/abs/2308.02535

近年来，语义分割技术取得了重大进展，但它们对现实世界扰动和训练期间未见过的数据样本的鲁棒性仍然是一个挑战，特别是在安全关键型应用中。 在本文中，我们提出了一种新方法，通过利用标签到图像生成器和图像到标签分割模型之间的协同作用来提高语义分割技术的鲁棒性。 具体来说，我们设计和训练 Robusta，这是一种新颖的鲁棒条件生成对抗网络，用于生成真实可信的扰动或离群图像，可用于训练可靠的分割模型。 我们对所提出的生成模型进行了深入研究，评估了下游分割网络的性能和鲁棒性，并证明我们的方法可以显着增强语义分割技术在面对现实世界扰动、分布变化和 分布外样本。 我们的结果表明，这种方法在安全关键型应用中可能很有价值，其中语义分割技术的可靠性至关重要，并且推理中的计算预算有限。 我们将很快发布我们的代码。

1.15 Adaptive Semi-Supervised Segmentation of Brain Vessels with Ambiguous Labels

具有模糊标签的自适应半监督脑血管分割

https://arxiv.org/abs/2308.03613

脑血管的精确分割对于脑血管疾病的诊断和治疗至关重要。 然而，现有方法在捕获小型船只和处理部分或模糊注释的数据集方面面临挑战。 在本文中，我们提出了一种自适应半监督方法来应对这些挑战。 我们的方法融合了创新技术，包括渐进式半监督学习、适应性训练策略和边界增强。 3DRA 数据集上的实验结果证明了我们的方法在基于网格的分割指标方面的优越性。 通过利用部分和模糊标记的数据（仅注释主要血管），我们的方法在错误标记的细血管上实现了令人印象深刻的分割性能，展示了其临床应用的潜力。

1.16 Enhancing Nucleus Segmentation with HARU-Net: A Hybrid Attention Based Residual U-Blocks Network

基于混合注意力的残差U块网络HARU-Net增强核分割

https://arxiv.org/abs/2308.03382

细胞核图像分割是分析、病理诊断和分类的关键步骤，很大程度上依赖于细胞核分割的质量。 然而，诸如细胞核大小变化、细胞核轮廓模糊、染色不均匀、细胞聚集和细胞重叠等问题的复杂性提出了重大挑战。 当前的细胞核分割方法主要依赖于细胞核形态学或基于轮廓的方法。 基于核形态学的方法表现出有限的泛化能力，并且难以有效预测不规则形状的核，而基于轮廓的提取方法在准确分割重叠核方面面临挑战。 为了解决上述问题，我们提出了一种双分支网络，使用基于混合注意力的残差 U 块进行核实例分割。 该网络同时预测目标信息和目标轮廓。 此外，我们引入了一种后处理方法，结合目标信息和目标轮廓来区分重叠核并生成实例分割图像。 在网络中，我们提出了一个上下文融合块（CF-block），它可以有效地从网络中提取和合并上下文信息。 进行了广泛的定量评估来评估我们方法的性能。 实验结果表明，与 BNS、MoNuSeg、CoNSeg 和 CPM-17 数据集上的最先进方法相比，所提出的方法具有优越的性能。

1.17 Microvasculature Segmentation in Human BioMolecular Atlas Program (HuBMAP)

人类生物分子图谱程序中的微血管分割(HuBMAP)

https://arxiv.org/abs/2308.03203

图像分割是一系列应用的关键工具，包括自动驾驶的行人检测和医疗领域的术前肿瘤勾画。 在这些应用中，我们重点关注美国国立卫生研究院 (NIH) 的人类生物分子图谱计划 (HuBMAP)，这是一项旨在创建详细的人体细胞图谱的重大举措。 在这项研究中，我们利用 2D 过碘酸希夫 (PAS) 染色的组织学图像，专注于分割人类肾脏中的各种微血管结构。 我们的方法从基础 FastAI U-Net 模型开始，在此基础上我们研究替代骨干架构，深入研究更深层次的模型，并尝试特征金字塔网络。 我们通过根据我们的基准 U-Net 模型对这些方法的性能进行基准测试来严格评估这些方法。 因此，这项研究对尖端分割技术进行了全面的探索，为该领域的未来研究提供了宝贵的见解。

1.18 Weakly supervised segmentation of intracranial aneurysms using a 3D focal modulation UNet

基于三维调焦技术的颅内动脉瘤弱监督分割

https://arxiv.org/abs/2308.03001

未破裂颅内动脉瘤（UIA）的准确识别和量化对于这种脑血管疾病的风险评估和治疗决策至关重要。 目前基于 3D 磁共振血管造影 (MRA) 对动脉瘤进行 2D 手动测量的评估效果欠佳且耗时。 自动 3D 测量可以显着改善临床工作流程和治疗结果。 然而，医学图像分割的一个主要问题是需要大量注释良好的数据，而获取这些数据的成本可能很高。 减轻要求的技术（例如带有粗标签的弱监督学习）是非常可取的。 在本文中，我们利用飞行时间 MRA 中的 UIA 粗略标签，使用新型 3D 焦点调制 UNet（称为 FocalSegNet）和条件随机场 (CRF) 后处理来获得精细的 UIA 分割，Dice 得分为 0.68 和 95% 豪斯多夫距离为 0.95 毫米。 我们针对最先进的 3D UNet 和 Swin-UNETR 评估了所提出算法的性能，并证明了所提出的 FocalSegNet 的优越性以及焦点调制对该任务的好处。

1.19 DermoSegDiff: A Boundary-aware Segmentation Diffusion Model for Skin Lesion Delineation

DermoSegDiff：一种边界感知的皮肤病变分割扩散模型

https://arxiv.org/abs/2308.02959

皮肤病变分割在皮肤病的早期检测和准确诊断中起着至关重要的作用。 去噪扩散概率模型 (DDPM) 最近因其卓越的图像生成能力而受到关注。 基于这些进步，我们提出了 DermoSegDiff，这是一种用于皮肤病变分割的新颖框架，它在学习过程中结合了边界信息。 我们的方法引入了一种新颖的损失函数，该函数在训练期间优先考虑边界，逐渐降低其他区域的重要性。 我们还介绍了一种新颖的基于 U-Net 的去噪网络，该网络能够熟练地将噪声和语义信息集成到网络内。 多个皮肤分割数据集上的实验结果证明了 DermoSegDiff 相对于现有 CNN、Transformer 和基于扩散的方法的优越性，展示了其在各种场景中的有效性和泛化性。 该实现可在 \href{此 https URL}{GitHub} 上公开访问.