最强特征点检测算法 DeDoDe v1/v2

news2024/11/26 16:36:45

论文地址v1：https://arxiv.org/pdf/2308.08479

论文地址v1：https://arxiv.org/pdf/2404.08928

代码地址：GitHub - Parskatt/DeDoDe: [3DV 2024 Oral] DeDoDe 🎶 Detect, Don't Describe --- Describe, Don't Detect, for Local Feature Matching

实测确实牛X！

DeDoDeV1

关键点检测是3D重建中的关键步骤，通过该步骤可以在场景的每个视图中检测到（最多）K个点的集合。至关重要的是，检测到的点需要在视图之间保持一致，即对应于场景中的同一3D点。关键点检测的主要挑战之一是学习目标的制定。以前基于学习的方法通常将描述子与关键点联合学习，并将关键点检测视为对相互最近邻的二元分类任务。然而，基于描述子最近邻的关键点检测是一项代理任务，不能保证产生3D一致的关键点。此外，这将关键点与特定描述子联系在一起，使下游使用变得复杂。在这项工作中，直接从3D一致性中学习关键点。为此，作者训练检测器来检测大规模SfM中的轨迹。由于这些点往往过于稀疏，作者推导出一个半监督的双视图检测目标，以将该集扩展到所需的检测数量。为了训练描述子，作者使用单独的网络在关键点上最大化相互最近邻目标。结果表明，作者的方法DeDoDe在多个几何基准上实现了显著的增益。

Introduction

概括性地介绍了局部特征匹配在3D重建中的重要作用，以及关键点检测这一关键步骤的挑战所在。指出之前基于学习的方法通常将关键点检测作为描述子互相最近邻的二值分类任务，这种代理任务无法保证检测到的点在不同视角下是3D一致的。同时这种方式也将关键点与特定描述子绑定，限制了下游使用。

本文的主要贡献

1、通过直接从大规模SfM重建中学习检测3D一致关键点，而不依赖描述子代理。并将关键点检测与描述子学习解耦。
2、简要介绍了检测器和描述子的训练方法,检测器从3D轨迹中学习，描述子在检测到的关键点上优化最近邻负对数似然损失。
3、通过实验展示了DeDoDe在多个基准测试上取得了新的最佳性能，显著超过以前的检测器+描述子方法和端到端匹配方法。
4、论述了将检测器和描述子解耦的优点，如兼容性、模块化设计便利性和性能提升等。