Mutual_Voting_for_Ranking_3D_Correspondences

news2024/11/27 0:37:43

因为目前主要在看表示学习,所以配准了解较少,这篇文章就主要记录了一下相关工作和作者提出的非dl的模型,实验部分很简略,大家可以做参考。

Abstract

在摘要部分,作者介绍了一种新颖的相互投票方法,用于对三维(3D)点云之间的对应关系进行排序。

尽管现有的3D关键点检测器和描述符在性能上有所限制,导致初始对应集中存在异常值,但通过相互投票方法,可以对这些对应关系进行可靠的评分。方法首先构建了一个图,图中的节点表示初始对应集中的点对应关系,边则表示这些对应关系之间的几何兼容性。接着,作者引入了节点聚类系数,是一种用于初步识别和移除异常值的度量,同时也加快了后续投票过程的速度。

在相互投票过程中,图中的节点和边分别被视为候选项和投票者。通过这种“节点 ↔ 边”的双向投票机制,对所有对应关系进行了评分。最终,根据这些投票得分,对应关系被降序排列,排名最高的对应关系被认为是内点,即正确的匹配。

最后,通过在多个数据集上的实验,包括特征匹配、3D点云配准和3D物体识别,验证了相互投票方法在面对不同挑战性设置(如噪声、不同的数据分辨率、遮挡和重叠不足)时的鲁棒性。结果表明,该方法不仅对大量异常值具有鲁棒性,而且能够显著提升3D点云配准和3D物体识别的性能。

Introduction

这一部分,作者首先强调了点云特征匹配在3D计算机视觉领域的重要性。它是3D重建、3D物体识别、3D物体跟踪和点云配准等任务的基础。在这些任务中,正确建立点云序列中的点对点对应关系至关重要。通常,这些对应关系是通过两步过程产生的:初始对应生成内点选择

然而,现有的3D关键点检测器和描述符在性能上存在限制,导致初始对应集中存在异常值。此外,现实世界的应用中,噪声、不同的数据分辨率、干扰和遮挡等因素会进一步产生异常值。因此,内点选择成为了获取几何上一致的对应关系的关键步骤。

同时,作者回顾了现有的基于几何的3D内点选择方法,方法可以被归类为基于标签的方法和基于分数的方法。基于标签的方法设计了一个二类分类器来为对应关系分配二元标签,而基于分数的方法首先计算输入对应关系的置信度分数,然后根据评分结果对对应关系进行排序。作者指出,基于特征相似性约束的方法并不稳健,因为特征描述符的描述性并不能得到保证。而依赖于几何约束的方法在3D特征匹配中更为常见,其中基于投票的方法因其有效性和简单性而受到越来越多的关注。

现有的基于投票的方法在某些情况下有效,但它们通常对异常值敏感,并且存在一些局限性。例如,一些方法主要在欧几里得空间中进行投票,使得它们难以准确建模对应关系之间的兼容性关系,并充分利用内点之间的一致性。此外,基于深度学习的方法通常需要大量的数据进行训练,并且在不同下游任务中的泛化能力较差。

鉴于这些考虑,作者提出了一种新颖的相互投票(MV)方法,用于3D内点选择。与现有基于投票的方法不同,现有方法遵循单向的“投票者 → 候选项”投票模式,忽略了投票集中可能存在的不可靠投票者,从而导致投票得分的说服力降低。相比之下,MV的关键思想是通过在相互投票方案中同时优化投票者和候选项来实现对对应关系的可靠评分结果。MV是第一个提出用于对3D对应关系进行评分的相互投票方案。

最后指出,本文提出了一种新颖的MV方法,该方法通过相互投票机制来对3D对应关系进行排序,并通过一系列实验验证了其在不同数据集上的鲁棒性和有效性。实验包括特征匹配、3D点云配准和3D物体识别,结果表明MV能够显著提升现有流水线中3D点云配准和物体识别的性能。

Related Work

作者们首先对2D和3D领域中的一些方法进行了综述。首先回顾了2D特征匹配的传统方法,例如Fischler等人提出的随机抽样一致性(RANSAC)方法,是一种通过迭代方式在包含异常值的数据集中找到最优参数模型的方法,广泛应用于图像对齐和拼接。RANSAC通过随机抽取样本并进行假设生成与验证过程来估计变换,但在面对大量异常值时,其准确性和效率有限。为了解决这些问题,研究者们提出了RANSAC的多种变体。

接着,作者提到了基于谱分析的方法,这些方法通过假设内点通常形成簇来进行一致性对应关系的查找。另外,还有基于图匹配的方法,它们通过最小化能量函数来评估初始对应关系。然而,这些方法通常要求初始对应集中具有较高的内点比例,并且大多数图匹配方法存在可扩展性和效率有限的问题。

在2D特征匹配中,基于学习的方法将内点选择问题视为二元分类问题。Yi等人提出了首个基于多层感知网络的深度学习特征匹配器,但这种方法未能挖掘对应关系中的局部特征。为了解决这个问题,后续的工作如NM-Net和OA-Net引入了各种局部特征挖掘模块来捕获局部信息。

然后,转向3D特征匹配,讨论了基于分数的方法,这些方法基于特征相似性得分对3D对应关系进行排名,但这些局部特征可能对噪声和数据分辨率变化敏感。Rodolà等人提出了一种博弈论匹配(GTM)方法,它在局部操作中寻求点之间的全局一致性。Buch等人提出了一种基于投票的方法,结合了局部和全局约束来对对应关系进行评分

在基于标签的方法中,作者们区分了几何方法和基于深度学习的方法。几何方法假设正确的对应关系可以形成簇,并倾向于一次性找到这些匹配。而基于深度学习的方法则尝试设计独特的深度学习分类器来进行对应关系的选择。虽然基于深度学习的方法取得了显著的性能,但通常需要大量的训练数据,并且在现实世界应用中,泛化能力仍然是一个问题。

因此,作者提到了本文主要关注几何方法。与现有方法相比,作者提出的相互投票(MV)方法有两个区别:首先,MV不是在欧几里得空间中进行投票,而是在图空间中进行,以更好地建模对应关系之间的兼容性关系;其次,现有的基于投票的方法是单向的忽略了不可靠投票者的存在,而MV是一种相互投票方法,它通过“候选项 → 投票者”的投票进一步优化投票者,以提高投票集的质量。

最后,作者指出,尽管基于深度学习的方法在某些情况下表现出色,但它们需要大量的训练数据和GPU计算能力。相比之下,MV方法无需大量训练数据和GPU计算,就能在3D点云配准和3D物体识别应用中取得更好的性能。

METHODOLOGY

这一部分是方法论,作者的方法分成了四步,会在下面详细说。

MV方法的四个步骤

图构建(Graph Construction)

初始对应集被转换成一个图结构,其中图的节点(V)代表点云中的点对应关系,图的边(E)表示这些对应关系之间的几何兼容性。通过计算两个对应关系之间的距离差异量化它们的刚性,如果这个距离差异小于一个预设的阈值,则认为这两个对应关系是兼容的,并在图中形成一条边。边的权重由两个对应关系的兼容性得分决定,这个得分是通过高斯函数计算得出的,反映了它们成为内点的概率。

节点聚类系数计算(Nodal Clustering Coefficient Calculation)

节点聚类系数用于衡量图中节点的局部连接密度,即一个节点的邻居节点之间相互连接的程度。每个节点的聚类系数通过其邻居节点之间实际存在的边的权重之和与可能存在的边的权重最大值的比例来计算。引入聚类系数的概念是为了在投票前预先识别和移除异常值。通过设置一个阈值,可以移除那些聚类系数较低的节点,这些节点很可能是异常值。

相互投票(Mutual Voting)

相互投票是MV方法的核心,它在图中的节点和边之间进行。在“节点 → 边”投票阶段,每个节点为其连接的边投票,以此来为边分配权重。这是通过找到每个边的“兼容节点集”(CNS)来实现的,即与边的两个端点都相连的节点集合。在“边 → 节点”投票阶段,边根据其CNS中的节点为节点投票,从而为每个节点累积投票得分

这种双向投票机制确保了投票的可靠性,因为一个节点的得分不仅基于其他节点对它的直接投票,还基于它与边的关系。

对应关系排序(Correspondence Ranking)

根据相互投票阶段得到的投票得分,所有对应关系将被降序排列。排名最高的对应关系将被选为内点。选择内点的方法可以是使用大津阈值法(OTSU)进行自动选择,或者根据特定应用场景选择前K个对应关系。这一步骤的目的是最终确定哪些对应关系是可靠的,可以用于后续的3D点云配准或物体识别任务。

EXPERIMENT

在实验部分,作者设计了一系列实验来评估他们提出的相互投票(MV)方法的性能。实验分为三个主要部分:特征匹配、点云配准和3D物体识别。

特征匹配实验中,使用了包括UWA 3D建模(U3M)、博洛尼亚网格配准(BMR)、UWA 3D物体识别(U3OR)和博洛尼亚数据集5(BoD5)在内的多个数据集。采用了召回率作为主要的评估指标,通过改变召回率的阈值K,记录不同K值下的内点数量,并绘制了召回率曲线。MV方法与现有的九种最先进方法进行了比较,包括基于相似性得分(SS)、最近邻相似性比(NNSR)、谱技术(ST)、搜索内点(SI)、博弈论匹配(GTM)和一致性投票(CV)等方法。

点云配准实验涉及了U3M、3DMatch、3DLoMatch和KITTI数据集。使用了均方根误差(RMSE)、旋转误差(RE)和翻译误差(TE)作为评估指标。MV方法被集成到基于RANSAC的配估方法中,以验证其在不同假设评估指标下的性能提升。

3D物体识别实验使用了Queen和U3OR数据集来评估MV方法在3D物体识别任务中的性能。评估指标包括点云残差误差(εres)和点云重叠率(rov)。

在所有实验中,MV方法展现出了卓越的性能。尤其是在存在大量异常值和不同挑战性条件下。此外,作者们还进行了一些额外的分析和实验,以验证MV方法不同组件的有效性,包括兼容性约束的合理性、聚类系数阈值的自适应设置、以及使用节点聚类系数进行异常值移除的必要性。

最后,实验部分还包括了对MV方法计算效率的评估。结果表明,即使在大规模点云数据上,MV方法也能够高效地执行特征匹配,对于实时应用是非常重要的。通过这些全面的实验,作者成功地证明了MV方法的有效性和实用性。

Conclusion

结论部分,作者总结了提出的相互投票(MV)方法的主要贡献和实验结果,并讨论了未来的研究方向。

首先概括了MV方法的核心思想,即通过在相互投票方案中同时优化投票者和候选项来实现对3D点云中对应关系的可靠评分。强调了MV方法在不同挑战性条件下的鲁棒性,尤其是在面对大量异常值时,MV方法能够有效地识别和排序正确的对应关系

同时,通过在多个数据集上进行的特征匹配、3D点云配准和3D物体识别实验,作者证明了MV方法能够显著提升现有流水线中的性能。

尽管MV方法已经取得了令人鼓舞的成果,但作者也提出了未来研究的方向。首先计划探索更先进的兼容性度量方法,以更准确地捕捉点云中对应关系之间的几何兼容性。其次,希望研究端到端的投票过程,目标是直接从包含异常值的原始对应关系中计算出刚性变换,而无需依赖于外部的配准算法,如RANSAC。

作者得出结论,MV方法是一个有效且鲁棒的3D点云对应关系排序方法,它在各种具有挑战性的环境中都表现出了卓越的性能。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2035312.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

孙宇晨所到之处,投资人闻风丧胆?WBTC被坑惨了?MakerDAO带头抗议!BitGo退场!

为实现WBTC跨多个司法管辖区的托管业务和冷储存业务多元化,加密货币托管公司BitGo于8月10日宣布,将与BiT Global创建合资企业对Wrapped Bitcoin(WBTC)业务进行多司法管辖区托管,且BitGo将成为新合资企业的少数股东。此…

满天飞的浮毛怎么去掉?最最高效解决浮毛的办法宠物空气净化器

作为一名呼吸科医生,我们的工作有着明显的“淡旺季”之分。旺季:一是秋冬季节雾霾加剧,引发呼吸道不适;二是宠物换毛期,导致家庭环境中浮毛增多,进而引发呼吸道过敏、炎症等问题。秋冬的雾霾是自然界的不可…

java基础进阶——log日志、类加载器、XML、单元测试、注解、枚举类

前言 这篇内容主要掌握的就是logback使用、理解类加载器、XML文件的编写,XML文档约束schema,用Dom4j解析XML文档,Xpath检索XML文档,完整使用Junit单元测试框架常用部分,注解的定义和使用,枚举类的定义和开发…

IDEA:Dangling Javadoc comment

JetBrains对JavaDocs的描述: Javadoc comments are usually placed above classes, methods, or fields in your source code. A Javadoc provides a description of the code element located under it and contains block tags marked with with specific metada…

0x6 风险评估

风险评估介绍 一、风险评估解决的问题 二、什么是风险评估 三、风险评估的目的 加强信息安全保障:信息安全风险评估是信息安全体系建设和管理的关键环节。通过评估,能够发现系统的主要问题和矛盾,并找到解决关键问题的办法。 认清安全环境与…

Linux的常用操作-02

一:Linux的系统目录结构 /bin bin是ary的缩写,这个目录存放着最经常用的命令 /boot:这里存放的是启动Linux时使用的一些核心文件,包括一些连接文件以及镜像文件。 /dev:dev是Device(设备)的缩写,该目录下存放的是Lin…

尚硅谷MYSQL高级篇(一)

存储引擎 support是看是否支持这些存储引擎 default是默认的 transactions是看一下是否支持事务 xa是看是否支持分布式事务 savepoint 保存点是支持部分事务的回滚

2024 年最受欢迎的数据库

数据库是我们与技术交互的支柱,以下是 2024 年最受开发人员喜爱的十大数据库引擎列表。 数据库很像管道。用户就像房主一样,不一定知道数据库的结构,最多只能看到一些片段,但他们的大部分活动都依赖于底层框架。系统的存亡取决于数…

你不知道的EPLAN 小窍门

1 图形拉伸 下面有五条直线,如果想同时改变直线的倾斜角度,这时候我们可以用到拉伸命令。 编辑>图形>拉伸 然后全选5根线的顶端,就可以自由的拖动变形了。 图形中还有一些修剪,倒角,圆角等CAD中常用命令,大家可以自己尝试下。 2 显示标示性的编号 打开EPLAN设置,…

# 利刃出鞘_Tomcat 核心原理解析(六)

利刃出鞘_Tomcat 核心原理解析(六) 一、Tomcat专题 - 内容 1、Web 应用配置 2、Tomcat 管理配置 3、JVM 配置 4、Tomcat 集群 5、Tomcat 安全 6、Tomcat 性能调优 7、Tomcat 附加功能。 二、Tomcat专题 - Web应用配置介绍 1、Web.xml 配置文件…

人工智能在病理组学领域的最新进展|文献速递·24-08-09

小罗碎碎念 本期推文主题:人工智能在病理组学领域的最新进展 这一期推文和往期不太一样——往期几乎都是顶刊,而这一期选了一些分数不那么高的文章。这样做有两个原因: 验证一下在IF较低的期刊中能否找到灵感对比一下,期刊之间的…

子进程与父进程运行不同程序

往文件里面写内容,fork在open之前,会接着父进程写的内容写,继承父进程的状态信息,文件描述符一直往下 往文件里面写内容,fork在open之后,分别打开文件,后运行的会覆盖先运行的内容 让低8位有效 进程的终止…

LVS-NAT + LVS-DR

LVS 现在lvs已经是linux内核标准的一部分,使用lvs可以达到的技术目标是:通过linux达到负载均衡技术和linux操作系统实现一个高性能高可用的linux服务器集群,他具有良好的可靠性,可延展性和可操作性,从而以低廉的成本实…

AQS的同步队列和条件队列原理

文章目录 二者区别实现原理同步队列原码-内部类Node源码-获取锁源码-释放锁条件队列原码-内部类Node源码-等待源码-唤醒Demo-比较典型的条件队列使用场景二者区别 首先,AQS中的 同步队列 和 条件队列 是两种不同队列: 目的不同:同步队列主要用于实现锁机制(也就是锁的获取…

4.3.2 C++ 平面拟合的实现

4.3.2 C 平面拟合的实现 参考教程: gaoxiang12/slam_in_autonomous_driving: 《自动驾驶中的SLAM技术》对应开源代码 (github.com) Eigen打印输出_打印eigen矩阵-CSDN博客 1. 编写 Plane fitting 1.1 创建文件夹 通过终端创建一个名为Plane_fitting的文件夹以保…

Cookie和Session的区别(详细讲解)

Session 和 Cookie 的区别 在网络通信过程中,使用的是HTTP协议,它是一种无状态协议,比如,在登录一个网站时,登录成功后,之后在访问这个网站的其他页面时,都需要重新登录,无法识别出…

[240812] X-CMD 发布 v0.4.5:更新 gtb、cd、chat、hashdir 模块功能

目录 📃Changelog✨ gtb✨ cd✨ chat✨ hashdir 📃Changelog ✨ gtb 调整了 fzf 预览窗口中书籍文本的显示效果,通过识别文本中的特殊字符、日期、章节标题等信息,为其赋予不同的颜色。 ✨ cd cd 模块新增功能:在找…

网络编程day03 20240813

一、相关练习 1、通过w(红色臂角度增大)s(红色臂角度减小)d(蓝色臂角度增大)a(蓝色臂角度减小)按键控制机械臂 机械臂需要发送16进制数,共5个字节,协议如下: 0xff 0x0…

数据库核心技术:存储与索引概览

文章目录 存储与索引技术概览存储结构索引技术 MySQL存储结构索引技术事务与锁优势 PostgreSQL存储结构索引技术事务与锁优势 Oracle存储结构索引技术事务与锁优势 SQL Server存储结构索引技术事务与锁优势 选型考量存储结构索引技术事务与锁的支持综合因素未来趋势 结语 数据库…

【微信小程序】网络数据请求

1. 小程序中网络数据请求的限制 2. 配置 request 合法域名 3. 发起 GET 请求 调用微信小程序提供的 wx.request() 方法,可以发起 GET 数据请求,示例代码如下: 4. 发起 POST 请求 调用微信小程序提供的 wx.request() 方法,可以发起 POST 数据请求,示例代码如下: 5. …