论文解读|CVPR 2023:非刚性点云匹配的神经内嵌算法

news2024/9/24 21:26:31

原创 | 文 BFT机器人

01

背景

在非刚性点云匹配领域,将两个或多个形状的点云对应起来是一个具有挑战性的任务。在这个问题中,形状的变形可能会导致点云之间的几何形状和拓扑结构的差异。因此,点云匹配方法需要能够识别和建立这些非刚性变形下的对应关系。

以往的点云匹配方法通常依赖于手工设计的特征描述符或采用迭代优化的方法。然而,这些方法往往对数据的特征表示和模型的选择非常敏感,并且需要大量的标记数据或结构几何信息来进行监督。此外,许多方法还依赖于离线基础构建的步骤,这增加了算法的复杂性和计算成本。

为了解决这些问题,论文提出了一种名为神经内在嵌入(Neural Intrinsic Embedding,简称NIE)的方法来进行非刚性点云匹配。NIE的目标是通过学习将点云的顶点嵌入到高维空间中,同时保留形状的内在结构。为了实现这一目标,NIE通过训练来逼近点云表面上对应点之间的测地距离。通过这种方式,NIE能够学习到点云之间的非刚性变形,并将其编码为高维嵌入空间中的向量表示。。

通过在实验中与现有的点云匹配方法进行比较,论文展示了NIE的有效性。实验结果表明,NIE在不同数据集和场景下都能取得与或优于现有方法的性能,同时不需要更多的监督信息或结构几何输入。这证明了NIE在非刚性点云匹配中的潜力和优越性。

图1 点云分割成具有内在几何感知的聚类

02

算法介绍

这篇论文的研究背景主要涉及到功能映射(functional maps)和线性不变嵌入(linear invariant embedding)等相关概念。功能映射是一种点对点映射的替代表示方法,它主要基于拉普拉斯-贝尔特拉米算子的特征基。给定一对形状S1和S2,首先计算它们的前k个特征函数,并将它们存储为矩阵Φi ∈ Rni×k,其中i = 1, 2 。线性不变嵌入(LIE)是另一种与我们的框架密切相关的方法。

本论文提出的方法与LIE不同之处在于:

(1)对形状之间的对应关系没有监督;

(2)在几何上提供了更多的信息;

(3)与LIE不同,即使在小规模数据集上训练也能很好地推广。

论文中提出的算法称为神经内在嵌入(Neural Intrinsic Embedding,简称NIE)。它旨在解决在可变形形状的点云之间建立对应关系的挑战。NIE旨在将点云的每个顶点嵌入到高维空间中,同时保持底层对象的内在结构。通过训练NIE来逼近表面上对应点之间的测地距离,实现了这种嵌入。

基于NIE,该论文进一步提出了一种非刚性点云配准的弱监督学习框架。与以前需要大量和敏感的离线基础构建的方法不同,NIE不依赖这种过程。所提出的框架不需要基于地面真实对应标签进行监督。通过实验证明了该框架的有效性,结果显示与需要更多监督和/或结构几何输入的最先进基线方法相比,性能相当或更好。

 

03

论文的创新点

1. 提出了一种新的非刚性点云匹配方法,称为神经内在嵌入(Neural Intrinsic Embedding,NIE)。与现有的方法相比,NIE能够更好地保留点云的内在结构,从而实现更准确的匹配。

2. 提出了一种新的点云嵌入方法,称为点云自适应嵌入(Point Cloud Adaptive Embedding,PCAE)。PCAE能够自适应地学习点云的嵌入表示,从而更好地捕捉点云的几何特征。

3. 提出了一种新的点云对齐方法,称为点云对齐网络(Point Cloud Alignment Network,PCAN)。PCAN能够将两个点云嵌入到同一空间中,并通过最小化它们之间的距离来实现点云对齐。

04

实验

1.评估了学习到的嵌入表示,并提供了消融研究来验证他们提出的设计。他们通过比较不同的实验设置和参数选择来分析嵌入表示的性能。

2.展示了他们提出的NIM网络的匹配结果,并将其与几种竞争性的基线方法进行了比较。他们使用平均测地误差来评估匹配结果,这些结果是在形状归一化到单位面积的情况下仅使用点云进行推断时得出的。

3.展示了他们的NIE和NIM网络对于噪声和各种局部性等伪影的鲁棒性。他们通过引入不同类型的伪影来评估网络的鲁棒性,并分析其对匹配结果的影响。

在实验部分,作者提供了使用的数据集的详细信息,包括FAUST数据集的重新网格化版本和包含100个人体形状的训练和测试集的划分。

表1  不同方法在基础数据集上的比较结果

表1提供了不同方法在基础数据集上的比较结果,包括OPT(×100)和相对测地误差(x100)。该表格显示了不同方法在这两个指标上的性能。其中,"Ours"指的是该论文提出的方法,"MDS"是多维缩放方法,"LBO basis"和"PCD LBO basis"是基于LBO的方法,"LIE"是基于正交约束的方法。从表格中可以看出,该论文提出的方法在OPT和相对测地误差方面都表现最佳。

表2  关于训练损失的消融研究结果

表2提供了关于训练损失的消融研究结果,包括OPT(×100)、相对测地误差(x100)和最终匹配误差(x100)。该表格显示了在不同训练损失项和修改后的DGCNN上进行的实验的结果。以下是表格中的结果:

- 使用仅相对测地损失时,虽然可以获得最低的误差,但NIE存在秩缺失问题,导致最差的OPT得分。

- 使用相对测地损失和时,可以获得更好的OPT和相对测地误差。

- 使用相对测地损失、和时,可以进一步改善OPT和相对测地误差。

- 使用包含样本的完整模型时,可以获得最佳的OPT、相对测地误差和最终匹配误差。

这些结果表明,在训练过程中使用多个损失项和修改后的DGCNN可以显著改善匹配结果的质量。

05

结论

提出的神经内在嵌入方法可以有效地解决非刚性点云匹配问题,并且在多个数据集上取得了优于其他方法的结果。该方法可以在不需要额外的先验知识或手动标记的情况下,从点云中提取内在的几何信息,并将其用于点云匹配和分割任务。此外,该方法还具有良好的鲁棒性,可以处理噪声和部分点云等常见的数据伪影。

论文标题:

Neural Intrinsic Embedding for Non-rigid Point Cloud Matching

 

更多精彩内容请关注公众号:BFT机器人

本文为原创文章,版权归BFT机器人所有,如需转载请与我们联系。若您对该文章内容有任何疑问,请与我们联系,将及时回应。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/713069.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

一文图解|低精度定时器原理

Linux 内核通常会使用 定时器 来做一些延时的操作,比如常用的 sleep() 系统调用就是使用定时器来实现的。 在 Linux 内核中,有两种类型的定时器:高精度定时器 与 低精度定时器。低精度定时器基于硬件的时钟中断实现的,其定时周期…

开放式蓝牙耳机推荐,高性价比的蓝牙耳机首选这些品牌

在开放式耳机的流行度越来越高的同时,新接触想入手开放式耳机的小伙伴们,面对不同样式型号的耳机,会更多的考虑舒适度还是音质?亦或者是外观呢,通过各方体验调查,我总结了几款值得大家选择的开放式耳机&…

Linux--共同访问的公共目录不允许a用户删除b用户目录或文件:粘滞位 -t

情景: ①当多个用户共享同一个目录,需要在该目录下,进行读写、创建文件 ②但是自己只能删除自己的,而不能删除别人的(w:可以互删的,但是不满足条件) 语法: chmod t 目录名 注意…

CICD集合(一):Jenkins2.3.46安装

一、安装和安装Jenkins 0.前提 因jenkins从2.357版本开始不再支持java8 2、jenkins与java版本对应查看,与jenkins下载:Redhat Jenkins Packages 3、打算使用java8,所以选择安装2.346.3-1.1 4、安装jenkins之前,安装好java8并…

前后端免费学 | 第六届字节跳动青训营报名啦

线上活动,全程免费 报名时间:2023年6月2日 - 2023年7月10日 报名地址:点我报名,暑假一起学技术呀... 前言 其实去年我就想参加青训营的,但是那时的我刚转完专业,觉得自己太菜了,单方面认为自己…

MySQL 8 group by 报错 this is incompatible with sql_mode=only_full_group_by

根据错误信息大概知道,是sql_mode参数设置为only_full_group_by的不兼容,如果select 的字段不在 group by 中,并且select 字段没有使用聚合函数(SUM,MAX等),这个sql查询是被mysql认为非法的,会报…

easyui datagrid合并单元格

表头合并 columns:[[{field:bigarea,title:大区,rowspan:2,width:$$.fillsize(0.1),align:center},{field:ProvinceName,title:省份,rowspan:2,width:$$.fillsize(0.1),align:center},{field:dbct_name,title:分拨中心,rowspan:2,width:$$.fillsize(0.1),align:center},{field…

IDEA新建Spring Boot项目

新建项目之前已经将JDK环境变量啥的都安装好了,本文只有新建。 1.打开idea,选择Create New Project。如果已经打开其他项目,点击File->New->Project,也可以打开新建的界面。 2.点左侧的Spring Initializr然后如图&#xff…

三款新品齐发:大势智慧刷新实景三维技术新高度

近日,大势智慧“海量数据轻量化技术与新品夏季发布会”在大势智慧武汉总部盛大举行,并同步在其官方微信视频号进行线上直播,线上线下双会场气氛热烈、互动频繁、精彩纷呈。在此次发布会上,大势智慧集中推出轻量化技术、大势速影、…

第1章 Java概述

目录 1 Java相关1.1 跨平台性的体现1.2 Java的运行机制1.3 JDK、JRE、JVM及其关系1.4 Java注释 2 其他2.1 转义字符2.2 常用Dos命令2.3 相对路径与绝对路径 3 思维导图 上图为思维导图 1 Java相关 1.1 跨平台性的体现 Java的跨平台性:程序员编写的Java程序可以在不…

MyBatis介绍与下载

目录 MyBatis 介绍 MyBatis 主要特点 MyBatis 下载 IDEA创建maven项目(默认) MyBatis 介绍 MyBatis是一种开源的Java持久化框架,用于将SQL数据库访问和映射任务与Java对象之间的映射分离。它提供了一种简单的方式来对数据库进行操作&…

4Gwifi外夹式无线超声波流量计热量表无需破管物联网云平台对接

1.产品概述 DAQ-GP-UF4G无线外夹式超声波流量计是上海数采物联网科技有限公司推出的一款基于4G无线传输,交流/直流宽电压供电的通用型超声波流量计热量表,可采集管道中的瞬时流量、瞬时热流量等。外夹式超声波流量计与传统流量计相比,具有安装…

STM32实战项目—楼宇人员计数系统

本文项目比较简单,目的是介绍一下红外对管的使用,程序设计也比较简单。因此,博主并没有将程序工程上传资源,如果有需要的话可以私信。 文章目录 一、任务要求二、实现方法2.1 红外对管简介2.2 进出人员检测 三、程序设计3.1 红外对…

微服务架构介绍及SpringCloudAlibaba组件介绍

单体架构vs微服务架构 单机架构 什么是单体架构 一个归档包(例如war格式)包含了应用所有功能的应用程序,我们通常称之为单体应用。架构单体应用的方法论,我们称之为单体应用架构。(就是一个war包打天下)…

C++图形开发(3):静止的小球(fillcircle函数)

文章目录 1.如何实现?2.一个小球3.多个小球4.更多花样呢? 1.如何实现? 要实现在图形界面得到一个小球,我们的graphics库提供了一个函数: fillcircle();其格式为: fillcircle(x轴坐标,y轴坐标,半径);2.一个小球 现写…

MATLAB App Designer基础教程 Matlab GUI入门(四)

坐标轴控件 axis 函数绘图方法技巧 作用: 绘制函数图像显示图像(jpg png tiff) 学习内容 App designer中 plot 和命令行中的 plot函数的不同;如何在坐标轴空间中显示两个函数图像;智能缩进 (Ctrl I&am…

【洛谷】P3386 【模板】二分图最大匹配(匈牙利算法)

ACcode: #include<bits/stdc.h> using namespace std; #define int long long const int N5e210, M1e510; int n,m,k,ans; struct E{//链式向前星存储图 int v,next; }e[M]; int head[N],cnt;int match[N];//村女生i的男朋友 bool vis[N];//存女生i是否被访问过 void …

three.js应用cannon物理引擎设置物体的相互作用

一、cannon物理引擎介绍 cannon官网地址&#xff1a;https://pmndrs.github.io/cannon-es/ Cannon.js 是一个基于 JavaScript 的开源 3D 物理引擎&#xff0c;可以用于开发和模拟真实世界中的物理效果。它提供了一系列的物理模拟功能&#xff0c;包括刚体碰撞、重力、碰撞检测…

OpenAI Gym入门与实操(2)

本文内容参考&#xff1a; Getting Started With OpenAI Gym | Paperspace Blog&#xff0c; 【强化学习】 OpenAI Gym入门&#xff1a;基础组件&#xff08;Getting Started With OpenAI Gym: The Basic Building Blocks&#xff09;_iioSnail的博客-CSDN博客 3. 环境&#…

现代异步存储访问API探索:libaio、io_uring和SPDK

【摘要】 最近的高性能存储设备暴露了现有软件栈的低效&#xff0c;因而催生了对I/O栈的改进。Linux内核的最新API是io_uring。作者提供了第一个针对io_uring的深度研究&#xff0c;并且和libaio、SPDK比较&#xff0c;探讨它的下性能和优缺点。根据作者的发现&#xff0c;&am…