PSTNET阅读

news2024/11/25 1:06:48

image.png
ICLR2021
点云序列在空间维度上具有不规则性和无序性,但在时间维度上具有规律性和有序性。
现有的基于网格的卷积不能直接应用于原始点云序列的时空建模。
image.png
在时空序列下,基于网格和基于点的卷积对比。

创新点

1.首次尝试在原始点云序列建模中分解空间和时间信息。
2.提出一种基于点的卷积操作(PST),分别捕捉三维空间中点的局部结构和空间区域在时间维度上的动态。
3.提出PST转置卷积,通过插值时间动态和空间特征来解码原始点云序列。
下游任务:3D动作识别和4D语义分割性能。
缺点:除非增大邻域搜索半径,否则无法通过堆叠更多的层获得空间上更大的感受野。

Pipeline

PST卷积

PST卷积

给定点云序列([P1;F1],[P2;F2], ···,[PL;FL]),提出PST卷积将序列编码为([P′1;F′1],[P′2;F′2],···,[P′L;F′L′])。
L和L′表示帧数,P′t∈R3×N′和F′t∈RC′×N′表示编码后的坐标和特征。

对时空进行解耦

点云序列在空间上不规则且无序但在时间上有序,这促使我们将这两个维度解耦,以减少点的空间不规则性对时间建模的影响。
且点云序列的空间位移和时间差异的尺度可能不兼容。将两者同等对待,不利于网络优化。
原始的PST卷积
将卷积核W分解为空间卷积核S和时间卷积核T,其中Cm为中间特征的维数。
由于空间和时间是正交且相互独立的,进一步将空间和时间建模分解为:解耦时空
然而这样需要通过点跟踪来捕捉点运动,难以实现精确的点轨迹,且跟踪点通常依赖于点的颜色,可能无法处理无色的点云。选择先对不规则点的空间结构进行建模,然后从空间区域中捕获时间信息。
先进行空间卷积,得到邻域再进行时间卷积
对所有邻域共享一个卷积核S这是不合理的,因为点位移不是离散的。将核函数转换为位移的函数,
对不同的空间位移,使用不同的卷积权重
f:R1×3→RCm×C是以θ为参数的(δx,δy,δz)的函数,根据不同的位移生成不同的RCm×C。

POINT TUBE

引入点管来保持时空局部结构。与3D卷积中像素呈规则分布的像素立方体不同,点管是根据输入序列动态生成的,因此密集区域比稀疏区域拥有更多的点管。

时间锚点

根据时间核大小(l)、时间步长(st)和时间填充§自动选择点云序列中的时间锚框,其中l设置为奇数,使得锚框位于点管的中间。此外设置l/2≥p,以避免选择填充框作为锚框。

空间锚点

给定一个采样率ss,在将N个点降采样到N′=N/ss个点。使用FPS进行采样。根据采样的锚点生成POINT TUBE。
在POINT TUBE上执行PST卷积,能够捕获局部区域的动态变化。时间核大小l和空间搜索半径r可以分别捕获时间和空间局部结构。帧下采样(st)和点下采样(ss)使得网络在时间和空间上都具有层次性。全局运动可以通过将信息以时空分层的方式进行合并概括。

PST反卷积

对于point-level的预测任务,需要为所有的原始点提供特征。因此发展了PST反卷积。
设([P′1;F′1],[P′2;F′2],···,[P′L′;F′L′])是原始序列([P1;F1],[P2;F2],···,[PL;FL])的编码序列。PST反卷积将特征(F′1,F′2,···,F′L′)传播到原坐标(P1,P2,···,PL),输出新特征(F′′1,F′′2,···,F′′L),其中F′′t∈RC′′× N。
先通过一个时间转置卷积恢复时间长度:image.png
特征通过原始点与邻近锚点之间的反距离进行插值加权image.png

Net Architecture

三维动作识别网络

image.png

四维语义分割网络

image.png

实验

三维动作识别

为每一帧采样2048个点。点云序列被分割成多个片段(用固定的帧数)作为输入。
采用MSR-ACTION3D和NTU RGB+D数据集。
image.png
MSR-Action3D上动作识别的准确率。
image.png
NTU RGB+D数据集上动作识别的准确率。
image.png
NTU RGB+D数据集上的运行时间。与3DV-Point Net++相比,减少了约2s的时间,说明了PSTNet的高效。

四维语义分割

PSTNet (l=3)利用了时态信息,性能优于当前最先进的方法。
image.png
Synthia 4D数据上语义分割的结果。

消融实验

帧数

通常情况下,信息在时间序列上并不是均匀分布的。短的点云片段可能会错过关键帧,从而将模型混淆为噪声。因此,增加帧数有利于动作识别模型。

时间核大小

image.png
当l大于1时,PSTNet对时间动态进行建模,从而提高推理的动作准确性。
当l大于3时,准确率下降。这是由于MSR - Action3D中的大多数动作都是快速的,使用较小的时间核尺寸有利于捕获快速运动,并且在高层会捕获长距离的时间依赖。

空间半径

image.png
使用过小的r不能捕获足够的结构信息,而使用较大的r会降低空间局部结构对建模的判别性。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1986289.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

serial靶机教程

靶机下载地址 https://download.vulnhub.com/serial/serial.zip 主机发现 arp-scan -l 端口扫描 nmap 192.168.229.131 -A 根据对⽐可知serial的⼀个ip地址为192.168.47.143 该靶机开启了22端⼝和80端⼝ 对⽹站进⾏⼀个访问,⼤概意思为这是对新的cookie处理程序…

【优秀python案例】基于python爬虫的深圳房价数据分析与可视化实现

现如今,房价问题一直处于风口浪尖,房价的上涨抑或下跌都牵动着整个社会的利益,即便是政府出台各种政策方针也只能是暂时抑制楼市的涨势,对于需要买房的人来说,除了关注这些变化和政策外,还有一个非常头疼的…

工具|阅读PDF时鼠标显示为小手中有向下箭头解决方法

由于工作中,会大量阅读PDF文档,如手册,规格书,各种图纸等,因此好用的PDF工具必不可少。我主要习惯用福昕阅读器,标注比较方便。 所以,本文主要以福昕阅读器为主,当然也适用于其他的阅…

linux文本处理命令:文本搜索工具grep详解

目录 一、概述 二、基本语法 1、语法 2、常用选项 3、获取帮助 三、示例 1. 搜索文件中的字符串 2. 忽略大小写搜索 3. 显示匹配行的行号 4. 反向搜索 5. 递归搜索 6. 使用扩展正则表达式 7. 列出包含匹配项的文件 8. 显示匹配行的上下文 9. 使用正则…

从2013数学建模B题碎纸片拼接问题看递归和迭代思想

目录 1.递归实例说明 2.迭代实例说明 3.迭代思想在碎纸片拼接赛题的运用 1.递归实例说明 斐波那契数列可以使用递归,也可以使用数列的通项公式,但是这个地方建议使用数列的通项公式,因为这个递归的深度过大这个结果很难运行出来&#xff1…

使用WebDAV共享本地文件,轻量易用

特征: 使用 Golang 实现,性能极高。 最终编译成单个二进制文件,不需要 Apache 或类似的环境,依赖性很少。 支持浏览器访问。 可以在同一个端口上启用多个 WebDAV 服务,每个服务具有不同的挂载目录、用户名和密码。 良好…

嵌入式day20

feof: 检测文件是否到达结尾 ferroe: 检测文件是否发生错误 标准IO之文件定位 fseek() SEEK_END 指向最后一个字节的后一个,继续加,写文件,会将文件扩大 ftell() 获取…

STM32学习笔记1---LED,蜂鸣器

目录 GPIO LED 蜂鸣器 RCC外设 GPIO外设 总概 操作STM32的GPIO 代码 LED闪烁 LED流水灯 蜂鸣器! 连接方式 GPIO GPIO输出:向外驱动控制 GPIO输入:读取,捕获(信息)(控制&#xff09…

状压DP,abc359_d - Avoid K Palindrome

一、题目 1、题目描述 2、输入输出 2.1输入 2.2输出 3、原题链接 D - Avoid K Palindrome 二、解题报告 1、思路分析 数据量:N:1000,K:10 提示我们状态压缩 我们发现长度为K的字符串,我们可以用0表示A&#xff…

vue2项目如何引入element组件库以及如何使用element组件库

目录 一、创建项目二、进入项目1、先进入项目,![在这里插入图片描述](https://i-blog.csdnimg.cn/direct/a1ce9d928fdb4b5d85e6612f458a33db.png)2、路径栏输入cmd,然后回车3、输入code . ,然后回车 三、项目启动1、查看启动指令2、启动项目 …

VMwave安装Ubuntu20.04超详细图文教程(附VMwave17.5安装包)

VMwave安装 Ubuntu20.04 超详细图文教程 一、VMwave安装 官网下载 网盘下载 二、Ubuntu下载 三、Ubuntu20.04安装 四、安装VMwave tools 五、更改Ubuntu软件源 注:写教程的时候博主用的是VMware Workstation pro 17(VM17.5) 一、VMwave安装 以下我提供两…

常见中间件漏洞(一、Tomcat合集)

目录 一.Tomcat Tomcat介绍 1.1 CVE-2017-12615 影响范围 环境搭建 漏洞复现 1.2 后台弱口令部署war包 漏洞原理 影响版本 环境搭建 1.3 CVE-2020-1938 漏洞原理 影响版本 环境搭建 漏洞复现 一.Tomcat Tomcat介绍 tomcat是一个开源而且…

clion开发stm32f4系列(一)————移植rt-thread os系统

前言 本次使用的rt-thread的版本为5.0.2基于rt-thread sudio生成的源码进行拷贝和修改工程基于上次创建工程的项目进行修改。本次工程只是用了serial和pin组件,其他后面用到再进行添加 拷贝rt-thread源码库 通过CMakeLists来进行管理 顶级(rt-thread目录) cmake_minimum_req…

Tomcat常见漏洞复现

Tomcat介绍 tomcat是一个开源而且免费的jsp服务器,默认端口:8080,属于轻量级应用服务器。它可以实现JavaWeb程序的装载,是配置JSP(Java Server Page)和JAVA系统必备的一款环境。在历史上也披露出来了很多的漏洞,这里我们讲几个经典…

中国区域创新能力评价报告数据(2001-2023年)

《中国区城创新能力评价报告》是以中国区域创新体系建设为主题的综合性、连续性的年度研究报告。以区域创新体系理论为指导,利用大量的统计数据,综合、客观及动态地给出各省市创新能力的排名与分析。 一、数据介绍 数据名称:中国区域创新能力…

文件夹内鼠标右键没有git bash here?

文件夹内鼠标右键没有git bash here? 如何解决,只需要三步 1、window 搜索git 2、进入git bash 3、输入文件路径,(路径为反斜杠/) 例如: D:/Desktop/photo

设计模式的概念

设计模式主要分为三类:创建类的设计模式、结构型设计模式、行为型设计模式。 创建类的设计模式:简单工厂,工厂模式,抽象工厂,建造者,单例,原型 结构型设计模式:代理模式、享元模式 行…

国密SM4算法进行数据的加密、签名和验签、解密

文章目录 前言一、SM4算法介绍二、生成128位密钥工具类三、SM4Util工具类四、测试示例 前言 本文介绍了SM4算法的基本概念、安全性以及在Java中的应用,包括生成16字节密钥、加密、解密、签名和验签的过程,展示了如何在实际开发中使用SM4算法进行信息安全…

enq: HW - contention事件来啦

业务系统反应数据库慢,根据时间查看awr报告。 先看一眼事件名称 HW enqueue 用于序列化超出段高水位线的空间分配。如果同时向对象添加大量数据,则多个进程可能同时尝试在高水位线上方分配空间,从而导致争用。 既然是控制资源并发的enq&…

WiFi Analyzer:你的开源WIFI管家!【送源码】

无论是在家里还是在公司,手机连接 WiFi 时,总是会出现 WiFi 信号比较弱,网速变慢的情况。如何检测 WiFi 信号的情况呢?今天给大家推荐一个开源项目——WiFi Analyzer。 项目简介 WiFi Analyzer 是一个开源的 Android 应用程序&a…