论文复现《SplaTAM: Splat, Track Map 3D Gaussians for Dense RGB-D SLAM》

news2024/11/24 22:41:58

前言

SplaTAM算法是首个开源的基于RGB-D数据,生成高质量密集3D重建的SLAM技术。

通过结合3DGS技术SLAM框架,在保持高效性的同时,提供精确的相机定位和场景重建

代码仓库:spla-tam/SplaTAM: SplaTAM: Splat, Track & Map 3D Gaussians for Dense RGB-D SLAM (CVPR 2024) (github.com)icon-default.png?t=N7T8https://github.com/spla-tam/SplaTAM

论文地址2312.02126.pdf (arxiv.org)

一、实验环境

1.1  电脑环境

Ubuntu18.04,python3.10,cuda11.6,pytorch1.12.1

1.2  配置须知

根据作者给的代码仓库,本人按照README文件进行配置,需要注意如下几点

1、pip install -r requirements.txt这块git的下载可能会很慢,可以注释掉然后再重新下载

在项目目录下运行下面指令即可: 

git clone https://github.com/JonathonLuiten/diff-gaussian-rasterization-w-depth

2、然后配置的时候,需要在终端bash的环境变量里面加入cuda的位置,修改.bashrc

3、编译器gcc版本需要降低到10,运行指令:

conda install gxx_linux-64=10

4、然后在下载的这个目录运行pip install .(注意有一个点 . )即可安装好diff-gaussian-rasterization-w-depth这个库(可微高斯光栅化的库)。

1.3  下载数据集(运行下载脚本即可)

代码提供给了几种数据集,有IPhone设备收集(可以在线和捕获照片后离线), 也有经典的数据集Replica、TUM-RGBD、ScanNet、ScanNet++、ReplicaV2 随后作者给出了上述数据集的基准测试的运行指令。

二、配置过程

由于本人在Ubuntu系统下运行,因此配置的过程也是使用的基于Linux的:

2.1  环境搭建

(conda安装+Python3.10的虚拟环境+cuda+pytorch+requirements.txt对应功能包)

conda create -n splatam python=3.10
conda activate splatam
conda install -c "nvidia/label/cuda-11.6.0" cuda-toolkit
conda install pytorch==1.12.1 torchvision==0.13.1 torchaudio==0.12.1 cudatoolkit=11.6 -c pytorch -c conda-forge
pip install -r requirements.txt

2.2  下载数据集

由于没有IPhone手机和相关设备,因此只能离线下载数据集进行渲染,本人选择的是TUM-RGBD数据集,因为Replica数据集太大了,下载时间太长。

bash bash_scripts/download_tum.sh

2.3  训练SplaTAM(渲染过程)

首先先把 configs/tum/splatam.py 文件里的 use_wandb = True 改成了 False

然后在终端运行即可开始训练:

python scripts/splatam.py configs/tum/splatam.py

训练过程如图所示:

使用的GTX4070显卡,训练了大概四五十分钟。 

三、复现结果

训练完成之后,我们运行下面的指令即可得到渲染的最终结果和渲染过程视频。

3.1  最终结果展示

在终端输入指令

python viz_scripts/final_recon.py configs/tum/splatam.py

在config/tum/splatam.py中修改参数,重新再训练得到对比如下:

3.2  渲染过程视频

在终端输入指令

python viz_scripts/online_recon.py configs/tum/splatam.py

视频放不上去,大家可以运行这个指令自我尝试一下。

四、算法解读

4.1  算法对比

【数据集】

在四个数据集ScanNet++ 、Replica、TUM-RGBD、ScanNet进行评估

【评价指标】

为了测量RGB渲染性能使用了PSNR、SSIM和LPIPS

【损失函数】

对于深度渲染性能使用深度L1损失

对于摄像机姿态估计跟踪使用平均绝对轨迹误差(ATE RMSE)

【Baselines】

比较的主要基线方法是Point-SLAM。

  • 完成了四个数据集上在线相机位姿实验;
  • 高斯图重建与摄像机pose的可视化;
  • 渲染质量比较评估;
  • 颜色和深度损失消融。

4.1  各向同性的3DGS

SplaTAM公式:

3DGS公式:

4.2  基于Splatting的可微分渲染

4.3  SplaTAM的缺点

尽管 SplaTAM 实现了最先进的性能,但该方法对运动模糊、大深度噪声和激进旋转表现出一定的敏感性。

五、代码解读

5.1  代码整体框架

对于项目代码的分析框架如下所示:

5.2  配置文件:configs/tum/splatam.py

  • 一、场景选择 (scene_name): 通过索引选择一个场景进行处理,共五个场景 map_every: 每多少帧进行一次映射(Map)操作。 keyframe_every: 每多少帧选择一个关键帧。 mapping_window_size: 映射窗口的大小。
  • 二、跟踪迭代和映射迭代 (tracking_iters, mapping_iters): tracking_iters: 跟踪(Tracking)阶段每帧的迭代次数。 mapping_iters: 映射(Mapping)阶段的迭代次数。 scene_radius_depth_ratio :用于在剪枝(Pruning)和致密化(Densification)过程中设置深度和场景半径的比例。
  • 三、跟踪配置 (tracking 字典): 包含了是否使用真实位姿(Ground Truth Poses)、是否前向传播姿态、是否使用轮廓(Silhouette)作为损失函数的一部分等设置。 映射配置 (mapping 字典):包含了映射迭代次数、是否添加新的高斯点、轮廓阈值、是否使用L1损失等。 prune_gaussians: 是否在映射过程中剪枝高斯点。 pruning_dict: 剪枝相关的参数,如开始剪枝的迭代后、移除大高斯点后的迭代数等。 use_gaussian_splatting_densification: 是否使用基于高斯溅射的致密化方法。 densify_dict: 致密化相关的参数,如开始致密化的迭代后、移除大高斯点后的迭代数等。
  • 四、可视化配置 (viz 字典): 包含了渲染模式、是否显示轮廓、可视化相机和轨迹、可视化窗口大小、视野深度等。

5.3  核心算法文件:scripts/splatam.py

其中的rgbd_slam函数是核心算法的实现

1、打印配置信息、创建输出目录、初始化WandB、加载设备和数据集等操作;

2、迭代处理RGB-D帧,进行跟踪(Tracking)和建图(Mapping)。

3、保存关键帧信息和参数。

4、最后,评估最终的SLAM参数。

 其他的重要函数见本人所制作的PPT,如下所示:

5.3.1  初始化阶段

 5.3.2  Tracking阶段

5.3.3  Mapping阶段

5.3.4  可视化阶段

可视化阶段: 可以使用生成的3D模型和相机轨迹来可视化场景。 将3D点云渲染成2D图像,并展示相机在场景中的运动轨迹。 可视化有助于理解算法的性能和重建的质量,还可以用于调试和优化算法参数。

 5.3.5  迭代优化

在整个SplaTAM算法中,跟踪和建图阶段是交替进行的。 每次迭代都会根据新的观测数据更新相机轨迹和场景模型,直到满足停止条件,例如达到预设的迭代次数或者误差收敛到一个可接受的范围。

5.3.6  反向传播 

5.4  其他算法文件

5.4.1utils/keyframe_selection.py
5.4.2utils/slam_external.py
5.4.3utils/slam_helper.py

这部分的内容,还请读者们自行阅读代码,代码量较少,阅读难度较低。

5.5  光栅化

3DGS的渲染过程是利用了光栅化(rasterization) 而光栅化的过程需要在GPU上运行。

from diff_gaussian_rasterization import GaussianRasterizationSettings GaussianRasterizer

这部分的源码用cuda写的 GaussianRasterizationSettings与GaussianRasterizer对应的代码 在submodules/diff-gaussian-rasterization/diff_gaussian_rasterization/__init__.py 光栅化的源码主要的运行及计算的工程是forward(采用前向渲染)

该函数使用了CUDA并行计算,通过调用名为 preprocessCUDA 的 CUDA 核函数来执行高斯光栅化的前处理。CUDA 核函数的执行由函数参数确定。在 CUDA 核函数中,每个线程块由多个线程组成,负责处理其中的一部分数据,从而加速高斯光栅化的计算。

参考链接如下:https://github.com/JonathonLuiten/diff-gaussian-rasterization-w-depth

总结

本人从配置运行SplaTAM,到进行算法解读和代码讲解,细致入微地对基于3D-GS的SLAM算法经典之作,进行了一个总结回顾。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1604819.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

MySQL表级锁——技术深度+1

引言 本文是对MySQL表级锁的学习,MySQL一直停留在会用的阶段,需要弄清楚锁和事务的原理并DEBUG查看。 PS:本文涉及到的表结构均可从https://github.com/WeiXiao-Hyy/blog中获取,欢迎Star! MySQL表级锁 MySQL中表级锁主要有表锁…

【简单介绍下PostCSS】

🎥博主:程序员不想YY啊 💫CSDN优质创作者,CSDN实力新星,CSDN博客专家 🤗点赞🎈收藏⭐再看💫养成习惯 ✨希望本文对您有所裨益,如有不足之处,欢迎在评论区提出…

如何实现在 Windows 上运行 Linux 程序?

在Windows 上运行Linux程序是可以通过以下几种方法实现: 1.使用 Windows Subsystem for Linux (WSL): WSL是微软提供的功能,可以在Windows 10上运行一个完整的Linux系统。用户可以在Microsoft Store中安装所需的 在开始前我有一些资料,是我根据网友给的…

SQL --索引

索引 INDEX 伪列 伪装起来的列,不容易被看见,要特意查询才能看见 ROWNUM: 是对查询结果自动生成的一组连续的自然数序号。 SELECT emp.*,ROWNUM FROM emp例题:查询emp表中,前三个员工 SELECT * FROM * from emp w…

Midjourney 实现角色一致性的新方法

AI 绘画的奇妙之处,实乃令人叹为观止!就像大千世界中,寻不见两片完全相同的树叶一般,AI 绘画亦复如是。同一提示之词,竟能催生出千变万化的图像,使得AI所绘之作,宛如自然之物般独特,…

将百度网盘中数据集直接下载到服务器上

步骤: 1:下载安装bypy pip install bypybypy,是一个使用 python 编写的命令行百度网盘客户端 2:初始化 bypy info将这个链接复制到浏览器中打开 复制授权码,粘贴到服务器命令,回车 等待一会,会显示你云盘空间大小信…

【小白学机器学习14】确定零假设h0的技巧:先根据错误的严重程度确定第1类错误α,再确定零假设h0

目录 1 前言: 如何确定H0的逻辑思路 1.1 推导的原理 2 假设检验的2类错误 2.1 什么叫2类错误 2.2 这两类错误的计算公式 2.2.1 计算公式 2.2.2 第1类错误和第2类错误的特点 3 如何设计H0的一些例子和思考 3.1 很多书上的原则1:备择假设通常才是研究者最想证…

多高的学历才能轻松找到工作?这个热点有点扯吧~

先来唠唠 昨天刷脉脉的时候,热榜第一的内容吸引了我:多高的学历才能轻松找到工作? 现在这行情,不管多高得学历都很难说能轻松找到工作吧~ 评论区也有不少小伙伴发表自己的见解,比如: 学历固然是非常重要…

2D动画制作软件Moho Pro14 mac注册激活版

Moho Pro 14 for mac 是一款专业的2D动画制作软件。它具有强大的功能和工具,适用于动画制作师、插画师和设计师。 Moho Pro14 mac注册激活版下载 Moho Pro 14提供了丰富的动画功能,包括骨骼动画、形状插值、帧逐帧动画等。您可以使用骨骼工具来创建复杂的…

中缀表达式求值

题目 请写一个整数计算器,支持加减乘三种运算和括号。 示例1 输入:“12” 返回值:3示例2 输入:“(2*(3-4))*5” 返回值:-10示例3 输入:“32*3*4-1” 返回值:26 思路 经典的中缀表达式求值。…

Ubuntu 20.04.06 PCL C++学习记录(二十六)

[TOC]PCL中点云配准模块的学习 学习背景 参考书籍:《点云库PCL从入门到精通》以及官方代码PCL官方代码链接,,PCL版本为1.10.0,CMake版本为3.16,可用点云下载地址 学习内容 在代码中使用ICP迭代最近点算法,程序随机…

游戏前摇后摇Q闪E闪QE闪QA等操作

备注:未经博主允许禁止转载 个人笔记(整理不易,有帮助,收藏点赞评论,爱你们!!!你的支持是我写作的动力) 笔记目录:学习笔记目录_pytest和unittest、airtest_w…

负荷预测 | Matlab基于TCN-LSTM-Attention单变量时间序列多步预测

目录 效果一览基本介绍程序设计参考资料 效果一览 基本介绍 1.负荷预测 | Matlab基于TCN-LSTM-Attention单变量时间序列多步预测; 2.单变量时间序列数据集,采用前12个时刻预测未来96个时刻的数据; 3.excel数据方便替换,运行环境ma…

请陪伴Kimi和GPT成长

经验的闪光汤圆 但是我想要写实的 你有吗? 岁数大了,希望如何学习新知识呢?又觉得自己哪些能力亟需补强呢? 看论文自然得用Kimi,主要是肝不动了,眼睛也顶不住了。 正好昨天跟专业人士学会了用工作流的办法跟…

buuctf之ciscn_2019_c_1

ciscn_2019_c_1 一、查看属性二、静态分析三、动态分析四、思路五、exp 一、查看属性 首先还是必要的查看属性环节: 可以知道该文件是一个x86架构下的64位小端ELF文件,开启了栈不可执行(NX) 执行一下,先有一个选择&…

树莓派+Openwrt连接校园网,打破校园网设备限制

前言 因为本校学生校园网只允许最多三个设备登录,对于同时拥有多个联网设备的我十分不友好,而且大多单片机如esp32的wifi模块是只允许一般的WPA/WPA2认证的,是不支持校园网的portal认证。所以我决定搞一个路由器。 然后我上网买了一个TP-Li…

加密软件作用有哪些?迅软DSE加密系统满足企业防泄密需求

加密软件在保护个人隐私、商业机密、敏感数据等方面发挥着重要作用,为用户和组织提供了重要的安全保障措施。保护数据的安全性和隐私性。通过加密软件,用户可以对文件、图纸、文档、源代码等进行加密处理,使其变得不可读取,只有授…

java动态代理--JDK代理

1.概述 JDK动态代理:只能代理实现了接口的类,代理对象是实现了目标对象所有接口的代理类 使用java.lang.reflect.Proxy类和java.lang.reflect.InvocationHandler接口来创建代理对象,工作通过反射机制完成。 2.实现接口InvocationHandler …

37、Tomato(VulnHub)

Tomato 一、nmap 2211是ssh的端口,21的ftp也不是弱密码 二、web渗透 随便看看 目录爆破 /seclists/Discovery/Web-Content/common.txt /antibot_image/antibots/readme.txt 发现该站点存在反爬机制 /antibot_image/antibots/info.php 提示我们该网页存在个参数 GET&…

汇编语言——将DX,AX组成的32位数逻辑左移3位

data segment data ends stack segment stacktop label worddw 100 dup (?) stack ends code segmentassume cs:code,ds:data,ss:stack main proc farmov ax,datamov ds,axmov ax,stackmov ss,axlea sp,top;0000 0001 1100 1010 | 0000 0010 0001 1111;逻辑左移三位后&#xf…