SLAM论文速递【SLAM—— DynaSLAM:动态场景中的跟踪、建图和修复—4.19(1)

news2024/12/23 20:43:07

论文信息

题目:

DynaSLAM:Tracking,Mapping and Inpainting in Dynamic Scenes
DynaSLAM:动态场景中的跟踪、映射和修复

论文地址:

https://arxiv.org/pdf/1806.05620.pdf

发表期刊:

 IEEE Robotics and Automation Letters ( Volume: 3, Issue: 4, October 2018)

开源代码:

https://github.com/BertaBescos/DynaSLAM

标签

经典动态SLAM、语义分割+几何约束、背景修复

摘要

本文提出了DynaSLAM视觉SLAM系统,该系统建立在ORB-SLAM2[1]之上,增加了动态目标检测和背景修复的功能。DynaSLAM在单目、立体和RGB-D配置的动态场景中具有鲁棒性。我们能够通过多视图几何,深度学习或两者同时检测运动目标。拥有场景的静态地图可以修复被动态物体遮挡的框架背景。

内容简介

在这里插入图片描述
首先,RGB通道通过一个CNN,该CNN按像素分割出所有先验的动态内容,例如:,人或车辆。在RGB-D情况下,利用多视角几何从两方面改进动态内容分割。首先,对之前由CNN获得的动态对象进行细化分割;其次,将大多数时候是静态的动态新对象实例标记为静态的(即在CNN阶段检测未设置为可移动的移动对象)。为此,有必要知道相机的姿态,为此实现了一个低成本的跟踪模块,以在已经创建的场景地图中定位相机。这些分割后的帧用于获取摄像机轨迹和场景地图。注意,如果场景中的运动物体不在CNN类内,多视图几何阶段仍然会检测到动态内容,但精度可能会降低。完成相机的全动态目标检测和定位后,旨在用之前视图的静态信息重建当前帧的被遮挡背景。这些合成框架与增强和虚拟现实等应用程序相关,以及终身地图中的位置识别。在单目和立体场景下,利用卷积神经网络对图像进行分割,使得属于先验动态目标的关键点既不被跟踪也不被映射。

评价

本文提出了一种视觉SLAM系统,在ORB-SLAM的基础上,添加了一种运动分割方法,使其在单目、立体和RGB-D相机的动态环境中具有鲁棒性。该系统准确地跟踪了摄像机,并创建了静态的,因此可重复使用的场景地图。在RGB- d情况下,DynaSLAM能够获得合成的RGB帧,没有动态对象表示场景的重要部分的情况。然而,估计的map只包含结构性对象,因此可以在长期应用中重复使用。这项工作的未来扩展可能包括,实时性能、基于RGB的运动检测器,或通过使用更精细的修复技术,例如,合成的RGB帧的更真实的外观。其中,Pathak等人使用的方法;[24]使用GANs。动态内容和遮挡背景的修复,以及它们对应的合成深度帧,这可能对虚拟现实应用非常有用。我们包括一段视频,展示了DynaSLAM 2的潜力。与最新技术的比较表明,DynaSLAM在大多数情况下达到了最高的精度。在TUM动态对象数据集中,DynaSLAM是目前最好的RGB-D SLAM解决方案。在单目情况下,精度类似于ORB-SLAM,但通过早期初始化获得了场景的静态地图。在KITTI数据集上,DynaSLAM的精度略低于单目和立体ORB-SLAM

阅读启发

大致浏览了一下,该经典动态SLAM技术包含以下两个内容:

1、基于深度学习和几何约束的动态目标剔除
2、遮挡部分的背景修复技术(利用之前静态帧修复当前帧)

我认为该系统可以有以下几个改进的地方:

1、实时性改进,对每一帧进行分割肯定会大大降低SLAM系统的实时性

1:使用轻量级神经网络(知识蒸馏法)
2:只对关键帧进行分割

2、前端剔除过多的动态(潜在动态)特征是否会导致定位失败的问题。

还没看到有论文这样做。我感觉可以利用多视图几何先一步进行初步位姿估计,在与分割后的结果进行融合。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/446897.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

RPC一文精通

基础: http是基于应用层协议,对请求和响应进行规范包装,一次http请求就会进行一次tcp连接和断开连接,属于短链接 udp是异步响应,无需建立连接,就可以发送封装的IP数据包 tcp是基于传输层协议,并规范了三…

Python单向循环链表操作

目录 一、单向循环链表 单向循环链表图 二、单向循环链表的操作 1、判断链表是否为空 2,链表长度 3,遍历整个链表 4,在链表头部添加元素 5、链表尾部添加元素 6,在指定位置插入元素 7,修改指定位置的元素 8&a…

JavaSE 和 Java EE 分别是什么

Java 作为最流行的编程语言受到了许多人的喜爱,其在编程中的地位自不必多说。 对于许多才刚刚入门 Java 的朋友来讲,常常会产生这样的困惑,JavaEE是什么?JavaSE又是什么? Java SE Java SE 是 Java Platform, Standa…

Liunx下进程间通信

文章目录 前言1.进程间通信相关介绍2.管道1.匿名管道2.管道的原理3.通过代码来演示匿名管道4.命名管道5.命名管道的原理6.命名管道代码演示 3.System V共享内存1.共享内存原理2.相关系统接口的介绍与共享内存的代码演示3.共享内存的一些特性 4.system V消息队列与system V信号量…

依赖注入方式

Spring中有哪些注入方式? 我们先来思考 向一个类中传递数据的方式有几种? 普通方法(set方法)构造方法 依赖注入描述了在容器中建立bean与bean之间的依赖关系的过程,如果bean运行需要的是数字或 字符串呢? 引用类型简单类型(基本数据类型与String) Spring就…

Primo Ramdisk内存盘工具软件

简介 Primo Ramdisk 软件的主要功能是通过独特的软件算法将物理内存模拟成一个超快速的硬盘,在这个虚拟硬盘上的读写操作均在内存中完成。由于物理内存的访问速度远远超过物理硬盘,因此虚拟硬盘具有非常高的数据读写速度,从而突破系统IO瓶颈&…

“SCSA-T学习导图+”系列:下一代防火墙

本期引言: 近年来,随着数字化业务带给我们高效和便捷的同时,信息暴露面的增加、网络边界的模糊化以及黑客攻击的产业化,使得网络安全事件相较以往成指数级增加。传统防火墙基于五元组的方式对进出网络的数据流量进行访问控制&…

医院影像图像科室工作站PACS系统 DICOM 三维图像后处理与重建

PACS报告系统的主要任务是通过运用不断积累诊断常用语,减轻出报告的劳动强度,并且将报告保存成电子文档以便日后查阅。在PACS的报告系统中,有三种不同层次的方法输入文字—“高级模板”、“分类词条”和“短语词典”。这三种方法的内容都可以…

记一次从JS到内网的横向案例

前言 前段时间参加了一场攻防演练,使用常规漏洞尝试未果后,想到不少师傅分享过从JS中寻找突破的文章,于是硬着头皮刚起了JS,最终打开了内网入口获取了靶标权限和个人信息。在此分享一下过程。 声明:本次演练中&#xf…

C/C++每日一练(20230422)

目录 1. 存在重复元素 🌟 2. 组合总和 🌟🌟 3. 给表达式添加运算符 🌟🌟🌟 🌟 每日一练刷题专栏 🌟 Golang每日一练 专栏 Python每日一练 专栏 C/C每日一练 专栏 Java每日…

java基于J2EE的学生宿舍信息管理系统

本目 录 摘 要 I ABSTRACT II 第一章 绪论 1 1.1课题研究背景 1 1.2课题的目的和意义 1 1.3开发工具及简介 2 1.3.1开发工具 2 1.3.2 JSP技术 3 1.3.3 JavaScript 4 第二章 需求分析 4 2.1可行性分析 4 2.1.1技术的可行性 4 2.1.2经济的…

Faster RCNN系列1——Anchor生成过程

Faster RCNN系列: Faster RCNN系列1——Anchor生成过程 Faster RCNN系列2——RPN的真值与预测值概述 Faster RCNN系列3——RPN的真值详解与损失值计算 Faster RCNN系列4——生成Proposal与RoI Faster RCNN系列5——RoI Pooling与全连接层 一、RPN模块概述 RPN模块…

jsp946+java物流信息管理平台-sqlserver

本系统是一个独立的系统,用来解决物流信息信息的管理问题。采用JSP技术构建了一个有效而且实用的物流信息信息管理平台,目的是为高效地完成对物流信息信息的管理。 1、内部办公功能:包含工作计划、通告管理、公文管理; 包括可以…

手机录音误删怎么恢复?恢复录音,就这么简单!

案例:手机录音删除了还能恢复吗? 【友友们,苹果手机录音删除了还可以恢复吗?里面有一些关于会议记录的录音,不小心被我删了,有哪些方法可以快速恢复录音文件?】 如果您在使用iPhone手机录音时误…

Python小姿势 - ### Python之禅

Python之禅 Python之禅(The Zen of Python)是Python之父Guido van Rossum所著的一篇文章,总结了Python语言的哲学。 文章开头写道: Beautiful is better than ugly. Explicit is better than implicit. Simple is better than com…

代码随想录--字符串--反转字符串题型

反转字符串 不能给另外的数组分配额外的空间,你必须原地修改输入数组、使用 O(1) 的额外空间解决这一问题。 我们直接用双指针,一个指头一个指尾,swap交换,然后同时往中间走一步再进入循环交换即可。 反转字符串II 这道题我们容…

linux(18.04)编译安装python3.6的全过程,pip python不与linux系统环境混乱

因为使用要求,使得我需要在linux环境下安装一个独立的python环境,不干扰其他环境。 一,下载python资源包 两种下载方式二选一,谁快选谁 linux下载: 不同的python版本,安装过程是一样的,下载…

蒙层禁止页面滚动

学习链接&#xff1a;蒙层禁止页面滚动的方案 <!DOCTYPE html> <html> <head><meta charset"utf-8"><meta name"viewport" content"widthdevice-width, initial-scale1"><title>蒙层禁止页面滚动的方案<…

Map Reduce高级篇:Join-Reduce

Join关联操作 背景 在实际的数据库应用中&#xff0c;我们经常需要从多个数据表中读取数据&#xff0c;这时就可以使用SQL语句中的连接&#xff08;JOIN&#xff09;&#xff0c;在两个或者多个数据表中查询数据。在使用MapReduce框架进行数据查询的过程中&#xff0c;也会涉…

React Refs

React 支持一种非常特殊的属性 Ref &#xff0c;可以用来绑定到 render() 输出的任何组件上。 这个特殊的属性允许引用 render() 返回的相应的支撑实例 &#xff08; backing instance &#xff09;。这样就可以确保在任何时间总是拿到正确的实例。 使用&#xff1a; 绑定一…