论文信息
题目:
PLD-SLAM:A New RGB-D SLAM Method with Point and Line Features for Indoor Dynamic Scene
PLD-SLAM:一种基于点线特征的室内动态场景RGB-D SLAM新方法
论文地址:
https://www.mdpi.com/2220-9964/10/3/163
发表期刊:
ISPRS Int. J. Geo-Inf. 2021, 10(3), 163; https://doi.org/10.3390/ijgi10030163
标签
语义+几何、线特征
摘要
在动态场景中,动态特征往往会导致错误的数据关联,降低数据关联的准确性和鲁棒性。针对该问题,提出一种基于点和线特征的RGB-D动态SLAM方法PLD-SLAM。首先,PLD SLAM将深度学习的语义信息分割与考虑深度信息的K-Means聚类算法相结合检测底层动态特征,避免深度学习造成的欠分割;其次,采用两种一致性检测策略对动态特征进行更合理的检测和过滤;然后,为了获得更好的实际性能,在动态SLAM中利用点特征和线特征来计算相机位姿,这也是与大多数已发表的仅基于点特征的动态SLAM算法不同的。构建具有点和线特征的优化模型,并利用该模型计算更高精度的相机位姿。
内容简介
文中提出了一种新的基于点和线特征的动态场景RGB-D SLAM方案,称为PLD-SLAM。首先,由于RGB- d相机可以同时获取RGB图像和深度图像,因此主要结合RGB和深度信息来检测这些动态点和线特征;首先使用MobileNet模型[13]对语义信息进行分割。然后,将语义分割后的区域作为潜在的动态区域,并检查这些提取点和线是否在该区域内;然后,借助深度图像,利用K-Means聚类算法筛选出尽可能多的潜在动态点和线特征;将被认为是潜在动态特征的线特征视为动态线特征。剩余的线特征被保存并作为静态特征。在检测和寻找真实动态点特征时,采用两种策略在潜在动态点特征中识别出真实动态点特征。最后,将深度图像与点线特征相结合,利用基于点线的优化模型计算相机位姿。本文的主要工作总结如下:
提出一种结合点特征和线特征的动态场景RGB-D SLAM方法PLD-SLAM。PLD-SLAM应用MobileNet模型和深度信息的K-Means聚类来获取动态特征点和线。
然后,PLD-SLAM采用两种策略识别动态特征点,同时尽可能保留丰富的静态特征;•将其与深度信息相结合,采用基于点和线的优化模型,以实现更高精度的相机姿态和动态场景的鲁棒性能
PLD-SLAM的概述如图1所示,图2展示了PLD-SLAM的细节。PLD-SLAM的输入帧为RGB和深度图像。利用优秀的ORB[40]算法提取点特征,利用LSD[41]算法检测直线特征;然后,首先利用MobileNet模型对RGB图像进行分割,并将分割结果(如行走的人)视为潜在动态的;所有提取的位于语义区域内的点和线特征都被视为潜在的动态特征。为合理细化潜在的动态特征,保留更多的静态信息,对分割区域内的深度图像进行K-Means聚类。这些不在区域内的线特征被认为是静态特征。在此基础上,利用外极线约束和深度差两种检测策略识别和剔除动态点特征。然后,为了获得更精确的相机位姿估计,利用剩余的静态特征点和特征线构建优化模型并估计相机位姿。
评价
提出了一种新的动态场景下基于点和线特征的RGB-D SLAM算法。将语义分割网络MobileNet与K-Means算法相结合,尽可能地过滤出场景中的动态特征。利用外极线约束和帧间深度差剔除动态点特征;为获得更精确和鲁棒的相机位姿,利用点和线来计算相机位姿。在获取静态点线特征后,采用点线优化模型,提高了算法在动态场景下的鲁棒性和准确性。这些综合的实验结果证明PLD-SLAM提高了动态场景中相机位姿估计的精度和鲁棒性。将PLD-SLAM与经典的动态SLAM方法进行比较,结果表明PLD-SLAM在大多数动态图像序列中都取得了明显的提升和鲁棒性。虽然PLD-SLAM在一些额外的动态场景序列上表现不佳,但也取得了相当的精度和性能。然而,PLD-SLAM虽然具有良好的性能,但还需要一些持续的工作。例如,移动网络中可以识别的物体类型受到限制,从而限制了其姿态估计的准确性。在未来的工作中,我们将通过优化PLD-SLAM的运算速度来提高PLD-SLAM的实时性。此外,利用室内场景的平面特征,将其扩展到PLD-SLAM (point-line-plane)中,可以在动态场景中获得更鲁棒的位姿估计。
阅读总结
本文的创新点有如下几个方面:
1、采用轻量级神经网络进行语义分割(MobileNet)
2、将语义分割和k-means聚类方法结合完全剔除特征
3、提出新的线特征提取方法
4、利用极几何约束和深度约束来保留静态特征点
总的来说创新点值得借鉴。可以在实时性上创新,该论文的框架思路不错,可以借鉴发展。