因为之前做过双目立体匹配相关项目,当时就了解到有一些无监督方法。最近涉及到SLAM相关项目,想到理论上可以用photo loss无监督学习光流和pose,因此查看了有没有SLAM无监督的相关论文。发现确实有几篇论文。但总感觉设计的不是很好,尤其是pose net方面。因此基于感性认知,设计了一套无监督SLAM框架,如下所示。pose net采用GPT来进行定长推理处理,可以理解为用深度学习做PnP。后续看看能不能基于DROID SLAM框架,实现这个无监督SLAM框架。另外后续补充DROID SLAM的框架和该框架对比图。有意向和我一起完成该框架的可以联系我。数据集方面准备基于tartanair进行调试。
补充,利用深度学习做PnP貌似也有一些相关论文
[1] Solving the Blind Perspective-n-Point Problem End-To-End With Robust Dierentiable Geometric Optimization
[2] PnP-Net: A hybrid Perspective-n-Point Network
[3]EPro-PnP: Generalized End-to-End Probabilistic Perspective-n-Points for Monocular Object Pose Estimation