初识SLAM

news2024/11/24 14:13:23

SLAM的作用

想象一个叫小萝卜的机器人,小萝卜在未知环境走,肯定想让小萝卜在脑海中记住两件事:

1. 我在什么地方?——定位。
2. 周围环境是什么样?——建图。

这就和我们逛一个旅游景点一样,我们会潜意识记得我们的走过的地方,其中就有定位和地图构建。

在这里地图的意思就是周围环境,也不是像什么谷歌地图上的那种地图。但是我感觉建图不是必须的,在一个三维空间画出我们的行走轨迹就行了啊,不一定需要把那些环境点也画出来啊。

相机的分类

1.单目相机

照片就是单目相机的数据。照片是三维东西的投影,以二维形式反映了三维的世界,丢了一个维度,就是深度。而我们看图片能判断图像中物体的远近,是我们看过大量图片,形成了一种直觉,并不是我们真的就看出了图片中物体的远近。

但是有时我们的距离感会失效,比如下面的图片。我们再怎么盯着照片看也看不出里面东西的距离,注意我们人眼是双目的。

单目相机的图片只是二维投影,真想估计出距离,相机就得移动,然后物体就会在图像上的运动,形成视差。但是在看一张死的图片时,无论我们怎么移动两只眼,图片都是死的,上面的东西不会动,但在真实场景中肯定会动,所以我们晃动脑袋看图片和晃动脑袋看真实场景是不一样的,也就是拍摄的照片就是在双眼晃动着看时也是单目的,我们无法得到距离(俩眼看到的东西一样没视差),也没法得知尺度(没视差)。

一张死的照片在双目下只能知道照片距眼睛的距离,不能知道图片中的物体的距离。

2.双目相机

就是俩单目组成的,双目的距离(基线)可以用来估计空间位置,注意左右眼看一个场景是不一样的,而我们双眼的场景是两幅图合成出来的。可以利用我们俩眼图像的差异来判断物体的远近。

3.深度相机

里面多个红外结构光装置,可以主动向物体发射光并接收光来测量距离。这是物理测量,而双目是软件测量的。

4.单目和双目的尺度问题(重点)

看看黑猫酱的科普课堂之单目测距原理

单目测距不能判断尺度,想要正常测出物体的尺度,就要给个参照物,比如在这篇文章中用AR测脚长时摆了张身份证图片。

那么为啥不能确定尺度呢?高翔书上原话"如果把相机的运动和场景大小同时放大两倍,单目所看到的像是一样的。同样的,把这个大小乘以任意倍数,我们都将看到一样的景象。"

我是这样理解的:初始时,场景放大两倍,相机的位置放大使看到的场景大小一样,然后大场景下的相机移动和小场景下的相机移动看到的场景均一样,所以估计的轨迹均一样,但是你怎么知道物体的大小呢?俩场景下的大小是不一样的,但估计结果一样的,这就是少了参照。而双目的参照就是俩眼的距离,单目的两次移动之间的距离就是参照。

书上还说"我们无法确定电影里那些物体的“真实尺度”:那些大楼是真实的高楼大厦,还是放在桌上的模型?而摧毁大厦的是真实怪兽,还是穿着特摄服装的演员?"

注意电影屏幕就是单目数据,少了深度信息。我们用双目看定死的单目图像就是单目,我们看变化的两帧图像能感受出物体的远近只是单目摄像数据的变化,确实产生出了距离感,但是我们无法判断多大。这就是一个电影上的trick,我们感觉很大是利用人的想象能力。

总而言之,要想有尺度,必须同时产生视差才行,而不是单目的分时视差。

经典SLAM框架

这个框架已经定型了。

1.视觉里程计

视觉里程计只考虑相邻图像间的运动,怎么根据相邻两张图片估计呢?其实是估计相机运动,视觉里程计就是相机的轨迹,然后知道了每个时刻相机的位置,再计算出图片中像素的空间点,这样就得到了地图。

貌似轨迹有了,地图也有了,那是不是就结束了呢?其实这种出来的轨迹会有累积漂移。回环检测和后端优化负责校正这个问题,回环检测负责找到回环,而后端优化用此信息校正整个轨迹

2.后端优化

后端优化分局部优化和全局优化。全局优化用到回环检测,局部优化只是为了尽可能消除噪声,当成滤波问题。

3.回环检测

主要利用图片间的相似性,设计图像的特征提取和匹配。

4.建图

就是把环境建立起来。

SLAM的数学描述

1.运动方程

用老位置x_{k-1}和运动传感器读数u_{k}来估计新位置x_{k}。假设小萝卜在平面中运动,(x,y)代表位置,θ代表转角,同时,运动传感器能够测量到小萝卜在每两个时间间隔位置和转角的变化量u_{k}=(∆x; ∆y; ∆θ),所以运动方程如下。

2.观测方程

z_{k,j} 为从照片中提取出的路标点y_{j}距当前位置x_{k}的方位,y_{j}为路标点,x_{k}为当前位置。如果说携带着一个二维激光传感器,那观测数据直接拿来用。

如果是相机,观测数据要从图片提取。然后算相机位置x和路标点位置y。

3.俩方程咋联系起来

读到"当我们知道运动测量的读数 u,以及传感器的读数 z 时,如何求解定位问题(估计 x)和建图问题(估计 y)?".

突然意识到这俩方程是IMU+激光传感器的。如果现在有运动传感器IMU,那么就能用运动方程解出x_{k},解出机器人本体的运动轨迹;接着使用激光传感器数据z_{k,j}和自身位置x_{k}算出路标点y_{j}

如果现在只有相机的话,只能用第二个方程,然后是从图像中恢复出相机位置x_{k}和路标点y_{j}这是同时解俩未知数吗?应该不是,后期更新到底是啥。

其中求解x和y就是状态估计问题。因为有噪声数据,所以用滤波来去除。而现在主流是图优化,具体为啥状态估计可以用滤波技术或优化技术还不清楚呢

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/663388.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

清华青年AI自强作业hw3_3:用NN网络拟合MNIST手写数字分类

清华青年AI自强作业hw3_3:用NN网络拟合MNIST手写数字分类 实现过程具体思路多分类网络模型训练结果分析 相关链接 一起学AI系列博客:目录索引 hw3_3:用NN网络拟合MNIST手写数字分类 体会神经网络设计和TF框架编程 对比hw3_1两者的模型、效果…

CLIP和GPT

CLIP CLIP下游应用:VQGAN、DALL-ECLIP-Event:Connecting Text and Images with Event StructuresHierarchical Text-Conditional Image Generation with CLIP LatentsGPT系列算法GPT-1:GPT-2:GPT-3:GPT-3应用:Evaluati…

关于Win搜索太慢我自己写了一个Everything

文章目录 前言使用工具使用技术实现功能关于使用的技术比较OUTJDBC构建数据库FileMetasize处理文件最后修改时间equals重写其他方法 dao数据库源头获取连接关闭资源连接 FileDao初始化插入文件/目录到数据库中查询数据删除数据 特殊处理方法实现测试 服务初始化服务方法 操作单…

简要介绍 | 基于Python的图像形态学处理概述

注1:本文系“简要介绍”系列之一,仅从概念上对基于Python的图像形态学处理进行非常简要的介绍,不适合用于深入和详细的了解。 基于Python的图像形态学处理概述 Digital terrain models from airborne laser scanning for the automatic extra…

蓝牙芯片PHY6222的一些基本信息

摘要:本文简要介绍一下硬件工程师需要关注的PHY6222蓝牙芯片重点信息。 这个蓝牙芯片,支持蓝牙5.2. 内核是ARM Cortex™-M0 32-bit processor ,这就证明它可以像开发STM32那样来为它开发程序。 具有SWD调试接口,那么就可以用少到…

论文解读:Splicing ViT Features for Semantic Appearance Transfer

Project webpage: https://splice-vit.github.io Abstruct 将两张图片中语义相近的目标的结构和风格(外观)拼接 • 输入一个 Structure/ Appearence 图像对 : 训练生成器 。 • 关键思想是利用 预训练 和固定的视觉转换器 ( ViT ) 模型&…

Smartbi内置用户登陆绕过漏洞复现

0x01 产品简介 Smartbi大数据分析产品融合BI定义的所有阶段,对接各种业务数据库、数据仓库和大数据分析平台,进行加工处理、分析挖掘和可视化展现;满足所有用户的各种数据分析应用需求,如大数据分析、可视化分析、探索式分析、复杂…

Push vs Pull

Push好在两点:1.把结果下推到下流节点,与控制流解耦合,有利于cache 2.对于有向无环图,而不仅仅是树的query plan有更好的效果 解释: pull伪代码 push 伪代码 解释一下push,就是把操作下推到叶子节点&#…

4-JVM类加载

目录 1.类加载过程 1.1.加载(去车站) 1.2.验证(过安检) 1.3.准备(候车) 1.4.解析(检票) 1.5.初始化(上车) 2.双亲委派模型 2.1.什么是双亲委派模型&a…

首次曝光!乔布斯这些从未公开的照片,揭露乔布斯的另一面

昨个,大神在群里分享了一本关于乔布斯的书籍。 这本书收录了他的照片、电子邮件、演讲稿和访谈,很多私人的邮件和访谈是第一次看到。 书中用乔布斯自己的视角,记录了他一生的轨迹,包括他的童年,创立、离开、重归苹果的…

【Matter】如何在Linux平台下测试Matter应用级通信(虚拟设备)

如何在Linux平台下测试Matter应用级通信(虚拟设备) 准备工作 1. 递归克隆Matter仓库 执行如下命令: git clone --recurse-submodules gitgithub.com:project-chip/connectedhomeip.git如果克隆过程中发生报错,请执行如下命令来同步子模块:…

【好书精读】网络是怎样连接的 之 委托协议栈发送消息

(该图由AI制作 学习AI绘图 联系我) 目录 数据收发操作概览 创建套接字阶段 连接阶段:把管道接上去 通信阶段:传递消息 断开阶段:收发数据结束 数据收发操作概览 知道了 IP 地址之后 , 就可以委托操…

Spring Boot高阶篇笔记

一、Spring Boot整合Redis缓存 JSR-107、Spring缓存抽象、整合Redis 1、JSR107 Java Caching定义了5个核心接口,分别是CachingProvider, CacheManager, Cache, Entry 和 Expiry。 • CachingProvider定义了创建、配置、获取、管理和控制多个CacheManager。一个应…

打造Top级期货交易系统!成为投资高手!

交易系统在期货市场中得到广泛的应用,技术分析是期货交易系统的重要组成部分之一。技术分析是依靠市场数据来预测未来期货行情的一种方法,通过对期货历史市场信息进行形态分析和统计计算等手段,获取市场行情的走向,为后续的期货交…

初识MFC第一天

文章目录 前言一、初识MFC二、初始相关API附录 前言 刚开始进入Win32开发时,会发现一些变量类型似乎在C语言中未曾见过。其实这些变量类型或是与C/C已有的数据类型相近的,是通过C语言的原始类型重新定义而成的。引入这些数据类型的主要目的是为了便于程…

2023届网课生就业难:挑战与策略探析

🌷🍁 博主 libin9iOak带您 Go to New World.✨🍁 🦄 个人主页——libin9iOak的博客🎐 🐳 《面试题大全》 文章图文并茂🦕生动形象🦖简单易学!欢迎大家来踩踩~&#x1f33…

One-Class SVM详解

简介 One-Class SVM(Support Vector Machine)是一种无监督学习算法,用于异常检测和离群点检测。它的目标是通过仅使用正常数据来建模,识别出与正常模式不同的异常数据点。 One-Class SVM的工作原理如下: 数据映射&a…

潮玩盲盒APP系统开发

盲盒抽奖App软件界面应该包括以下几个部分: 首页:首页需要展示正在进行的抽奖活动、热门盲盒商品和刚刚开奖的中奖名单,让用户快速了解当前的热门活动和优惠。 抽奖详情页:抽奖详情页需要展示抽奖主题、奖品图片、中奖规则…

高频前端面试题汇总之计算机网络篇

一、HTTP协议 1. GET和POST的请求的区别 Post 和 Get 是 HTTP 请求的两种方法,其区别如下: 应用场景: GET 请求是一个幂等的请求,一般 Get 请求用于对服务器资源不会产生影响的场景,比如说请求一个网页的资源。而 P…

SAX解析XML返回对应格式的Map对象

前言 最近有一个解析大型xml的需求,xml大小7M,其中xml结构非常复杂,元素各种嵌套 不乏有元素下对象,元素下集合,集合下对象,集合下集合,兄弟节点,元素下对象下集合,同一元…