关于机器人状态估计(11)-VIO单目与双目/雷达Lidar SLAM/未来的机器人

news2024/11/26 18:39:23

写这篇文章的时候刚发生行业大事件: Google收购ROS

其实一开始还是水,绝对大量文不对题,但是必有干货,毕竟用的是这个关键的系列标题。

最近有几件行业内发生的大小事,让我觉得有必要更一下。

首先是Livox的mid-360

好几个亲密小伙伴开始关心我会不会失业。。。~

其实说真的,我非常开心和快乐,早在2021年中的时候,在珠三角内部产业研讨中我们就已经得出了未来高线束(64-128)雷达会在车规级大量进入4位数区间(毕竟我们是卷王之国),Livox这个犀利产品只是将这个进程又向前迈进了一步。而且这个产品做得非常好,极大地降低了开发者们的门槛。一个市场,从来只有参与者越多,才能成为一个真正的蓝海,否则都是伪命题。

接下来放这个:

DJI的车规级平台,大家可以认真观察一下,Where is Lidar?

这是一件很有意思的事情,当然,主配个Lidar对DJI来说易如反掌。这里也就是给后文打个前站,告诉大家,其实CV一样可以玩到极致。

我非常非常喜欢DJI车载的宣传视频,大家有空也可以去看一下。一个姑娘一匹马,全程未出现车辆,未出现传感器。却充满了美感与浪漫,极大地拉升了B格。其实衷心希望未来我们国家的工程师,能够越来越重视这些软性的事项,我们要做好的,并不仅仅是我们的技术,更是我们作为一个又一个的工程组,能够真正地以我们的技术突破市场的同时,实现那些属于我们的浪漫。

第三个是奥比出的一个缝合,奥比作为青年一代的企业,也是我非常喜欢的公司。

虽然这个小东西是个缝合,我仍然非常喜欢,这是一个标准的Sersor+Plat的二合一,而且选择上并没有问题,Intel的视觉ASIC+NV的小算力平台,再配合部分奥比自己的Sensor。从某个意义上来说,从这也能看出年轻公司的野心和未来的规划。

最后再聊一个小事然后进正题,考虑到为朋友和伙伴保密,就不说太细了。

简单点讲就是遇到了一个数量极大的方案设计,但是甲方成本只能达到全套系统在当下必须具备的固有成本的1/3,中国公司和工程师们的传统想法就是以数量换价格,这也是过去的成功之道之一。但其实这个世界,从2022年开始就在发生剧变,这样的工作思路也是过去的成功路径,但是在未来未必可行,因为我们必须要遵从逻辑。仅仅有数量却没有利润的订单重要性会急剧下降,世界对工业品的整体需求正在下降,而我国的卷王正在变得越来越多。降本增效之外,如何创造和保证质量与B格,会是非常重要的课题。

这个设计中最大的问题就是想用通用SOC中的低核搭配去覆盖整个VIO系统。

这个想法其实挺好,我2021年也是这么想的,但是现在并不,也和我的工作相关~因为在相当一段长的时间里,独立或半独立的机器人,仍需要有相当余裕的算力空间用于感知与规划。。而且也是在相当一段时间里,它们并不会有真正的普及,虽然数量级相对现在至少提升2个。

过去提到过的部分就不再重复了,举了这4个例子后开始进入正文:

  1. 首先,视觉与雷达并非替代关系,在很多重要场景都是互补关系,如涉及法律法规风险的自动驾驶,电动轮椅类的东西。

2. 其次,VIO未来绝对不仅仅用于教研,实验室和机器人比赛等场景。它的构造能在相当多的场景成为主用,甚至唯一的感知配置,相对应的可以松耦合一些类似轮速计,rtk,i-TOF之类的传感器,或者用vslam搭配轮速计+IMU的DR来耦合,当然也可以适配多目VSLAM,减少VIO紧耦的开销。

3. 再次,机载/车载综合算力平台的重要性会越来越高,在独立和半自主机器人中,融合感知+规划一体承载的嵌入式平台会变成核心课题。当然也可以采用一些前后端结合的架构,如将集群优化,回环,重定位等工作放在云端。但是这一类主要适合集群的成组单任务类机器人。在这类任务中,如果是通核SOC设计,CPU/GPU/DSP/NPU都是必不可少的(具体能力和选择取决于场景要求)。专核设计的话,部分感知前端和优化任务可以ASIC化(参考Navion篇),FPGA可有,可无。

4. 最后,中低核SOC不适合任何独立/半自主机器人,甚至不适合任何玩具以外的机器人(哪怕是集群类很多工作量云端化的),原因有一大箩筐就不展开了。

VIO单双目异同:

1.首先,VIO本身就有主配角之分,较有代表性的VINS系列以IMU作为主C,如ORB-SLAM3, DM-VIO等以视觉为主C。

2.单目VIO需要大量数理知识和代码能力,上手困难,精度高,是通向双目VIO和多目VSLAM的必由之路,不搞透直接去弄双目和多目,基本就是普通调库调参侠,完全无法深入三相性和世界观相关工作,做出来的都是花架子。

3.单目VIO非常适合2种形态:空中无人机与手持装备,对地面AGV/AMR机器人不友好,对多足极其不友好。

4. 双目VIO融合了视差部分作为其中的主约束,部分降低了精度,但是极大地增强了三相性中的鲁棒性。还有个优点就是非常轻松的初始化。

5.不管什么级别的双目B线,仍然有可能在大场景小目标的情况下丢失尺度,任何时候都有可能发生。

6.其他的ZUPT相关工程问题,尤其是视觉盲人问题,2者一致。当然VIO和多目VSLAM本身通过精密的软硬件设计与耦合都能鲁棒掉大部分这一类的事情。

VIO与Lidar雷达 SLAM的异同:

1.世界观!世界观!世界观!线扫和固态雷达具备极佳的世界观,三相性达不到的VIO在它面前就是个垃圾,三相性能达到的VIO如果没有半稠密世界观在它面前就是个弟弟。而绝大部分的VIO没有半稠密/稠密世界观,有的三相性中最重要的开销度直接炸天。

2.优点是稀疏世界观的VIO,三相性能够优化和并行化或ASIC化到足够好的水准时,算力开销虽然仍然很高,但是远远小于Lidar那些ICP化点云的开销,算力平台要求远远小于雷达,即使感规一体也不需ORIN或Xavier大版这样夸张的算力。

3.VIO是有机会构建半稠密世界观的,但是完成后仍然面临很严峻的问题!规划开发有很多的难点,雷达的世界观主要是深度数据与三维建图构成的点云阵列,表述清晰,使规划工作难度急剧下降。而视觉即使提供了半稠密甚至稠密的世界观,如果不以ICP类的形态完成建图,对规划的指导仍然是比较抽象的。

4.从第3点开始延展,雷达规划走到今天,方法论无数,即使在三维空间中,地面机器人也只需要类似极坐标系+笛卡尔坐标系组合,再做一个简单的高程升维即可以解决(当然空间三维的飞行机器人规划非常复杂)。而VIO,即使完成较为稠密的点云,也没有足够好的工作设计可以参考。举一个很简单例子,大树投下的阴影,对雷达来说世界观中可以通行,而对视觉建图来说,它就是一个真实存在的可能障碍。如果做了视觉上响应的忽略,但是如果它是一个真实的深坑呢?此时雷达又可以简单地进行处理。所以VIO如果要作为主用传感+算力平台组合时,还是存在着一系列的缺陷

好了,今天文章写完了,纯当纪念下Google收购ROS,对我们的工作又产生了进一步的鼓励,哈哈。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/167176.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

VueUse(中文)——核心函数:State相关函数

VueUse官方地址 一、createGlobalState 将状态保持在全局范围内,以便跨Vue实例重用 1、没有持久性(存储在内存中) 例如: 或者 2、持久性存储 使用useStorage()存储在localStorage:例如: 组件使用: 二、createInjectionSt…

【图灵商城】前、后端项目搭建与运行

【图灵商城】前、后端项目搭建与运行 项目介绍 图灵商城-基础班架构图,如下所示: 本节是项目代码的初始化,今天是2023-01-15,先预祝大家新年快乐!!! 图灵商城这个项目是一个前后端分离的项目…

我这是这样知道 React TS 中的 Event Handler 类型的

开头 现在 TypeScript 的发展也越来越成熟,已逐渐应用到我们开发的前端项目之中,它能够带来类型提示,提前规避类型上的错误,来提高项目代码的健壮性,以及更高效的编码效率,前提就是我们需要定义好相应的类…

创客匠人赋能线上瑜伽健身实现流量增长

近年来,我国的儿童、成年人肥胖率逐年攀升。身边发胖的人越来越多,尤其是步入中年的人群,很多都有“发福”的现象。 超重肥胖已经成为影响我国居民健康的重要公共卫生问题。在身材焦虑和疫情肆虐下,很多人开始重视自己的健康问题…

python学习笔记---Python基础【廖雪峰】

Python基础 数据类型和变量 整数 对于很大的数,例如10000000000,很难数清楚0的个数。Python允许在数字中间以_分隔,因此,写成10_000_000_000和10000000000是完全一样的。十六进制数也可以写成0xa1b2_c3d4。 >>> prin…

Qt opencv编译详细教程(windows版)

在Qt中使用opencv这个算法视觉库,前期环境步骤搭建如下: 1、下载cmake。 2、下载opencv库,我这里下载的是opencv-3.3.1版本。 3、没有安装Qt的下载Qt软件,Qt的环境安装部署,这里不做介绍。 4、安装cmake后,…

python学习笔记---IO编程【廖雪峰】

IO编程 ​ IO在计算机中指Input/Output,也就是输入和输出。由于程序和运行时数据是在内存中驻留,由CPU这个超快的计算核心来执行,涉及到数据交换的地方,通常是磁盘、网络等,就需要IO接口。 ​ IO编程中,S…

冒泡排序算法的实现和优化~

冒泡排序算法: 算法思想: 反复扫描待排序记录序列,在扫描的过程中,顺次比较相邻的两个元素的大小,若逆序就交换位置 文字描述该算法: 以升序为例: 依次比较数组中相邻两个元素大小&#xf…

win10+ubuntu23.04双系统安装

win10win10先安装好(确保主板上各个螺丝稳定,至少4对螺丝铜柱,否则会各种蓝屏)如果双系统安装失败了,连win10都进不去了,用原版ISO刻录的U盘或者光驱来修复引导。Easybcd安装Ubuntu23.04使用的ubuntu镜像文…

【项目实战】使用Java Keytool工具生成的CSR给第三方云平台签名

一、背景 客户要求我们提供一个CSR文件,给他们签名,他们的服务器是部署在Amazon上的。 二、Keytool是什么? Keytool 是一种 Java中的数字证书管理工具,用于管理密钥和证书。 它可以用来生成/申请数字证书、导入证书、导出证书、…

优秀的程序员是如何做好时间管理的

程序员是一项既消耗脑力,又消耗体力的职业,想成为一名成功的程序员,不仅要靠坚持不懈的努力,异于常人的天赋,更需要一套行之有效的时间管理方法,才能让自己在有限的时间内写出更好的代码,获得更…

用C语言图形库画一个红色爱心

这次我教大家用代码画一个心,这样你们就可以送给你们的女(男)朋友了。没找到对象的也可以用来表白啊。1.首先,我去百度找了心形线的函数,如下:2. 联系高中的数学知识,我们知道:f(x)&…

Unidbg模拟执行某段子so实操教程(二) LoadSo对比

一、目标 上篇文章里面,我们跑出来的结果有点不对头,多个一个 ABC。 这次我们试试用 LoadSo的方式来排查下问题。 参考: [借鸡生蛋之SandHook的使用(一)] 二、步骤 我们先用Android Studio 4.0 来编译一个so 打开AS,然后用向…

蓝桥杯STM32G431RBT6学习——按键

蓝桥杯STM32G431RBT6学习——按键 前言 按键同样为每年的必考考点,国信长天开发板中的按键电路如下: 芯片的PA0、PB0、PB1、PB2作为按键输入引脚,并采用外部上拉连接,当对应引脚检测到低电平时,即按键被按下。 STM…

【2293. 极大极小游戏】

来源:力扣(LeetCode) 描述: 给你一个下标从 0 开始的整数数组 nums ,其长度是 2 的幂。 对 nums 执行下述算法: 设 n 等于 nums 的长度,如果 n 1 ,终止 算法过程。否则&#xf…

【自学Docker】Docker环境命令

Docker info命令 Docker info命令概述 用于查看 docker 容器的基本信息。 Docker info命令语法 haicoder(www.haicoder.net)# docker info案例 查看所有信息 使用 docker info 命令,查看当前 docker容器 的所有的信息。 haicoder(www.haicoder.net)# docker …

系分 - 案例分析 - 数据库设计(分布式)

个人总结,仅供参考,欢迎加好友一起讨论 文章目录系分 - 案例分析 - 数据库设计(分布式)分布式数据库系统透明性分类两阶段提交协议2PC分区分表分库分区技术数据库主从复制NoSQL非关系型数据库与关系型数据库对比类型缓存技术Redis…

git恢复误删除的代码模块

git恢复误删除的代码模块前言环境问题描述原先的仓库详情:最新的仓库详情:问题解决注意事项前言 寒假回家边聊天边进行代码上传,出现了冲突之后,不小心删除了一大片代码。这里记录一下解决方案。 环境 IDEA、Git 问题描述 代…

Cesium实战记录(八)三维风场+风速热力图(水平+垂直)

目录 老规矩首先看下效果 一、风场 1、数据 2、原理剖析 首先,第一步就是构造网格数据 然后,撒粒子 再然后,起风吧 二、热力场 老规矩首先看下效果 风场v1.0(平面版,只有U V 方向风速) 三维风场&am…

JS逆向之补环境过瑞数详解

JS逆向之补环境过瑞数详解 “瑞数” 是逆向路上的一座大山,是许多JS逆向者绕不开的一堵围墙,也是跳槽简历上的一个亮点,我们必须得在下次跳槽前攻克它!! 好在现在网上有很多讲解瑞数相关的文章,贴心的一步…