突破视觉界限:单目深度估计算法,智能无人系统的新视角

news2024/9/24 5:21:02

今天,为大家介绍一项新的SpireCV视觉感知技术——单目深度估计算法(MDE, Monocular Depth Estimation)

什么是单目深度估计算法?

简单来说,单目深度估计是指通过单个摄像头获取的图像来估计场景中物体的深度信息。相较于多目深度估计方法,单目深度估计方法仅仅使用单个摄像头,仅依赖于图像的视觉信息进行每个像素点的深度推理。

算法原理

本文单目深度估计算法原理通过大规模未标记数据的收集与自动注释、教师-学生模型框架的应用、损失函数的特殊设计以及辅助监督策略的实施,实现了鲁棒的单目深度估计。首先,设计数据引擎来收集并自动注释大规模未标记数据(约6200万张),显著扩大了数据覆盖范围,从而能够减少泛化误差。然后,利用数据增强工具创建更具挑战性的优化目标,迫使模型主动寻求额外的视觉知识并获得稳健的表示。教师-学生模型框架是指从标注数据集中学习一个教师模型(T),然后利用该教师模型为未标注数据集分配伪深度标签。最后,在标注数据集和伪标注数据集的组合上训练一个学生模型(S)。

应用场景

得益于在广泛下游任务中的基础性作用,单目深度估计受到了越来越多的关注。比如在三维重建中,通过多幅图像或视频序列的单目深度估计来恢复三维结构,对文化遗产保护等领域意义重大;在无人机领域能用于室内定位和地形测绘;在机器人导航中可助其了解环境深度,有效进行自主导航和抓取物体等操作;在安防监控中能分析深度信息,更好地识别和跟踪目标。

测试情况

  1. D435i深度估计情况:距离正对面墙(网)的真实距离为7.8 m,而实际d435给出的位置估计最远在4 m左右;

    测试视频1

  2. D435i相同场景,SpireCV单目深度估计情况:其中maxVal值表示距离正对面墙(网)的实际估计距离,真实距离为7.8 m;单目深度估计的距离为8.1~8.3 m;误差在6%左右;

    测试视频2

  3. SpireCV在公园场景下单目深度估计情况:其中minVal、maxVal值分别表示估计深度的最小值、最大值,单位是米;从视频画面中,我们可看出算法能够对画面中的草地、树木、垃圾箱、电线杆等相对单目相机的绝对位置进行估计;

    测试视频5

  4. SpireCV在城市道路场景下单目深度估计情况:其中minVal、maxVal值分别表示估计深度的最小值、最大值,单位是米;从视频画面中,我们可看出算法能够对画面中的行驶的车辆、电动车、自行车等相对单目相机的绝对位置进行估计;

    测试视频3

  5. SpireCV在楼宇楼道场景下单目深度估计情况:其中minVal、maxVal值分别表示估计深度的最小值、最大值,单位是米;从视频画面中,我们可看出算法能够对画面中的车辆、建筑物、门框等相对单目相机的绝对位置进行估计;

    测试视频4

使用方式

  1. 拉取SpireCV最新代码;

  2. 下载单目深度估计模型(室内、室外);

  3. 编译并运行单目深度估计demo.

SpireCV项目介绍

SpireCV是一个专为智能无人系统打造的边缘实时感知SDK,主要功能包括相机/吊舱控制、视频保存与推流、目标探测识别与跟踪、边缘数据管理迭代等。旨在为移动机器人开发者提供高性能、高可靠、接口简洁、功能丰富的视觉感知能力。

点击“阅读原文"在码云上了解 SpireCV

核心优势:

  • 统一感知软硬件接口,提供全套技术支持

  • 具备高性能、功能丰富、接口简洁的视觉感知能力

  • 支持零代码多平台部署

  • 相机读写

  • 检测跟踪算法

  • 吊舱控制

  • 信息交互

    功能Demo:

蓝1

绿2

红3

绿2

红3

红3

SpireCV开发者套件

1

2

3

联系我们

如果对上述套件感兴趣,可以扫码联系销售工程师
 

技术讨论

无人机开发遇到棘手技术难题怎么办?

当然是来阿木实验室论坛
bbs.amovlab.com
有工程师亲自解答

12846 名无人机开发者和你一起进步!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1996467.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

打破老美垄断,潘展乐商业价值起飞

文|琥珀食酒社 作者 | 积溪 奥运会上的潘展乐 真是牛逼坏了 拿下男子100米自由游金牌 打破欧美长达近百年垄断 搞定男子4x100米混合泳金牌 终结了美国在这项目上 10年不败的神话 比赛前 美国选手对他爱答不理 招呼都不打 比赛后美国选手想套热乎 潘展乐…

【鸿蒙开发基础学习】UIAbility 组件启动模式

UIAbility 组件启动模式 UIAbility 的启动模式是指 UIAbility 实例在启动时的不同呈现状态。针对不同的业务场景,系统提供了三种启动模式: singleton(单实例模式)multiton(多实例模式)specified&#xff…

WordPress网站克隆:用户指南

在这个数字化时代,拥有自己的网站已经非常普遍了。不管是个人博客还是企业官网,WordPress都提供了便捷的建站方式。但是,有时候我们需要复制一个现有的网站,无论是为了测试新功能还是迁移到新服务器。那么,如何克隆一个…

2024年新能源汽车市场保有量创新高

2024年新能源汽车市场大爆发:渗透率飙升,保有量创新高,充电桩建设驶入快车道 随着2024年新能源汽车市场的持续繁荣,一场前所未有的绿色革命正在全球范围内加速推进。这一年,新能源汽车的渗透率不仅实现了质的飞跃&…

微软超高危漏洞“狂躁许可”安全通告,亚信安全ForCloud快速响应

今日,亚信安全CERT监控到安全社区研究人员发布安全通告,披露了微软“狂躁许可”漏洞(CVE-2024-38077)。该漏洞由于windows系统的远程桌面授权服务存在边界错误而导致。攻击者可以发送其精心制作的数据传递给应用程序,这可能引发基于堆的缓冲区…

Element学习(axios异步加载数据、案例操作)(5)

1、这次学习的是上次还未完成好的恶element案例,对列表数据的异步加载,并渲染展示。 ——>axios来发送异步请求 (1) (2)在vue当中安装axios (注意在当前的项目目录,并且安装完之后…

JAVA—异常

认识异常,学会从报错信息中发现问题,解决问题。并学会构建自定义异常,提醒编程时注意 目录 1.认识异常 2.自定义异常 1.自定义运行时异常 2.自定义编译时异常 3.异常的处理 1.认识异常 异常就是代表程序出现的问题,用来查询B…

海思开发套件体验记录

DAY_01: 前一段时间,仰仗工作室的支持,有幸参加了华为海思社区举办的首批入选星闪开发者体验官活动!!! 今天收到海思官方寄过来的海思星闪派开发套件啦!,很开心,非常感谢…

VScode找python环境 (conda)

第一步 CtrlshiftP 第二步 框框里输入:Python:Select Interpreter

鸿蒙(API 12 Beta3版)【时域可分层视频编码】 音视频编码

基础概念 时域可分层视频编码介绍 可分层视频编码,又叫可分级视频编码、可伸缩视频编码,是视频编码的扩展标准,目前常用的包含SVC(H.264编码标准采用的可伸缩扩展)和SHVC(H.265编码标准采用的可扩展标准&…

【JavaEE初阶】线程安全的集合类

📕 引言 我们之前讲过的集合类,,大部分都不是线程安全的. Vector, Stack, HashTable, 是线程安全的(都是自带了synchronized,不建议用), 其他的集合类不是线程安全的。 注意:加锁不能保证线程一定安全,不加锁也不能确定线程一定…

spark-python

前言:本帖子是看了黑马教学视频结合spark八股,记录一下spark的知识. 一.spark介绍 1.1 spark的运行模式 1.2 spark的架构角色 在讨论spark的架构角色时,首先先回顾一下yarn的架构角色. spark架构角色: 二.standalone 运行原理 2.1standalone架构 standalone中有三类进程: m…

AI称重收银一体秤

系统介绍 专门为零售行业的连锁店量身打造的收银系统,适用于常规超市、生鲜超市、水果店、便利店、零食专卖店、服装店、母婴用品、农贸市场等类型的门店使用。同时线上线下数据打通,线下收银的数据与小程序私域商城中的数据完全同步,如商品…

如何在 Windows 11/10/8/7 中恢复已删除和未保存的记事本文本文件

很多原因都会导致未保存的记事本文本文件丢失。这些包括意外关闭、系统崩溃或电源故障等。无论丢失文本文件的原因是什么,相关的焦虑都是一样的。如果您遇到这种情况,可以使用以下有效方法在 Windows 11/10/8/7 中恢复已删除的文本文件。在这篇文章中&am…

NFT Insider #142:Mocaverse 在 The Sandbox 中推出 Mocaland 体验,Azuki 推出新系列动画片

NFT Insider 浓缩每周 NFT 新闻,为大家带来关于 NFT 最全面、最新鲜、最有价值的讯息。每期周报将从 NFT 市场数据,艺术新闻类,游戏新闻类,虚拟世界类,其他动态类,五个角度剖析 NFT 市场现状,了…

从新手到专家:2024年四大电脑录屏软件满足不同需求

电脑录屏是我们记录和分享信息的重要方式。无论是专业领域的技术演示,还是个人爱好的展示,一个好的录屏工具都能让我们的表达更加生动和直观。下面,就让我们一起探索几款市面上备受好评的电脑录屏软件。 福昕REC 链接:www.foxit…

金九银十,全网最详细的软件测试面试题总结

前面看到了一些面试题,总感觉会用得到,但是看一遍又记不住,所以我把面试题都整合在一起,都是来自各路大佬的分享,为了方便以后自己需要的时候刷一刷,不用再到处找题,今天把自己整理的这些面试题…

A股继续震荡盘整,无力回天还是蓄势待发?

今日A股走势十分反常,恐有大事将要发生了,直奔主题,马上告诉给所有人! 1、今天A股走势反常,昨夜外围纳指上涨2.87%,中概股也大涨了。今天亚太股市也在拉升,而A股却冲高回落,再度翻绿…

牛客JS题(二十八)控制动画

注释很详细&#xff0c;直接上代码 涉及知识点&#xff1a; css动态效果前提判断类型判断 题干&#xff1a; 我的答案 <!DOCTYPE html> <html><head><meta charset"utf-8" /><style type"text/css">#rect {width: 100px;he…

面试题(六)

1、等于操作符 “ ” 和全等操作符 “ ” 区别 有类型隐式转换&#xff0c;会先进行类型转换&#xff0c;再确定操作数是否相等&#xff08;若类型比较&#xff09;。 null undefined 结果为 true 没有类型隐式转换&#xff0c;只有两个操作数在不转换的前提下相等&#xff…