超维机器人在工业与能源领域的具身智能探索和应用

news2024/11/19 1:27:46

具身智能(Embodied AI)是指机器人能够通过其物理形态与环境的交互,进行感知、学习、决策和执行,从而完成复杂任务的能力。具身智能强调机器人不仅要具备感知环境和分析数据的能力,还要能够通过身体的行为和物理互动来适应环境变化,做出实时响应。

具身智能的特性包括自主性、适应性、学习能力和环境互动能力。在工业能源领域,智能巡检机器人需要面对多样化的设备、复杂的环境和不可预测的状况,因此,具身智能特性使得机器人能够应对这些挑战,通过自主巡航、实时避障、故障检测与预测、环境变化的应对等功能,提升巡检任务的效率和准确性。本文将从具身智能技术在巡检及操作任务上以及在导航上的应用两方面进行分

具身智能技术在巡检及操作任务上的应用

机器人在进行巡检任务时,以超维第三代室内轮式巡检机器人为例:

机器人在进行操作任务时,以超维第二代操作机器人为例:

痛点问题:

痛点1:针对新客户的不熟悉的现场,需重新训练每一个模型,并重新部署,交付成本高。

痛点2:老客户升级设备,或更换操作部件,仍需要重新训练每一个小模型,维护成本高。

痛点3:巡检机器人摄像头更换或图像的分辨率改变,模型都存在识别率降低或不识别的风险,仍需重新训练每一个模型。

基于小模型的方案算力需求小,好部署,但鲁棒性差,维护成本高,适合在数据不足时的开发。

得益于超维机器人在工业和能源领域多年数据积累,在开源的通用检测大模型GLEE的基础上,公司二次开发了应用于工业和能源场景的图像处理大模型。

根据操作业务及机械臂自动手眼标定需求,我们独立设计了3d深度估计的decode模块,实现了模型对深度的估计.GLEE并未包含图像的匹配模块。我们根据模型所提取的图像特征输出,设计了独立GNN(Graph Neural Network)模块,同时考虑图像上关键点的特征和位置信息,实现了图像匹配功能。以下为我们采用大模型后,各个任务指标的对比:

具身智能技术在导航上的应用

机器人在执行巡检和操作任务时,对导航的精度要求很高,一般要求误差在±5cm内,姿态误差在±3°内。

目前常用的感知定位方案( 建图过程):

SLAM导航痛点:

痛点1:在缺乏特征的场景下,相机和激光雷达的信息用传统的方法很难提取到有效的特征。例如在空旷的场景,例如田野,大的较为空旷的变电站,或室内特征相同的走廊通道,室外的林荫道等。

痛点2:

在极端天气下,如雨雪,大雾等天气,激光雷达和相机的工作受限,无法准确定位。

痛点3:

在环境变化的场景下,如设备升级改造,场地施工等情况下,原有的建图与目前的激光雷达和相机的感知结果不匹配,机器人导航定位就会丢失位置,无法导航。

痛点4:

在光照变化在环境变化的场景下,如设备升级改造,场地施工等情况下,原有的建图与目前的激光雷达和相机的感知结果不匹配,机器人导航定位就会丢失位置,无法导航。比较剧烈的情况下,利用传统机器视觉无法提取的图像特征信息,从而降低了感知定位的精度。

基于超维机器人开发的视觉大模型,采用自研的图像匹配模块,有效提高了处理图像信息的鲁棒性。目前能有效保证机器人在白天和黑夜有灯光情况下的巡检任务的精度需求。

采用图优化神经网络(GNN)开发了3d点云的匹配方案,当场景变化时,在线更新地图。

核心技术

超维机器人目前重点研发方向:

高压开关柜带电操作机器人

核心技术:

1、基于5G信号辅助的室内定位;

2 、结合视觉、听觉、触觉等传感器的数据,基于服务器端的大模型,实现端到端的环境感知,自主导航,决策规划及操作控制。

3、利用异常检测及预测模型,机器人可监视和预测自身状态,及时发现潜在故障,进行预警。

应用场景:变电站高压开闭室

研发成果与应用实例:湖北国网操作机器人科技项目、国神朔黄铁路操作机器人项目、大唐操作机器人项目等。

未来重点研发方向:具身智能操作机器人

核心技术:

1、感知与交互技术:多模态感知,自然语言及手势识别等交互;

2、决策与规划技术:通常基于深度学习等算法,能够处理复杂的任务和问题,并具备一定的泛化能力

3、运动控制技术:通过运动控制算法、驱动电机,实现对机器人的精准控制和稳定运动。

应用场景:

工业、能源等高危复杂场景

工作计划

巡检任务方面:研发统一视觉和语音信息的大模型,实现巡检任务,(包括巡检,语音识别和智能问答任务)的全流程的端到端模型,减少模型对算力的需求,降低部署成本,同时提高语音识别的准确率。

导航定位方面:研究整体的基于激光雷达,imu和视觉的端到端的神经网络导航模型,提高在不同极端天气下模型的鲁棒性。特斯拉的FSD模型有重要的参考左右,但其定位精度为10cm,需在它的基础上融合雷达,imu和gps信号,实现定位精度3cm内的需求。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2065930.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

zabbix5.0与7.0版本区别 切换建议

Zabbix5.0和Zabbix7.0的区别 1. 性能和扩展性优化 1.1 高效的数据处理和存储 优化的数据库性能: Zabbix 7.0 在数据库层面进行了多项优化,以减少查询延迟和提高数据处理速度。这包括对数据库结构的改进和索引优化,使得大规模数据的读取和写…

Linux云计算 |【第二阶段】SECURITY-DAY3

主要内容: Prometheus监控服务器、Prometheus被监控端、Grafana监控可视化 补充:Zabbix监控软件不自带LNMP和DB数据库,需要自行手动安装配置;Prometheus监控软件自带WEB页面和DB数据库;Prometheus数据库为时序数据库&…

<数据集>翻越栏杆行为识别数据集<目标检测>

数据集格式:VOCYOLO格式 图片数量:512张 标注数量(xml文件个数):512 标注数量(txt文件个数):512 标注类别数:1 标注类别名称:[climbing] 使用标注工具:labelImg 标注规则:对类…

十五分钟两百行代码,手写一个vue项目全局通用的弹框

前言: 我们在写vue项目时,弹框是非常常用的组件,并且在同一个项目中,弹框大多类似。所以我们可以抽离封装出一个通用的弹框; 因为vue3可向下兼容,所以作者这边会使用vue2的写法,vue3写法大同小…

vue3 语法糖<script setup>

在 Vue 3 中&#xff0c;<script setup>是一种新的语法糖&#xff0c;它极大地简化了组件的编写方式。 <script setup> 是在单文件组件 (SFC) 中使用组合式 API 的编译时语法糖。当同时使用 SFC 与组合式 API 时该语法是默认推荐。 基本概念 简洁的语法&#xf…

使用Qg波形快速提取模型参数的新方法以准确捕获SiC MOSFET在不同负载条件下的开关特性

来源&#xff1a;Novel Methodology for Fast Model Parameter Extracting Using Qg Waveforms to Accurately Capture Switching Characteristics of SiC MOSFET Under Various Load Conditions&#xff08;ISPSD 24年&#xff09; 摘要 本文提出了一种快速提取模型参数的方…

类和对象(高级)

类和对象&#xff08;高级&#xff09; 一、运算符重载 运算符重载是对已有的运算符 指定新功能。不能创建新运算。 运算符重载关键字operator 思路&#xff1a; 1、弄懂运算符的运算对象的个数。&#xff08;个数决定了 重载函数的参数个数&#xff09; 2、识别运算符左边的…

【css】伪元素实现跟随鼠标移动的渐变效果

主要功能是在按钮上实现鼠标跟随渐变效果。每当用户将鼠标移动到按钮上时&#xff0c;按钮会显示一个以鼠标位置为中心的渐变效果。 1. 核心部分: 监听鼠标在元素内移动 监听鼠标在元素内移动&#xff0c;并触发该事件。 const handleMouseMove (e: MouseEvent) > {if (…

C#知识|语法拾遗:数据类型转换

哈喽&#xff0c;你好啊&#xff0c;我是雷工&#xff01; 其实关于数据转换在任何语言中都会涉及&#xff0c;无论是PLC编程语言&#xff0c;还是SCADA开发中的脚本语言&#xff0c;都会涉及&#xff0c;在前边学习JavaScript的内容时&#xff0c;也看过相关内容&#xff1a; …

[RAG]喂饭教程!Neo4J可视化GraphRAG索引

GraphRAG通过结合知识图谱&#xff0c;增加RAG的全局检索能力。今天我将讲解如何使用Neo4J可视化GraphRAG索引的结果&#xff0c;以便进一步的处理、分析&#xff0c;以小说提取的实体《仙逆》为例&#xff0c;一图胜千言。本文分为4小节&#xff0c;安装neo4j、导入GraphRAG索…

如何做服务端渲染?

node server 接收客户端请求&#xff0c;得到当前的请求url 路径&#xff0c;然后在已有的路由表内查找到对应的组件&#xff0c;拿到需要请求的数据&#xff0c;将数据作为 props、context或者store 形式传入组件 然后基于 react 内置的服务端渲染方法 renderToString()把组件…

vue一键打不同环境的包

1.配置package.json 主要看的是 "build:all": "vue-cli-service build && vue-cli-service build --mode test && vue-cli-service build --mode development", "scripts": {"dev": "vue-cli-service serve"…

【SpringBoot源码】SpringBoot监听机制分析

目录 一、简介 二、SpringBoot事件监听机制 1)加载ApplicationListener监听器实现类 2)获取运行监听器EventPublishingRunListener 3)发布事件 4)Spring事件发布multicastEvent() 一、简介 接下来我们分析下SpringBoot的事件监听机制的源码。 二、SpringBoot事件监…

Android系统安全 — 1-OpenSSL支持的常用加解密算法介绍

常用加解密算法介绍 1. 哈希算法 常见的函数包含MD系列、SHA-1、SHA-2家族、SHA-3家族、SM3等。 1.1 MD5&#xff08;单向散列算法&#xff09; 全称是Message-Digest Algorithm 5&#xff08;信息-摘要算法&#xff09;&#xff0c;经MD2、MD3和MD4发展而来。MD5算法的使用…

线索精细化管理实践:线上推广渠道线索管理的8个要点

在如今线索获取成本越来越高的情况下&#xff0c;如何获取增量线索、经营好存量线索、实现精细化、高效率线索管理对于企业来说至关重要。获取线索是一切行动的开始&#xff0c;与其建立起稳定、持续的信任关系&#xff0c;达成合作甚至引导复购&#xff0c;是整个线索管理链路…

泛微eteams OA对接金蝶云星空写入数据

需求&#xff1a; 公司需要先在OA上对准备生产的订单进行一次量产评审&#xff0c;所有相关人员评审通过后才可以进行生产&#xff0c;导致下工单的人员每次需要把OA上的信息复制到ERP进行审批。 为什么不直接在ERP上审批呢&#xff1f; 首先该节点涉及到很多不用ERP的用户&am…

盘点八月份最好用的五款报表制作工具,涵盖各功能,你都听说过吗?

一、报表制作软件的重要性 在现代企业运营中&#xff0c;数据的处理和分析是至关重要的。如何将复杂的数据信息以直观、易懂的方式展现出来&#xff0c;是提升决策效率和准确性的关键。因此报表制作软件成为企业必备的工具之一&#xff0c;它们通过图表化的方式&#xff0c;帮…

加速网络体验,Squid缓存代理:让浏览如飞,畅享无限网络速度!

作者简介&#xff1a;我是团团儿&#xff0c;是一名专注于云计算领域的专业创作者&#xff0c;感谢大家的关注 座右铭&#xff1a; 云端筑梦&#xff0c;数据为翼&#xff0c;探索无限可能&#xff0c;引领云计算新纪元 个人主页&#xff1a;团儿.-CSDN博客 目录 前言: squ…

低代码表单引擎的核心不仅仅是拖拉拽,深入解析表单的高级功能

作为一名专业的低代码产品经理&#xff0c;我们主要以 to B 的企业级系统为配置化对象&#xff0c;我深知在构建高效、用户友好的企业应用系统时&#xff0c;表单引擎扮演着核心基础的角色。当然拖拉拽快速创建页面是最简单直接的用户体验&#xff0c;然而&#xff0c;在享受拖…

Maven: 更新依赖索引清理maven仓库

文章目录 更新依赖索引清理maven仓库 更新依赖索引 有时候给 idea 配置完 maven 仓库信息后&#xff0c;在 idea 中依然搜索不到仓库中的 jar 包。这是因为仓库中的 jar 包索引尚未更新到 idea 中。这个时候我们就需要更新 idea 中 maven 的索引了&#xff0c;具体做法如下&am…