RoboMIND:多体现基准 机器人操纵的智能规范数据

news2025/1/3 5:15:26

我们介绍了 RoboMIND,这是机器人操纵的多体现智能规范数据的基准,包括 4 个实施例、279 个不同任务和 61 个不同对象类别的 55k 真实世界演示轨迹。

工业机器人企业

埃斯顿自动化 | 埃夫特机器人 | 节卡机器人 | 珞石机器人 | 法奥机器人 | 非夕科技 | CGXi长广溪智造 | 大族机器人 |  越疆机器人 | 优艾智合机器人 | 阿童木机器人 | 盈连科技 | 松灵机器人

服务与特种机器人企业

亿嘉和 | 晶品特装 | 九号机器人 | 普渡机器人 | 机器姬 | 猎户星空 | 七腾机器人

医疗机器人企业

元化智能 | 天智航 | 思哲睿智能医疗 | 精锋医疗 | 佗道医疗 | 真易达 | 术锐®机器人 | 罗森博特 | 磅客策 | 柏惠维康 | 迪视医疗

人形机器人企业

优必选科技 | 宇树 | 达闼机器人 | 云深处 | 理工华汇 | 傅利叶智能 | 逐际动力 | 乐聚机器人 | 星动纪元 | 天链机器人| 中科深谷  | 大象机器人| 伟景机器人 | 众擎机器人 | 开普勒人形机器人 | 数字华夏 | 帕西尼感知

具身智能企业

 跨维智能 | 银河通用 | 千寻智能 | 方舟无限 | 微亿智造 | 睿尔曼智能 | 灵心巧手

核心零部件企业

绿的谐波 | 因时机器人 | 脉塔智能 | 锐驰智光 | 地平线 | 本末科技 | NOKOV度量科技 | 青瞳视觉 | 因克斯 | 蓝点触控 | 福德机器人 | 巨蟹智能驱动 | 鑫精诚传感器 | 思岚科技 | 宇立仪器 | 极亚精机 | 神源生

教育机器人企业

硅步机器人 | 史河科教机器人 | 大然机器人

伴随着全球人工智能技术飞速进步,具身智能产业迅猛发展,赋予机器人类人化的泛化能力是具身智能机器人技术的核心目标之一,实现这一目标的关键在于如何使各类机器人本体在面对多样化的环境和任务时,能够展现出卓越的性能。

正如ChatGPT需要海量文本数据来训练一样,想要培养出一个能力全面的机器人,也需要大量优质的训练数据,数据集是具身智能技术发展的重要基石。与视觉或语言数据的获取相比,收集机器人训练数据远比收集文本或图像数据困难得多,需要在专门的环境中记录机器人的每个关节动作和末端执行器的信息,这个过程不仅需要昂贵的硬件设备,还需投入大量人力来确保数据质量,因而业内目前最具通用性的机器人操作策略主要依赖于在有限多样性条件下收集的数据,大规模多构型具身智能数据集和Benchmark是极为稀缺的资源。

为了解决这个难题,国家地方共建具身智能机器人创新中心与北京大学计算机学院联合推出了一个大规模多构型智能机器人数据集和Benchmark——RoboMIND,捕捉机器人面对复杂环境、长程任务时的各种交互和经验,从而促进能够掌握不同操作策略的通用模型的训练。RoboMIND包含5万5千条机器人轨迹数据,涉及279项不同的任务,涵盖了高达61种不同的物体,覆盖了家居、厨房、工厂、办公、零售等大部分生活服务场景。此外,该数据集包含根据真实场景搭建的数字孪生场景,进一步丰富和扩充了此数据集的多样性,同时提升数据采集效率。机器人构型包含单臂机器人、双臂机器人、人形机器人,手臂末端使用夹爪或者灵巧手。为了评估RoboMind数据集的质量,研究团队在主流单任务模仿学习模型上(如ACT)和具身多模态大模型上(如OpenVLA、RDT-1B)进行了广泛的评测,发现RoboMIND数据集可以有效提升模仿学习模型在现实场景下任务的成功率。该评测得到了北京智源人工智能研究院的大力支持。

RoboMIND为机器人操作模型的训练提供了一个高质量、广泛多样的数据基础,旨在提升机器人在复杂环境中的操作能力和适应性。通过大规模、多样化的数据集,机器人模型能够更好地适应各种任务和环境变化,从而推动通用机器人技术的发展。

RoboMIND 数据分析

数据集概述。(a) 按实施例分类的总轨迹,(b) 按实施例分类的轨迹长度,(c) 按任务类别分组的总轨迹,以及 (d) 基于对象使用场景的总轨迹。

 

RoboMIND 中的对象分布,覆盖大多数日常生活环境:家庭、工业、厨房、办公和零售。

 

图:四个实施例中跨任务的技能计数的直方图。AgileX 任务通常涉及两个或三个组合技能,从而扩展了任务范围。同时,天功任务的长度各不相同,有些任务每个任务最多包含五个技能。右图:我们使用 AgileX 机器人可视化 AX-PutCarrot 任务,该任务涉及三种不同的技能。

 

语言描述注释。我们为 10,000 个成功的机器人运动轨迹提供精细的语言注释。

 

失败数据收集案例的可视化。我们展示了 Franka 和 AgileX 的两个失败示例。在 FR-PlacePlateInPlateRack 任务(第二行)中,Franka 机械臂无法与插槽对齐,导致印版因操作员干预而滑动。在 AX-PutCarrot 任务(第四行)中,AgileX 夹持器意外打开,胡萝卜掉落。在质量检查期间筛选掉了这些失败情况,以保持数据集质量。

 

RoboMIND 实验

我们采用四种流行的模仿学习方法进行综合实验,包括 ACT、 BAKU、RDT-1B 和 OpenVLA 在选定的 RoboMIND 任务上评估其性能和局限性。实验视频如下:1.ACT on Single Tasks 的成功示 例     2.RTD-1B 在多任务设置上的成功案例    3.OpenVLA 多任务设置成功案例

我不试睡神的个人空间-我不试睡神个人主页-哔哩哔哩视频哔哩哔哩我不试睡神的个人空间,提供我不试睡神分享的视频、音频、文章、动态、收藏等内容,关注我不试睡神账号,第一时间了解UP主动态。一个喜欢收集视频的大学生。icon-default.png?t=O83Ahttps://space.bilibili.com/397174233/channel/collectiondetail?sid=4427523&spm_id_from=333.788.0.0

咨询来源:官方网站RoboMIND: Benchmark on Multi-embodiment Intelligence Normative Data for Robot Manipulation 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2268378.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Hadoop HA安装配置(容器环境),大数据职业技能竞赛模块A平台搭建,jdk+zookeeper+hadoop HA

HA概述 (1) 所谓HA(High Availablity),即高可用(7*24小时不中断服务)。 (2) 实现高可用最关键的策略是消除单点故障,HA严格来说应该分为各个组件的HA机制,H…

国产文本编辑器EverEdit - 如何让输出窗口的日志具有双击跳转到文件指定行的功能

1 开发参考:编写脚本时如何向输出窗口打印可跳转到文件位置的日志 1.1 应用场景 编写脚本时,有时对文本进行分析,需要将提示信息打印到输出窗口,同时希望将文本的行、列信息也打印在日志中, 最好是双击日志信息可以跳…

《云原生安全攻防》-- K8s安全配置:CIS安全基准与kube-bench工具

在本节课程中,我们来了解一下K8s集群的安全配置,通过对CIS安全基准和kube-bench工具的介绍,可以快速发现K8s集群中不符合最佳实践的配置项,及时进行修复,从而来提高集群的安全性。 在这个课程中,我们将学习…

3、redis的集群模式

主从模式 哨兵模式 集群 主从模式:这是redis高可用的基础,哨兵模式和集群都是建立在此基础之上。 主从模式和数据库的主从模式是一样的,主负责写入,然后把写入的数据同步到从, 从节点只能读不能写,rea…

计算机图形学知识点汇总

一、计算机图形学定义与内容 1.图形 图形分为“图”和“形”两部分。 其中,“形”指形体或形状,存在于客观世界和虚拟世界,它的本质是“表示”;而图则是包含几何信息与属性信息的点、线等基本图元构成的画面,用于表达…

自动化测试模型(一)

8.8.1 自动化测试模型概述 在自动化测试运用于测试工作的过程中,测试人员根据不同自动化测试工具、测试框架等所进行的测试活动进行了抽象,总结出线性测试、模块化驱动测试、数据驱动测试和关键字驱动测试这4种自动化测试模型。 线性测试 首先&#…

医疗数仓数据仓库设计

医疗数仓数据仓库设计 数据仓库构建流程数据调研明确数据域构建业务总线矩阵明确统计指标交易主题医生主题用户主题评价主题 维度模型设计汇总模型设计 数据仓库构建流程 数据仓库分层规划 优秀可靠的数仓体系,需要良好的数据分层结构。合理的分层,能够…

Go-知识 注释

Go-知识 注释 行注释块注释包注释结构体&接口注释函数&方法注释废弃注释文档 在 go 语言中注释有两种,行注释和块注释 行注释 使用双斜线 // 开始,一般后面紧跟一个空格。行注释是Go语言中最常见的注释形式,在标准包中,…

1230作业

思维导图 作业 将广播发送和接收端实现一遍&#xff0c;完成一个发送端发送信息&#xff0c;对应多个接收端接收 自实验 //广播发送端 #include <myhead.h> #define G_PORT 8765 #define G_IP "192.168.124.255" int main(int argc, const char *argv[]) {//…

U盘格式化工具合集:6个免费的U盘格式化工具

在日常使用中&#xff0c;U盘可能会因为文件系统不兼容、数据损坏或使用需求发生改变而需要进行格式化。一个合适的格式化工具不仅可以清理存储空间&#xff0c;还能解决部分存储问题。本文为大家精选了6款免费的U盘格式化工具&#xff0c;并详细介绍它们的功能、使用方法、优缺…

Windows系统使用Koodo Reader轻松搭建在线私人图书馆远程看书

文章目录 前言1. Koodo Reader 功能特点1.1 开源免费1.2 支持众多格式1.3 多平台兼容1.4 多端数据备份同步1.5 多功能阅读体验1.6 界面简洁直观 2. Koodo Reader安装流程2.1 安装Git2.2 安装Node.js2.3 下载koodo reader 3. 安装Cpolar内网穿透3.1 配置公网地址3.2 配置固定公网…

开关电源调试思维导图

开关电源辐射发射问题调试一直以来都是工程师们非常头疼的事情&#xff0c;也不知道如何下手&#xff0c;今天就通过几个思维导图把开关电源辐射发射问题调试的思路呈现给广大工程师们&#xff0c;希望能照亮大家辐射调试的黑暗道路。 01、反激电路辐射发射问题调试思维导图 0…

【brainpan靶场渗透】

文章目录 一、基础信息 二、信息收集 三、反弹shell 四、提权 一、基础信息 Kali IP&#xff1a;192.168.20.146 靶机 IP&#xff1a;192.168.20.155 二、信息收集 似乎开放了9999&#xff0c;10000端口&#xff0c;访问页面没有太多内容&#xff0c;扫描一下目录 dirs…

使用MFC编写一个paddleclas预测软件

目录 写作目的 环境准备 下载编译环境 解压预编译库 准备训练文件 模型文件 图像文件 路径整理 准备预测代码 创建预测应用 新建mfc应用 拷贝文档 配置环境 界面布局 添加回cpp文件 修改函数 报错1解决 报错2未解决 修改infer代码 修改MFCPaddleClasDlg.cp…

html+css+js网页设计 美食 美食家6个页面

htmlcssjs网页设计 美食 美食家6个页面 网页作品代码简单&#xff0c;可使用任意HTML辑软件&#xff08;如&#xff1a;Dreamweaver、HBuilder、Vscode 、Sublime 、Webstorm、Text 、Notepad 等任意html编辑软件进行运行及修改编辑等操作&#xff09;。 获取源码 1&#xf…

【第四期书生大模型实战营基础岛】L1G5000——XTuner 微调个人小助手认知任务

基础任务————使用 XTuner 微调 InternLM2-Chat-7B 实现自己的小助手认知&#xff0c;如下图所示&#xff08;图中的尖米需替换成自己的昵称&#xff09;&#xff0c;记录复现过程并截图。 环境配置与数据准备 步骤 0. 使用 conda 先构建一个 Python-3.10 的虚拟环境 cd …

android知识巩固(二.非线性数据结构)

非线性结构:是从逻辑结构上划分,其元素存在一对多或者多对多的相互关系 1.前言 在前一章中,我们了解了数据结构的基本思想,学习了部分基本的线性数据结构,了解了计算机是如何表示和存储数据的,良好的数据结构思想有助于我们写出性能优良的应用 2.目录 目录.png 3.非线性数据结构…

列车票务信息系统|Java|SSM|JSP|

【技术栈】 1⃣️&#xff1a;架构: B/S、MVC 2⃣️&#xff1a;系统环境&#xff1a;Windowsh/Mac 3⃣️&#xff1a;开发环境&#xff1a;IDEA、JDK1.8、Maven、Mysql5.7 4⃣️&#xff1a;技术栈&#xff1a;Java、Mysql、SSM、Mybatis-Plus、JSP、jquery,html 5⃣️数据库可…

LabVIEW中实现多个Subpanel独立调用同一个VI

在LabVIEW中&#xff0c;如果需要通过多个Subpanel同时调用同一个VI并让这些VI实例独立运行&#xff0c;可以通过以下方法实现&#xff1a; 1. 问题背景 LabVIEW默认的VI是以单实例方式运行的。当将同一个VI加载到多个Subpanel时&#xff0c;会因为共享同一内存空间而导致冲突…

鱼眼相机模型与去畸变实现

1.坐标系说明 鱼眼相机模型涉及到世界坐标系、相机坐标系、图像坐标系、像素坐标系之间的转换关系。对于分析鱼眼相机模型&#xff0c;假定世界坐标系下的坐标点,经过外参矩阵的变换转到相机坐标系&#xff0c;相机坐标再经过内参转换到像素坐标&#xff0c;具体如下 进一步进…