Mobile ALOHA: 你需不需要一个能做家务的具身智能机器人

news2024/10/6 6:00:45

相信做机器人的朋友最近一段时间一定被斯坦福华人团队这个Mobile ALOHA的工作深深所震撼,这个工作研究了一个能做饭,收拾衣服,打扫卫生的服务机器人,完成了传统机器人所不能完成的诸多任务,向大家展示了服务机器人的美好愿景,让大家觉得这种机器人进入家庭指日可待。但不同于其他类似工作,该项目的主页上也放出了诸多失败的视频,让大家觉得机器人还处于非常初始阶段,容易犯下非常低端的错误。那承载着美好期望的家庭服务机器人发展到底怎样呢?离走进我们的家庭还有多远呢?还请跟随笔者先来了解这个具有重要意义的工作。
在这里插入图片描述
Mobile ALOHA: 一个低成本的具身智能移动操作机器人软硬件开发系统
背景介绍
机器人利用专家数据进行模仿学习可以学习到很多传统方法(依赖于抓取位姿估计和运动规划)所做不到的任务,比如使用工具、叠抹布、整理家务等,打开了通往通用机器人的希望之门。大多数家庭服务任务都需要双臂操作和底盘移动,如同人类一样,这就需要机器人具有类人架构的硬件和全身协调控制算法,当前在双臂移动机器人领域主要有两大挑战:a) 缺乏适合整体远程操作以便采集数据和训练部署验证的硬件平台; b) 移动和双臂协调自主完成任务。为了解决这些问题,本工作提出了Mobile ALOHA的低成本整体远程操作系统,该系统通过在轮式底座上安装ALOHA,使用户能够通过物理连接来控制移动基座,同时使用双手控制ALOHA。这使得他们能够同时记录基座速度数据和手臂操纵数据,形成一个整体远程操作数据采集系统,本工作开源了完整的软硬件设计图纸和代码,希望可以推进整个领域的发展。

主要贡献
(1) Mobile ALOHA,一个低成本的整体远程操作系统,可用于遥操作数据采集和模仿学习部署验证;
(2) 发现简单的协同训练方法能够实现对复杂移动操作任务的高效学习。
在这里插入图片描述

模仿学习网络方法与训练部署验证

任 务: 倒红酒(Wipe Wine), 烹饪虾(Cook Shrimp), 清洗平底锅(Rinse Pan),使用橱柜(Use Cabinet), 呼叫电梯(Call Elevator), 推动椅子(Push Chairs),击掌(High Five);
任务
训练数据: 825条静态双臂操作数据 + 每个人物20~100条专家示教数据;
方法: ACT, Diffusion Policy, VINN
实验验证问题:
(1) Mobile ALOHA是否可以通过联合训练吸收少量的移动操作数据来获得复杂的移动操作技能 ?
(2)Mobile ALOHA是否可以在不同的模仿学习方法上工作,包括ACT , Diffusion Policy和基于检索的VINN?
实验结果和结论:
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

  1. 与静态操作数据联合训练能极大地提升准确率
  2. 联合训练的效果对于混合数据的比例不敏感,这个结论可以帮助减少训练新任务时对混合数据比例的调节;
  3. 联合训练效果由于预训练和微调。

个人拙见

本工作在算法研发上并没有任何贡献,使用的三个模仿学习均是前人的成果,实验结论也得不到令人耳目一新的结论,本工作最大的贡献在于开源了模仿学习一整套软硬件方案,使得高校团队也有能力做大规模模仿学习的工作,要知道在此之前这个领域大都有大厂高额投入才能完成的,比如谷歌的RT1、英伟达的VIMA和Meta的RoboAgent等。

同时该工作作者也很务实地放出了诸多失败的视频,在此之前的工作大都只展示其成功的一面,让大家觉得服务机器人马上就要走进千家万户了,作者公开这些视频展示了机器人的潜能,同时也显示了这种机器人离走进我们家庭还需要一段时间,但这个方向绝对是值得我们为之探索和奋斗的,这个工作也为这个领域作出了巨大的贡献。

笔者研究模仿学习也由来已久,模仿学习就是将深度学习中的自监督学习用到机器人领域,学习的是一个机器人观测到动作的映射网络,监督学习所有的问题模仿学习都有,同时还带来了机器人领域的更多问题,最大的问题就是泛化性,作者自己也承认这个工作纯属research,不具备任何泛化性,也难以落地,现在学术界正在通过搜集大规模不同机器人真实数据集(Open-X-Embodiment dataset),希望像训练大语言模型那样先用大规模数据集来做预训练,然后在真实场景中采集少量数据进行微调,提高方法的适用性,但这有一个问题,不同机器人数据对实际部署机器人的用处难以保证是正向的,特别是两者的传感器执行器布局类型差异较大时;笔者预测工业界会有不同的解决方案,同一场景下的机器人形态会日渐趋于大一统,比如将来进入我们生活中的人形机器人,没必要多种身高的机器人,而那些不愿意走向统一的机器人形态,终将因为自身数据量太少丧失竞争而被淘汰出局。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1903568.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Java实现一个库存详情系统

本人详解 作者:王文峰,参加过 CSDN 2020年度博客之星,《Java王大师王天师》 公众号:JAVA开发王大师,专注于天道酬勤的 Java 开发问题中国国学、传统文化和代码爱好者的程序人生,期待你的关注和支持!本人外号:神秘小峯 山峯 转载说明:务必注明来源(注明:作者:王文峰…

Apache Seata配置管理原理解析

本文来自 Apache Seata官方文档,欢迎访问官网,查看更多深度文章。 本文来自 Apache Seata官方文档,欢迎访问官网,查看更多深度文章。 Apache Seata配置管理原理解析 说到Seata中的配置管理,大家可能会想到Seata中适配…

阶段三:项目开发---大数据开发运行环境搭建:任务8:安装配置Redis

任务描述 知识点:安装配置Redis 重 点: 安装配置Redis 难 点:无 内 容: Redis(Remote Dictionary Server ),即远程字典服务,是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可…

4. 小迪安全v2023笔记 javaEE应用

4. 小迪安全v2023笔记 javaEE应用 ​ 大体上跟随小迪安全的课程,本意是记录自己的学习历程,不能说是完全原创吧,大家可以关注一下小迪安全。 若有冒犯,麻烦私信移除。 默认有java基础。 文章目录 4. 小迪安全v2023笔记 javaEE应…

文心智能体平台快速创建一个HY(Lisp)编程小助手

现在可以在文心智能体平台,使用文心一言创建各种智能体了!创建步骤如下: 创建知识库 可以使用本地上传的方式来提交,鼠标移动到”查看模板“,可以下载”知识库外链上传示例模版.xlsx“,按照模板里的格式&…

调制信号识别系列 (一):基准模型

调制信号识别系列 (一):基准模型 说明:本文包含对CNN和CNNLSTM基准模型的复现,模型架构参考下述两篇文章 文章目录 调制信号识别系列 (一):基准模型一、论文1、DL-PR: Generalized automatic modulation classification method b…

android之蓝牙遥控器新增键值

文章目录 简述连接蓝牙代码流程总结简述 使用android 10平台来适配蓝牙遥控器新增的键值 连接蓝牙 当使用遥控器与蓝牙进行配对成功后,就可以通过getevent获取蓝牙打印的信息,如下所示 其中000700a0是发送过来的协议(0007)和码值(00a0)的组合。0xfa是驱动定义好的值,如果…

100359.统计X和Y频数相等的子矩阵数量

1.题目描述 给你一个二维字符矩阵 grid,其中 grid[i][j] 可能是 X、Y 或 .,返回满足以下条件的子矩阵数量: 包含 grid[0][0]X 和 Y 的频数相等。至少包含一个 X。 示例 1: 输入: grid [["X","Y",…

suricata7 rule加载(二)加载header

suricata7.0.5 alert http any any -> [192.168.1.27,1.192.137.27] 80 (msg:“HTTP Request Example”; flow:established,to_server; http.method; content:“POST”; http.uri; content:“query.php”; bsize:>9; http.protocol; content:“HTTP/1.1”; bsize:8; http…

Google Java Style Guide深度解读:打造优雅的代码艺术

在软件工程的世界里,代码不仅仅是实现功能的工具,它也是团队之间沟通的桥梁,是软件质量和可维护性的直接反映。Google Java Style Guide作为一套广受认可的编码规范,不仅定义了代码的书写规则,更深刻地影响着Java开发者…

Polar Si9000软件详细使用教程

Polar Si9000软件是一款简单易用的阻抗计算神器,文本详细介绍该软件的使用。 一、安装 网上很多安装包,这里不赘述,需要注意的是,如果要希望使用中文版,需要在如下路径中放入简体中文配置文件(PJ包一般会有…

Idea新增Module报错:sdk ‘1.8‘ type ‘JavaSDK‘ is not registered in ProjectJdkTable

文章目录 一,创建Module报错二,原因分析三,解决方案1,点击上图的加号,把JDK8添加进来即可2,点击左侧[Project],直接设置SDK为JDK8 四,配置检查与验证 一,创建Module报错 …

Redis基础教程(十四):Redis连接

💝💝💝首先,欢迎各位来到我的博客,很高兴能够在这里和您见面!希望您在这里不仅可以有所收获,同时也能感受到一份轻松欢乐的氛围,祝你生活愉快! 💝&#x1f49…

手机日记本小程序模板源码

简洁的个人日记,博客记录,写日记手机小程序页面模板。包含:日记主页、通知、我的主页、写日记、登录、注册等等。 手机日记本小程序模板源码

css样式学习样例之边框

成品效果 边框固定 .login_box{width: 450px;height: 300px;background-color: aliceblue;border-radius: 3px;position: absolute;left: 50%;top: 50%;transform: translate(-50%,-50%); }这段CSS代码定义了一个名为.login_box的类的样式,它主要用于创建一个登录框…

分类模型、回归模型的常见评价指标

文章目录 分类模型的评价指标1. Recallk公式举例代码 2. Precisionk公式举例代码 3. F1k公式代码 4.[其它常见的分类模型评价指标](https://blog.csdn.net/LiuRuiaby35646/article/details/136711918) 回归模型的评价指标1.均方误差(Mean Square Error)公…

柳叶刀:5Kg负重巡飞无人机技术详解

一、引言 随着无人机技术的不断发展,巡飞无人机在军事侦察、环境监测、边境巡逻等领域的应用日益广泛。其中,“柳叶刀”作为一款5Kg负重巡飞无人机,凭借其独特的机体结构、高效的动力系统、先进的飞行控制系统等技术优势,在众多无…

多粒度封锁-封锁粒度、多粒度封锁模式

一、引言 1、若采用封锁技术实现并发控制,事务在访问数据库对象前要在数据库对象上加锁,为提高事务的并发程度,商用DBMS会采用一种多粒度封锁方法 2、事务可访问的数据库对象可以是逻辑单元,包括关系、关系中的元组、关系的属性…

SAP_MM模块-采购信息记录变更文档的三种查询方式

最近有用户在问采购信息记录变更的信息怎么去查找,想要看看是谁更改了价格,于是就给她查了一下,顺便做个记录,SAP中的业务数据或者主数据的变更信息查询方法,都是比较类似的,学会了这三个方法,其…

STM32介绍

本内容是基于江协科技STM32视频学习之后,并参考【重写】简析stm32启动过程-CSDN博客和STM32 最小系统_stm32最小系统-CSDN博客以及其他资料综合整理而成。 1. STM32 1.1 STM32简介 STM32是ST公司基于ARM Cortex-M内核开发的32位微控制器;STM32常应用在…