获IROS最佳移动操作论文提名|通研院提出首个实现连续操作任务的空中具身智能机器人CORVUS(渡鸦)

news2024/11/23 12:05:58

论文导读

本文介绍了通研院机器人实验室发表于2023年国际机器人顶级会议IROS上的论文,题为《Sequential Manipulation Planning for Over-actuated Unmanned Aerial Manipulators》[1]。文章介绍了一种可以实现空中全向平稳飞行的过驱动空间机械臂平台Coordinated Omni-diRectional oVer-actuated Uam for Sequential manipulation (CORVUS,渡鸦),并结合一套基于虚拟运动链(Virtual Kinematic Chain, VKC)[2,3]的移动操作建模方法,实现了面向空间操作的任务运动规划(Aerial Task and Motion Planning, Aerial-TAMP)。


渡鸦能够自主、灵活地通过机械臂与环境中的铰链结构物体交互,执行复杂的多步骤操作,为无人机的自主作业开辟了新的方向。这些特点不仅扩大了无人机的应用范围,也为未来技术的发展提供了新的视角和可能性。


图片

该论文获得了IROS2023最佳移动操作论文提名奖(Best Paper Award on Mobile Manipulation Finalist)。论文的共同第一作者为苏垚(BIGAI)、李佳睿(PKU、BIGAI)、焦子元(BIGAI);其他论文作者包括王濛(BIGAI)、褚驰(THU、BIGAI)、李杭(BIGAI)、朱毅鑫(PKU)、刘航欣(BIGAI)。

论文链接:

https://ieeexplore.ieee.org/abstract/document/10341441

研究概述

无人机技术在军事侦察、灾害响应、工业检测等多个领域,展现出了巨大的应用潜力和广阔的发展前景,但在控制灵活性和飞行稳定性方面,特别是在复杂或极端环境中,它们仍存在一定的局限性。例如,普通的四旋翼无人机由于设计上的限制,在飞行和悬停过程中难以实现精确的姿态控制,与周围环境的精确交互也较为困难。相比之下,过驱动无人机通过增加执行器和控制自由度,提供了更高的控制精度和适应性,甚至能够实现空间内全向稳定飞行,特别适合应对与复杂环境交互的任务。渡鸦即是采用了一种模块化的过驱动无人机设计,通过组合四台微型四旋翼无人机,实现了对平台的位置和姿态单独控制的过驱动能力,并且具备无限制姿态角和高推力效率的特点。这使得它可以实现侧身悬停和360度的翻转,展现了执行复杂飞行任务时的卓越灵活性,并且极大地拓展了无人机的工作空间。这种结构使无人机在需要精密控制和复杂机动的场合中表现出色,极大地提升了其技术应用的潜力[4-7]。

图片

图片

图1. 基于多个四旋翼和被动自由度机构的过驱动无人机平台

然而,当前的研究工作尚未充分挖掘无人机作为具身智能机器人的潜力,它们仍然停留在执行简单任务的阶段。相比之下,自然界中飞行生物——鸟类,特别是乌鸦,展现出了极高的智能水平。在图2中,乌鸦通过对环境和任务的理解,展示了多步骤行动规划的能力:首先叼起短棍子,然后利用短棍子够到长棍子,最终通过长棍子够到食物。图3中,乌鸦更是展示了复杂因果推理的能力,乌鸦将坚果扔在了人行横道的斑马线上,通过车子碾压,把外壳碾碎之后,开始观察下去吃东西的安全时间。它发现,行人灯亮后,车子停住,行人开始过马路,这个时候是最安全的。通过推理,乌鸦能够利用汽车压碎坚硬的果壳,再观察车、人的行动规律,推断下去吃坚果的安全时间,最终吃到了坚果。

图片

图2. 乌鸦自主规划完成复杂任务

图片

图3. 乌鸦的物理、因果理解

所以,为了让无人机像乌鸦一样聪明和具备与环境交互的能力,通过对过驱动无人机平台进行动力升级并且加装机械臂后,作者搭建了国际上首个面向空中连续操作任务的空间机械臂平台——渡鸦,如图4所示。

图片

图4. 空间机械臂渡鸦结构设计

基于渡鸦平台,作者同时提出了首个面向空间机械臂的任务运动规划算法框架(Aerial-TAMP)。首先通过任务规划将复杂操作任务划分为多个子任务,再将空间机械臂的自由度与操作对象的自由度通过虚拟运动链(VKC)进行一体化建模[2,3,8],从而实现飞行器、机械臂、操作对象三者之间协调高效的运动规划。

图5在渡鸦平台打开柜子的任务中,展现了无人机-机械臂-被操作物体的协同运动能力。图6中的任务要求渡鸦将桌子上的物体放进抽屉当中,展现了Aerial-TAMP算法框架任务分解以及连续的协同运动规划能力。

图片

图片

图5. 打开柜门的任务中,实现无人机-机械臂-被操作物体的协同运动规划

图片

图6. 长序列任务中,同时实现连续任务分解以及协同运动规划

结合层级化控制框架和规避下冲气流影响的控制分配算法[9-10],渡鸦实现了任意姿态下精准的飞行轨迹追踪并能在进行物理交互时维持系统的稳定性,攻克了空间机械臂自主完成复杂操作任务这一前沿课题,实现了最多需要6个连续步骤的复杂操作任务的自主规划执行。

技术特点

气流冲刷现象(Downwash effect)

图片

图7. 基于过驱动无人机的冗余性避免气流冲刷现象

当一台无人机进入另一台无人机产生的气流场时,气流冲刷在这台无人机的机体上,使其无法稳定控制,这种现象被称为气流冲刷现象。气流冲刷现象会大大影响无人机控制的稳定性,进而影响其安全性。对于作者的无人机平台,每个模块彼此之间都有可能遇到气流冲刷现象,这对控制策略提出了很大的挑战。

针对这一问题,作者从控制分配的角度将其建模为一个约束条件下的最优控制问题。作者对每对无人机模块之间构建一个朝向约束,通过该约束来避免二者的气流彼此冲刷,并且将无人机平台的推力效率加入优化问题的目标函数。从而实现了对避免气流冲刷现象与保持无人机平台推力效率的兼顾,使得空间机械臂平台在任意姿态都能实现稳定飞行,并且对于能够对飞行轨迹进行精确追踪。

基于虚拟运动链的任务运动规划(VKC-based Aerial-TAMP)

图片

图8. 基于虚拟运动链的一体化建模方法

图片

图9. 空间机械臂的任务运动规划算法框架

本项目将一种基于虚拟运动链(VKC)的一体化运动学建模方法(图8)应用到空间机械臂协同运动规划中。区别于传统无人机规划方法仅针对浮动平台,该方法提出将空间机械臂的浮动平台、机械臂和被操作对象通过一体化运动学建模为VKC,并将操作任务转化为面向VKC的运动规划问题,实现三者之间的高效协同运动,适用于狭窄拥挤的环境下的移动操作任务,同时对具有不同运动结构的对象不失一般性。

然后,通过将身体基模(Body Schema)的概念引入基于VKC的建模与运动规划方法,建立了面向多步骤操作任务的Aerial-TAMP框架,VKC可以根据任务序列自由延展或改变自身结构,与各种不同对象进行交互(图9a)。通过将任务序列统一转化为连续的基于VKC的运动规划问题(图9b),实现简化任务序列与运动轨迹间映射机制,提升智能自主规划方法的泛用性与可拓展性,为长流程任务动态视野规划以及未来具身智能机器人的工具使用规划等智能规划打下关键基础。

层级控制架构 (Hierarchical Controller)

过驱动无人机在性能上的显著优势同时也带来了新的挑战,特别是在设计控制算法的复杂性方面。针对渡鸦平台,作者提出了一个基于层级控制架构的高性能控制器(图9c),集成了包括高效姿态控制算法、主动规避多桨气流影响的算法以及执行器失效时的容错控制算法等,有效解决了这些挑战,提升了该平台在复杂环境中的稳定性和可靠性。

总结和展望

展望未来,基于CORVUS的研究成果将有望推动具身智能技术在无人机救援、巡检等领域的应用。随着技术的进一步发展,我们期待看到更多关于连续操作任务的创新研究,为智能机器人的未来发展描绘更加丰富的蓝图。

与此同时,通研院机器人实验室围绕具身智能机器人在三维场景重建、场景理解、任务运动规划、控制算法、工具使用、技能学习、触觉传感、灵巧操作等方面做了一系列研究工作,致力于突破智能体认知架构、价值驱动、人机互信等关键科学问题,推动通用人工智能的创新发展。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1445875.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

在计算机/移动设备上恢复已删除视频的 10 个数据恢复工具

视频在网上疯传,我们都观看或创建视频,并将我们最喜欢的视频保存在硬盘上。如果我们丢失了一些重要的视频,那将是非常令人心碎的。但是今天,恢复已删除的视频变得更加容易。删除的视频在被新数据覆盖之前并没有真正从您的存储驱动…

创建你的第一个Vue项目(小白专享版本)

💗💗💗欢迎来到我的博客,你将找到有关如何使用技术解决问题的文章,也会找到某个技术的学习路线。无论你是何种职业,我都希望我的博客对你有所帮助。最后不要忘记订阅我的博客以获取最新文章,也欢…

算法竞赛进阶指南——基本算法(倍增)

ST表 可以求区间最大、最小、gcd、lcm&#xff0c;符合 f(a, a) a都可以 求区间最值&#xff0c;一个区间划分成两段 f[i][j]: 从i开始&#xff0c;长度为2^j的区间最值 #include<iostream> #include<cmath> using namespace std; const int N 1e6 10; int n,…

【书生·浦语实战营】体系介绍

文章目录 从大模型到应用的路径开放体系内容万卷预训练微调部署智能体 从大模型到应用的路径 开放体系 内容 数据&#xff1a;书生万卷预训练&#xff1a;interLM-Train微调&#xff1a;XTuner&#xff0c;全参数、低成本微调部署&#xff1a;LMDeploy评测&#xff1a;OpenCo…

Windows快捷键大全(包含语音输入、剪切板历史快捷键)

最近发现了微软官网上给出的快捷键大全&#xff0c;并且使用了其中几个新的键盘快捷键&#xff08;语音输入、剪切板历史&#xff09;&#xff0c;确实方便快捷&#xff0c;所以写个博客记录分享一下。 注&#xff1a;windows快捷键大全微软官方已经给出&#xff0c;此处不再赘…

让Python遇上Office--从编程入门到自动化办公实践

最近仔细的学习了这本《让Python遇上Office》的书&#xff0c;同时把我的学习进程与心得录制了同步视频。 到今天终于把全部90集完成&#xff0c;并且上传到下面的视频平台了&#xff0c;欢迎大家观看并指正&#xff01; 西瓜视频&#xff1a;https://www.ixigua.com/7300628…

服务异步通信

服务异步通信 消息队列在使用过程中&#xff0c;面临着很多实际问题需要思考&#xff1a; 1.消息可靠性 消息从发送&#xff0c;到消费者接收&#xff0c;会经理多个过程&#xff1a; 其中的每一步都可能导致消息丢失&#xff0c;常见的丢失原因包括&#xff1a; 发送时丢失…

ClickHouse时区

clickhouse数据库的时间是UTC时间。服务器默认的是上海时间。 sudo vim /etc/clickhouse-server/config.xml clickhouse默认的时区是注释的就是UTC时间 %F 表示日期&#xff0c;格式为 YYYY-MM-DD。%T 表示时间&#xff0c;格式为 HH:MM:SS。 因此&#xff0c;formatDateT…

three.js 细一万倍教程 从入门到精通(一)

目录 一、three.js开发环境搭建 1.1、使用parcel搭建开发环境 1.2、使用three.js渲染第一个场景和物体 1.3、轨道控制器查看物体 二、three.js辅助设置 2.1、添加坐标轴辅助器 2.2、设置物体移动 2.3、物体的缩放与旋转 缩放 旋转 2.4、应用requestAnimationFrame …

windows11 MSYS2下载安装教程

MSYS2 可以理解为在windows平台上模拟linux编程环境的开源工具集 当前环境&#xff1a;windows11 1. 下载 官网地址可下载最新版本&#xff0c;需要科学上网 https://www.msys2.org/ 2. 安装 按照正常安装软件流程一路next就可以 打开 3. 配置环境 网上很多教程提到需…

回归预测模型:MATLAB岭回归和Lasso回归

1. 岭回归和Lasso回归的基本原理 1.1 岭回归&#xff1a; 岭回归&#xff08;Ridge Regression&#xff09; 是一种用于共线性数据分析的技术。共线性指的是自变量之间存在高度相关关系。岭回归通过在损失函数中添加一个L2正则项&#xff08; λ ∑ j 1 n β j 2 \lambda \s…

【维生素C语言】附录:strlen 函数详解

写在前面&#xff1a;本篇将专门为 strlen 函数进行讲解&#xff0c;总结了模拟实现 strlen 函数的三种方法&#xff0c;并对其进行详细的解析。手写库函数是较为常见的面试题&#xff0c;希望通过本篇博客能够加深大家对 strlen 的理解。 0x00 strlen函数介绍 【百度百科】str…

【原创 附源码】Flutter安卓及iOS海外登录--Facebook登录最详细流程

最近接触了几个海外登录的平台&#xff0c;踩了很多坑&#xff0c;也总结了很多东西&#xff0c;决定记录下来给路过的兄弟坐个参考&#xff0c;也留着以后留着回顾。更新时间为2024年2月12日&#xff0c;后续集成方式可能会有变动&#xff0c;所以目前的集成流程仅供参考&…

计算机毕业设计基于的农村蔬菜销售系统SSM

项目运行 环境配置&#xff1a; Jdk1.8 Tomcat7.0 Mysql HBuilderX&#xff08;Webstorm也行&#xff09; Eclispe&#xff08;IntelliJ IDEA,Eclispe,MyEclispe,Sts都支持&#xff09;。 项目技术&#xff1a; vue mybatis Maven mysql5.7或8.0等等组成&#xff0c;B…

力扣题目训练(8)

2024年2月1日力扣题目训练 2024年2月1日力扣题目训练404. 左叶子之和405. 数字转换为十六进制数409. 最长回文串116. 填充每个节点的下一个右侧节点指针120. 三角形最小路径和60. 排列序列 2024年2月1日力扣题目训练 2024年2月1日第八天编程训练&#xff0c;今天主要是进行一些…

c入门第十篇——指针入门

一句话来说: 指针就是存储了内存地址值的变量。 在前面讨论传值和传址的时候&#xff0c;我们就已经开始使用了指针来传递地址。 在正式介绍指针之前&#xff0c;我们先来简单了解一下内存。内存可以简单的理解为一排连续的房子的街道&#xff0c;每个房子都有自己的地址&#…

中国电子学会2019年12月份青少年软件编程Scratch图形化等级考试试卷三级真题(选择题、判断题)

一、单选题(共 25 题&#xff0c;每题 2 分&#xff0c;共 50 分) 1.怎样修改图章的颜色&#xff1f;&#xff08; &#xff09; A. 只需要一个数字来设置颜色 B. 设置 RGB 的值 C. 在画笔中设置颜色、饱和度、亮度 D. 在外观中设置或修改角色颜色特效 2.以下程序的执…

数据分析入门指南:用 Python 开启数据之旅

文章目录 前言发现宝藏为什么选择 Python 进行数据分析&#xff1f;准备工作数据分析基础1. 数据加载2. 数据探索3. 数据清洗4. 数据可视化 探索更多可能性好书推荐总结 前言 为了巩固所学的知识&#xff0c;作者尝试着开始发布一些学习笔记类的博客&#xff0c;方便日后回顾。…

接口测试06 -- pytest接口自动化封装Loggin实战

1. 接口关键字封装 1.1 基本概念 接口关键字封装是指:将接口测试过程中常用的操作、验证封装成可复用的关键字(或称为函数、方法),以提高测试代码的可维护性和可复用性。 1.2 常见的接口关键字封装方式 1. 发送请求:封装一个函数,接受参数如请求方法、URL、请求头、请求…

【开源】SpringBoot框架开发天沐瑜伽馆管理系统

目录 一、摘要1.1 项目介绍1.2 项目录屏 二、功能模块2.1 数据中心模块2.2 瑜伽课程模块2.3 课程预约模块2.4 系统公告模块2.5 课程评价模块2.6 瑜伽器械模块 三、系统设计3.1 实体类设计3.1.1 瑜伽课程3.1.2 瑜伽课程预约3.1.3 系统公告3.1.4 瑜伽课程评价 3.2 数据库设计3.2.…