笔者是清华在读研究生，主要关注人形机器人、具身智能。将持续分享行业前沿动态、学者观点整理、论文阅读笔记、知识学习路线等。欢迎交流
最近听了宋老师的演讲，以下是学习整理。部分图截自直播，若模糊望见谅
演讲信息：
【会议】2024亚太人工智能与机器人产业峰会-具身智能及机器人专题论坛
【时间】2024年7月13日
【演讲者】山东大学宋锐教授（长江学者）
【演讲主题】面向柔性物体操作的机器人具身技能学习
演讲纪要：
-
柔性织物国外研究做得更多。这不是个新课题，2010年曾经热过一段，2018-2019年热过一段
-
宋教授团队有用模仿学习，做织物抖动与放置、不同包裹状态下织物展平、引入LLM进行高度褶皱织物的展平、衣物悬挂、曲边缝制等的工作
-
柔性织物待探索点：
-
更好的硬件平台。ALOHA臂末端抖动严重、无法保障精度，需要采集更多数据弥补
-
更好的末端夹具
-
更适用柔性织物的仿真平台。isaacsim也可以用，但力学过程没那么完备
-
学习范式。直接端到端的学习，和任务分解学习，哪个更高效？
背景
目前机器人领域高精度、高速度追求已经达到了阶段性指标，现在比较难的是柔性物体。柔性物体包括织物、弹性橡胶类、塑性材料等。该演讲主要关于柔性织物：
提升机器人操作可形变物体的能力，有助于推动非结构化环境中自主操作机器人的发展
很难用严谨的物理模型来表达它，往往用数字化方法来逼近：
相关研究
建模
一维的理线；二维铺平/裁切；三维挂/折叠/补口袋
80、90年代就有人开始建模
-
MSS建模简单问题，对大的形变，其物理逼近能力较差
-
PBD快速建模，优势在于三维空间视觉层面的逼真，是运动学方面的建模优势，也有一定的力学，但并不用擅长
-
FEM既可以建运动学方面，又可以建力学方面，但现在很多机器人模拟器兼容性较差，但主要问题还是计算时间较长
目前针对柔性织物的仿真器力学过程没有那么完备
感知
一般刚体操作都是计算动力学，而织物这块只能估计动力学，比较有难度
目前并没有发现真正通用的软物料解决方案。一般大部分基于视觉检测、数据分析。而少部分不好拟合的，用数据驱动的方法进行集成，做一些迁移学习的内容
希腊帕特雷大学。用传统方法进行数据解析。简单的相对规则的目标检测。比较早：
CMU在2020。角点、边缘，抓取位置的位姿估计：
三维空间，用MAYA系统，用网格方法进行建模：
操作
操作部分是最难的 基于物理规划或基于传感器的：
基于学习的：
团队工作
模仿学习。人先示教，单手操作会先抖一下，将抖开，让机器人学习抖动的动作
将大模型引入，进行研判：
挂衣服、叠衣服：
完成直线缝制任务：选用稍微有点刚度的物料
待探索点
1. 更好的硬件平台
在采集数据时，发现ALOHA舵机系统末端抖动很严重、精度无法保障，从而需要更大量的数据去弥补。一个更好的平台可能更便于研究
2. 更好的夹具
3. 更好的仿真效果
4. 多传感器融合
肯定要融合数据。但融合哪些、怎么融合，还是一个很值得研究的问题。可能在力学、滑动学方面，需要去设计一些传感器
5. 学习范式
端到端的学习，和任务分解学习，哪种方式更高效？
