德国汉堡大学（张建伟院士团队）、清华大学（孙富春教授和方斌）联合英国布里斯托机器人实验室等单位在基于视觉信息遥操作的多指机械手灵巧操作研究方面取得进展。该工作得到了德国科学基金会（DFG）与中国国家自然科学基金委（NSFC）共同资助，主要由曾超博士与李双博士完成。
团队提出了一种基于视觉信息的多指机械手柔顺遥操作方法，用于灵巧抓取、操作任务中。该系统主要包括两大功能模块：视觉信息处理模块与力控模块。视觉信息处理模块的作用是映射示教者的手势图像到机械手的关节角度，力控模块的作用是计算得到期望控制关节力矩以控制手指运动完成相应操作。
-
视觉信息处理模块
该模块基于一个直接从人类手指深度图获取机器人关节角度的深度学习网络TeachNet。这种方法只需使用一个深度相机，并实现端到端地控制机器人，是非常直观和用户友好的遥操作方法。TeachNet结合了一个一致性损失函数consistency loss，可以处理人手与机器手的外观和内在结构差异。这个网络的训练依赖于一个合成的400K人手-机器手数据集，其中人手数据来自于人手位姿深度图像数据集BigHand2.0，然后在Gazebo中采集对应每个人手的机器手深度图像。但是从TeachNet直接输出的关节角没有考虑机械手与环境的交互，不适用于需要柔顺抓取和复杂技能的复杂任务，如拧瓶盖。 -
力控模块
该研究所提出的力控策略中力/力矩控制输入由阻抗力与前馈力共同构成。根据期望位置与当前位置误差可在线更新阻抗与前馈力，保证机器人与坏境柔顺交互。进一步受示教学习中轨迹编码方法的启发，复杂的运动轨迹可有一组简单的基元叠加表示，将阻抗与前馈力分别表示成参数与高斯基向量的内积形式，从而可以通过调节参数而间接地调节阻抗与前馈力。即在参数空间完成阻抗与前馈力的在线学习，避免了对其直接调节，可以提高对噪声的抗干扰能力，为在多自由度机器人系统（如Shadow Motor Hand, 17个自由度）中应用提供了可能。 -
实验验证
首先，在仿真环境中对所提出的方法进行了验证。基于Gazebo和ROS搭建了仿真平台，在拧瓶盖、开门等多个场景中开展了实验（示例见下图），并与现有常用的基于位置模式机械手控制方式进行了对比，实验表明所提出的方法能够有效提高交互的柔顺性。
然后，在Shadow机械手上开展了真机实验，在灵巧抓取与拧瓶盖等多个任务上进行了验证。同样地，对比实验表明所提出的方法能极大提高提升机械手与环境的交互柔性，在物理交互（Physical interaction）场景中具有优越性。
- 技能泛化
此外，团队还基于该遥操作系统开展了在力空间上的技能泛化的研究。在人对机器人完成示教任务操作后，当新的任务场景发生改变，尤其是在力空间上发生变化时候，机器人依靠所示教的技能无法适应新的任务要求。该技能泛化研究目标是让机械手在经过几次迭代学习自主得到新的阻抗与力轨迹，从而完成新的操作任务。示例任务见下图。
相关工作已经系列发表在ICRA 2019, IROS 2021, IEEE Robotics and Automation Letters, IEEE Transactions on Neural Networks and Learning Systems会议和期刊上。
