想象一下，在VR中控制游戏角色时，你的手部动作能够无缝转化为角色的行动。如果将这种体验应用于现实世界中的双手机器人控制，将带来革命性的人机交互体验。随着Apple Vision Pro的问世，这一设想逐渐变为现实。然而，将这一概念转化为实际可用的遥操作系统仍面临诸多挑战，特别是进行类人操作的复杂运动控制和实时响应要求。

双手灵巧手系统由于高自由度和复杂的运动学特性，其遥操作尤为困难。此外，如何确保安全性和实时性也同样重要，尤其是避免因碰撞和奇异点等问题导致的操作失败。近日加州大学圣地亚哥分校研究人员最近开发了 Bunny-VisionPro，该系统可实现机器人系统的远程操作，以完成双手灵巧的操作任务。该系统在arXiv预印本服务器上发布的一篇论文中进行了介绍，可以方便收集人类的示范，以进行模仿学习。
▍Bunny-VisionPro的新型实时双手灵巧遥操作系统
Bunny-VisionPro系统通过VR头戴设备的手部和腕部跟踪能力，实现对高自由度双手机器人的实时控制。系统由三大模块组成：手运动映射模块、臂运动控制模块和人体触觉反馈模块。

手运动映射模块负责将操作者的手指姿态精确地映射到机器人的灵巧手上。通过捕捉操作者的手指运动数据，该模块运用优化算法最小化人类手指关键点向量与机器人手指关键点向量之间的距离，从而确保机器人手的运动能够准确模仿操作者的手指动作。
在实际操作中，研发人员系统首先利用VR设备的跟踪能力捕捉操作者手指的三维位置和方向，然后利用优化算法（如Sequential Quadratic Programming, SQP）对这些位置和方向进行优化调整，以匹配机器人灵巧手的运动学约束。
对于具有循环关节的灵巧手（如四连杆结构），系统采用了一种降维优化方法，有效避免了直接处理非独立被动关节所带来的计算复杂性和不稳定性。通过这种方法，系统能够在保证计算效率的同时，实现对手指的精确控制。

臂运动控制技术是确保机器人手臂能够安全、平滑地执行各种操作任务的关键。该技术基于操作者的手腕姿态，通过逆运动学（IK）计算得到机器人手臂的关节角度，并在此基础上融入了碰撞避免和奇异点处理机制。
在逆运动学计算中，系统首先根据手腕的位置和姿态信息构建一个优化目标函数，该函数综合考虑了机器人末端执行器与手腕之间的位置和姿态误差。同时，为了处理碰撞和奇异点问题，系统进一步在优化目标函数中加入了碰撞成本和奇异点避免成本。这些成本项利用空间雅可比矩阵和GJK算法等先进技术进行计算，确保在机器人运动过程中能够实时检测和避免潜在的碰撞和奇异点情况。
通过综合考虑这些因素，臂运动控制技术能够在复杂环境中为机器人手臂规划出既安全又高效的运动轨迹，从而实现精确、平滑地操作任务执行。
人体触觉反馈模块进一步提升了操作的沉浸感和精确性。该模块通过将从机器人手上的触觉传感器获取的触觉读数转换为操作者的手部触觉反馈，使操作者能够实时感知到机器人与环境的交互情况。这种触觉反馈不仅增强了操作者的临场感，还允许他们根据反馈及时调整操作策略，从而实现对机器人运动的更加精准控制。此外，低成本但高效的Eccentric Rotating Mass（ERM）执行器的使用，使得触觉反馈设备的实现更加经济实惠，进一步推动了该技术的普及和应用。
在这里插入图片描述

人体触觉反馈技术通过将从机器人手上的触觉传感器获取的触觉读数转换为操作者的手部触觉反馈，使操作者能够实时感知到机器人与环境的交互情况。
为了实现这一功能，系统首先需要对触觉传感器读数进行一系列的信号处理操作，包括零漂移校准和低通滤波等。这些操作有助于消除读数中的噪声和漂移误差，提高触觉反馈的准确性和稳定性。随后系统利用这些处理后的触觉信号来驱动低成本的Eccentric Rotating Mass（ERM）执行器产生振动反馈。通过调整执行器的振动强度和频率，系统能够模拟出不同的触觉效果，为操作者提供丰富而真实的触觉体验。

在实际操作中，操作者可以根据触觉反馈实时调整自己的操作策略，以应对机器人与环境之间的不同交互情况。例如，在感知到机器人与物体接触力度过大时，操作者可以立即减小操作力度以避免损坏物体或机器人自身；在需要精确控制机器人手指位置时，操作者可以依赖触觉反馈来微调手指关节的角度等。这些操作不仅提高了操作的精确性和安全性，还显著增强了操作者的临场感和操作信心。
▍系统性能评估与遥操作实验结果
研究人员对Bunny-VisionPro系统进行了性能测试，结果表明，即使在处理高自由度的循环关节和复杂的运动学约束时，灵巧手运动映射模块和臂运动控制模块均能保持高效的实时性能。通过采用先进的优化算法和模块化的系统架构，我们能够确保在复杂动态环境中实现精确、平滑的机器人控制。特别是在处理四连杆结构等具有循环关节的灵巧手时，该方法展现出了显著的速度优势，有效降低了计算成本，提高了系统整体的响应速度。
为了全面评估Bunny-VisionPro系统在实际操作中的表现，研究人员在Telekinesis基准测试集和一系列自定义的灵巧操作任务上进行了实验。实验结果显示，系统在多数任务中均表现出色，尤其是在需要双手协调的复杂操作中，如清扫地板、准备咖啡等。相比其他现有的遥操作系统，Bunny-VisionPro在成功率和任务完成时间上均有显著提升。这些成果不仅证明了系统设计的合理性和有效性，也进一步体现了其在复杂操作任务中的优势。

为了探究触觉反馈装置对遥操作性能的实际影响，开发人员设计并实施了一项用户研究，并邀请了多位未经过专业培训的操作员参与，通过对比有无触觉反馈条件下的操作表现，研究人员发现触觉反馈显著提高了操作的成功率和效率。特别是在部分视线受阻的情况下，触觉反馈为操作员提供了额外的感知信息，帮助他们更准确地判断机器人与环境的交互状态，从而实现了更加精确和稳定的控制。这一发现进一步验证了触觉反馈装置在提高遥操作系统整体性能方面的重要作用。
▍Bunny-VisionPro系统在模仿学习中的优势
Bunny-VisionPro系统不仅能够实现高效的遥操作控制，还能够为模仿学习提供高质量的演示数据。通过对比分析发现，利用该系统收集的演示数据在质量上显著优于其他系统。这些高质量数据不仅包含了丰富的操作细节和变化信息，还体现了操作员在实际任务中的决策过程和策略选择。因此，利用这些数据训练的模仿学习模型在未见过的场景和对象上表现出了更好的泛化能力，能够更准确地适应新环境和新任务。

为了进一步验证演示数据的泛化能力，研究人员还在多种模仿学习算法（如ACT、Diffusion Policy和DP3）上进行了广泛的测试。实验结果表明，使用Bunny-VisionPro系统收集的数据训练的模型在空间泛化和未见对象泛化方面均表现出色。这些模型能够准确地识别和理解新场景中的关键信息，并生成适应性的控制策略来完成任务。这些成果不仅展示了演示数据的高质量特性，也进一步证明了Bunny-VisionPro系统在推动模仿学习领域发展方面的潜力。
在长时程、多阶段任务中，Bunny-VisionPro系统同样展示了其高效的数据收集能力和应用价值。通过少量高质量的演示数据，我们能够训练出有效的模仿学习模型来完成复杂的任务序列。这些模型不仅在单个任务阶段中表现出色，还能够在多个连续任务阶段中保持稳定的性能水平。这一发现为处理更加复杂和多样化的实际场景提供了有力的支持，也为未来进一步拓展模仿学习应用领域奠定了坚实的基础。
▍结语与未来：
Bunny-VisionPro系统凭借其高精度实时遥控操作和丰富演示数据收集能力，在灵巧操作与模仿学习领域表现突出。系统不仅在复杂操作任务中展现卓越性能，还为模仿学习研究提供了高质量数据源。未来随着系统优化与扩展应用的突破，该系统有望探索更多创新场景，推动Bunny-VisionPro在更多领域的广泛应用和技术进步。