项目地址：ReKep | Spatio-Temporal ReasoningReKep | Spatio-Temporal Reasoning of Relational Keypoint Constraints for Robotic ManipulationReKep | Spatio-Temporal Reasoning 

ReKep（Relational Keypoint Constraints）是一种基于视觉的表示方法，用于机器人操作中的约束条件。它通过将环境中的三维关键点映射到数值成本来定义这些约束，这些关键点具有任务语义和空间意义。本研究展示了如何将一个多阶段的操作任务分解为一系列的关键点约束，并通过层次化的优化过程来解决机器人的动作（以一系列的端效器姿态表示），实现了实时的感知 - 行动循环。为了避免为每个新任务手动指定 ReKep，研究团队开发了一种自动化流程，利用大型视觉模型和视觉语言模型来产生 ReKep，这些模型能够从自由形式的语言指令和 RGB-D 观测中提取关键点，并编写约束函数。

研究团队在两种不同的机器人平台上实现了系统，并进行了多种任务的实验，包括单臂和双臂机器人的多阶段、在野外、双手协作以及反应性行为的操作任务。实验结果表明，该系统在没有任务特定数据或环境模型的情况下，能够有效地形成正确的约束并执行这些约束。研究还讨论了 ReKep 在泛化操作策略、系统错误分解和实验结果方面的挑战和局限性。

论文初读：