原创 | 文 BFT机器人 

你的日常待办清单或许只是些稀松平常的小事：清洗堆积如山的碗盘、采购琳琅满目的食品杂货等。在执行这些任务时，你无需逐一写下“捧起那只满是油污的盘子”或“用湿润的海绵仔细擦洗这个盘子”这样的琐碎步骤，因为在你的脑海中，这些步骤早已如同呼吸般自然而流畅。然而，对于机器人而言，要完成这些看似简单的动作，却需要一份详尽无遗、错综复杂的行动计划。

在麻省理工学院的Improbable AI实验室里，隶属于CSAIL（计算机科学与人工智能实验室）的一个精英团队，正致力于为这些机器赋予更为智能的多模态框架。他们的最新研究成果——Hierarchical Planning（HiP）组合基础模型，正是这一努力的结晶。HiP模型巧妙地融合了三种不同基础模型的专业知识，从而制定出既详细又切实可行的行动计划。与OpenAI引以为傲的GPT-4相似，ChatGPT和Bing Chat等先进应用也都是基于这一强大的基础模型构建而成的。这些基础模型经过精心训练，已广泛应用于图像生成、文本翻译、机器人技术等多个领域。

与RT2等多模态模型相比，HiP展现出了独特的优势。传统的多模态模型通常依赖于配对的视觉、语言和动作数据进行训练，而HiP则采用了三个独立的基础模型，每个模型都专注于处理特定类型的数据模态。这种分工明确的架构使得每个基础模型都能够更好地捕捉决策过程中的不同环节，并在需要时协同工作以做出明智的决策。更为重要的是，HiP彻底消除了对配对数据的需求，此外，HiP还让推理过程变得更加透明和可解释，为人工智能领域的发展注入了新的活力。

对于人类而言，那些日常琐事——比如整理书架上的书籍或将碗盘放入洗碗机——可能只是随手可做的简单动作。然而，对于机器人来说，这些任务却如同“长期目标”一般，需要它们先理解并规划出许多细小的步骤，才能最终完成。因此，机器人需要海量的数据来辅助它们理解、规划和执行这些目标。

过去，计算机视觉领域的研究人员曾试图构建一个单一的基础模型来解决这个问题，但这种做法需要将语言、视觉和动作数据一一配对，不仅成本高昂，而且效果并不理想。然而，麻省理工学院的研究团队提出的HiP模型，却为这个问题提供了一种全新的多模态解决方案。HiP模型将语言、物理和环境智能以经济高效的方式整合到机器人中，形成了一种三重组合。这种组合不仅让机器人能够更好地理解和执行任务，还大大降低了数据配对的成本。

“我们不必再局限于单一的基础模型，”并未参与该研究的NVIDIA AI研究员Jim Fan评论道，“这项创新性的工作将复杂任务的规划问题分解为三个相互协作的模型：语言推理器、视觉世界模型和动作规划器。这样的分解使得原本棘手的决策问题变得更加简单和透明。”

研究团队坚信，他们的人工智能系统将成为家务劳动的有力助手，帮助机器人完成诸如整理书籍、清洗碗盘等日常任务。不仅如此，HiP模型在多步骤的建筑和制造任务中也大有可为，比如按照特定顺序堆叠和放置不同材料。这一研究成果无疑为机器人技术的进一步发展奠定了坚实基础。

对HiP模型的评估

CSAIL团队在三项复杂的操作任务上对HiP模型的准确性进行了严格测试，结果显示其表现优于其他可比较的先进框架。这套系统展现出了出色的智能规划能力，能够灵活适应新信息并进行精准推理。

在第一项测试中，研究人员设置了一个颇具挑战性的任务：要求机器人将不同颜色的积木堆叠起来，并将其他积木放置在附近。但任务的关键难点在于，并非所有所需颜色的积木都现成的，这意味着机器人需要发挥创意，将白色积木放入彩色碗中上色，以获取所需的颜色。面对这样的变化，HiP模型展现出了令人印象深刻的适应能力，它不仅能够准确地识别出哪些积木需要上色，还能通过精心调整计划，确保每个积木都能按照要求被精准地堆叠和放置。

第二项测试则更加考验HiP模型的物品识别和计划调整能力。研究人员要求机器人在一个棕色箱子中摆放糖果和锤子等物品，同时忽略其他无关物品。在这项任务中，有些需要移动的物品是脏的，这就要求机器人在摆放前先进行清洁处理。HiP模型再次展现出了其卓越的智能性，它不仅能够准确地识别出哪些物品需要清洁，还能灵活地调整计划，先将这些物品放入清洁箱进行处理，然后再放入棕色箱子中。

在第三项演示中，研究人员为机器人设置了一系列厨房相关的子目标，如打开微波炉、把水壶放到一边并打开灯等。这些任务中有些步骤已经提前完成，因此机器人需要根据实际情况进行调整。HiP模型再次发挥出了其强大的推理能力，它能够准确地识别出哪些步骤已经完成，哪些还需要执行，并通过智能地跳过已完成的步骤来高效地完成任务。

三叉层级体系

HiP的三层计划过程呈现出一个精巧的层次结构，这种结构赋予了它在不同数据集上预训练各个组件的独特能力，甚至包括那些与机器人技术毫不相关的信息。在这个层次结构的底层，一个强大的大型语言模型（LLM）开始发挥其作用，它通过捕捉所有必要的符号信息并制定抽象的任务计划，为整个过程奠定了坚实的基础。

Anurag Ajay，这位来自麻省理工学院电气工程和计算机科学系（EECS）的博士生，同时也是CSAIL的重要成员，深入阐述了HiP的设计理念：“我们的目标是充分利用现有的预训练模型，使它们能够无缝地相互协作。”他强调说，“我们并没有期望一个模型能够包揽所有任务，而是将多个利用互联网数据不同模态的模型结合在一起。当它们协同工作时，它们能够为机器人决策提供有力支持，并有望在家庭、工厂、建筑工地等多种场景中发挥实用价值。”

然而，这些人工智能模型要想在现实世界中发挥作用，还需要一双“慧眼”来帮助它们理解操作环境并准确执行每个子目标。为此，研究团队引入了一个大型视频扩散模型，以增强LLM的初始规划能力。这个视频模型从互联网上的海量视频中汲取有关世界的几何和物理信息，然后生成一个精确的观察轨迹计划，进一步细化LLM的纲要，以整合新的物理知识。

这个过程被称为迭代细化，它允许HiP在不断反思和完善其想法。每个阶段都会接收反馈以生成更加实用的纲要，这种反馈流程类似于撰写文章时的修订过程：作者将草稿发送给编辑进行审查，根据反馈进行修订，然后再提交给出版社进行最终的审查和完善。

在HiP的层次结构中，顶部是一种本体动作模型，它根据机器人周围的环境推断出应该执行的动作序列。在这一阶段，从视频模型获得的观察计划被映射到机器人可见的空间中，为机器人提供决策支持，帮助它确定如何在长期目标中逐步完成每个任务。以沏茶为例，如果机器人使用HiP来执行这个任务，它将能够精确映射出壶、水槽和其他关键视觉元素的位置，并有条不紊地完成每个子目标。

尽管HiP已经展示出了令人瞩目的能力，但多模态人工智能工作仍然受到高质量视频基础模型缺乏的限制。一旦这些模型变得可用，它们将与HiP的小规模视频模型进行无缝对接，从而进一步提高视觉序列预测和机器人动作生成的能力。更高质量的视频模型还将降低当前模型对数据的需求，使其更加高效和实用。

值得一提的是，CSAIL团队在开发HiP时采用了高效的数据利用策略，整体上只使用了少量数据。此外，HiP的训练成本相对较低，这展示了使用现成基础模型来完成长期任务的巨大潜力。

总结

对于HiP的未来发展方向，麻省理工学院电气工程和计算机科学系（EECS）助理教授、Improbable AI实验室主任Pulkit Agrawal充满期待地表示：“Anurag所展示的成果是一个概念验证，它证明了我们可以将在不同任务和数据模态上训练的模型组合起来，用于机器人规划。未来，HiP有望通过引入更多预训练模型进行扩展，这些模型可以处理触觉、声音等多种感官信息，以制定更加全面和精细的计划。”该团队还在积极探索将HiP应用于解决机器人领域的真实长期任务的可能性，以期为机器人技术的未来发展开辟新的道路。

若您对该文章内容有任何疑问，请与我们联系，我们将及时回应。