1. DALL-E-Bot

DALL-E-Bot: Introducing Web-Scale Diffusion Models to Robotics (robot-learning.uk)

**（2023-05-04）**DALL-E-Bot: Introducing Web-Scale Diffusion Models to Robotics

DALL-E-Bot：将网络规模的扩散模型引入机器人

第一项探索机器人网络规模扩散模型的工作。DALL-E-Bot 使机器人能够重新排列场景中的对象，首先推断这些对象的文本描述，然后生成代表这些对象的自然、类人排列的图像，最后根据该图像对对象进行物理排列目标图像。我们证明，使用 DALL-E 可以实现零样本，无需任何进一步的示例安排、数据收集或训练。由于 DALL-E 的网络规模预训练，DALL-E-Bot 是完全自主的，并且不限于一组预定义的对象或场景。令人鼓舞的现实世界结果，包括人类研究和客观指标，表明将网络规模的扩散模型集成到机器人管道中是可扩展的、无监督的机器人学习的一个有前途的方向。

2. TidyBot

TidyBot: Personalized Robot Assistance with Large Language Models (princeton.edu)

**（2023-05-09）**TidyBot: Personalized Robot Assistance with Large Language Models

TidyBot：具有大型语言模型的个性化机器人协助

对于机器人来说，要有效地个性化物理援助，它必须学习用户的偏好，这些偏好通常可以重新应用于未来的场景。在这项工作中，我们研究了使用机器人进行家庭清洁的个性化，这些机器人可以通过捡起物体并将其收起来来整理房间。一个关键的挑战是确定放置每个对象的适当位置，因为人们的喜好可能会根据个人品味或文化背景而有很大差异。例如，一个人可能更喜欢将衬衫存放在抽屉里，而另一个人可能更喜欢将它们放在架子上。我们的目标是构建一个系统，可以通过之前与特定人的交互，从少数示例中学习此类偏好。我们证明，机器人可以将基于语言的规划和感知与大型语言模型（LLM）的几次总结能力相结合，以推断广泛适用于未来交互的广义用户偏好。这种方法可以实现快速适应，并且对我们的基准数据集中未见过的物体实现 91.2% 的准确率。我们还在名为 TidyBot 的真实移动操纵器上展示了我们的方法，它在真实测试场景中成功放置了 85.0% 的物体。