2023-09-18 ，加州大学洛杉矶分校（UCLA）、微软研究院、斯坦福大学等机构共同创建的新型基础设施，目的在评估大型语言模型在游戏互动中的规划和协调能力。MindAgent通过CuisineWorld这一新的游戏场景和相关基准，调度多智能体协作效率，并监督多个智能体同时玩游戏。

一、研究背景

大型语言模型（LLMs）在处理复杂任务方面展现出巨大潜力，从数学推理到专业领域的问答，LLMs的应用范围不断扩大。然而，对于LLMs在多智能体系统中的规划能力，尤其是与人类玩家协作完成任务的能力，研究仍相对不足。

目前遇到困难和挑战：

1、计算成本高：多智能体规划需要同时控制多个智能体，避免冲突并协调完成共享目标，这对计算资源要求极高。

2、上下文长度限制：LLMs在处理多智能体任务时，受限于上下文长度，难以处理复杂的任务序列。

3、非最优计划：尽管LLMs可以通过上下文学习来改进计划，但生成的计划可能并非最优，需要进一步优化。

数据集地址： CuisineWorld

二、让我们一起来看一下CuisineWorld

CuisineWorld是一个虚拟厨房环境中的多智能体调度和协调游戏，用于测试LLMs的多智能体规划能力。

CuisineWorld构建：

1、从社区贡献的维基百科中爬取规则和食谱，简化并修改后形成CuisineWorld的基本版本。

2、包含10种地点（服务台、存储和8种不同的烹饪工具）、27种食材和33种独特的菜品。

CuisineWorld特点：

• 多任务：包含多种不同的任务，从简单的生鱼片制作到复杂的意大利面烹饪，任务难度逐渐增加。

• 多智能体：支持多达4个智能体同时协作。需要协调完成尽可能多的菜品订单。

• 动态任务生成：任务会根据游戏进度动态生成，增加了游戏的挑战性和多样性。

CuisineWorld通过文本界面与LLMs交互，提供游戏状态描述和可能的行动命令。LLMs根据这些信息做出决策，调度智能体完成任务。

基准测试：

• 引入了新的自动评估指标——协作得分（CoS），用于计算协作效率。

• 在不同的任务间隔条件下，评估智能体完成任务的能力，CoS得分越高，表示协作效率越高。

MINDAGENT 能够在多智能体系统和人机协作的基础设施中，实现跨越不同领域的复杂任务规划。

CUISINEWORLD 与其他相关基准之间的比较。

CUISINEWORLD 中的行动空间

关于所涉及工具和食材数量、烹饪步骤以及食谱中最大混合量的菜肴分布情况

MINDAGENT 架构的概述:

1、规划技能与工具使用：游戏环境需要多样化的规划技能和工具运用来完成任务。它会发出相关的游戏信息。此模块还会将相关游戏数据转换为结构化文本格式，以便大语言模型（LLMs）进行处理。

2、大语言模型（LLM）：我们基础设施的核心组件，负责做出决策，它是多智能体系统的调度器。

3、记忆历史：一种存储实用工具，用于存储相关信息。

4、行动模块：从文本输入中提取行动，并将其转换为特定领域语言。验证特定领域语言（DSLs），确保其在执行时不会引发错误。

展示CuisineWorld中的一个多智能体协作示例，三个智能体正在一起准备混合果汁。

三、让我们一起来看一下CuisineWorld应用场景

比如：有一所职业学校，开设了一门烹饪技能与团队协作的培训课程，旨在帮助学生掌握烹饪技巧的同时，提升他们在团队中的协作能力。学校引入了CuisineWorld这一虚拟厨房游戏作为教学工具。

课程设置

课程时长：共12周，每周2次课，每次课2小时。

学生分组：将学生分成4人一组，每组配备一台电脑，用于运行CuisineWorld游戏。

教学目标：学生能够在团队中高效协作，完成各种烹饪任务，同时掌握基本的烹饪技巧和食谱知识。

课程内容

1、前3周：基础烹饪知识学习

教师通过AR课程引导，向学生介绍厨房的基本设备、工具和食材。

学生在PC端进行实训教学，学习简单的烹饪技巧，如切菜、煮沸等。

在CuisineWorld游戏中，学生独自完成简单的烹饪任务，如制作生鱼片，熟悉游戏界面和操作方式。

2、中间6周：团队协作与任务规划

每组学生开始在CuisineWorld中协作完成更复杂的烹饪任务，如制作意大利面。

教师引导学生讨论如何分配任务，例如谁负责切菜，谁负责烹饪，谁负责摆盘。

学生需要根据游戏中的任务订单，合理安排烹饪步骤和时间，确保在规定时间内完成菜品制作。

教师在旁观察，记录学生在团队协作中的表现，如沟通能力、任务分配合理性等。

3、最后3周：综合实践与评估

学生在CuisineWorld中挑战高级烹饪任务，如制作多道菜的套餐。

教师组织学生进行小组间的烹饪比赛，鼓励学生在比赛中发挥团队协作精神，提高烹饪效率和菜品质量。

通过CuisineWorld的自动评估系统，计算每个小组的协作得分（CoS），并结合教师的观察记录，对学生的团队协作能力和烹饪技能进行综合评估。

CuisineWorld作为一个教育工具不仅提供了一个虚拟的实践平台，还能够通过自动评估系统为教师提供教学反馈，帮助教师更好地了解学生的学习情况，从而优化教学方法。

更多免费的数据集，请打开：遇见数据集

遇见数据集-让每个数据集都被发现，让每一次遇见都有价值。遇见数据集，领先的千万级数据集搜索引擎，实时追踪全球数据集，助力把握数据要素市场。https://www.selectdataset.com/