AI Agents是当下大模型领域备受关注的话题，用户可以引入多个扮演不同角色的LLM Agents参与到实际的任务中，Agents之间会进行竞争和协作等多种形式的动态交互，进而产生惊人的群体智能效果。本文介绍了来自KAUST研究团队的大模型心智交互CAMEL框架（“骆驼”），CAMEL框架是最早基于ChatGPT的autonomous agents知名项目，目前已被顶级人工智能会议NeurIPS 2023录用。

 

论文题目： CAMEL: Communicative Agents for “Mind” Exploration of Large Scale Language Model Society

论文链接： https://ghli.org/camel.pdf
代码链接： GitHub - camel-ai/camel: 🐫 CAMEL: Communicative Agents for “Mind” Exploration of Large Language Model Society (NeruIPS'2023) https://www.camel-ai.org
项目主页： CAMEL-AI

“什么神奇的技巧让我们变得聪明？ 窍门就是没有窍门。智慧的力量源于我们巨大的多样性，而不是任何单一的、完美的原则。”
——人工智能先驱 马文·明斯基（Marvin Minsky）[1]

目前来看，在机器通向高级智能的道路上，以ChatGPT为代表的大模型（LLMs）应该是必须经过的里程碑之一，它们以聊天对话的人机交互方式在多个领域的复杂任务解决方面取得了非常耀眼的成就。随着LLMs的发展，AI Agents（AI智能体）之间的交互框架也逐渐兴起，尤其是在一些复杂的专业领域，以角色扮演等模式预置的智能体完全有能力代替人类用户在任务中扮演的角色，同时，智能体之间通过以协作和竞争形式的动态交互往往能够带来意想不到的效果，这就是被OpenAI人工智能专家Andrej Karpathy等人看作是“下一代提示工程前沿领域”的AI Agents。

该领域发展的时间线如下[2]：

• “CAMEL”（骆驼：大模型心智交互框架）- 发布于2023.3.21

• “AutoGPT” - 发布于2023.3.30

• “BabyGPT” - 发布于2023.4.3

• “Westworld” simulation（斯坦福西部世界小镇） — 发布于2023.4.7

作为最早基于ChatGPT的autonomous agents知名项目，CAMEL重点探索了一种称为角色扮演（role-playing）的新型合作代理框架，该框架可以有效缓解智能体对话过程中出现的错误现象，从而有效引导智能体完成各种复杂的任务，人类用户只需要输入一个初步的想法就可以启动整个过程。目前，CAMEL已经被国际人工智能顶级会议NeurIPS 2023录用。

作者对CAMEL框架设计了灵活的模块化功能，包括不同代理的实现、各种专业领域的提示示例和AI数据探索框架等，因此CAMEL可以作为一个基础的Agents后端，支持AI研究者和开发者更加轻松地开发有关于多智能体系统、合作人工智能、博弈论模拟、社会分析、人工智能伦理等方面的应用。具体的，作者通过涉及两种角色扮演的合作场景，生成了两个大型的指令数据集AI Society和AI Code，以及两个单轮问答数据集AI Math和AI Science，用于探索LLM涌现能力的研究。

01. CAMEL框架

下图展示了CAMEL中的role-playing框架，人类用户需要首先制定一个想要实现的想法或目标，例如：开发一个用于股票市场的交易机器人。这项任务涉及的角色是AI助理智能体（使其扮演Python程序员角色）和AI用户智能体（使其扮演股票交易员角色）。

更多技术细节，可以参考我们先前对CAMEL的报道。

02. 实验效果

本文的性能评估主要从三个方面进行，并且采用两个gpt-3.5-turbo作为实验智能体，实验的数据集使用CAMEL框架生成的四个AI数据集，其中AI Society和AI Code侧重于智能体的对话效果，而AI Math和AI Science侧重于智能体的问题解决能力。

2.1 Agent评估

在这一部分，作者从AI Society和AI Code数据集中分别随机选择 100 个任务进行评估，然后使用CAMEL框架和单个gpt-3.5-turbo进行对比实验，结果评估方面分为两部分，一方面由人类受试者对两种方法给出的解决方案给出453份投票数据，来决定哪种方案更加可行。另一方面，作者提示GPT4模型对两种方案直接给出评分，具体的对比数据如下表所示。

从上表中可以看出，CAMEL框架给出的解决方案在人类评估和GPT4评估中均大幅优于gpt-3.5-turbo给出的解决方案，其中人类评估和GPT4评估的总体趋势高度一致。

2.2 使用GPT-4对ChatBot评估

在这一部分，作者在CAMEL生成的四个数据集上对LLaMA-7B模型进行了逐步的微调，通过向LLM中不断注入来自社会、代码、数学和科学等不同领域的知识，来观察模型对知识发现的接受效果。作者首先从AI Society数据集开始，让模型了解人类的互动常识和社会动态，随后AI Code和其他数据集的注入，模型获得了编程逻辑和语法的知识，同时拓宽了模型对科学理论、经验观察和实验方法的理解。

上表展示了模型在20个Society任务、20个代码编写任务、20个数学任务和60个科学任务上的测试效果，可以看到在每次添加数据集时，模型在已训练过的任务域上都会表现得更好。

2.3 HumanEval

为了进一步评估CAMEL框架的代码编写任务解决能力，作者在HumanEval和HumanEval+两个评估基准上进行了实验，实验结果如下表所示。

上表中清楚地证明了CAMEL框架的卓越性能，它不仅远远超过了LLaMA-7B模型，而且还大大超过了Vicuna-7B模型，这表明使用CAMEL生成的数据集在增强LLM处理编码相关任务方面有独特的效果。

3.CAMEL AI开源社区

值得一提的是，CAMEL作者团队正在构建了一个非常完善的CAMEL AI开源社区，社区Github仓库已经得到了3600+的star数，社区中涵盖了CAMEL中各种智能体的实现、数据生成pipeline、数据分析工具和已生成的数据集，以支持AI Agents及其他方面的研究，社区目前已吸引了诸多开源爱好者贡献代码。

距离 CAMEL 项目编写第一行代码到现在已有 9 个月，http://CAMEL-AI.org开源研究技术社区已经吸引超过 20 名来自KAUST/剑桥/索邦大学/NUS/CMU/芝加哥大学/斯坦福/杜克大学/北大/上交/哈工大/西电/东北大学/成信大以及工业界等独立代码贡献者。社区正在寻找全职/兼职/实习贡献者、工程师和研究人员加入一起学习和探索如何推动构建智能体社会的边界，杰出贡献者有机会参与框架和其他研究项目论文的撰写投稿。

如果感兴趣加入http://CAMEL-AI.org的社区，可以将简历发送至camel.ai.team@gmail.com或者添加微信号CamelAIOrg进行咨询！

 

参考

[1] Minsky M. Society of mind[M]. Simon and Schuster, 1988.

[2] https://towardsdatascience.com/4-autonomous-ai-agents-you-need-to-know-d612a643fa92

---

关于TechBeat人工智能社区

▼

TechBeat(www.techbeat.net)隶属于将门创投，是一个荟聚全球华人AI精英的成长社区。

我们希望为AI人才打造更专业的服务和体验，加速并陪伴其学习成长。

期待这里可以成为你学习AI前沿知识的高地，分享自己最新工作的沃土，在AI进阶之路上的升级打怪的根据地！

更多详细介绍>>TechBeat，一个荟聚全球华人AI精英的学习成长社区