AgentGYM：结合模仿学习和探索学习策略，让智能体不再需要人类的帮助，在各种环境和任务中自我进化

• • 提出背景
  • AgentGYM 框架
  • AgentGYM 解法拆解
  • • AgentEVOL 自我进化算法
    • • 子解法1：行为克隆
      • 子解法2：探索
      • 子解法3：学习
      • 逻辑链
      • AgentGYM 和 AgentEVOL 关系
    • AGENTGYM 平台内容

 

---

论文：AGENTGYM: Evolving Large Language Model-based
Agents across Diverse Environments

官网：https://agentgym.github.io/

代码：https://github.com/WooooDyy/AgentGym

提出背景

有一种技术能使 AI 不仅模仿人类行为，而且能自我进化，探索未知领域并解决复杂问题。

这是AI研究者长期追求的目标，不再需要人类的帮助，自我进化！

现在，我们可能已经找到了一种方法来实现这一愿景。

AgentGYM 框架可以视为AI领域的“金手指”，它不仅提供了一个强大的工具，还引导了AI代理从基础模仿到复杂互动学习的演进，类似于人类的学习过程，从基础学习到通过实际经验积累知识。

从行为克隆（通过模仿学习基础技能）到自我进化（通过环境反馈和自我探索获得高级技能）的转变过程。

1. 环境多样性和任务广泛：AgentGYM 提供了从网页导航到实体任务的 89 种任务类型，通过这一平台，AI代理能够在多种环境中进行实时反馈和多轮互动的训练。

   这种环境的丰富性使得AI不仅能够学习特定任务，而且能够在未知领域中自我提升和适应。

2. 自我进化的初始调查：AGENTEVOL 方法允许AI代理在多环境中进行自我进化的实验，特别关注代理在面对前所未见的任务和指令时的表现。

   实验结果表明，这种进化不仅显著，甚至在某些情况下超越了现有的最佳模型。

AGENTGYM不仅是一个多功能的互动平台，它的推出标志着通向更智能、更自主AI代理的一大步。

通过这个平台，研究社区可以开发新算法，推动AI技术向更高水平的普适性和自适应性进步。

AgentGYM 框架

这幅图为AGENTGYM框架提供了一个全面的概览。

它展示了如何在一个统一的平台上整合多种不同的环境，并通过多个阶段来训练和评估智能代理。

1. 数据准备（Data Prepare）：

   • 这一阶段，AGENTGYM准备和格式化数据，使其适合代理的学习和训练。
   • 这包括从不同环境收集轨迹和数据。

2. 行为克隆（Behavioral Clone）：

   • 代理首先通过模仿专家提供的轨迹来学习基础技能。
   • 这是基本训练的初始阶段，帮助代理理解如何在各种环境中执行任务。

3. 探索与学习（Exploring & Learning）：

   • 在这一阶段，代理通过与环境互动来探索和进化。
   • 这包括自主探索和基于反馈的学习，允许代理根据经验进行自我调整和改进。

4. 多任务评估（Multi-task Evaluation）：

   • 代理的性能通过多任务环境中的表现来评估。
   • 这一阶段测试代理的泛化能力和适应性。

环境类别（Env Clients 和 Env Servers）：

• 这些是通过HTTP服务部署的各种环境。
• 环境被分为不同的类别，如Web、游戏、工具和代码，每种类别提供不同的任务和挑战。
• 例如，Web环境可能包括网络购物和网络竞技场，游戏环境则可能涉及迷宫解谜或文字游戏。

技术细节：

• 所有的环境都通过HTTP服务连接，确保了与代理的无缝交互。
• 这样的设计使得代理可以在一个统一的平台上训练，而无需为每种环境单独配置或适配。

AGENTGYM 强调了其为智能代理提供多环境、多任务训练和评估的能力。

这种设计旨在推动智能代理的泛化和自适应能力，从而处理多样化的现实世界任务。

AgentGYM 解法拆解

目的：
AGENTGYM框架的目的是为社区提供一个平台，用于评估和开发能够处理多种环境和任务的通用大型语言模型（LLM）驱动的智能代理。

问题：
当前的LLM基础智能代理面临的问题是它们往往在特定任务或环境中表现良好，但缺乏在多环境和多任务中表现出相同效果的能力，尤其是面对之前未见过的任务和环境时。

解法：
AGENTGYM通过提供一个包含多种交互环境和任务的平台，采用了多个子解法来解决这些问题：

1. 子解法1：多环境支持（因为需要在不同环境下测试和训练代理）

   • 特征：各种环境如网页导航、文字游戏、家务任务等提供了广泛的场景，使得智能代理可以在多样化的环境中学习和适应。

   • 之所以用多环境支持，是因为这样可以增强智能代理的适应性和泛化能力。

     例如，一个代理可以在网页导航任务中学习到的导航技能可能有助于它在未知的虚拟环境中更好地定位和移动。

2. 子解法2：统一的交互接口（因为需要简化开发和集成过程）

   • 特征：通过HTTP服务标准化任务规格、环境设置和代理的观察/行动空间，简化了开发者的交互逻辑。

   • 之所以用统一的交互接口，是为了确保不同环境和任务之间的无缝集成与交互。

     例如，开发者可以使用相同的代码基础与不同的环境进行通信，无需针对每一个环境编写特定的接口代码。

3. 子解法3：实时反馈与并发处理（因为需要快速迭代和优化模型）

   • 特征：支持实时反馈和并发任务执行，使训练和评估过程更加高效。

   • 之所以用实时反馈与并发处理，是为了提高智能代理训练的效率和效果。

     例如，在一个复杂的游戏任务中，代理可以同时执行多个任务，快速从其行为的结果中学习和调整。

通过这种方式，AGENTGYM不仅解决了单一环境或任务的局限性，还提高了智能代理的泛化能力和应对未知挑战的能力。

AgentEVOL 自我进化算法

AgentEvol 是一种新方法，用于在多个环境中发展具有通用功能的基于 LLM 的代理。

AgentEvol 首先训练一个具有行为克隆能力的基础智能体，使其具备基本能力和先验知识。

随后，允许代理在各种任务和环境中执行探索和学习，培养这个任务和环境的专业能力。

AgentEVOL 旨在通过模拟和自我演化方法训练 LLM 驱动的智能代理，使其能够有效地适应和执行多样化的任务和环境。

AgentEVOL通过结合行为克隆和通过探索学习的演化两种策略，来提高代理的适应性和泛用性：

子解法1：行为克隆

1. 子解法1：行为克隆（因为需要代理快速获得基础任务执行能力）

   • 特征：通过模拟专家的轨迹来快速训练代理，使其能够在特定环境中执行基础任务。
   • 之所以用行为克隆，是因为它能够快速提供代理基础的行为模式，缩短学习周期。

   例如，在学习如何导航复杂网站时，通过克隆专家的导航行为，代理能迅速掌握基本的网站结构和功能。

2. 子解法2：演化通过探索与学习（因为需要代理能自主适应新环境和挑战）

   • 特征：在行为克隆的基础上，代理通过自我探索和反馈学习来进一步演化其行为模式，面对新的任务和环境。
   • 之所以用演化通过探索与学习，是因为这能使代理在实际操作中遇到新情况时能够自适应调整和优化行为。

   例如，代理在一个未知的购物网站上执行任务时，能通过试错学习识别和利用网站特有的搜索和购物功能。

子解法2：探索

• 特征：智能体在未知环境中尝试多种行为，收集新的经验数据。
• 原因：探索新环境和行为能帮助智能体发现可能带来更高奖励的新策略，增加对环境的了解。
• 例子：智能体在模拟商店环境中尝试不同的销售策略，观察哪种策略能吸引更多顾客。

子解法3：学习

• 特征：智能体利用探索阶段收集到的数据，更新其行为模型以优化性能。
• 原因：通过分析实际行为结果和奖励，智能体能细化和调整其决策过程，更精确地预测和实现目标。
• 例子：基于顾客反馈，智能体调整其推销策略，以提高顾客满意度和销售量。

逻辑链

首先，行为克隆为智能代理提供了快速的基础学习路径。

然后演化通过探索与学习策略使得代理能进一步在实践中学习和适应，提高其对未知环境的响应能力。

1. 探索步骤：生成新数据和经验。
2. 学习步骤：基于新数据优化决策模型。

AgentGYM 和 AgentEVOL 关系

AgentEVOL 和 AgentGYM 虽然独立存在，但在实际应用中往往需要结合使用，以实现智能代理的最佳学习效果和适应性。

AgentGYM 提供场景，AgentEVOL 提供成长和适应的方法论。

AgentEVOL：

• 目的：AgentEVOL 主要专注于通过行为克隆和自我演化的方法训练智能代理，使其能够自主适应并有效地处理多样化的任务和环境。
• 功能：它实现了一个系统的演化过程，其中智能代理先通过模拟专家的轨迹学习基础行为（行为克隆），然后通过不断的探索和反馈学习，进化其策略以应对新的、未见过的任务和挑战。
• 应用：AgentEVOL 适用于那些需要在多变环境中持续学习和适应的场景，例如持续的机器学习任务、复杂的交互环境等。

AgentGYM：

• 目的：AgentGYM 旨在提供一个多任务、多环境的测试和开发平台，使开发者能够在标准化的环境中评估和提高智能代理的通用能力。
• 功能：它提供了一套丰富的环境和任务库，这些任务涵盖了从网页导航到游戏玩法、从家务到编程任务等多个领域，支持实时反馈和并发执行。
• 应用：AgentGYM 适用于在一个统一和标准化的平台上测试和训练智能代理，使其能够在多种任务和环境中表现出良好的泛化能力。

二者关系：

• 互补性：AgentEVOL 可以在 AgentGYM 提供的环境中实施其演化学习算法。AgentGYM 提供的多样化任务和环境为 AgentEVOL 的智能代理提供了必要的测试和学习平台。
• 集成使用：在 AgentGYM 的平台上部署 AgentEVOL 的学习策略，可以帮助研究人员和开发者评估和优化智能代理在真实世界多样化条件下的适应性和性能。
• 研发和测试：开发者可以利用 AgentGYM 的环境来训练和测试通过 AgentEVOL 开发的智能代理，以确保它们在多种环境中都能有效运行。

AGENTGYM 平台内容

AgentGYM 主要内容和功能包括：

1. 环境和任务：
   • 平台包括14种环境和89种任务，涵盖了网页导航、文字游戏、家务任务、数字游戏、具体化任务、工具使用和编程等。
   • 特定任务例如：
     • 网页导航：包括WebArena和WebShop。
     • 文字游戏：如迷宫和Wordle。
     • 家务任务：例如ALFWorld。
     • 具体化任务：如SciWorld和BabyAI。
     • 数字游戏：例如TextCraft。
     • 工具使用任务：包括天气、电影、学术、表格和待办事项列表。
     • 编程任务：如BIRD。

多样化的环境和任务使智能体能够动态全面地交互和训练，避免仅限于孤立环境，导致泛化能力差。

2. 平台架构：

   • AGENTGYM 为每种环境部署独立服务，以用户友好的方式避免冲突。
   • 客户端通过 HTTP 协议与环境进行通信。
   • 核心架构包括控制器，作为代理与环境服务交互的通道，提供一个封装的、统一的环境功能接口供代理调用。
   • 平台还实现了易用的评估器、训练器和数据收集管道，支持社区发展。

3. 指令收集与基准构建：

   • 收集了 20509 条指令和查询，针对不同环境和任务。指令是代理执行任务时需要遵循的指导语句或命令。
   • 对于指令较多的任务，如 WebShop 和 ALFWorld，主要依赖其原始来源。
   • 对于指令较少的任务，如工具使用任务，使用GPT-4等人工智能技术通过自指导和指令进化方法生成新的指令，以丰富指令库。
   • 从每个环境中挑选出1160条多样化且具有挑战性的指令，形成AGENTEVAL基准套件，用来全面评估LLM基础的代理的性能。

4. 轨迹收集与过滤：

   • 服务器向代理提供完整的任务描述、环境设置和具体问题，代理根据这些信息执行任务。
   • 代理以 ReAct 风格与环境交互，完成任务。
   • 收集了使用 SOTA 模型（例如GPT-4-Turbo）和众包注释的轨迹。
   • 严格过滤轨迹以确保数据质量，基于奖励或正确性，得到了名为AGENTTRAJ的6130条轨迹集，用于训练基础通用能力代理。