使用开源的 LLM 充当 LangChain 智能体

开源 LLM 现已达到一定的性能水平，可堪作为智能体工作流的推理引擎。在我们的测试基准上，Mixtral 甚至已超越 GPT-3.5，而且我们还可以通过微调轻松地进一步提高其性能。

引言

经由因果语言建模任务训练出的大语言模型（LLM）可以处理很多任务，但在逻辑、计算及搜索等类型的任务上表现不尽人意。最糟糕的是，它们在数学等领域表现不佳而不自知，仍不自量力地想仅凭一己之力完成所有计算。

为了克服这一弱点，方法之一就是将 LLM 集成到一个含有若干可调用工具的系统中，我们称这样的系统为 LLM 智能体（agent）。

本文，我们首先解释了 ReAct 智能体的内在工作原理，然后展示了如何使用最近集成到 LangChain 中的 ChatHuggingFace 接口来构建自己的智能体。最后，我们把几个开源 LLM 与 GPT-3.5 和 GPT-4 一起在同一基准测试上进行了比较。

什么是智能体？

LLM 智能体的定义相当宽泛：LLM 智能体是所有使用 LLM 作为引擎并基于观察对环境采取相应行动的系统。其使用 感知⇒反思⇒行动 的多轮迭代来完成任务，也经常通过规划或知识管理系统来增强性能。如对该领域的全景感兴趣，可参考 Xi et al., 2023 这篇论文。

本文重点关注 ReAct 智能体。ReAct 用“推理”和“行动”这两个词串联起智能体的工作流。我们通过提示告诉模型可以使用哪些工具，并要求它“一步一步”（即思维链）思考并行动，直至获得最终答案。

ReAct 智能体

ReAct 智能体内在机制示例

上图看上去很高端，但实现起来其实非常简单。

可以参考一下这个 notebook，这里，我们用 transformers 库实现了一个简单的工具调用示例。

我们用下述提示模板循环调用 LLM：

12345	Here ``is a question: ``"{question}"``You have access to these tools: {tools_descriptions}.``You should first reflect with ‘Thought: {your_thoughts}’, then you either:``- call a tool with the proper JSON formatting,``- `or` your ``print `your final answer starting with the prefix ‘Final Answer:’`

等 LLM 输出回答后，就用如下方式解析其回答：

如果回答中包含字符串 ‘Final Answer:’，则结束循环并打印答案。
否则，LLM 会输出一个工具调用。你可以解析此输出以获取工具名及参数，并使用所述参数调用所述工具。然后，将此次工具调用的输出附加到提示中，并把扩展后的提示输入给 LLM，直到它有足够的信息生成最终答案。

举个例子，当回答问题 How many seconds are in 1:23:45? 时，LLM 的输出可能如下所示：

123456789	`Thought: I need to convert the time string into seconds.` Action:``{``"action"``: ``"convert_time"``,``"action_input"``: {``"time"``: ``"1:23:45"``}``}

由于此回答中不含字符串 ‘Final Answer:’，所以其输出的应该是一个工具调用。此时，我们解析此输出并获取工具调用参数：使用参数 {"time": "1:23:45"} 调用工具 convert_time。

可以看到，工具返回了 {'seconds': '5025'}。

此时，我们将整个过程及结果添加到提示中，新提示就变成了如下这样（比之前稍微复杂一些了）：

123456789101112131415161718 Here ``is a question: ``"How many seconds are in 1:23:45?"``You have access to these tools:``- convert_time: converts a time given ``in hours:minutes:seconds into seconds. You should first reflect with ‘Thought: {your_thoughts}’, then you either:``- call a tool with the proper JSON formatting,``- or your ``print your final answer starting with the prefix ‘Final Answer:’ Thought: I need to convert the time string into seconds. Action:``{``"action"``: ``"convert_time"``,``"action_input"``: {``"time"``: ``"1:23:45"``}``}``Observation: {``'seconds'``: ``'5025'``}

➡️ 我们再次调用 LLM，并将这个新提示输入给它。鉴于它在 Observation 字段中得到了工具返回的结果，这轮 LLM 很有可能输出如下：

12	Thought: I now have the information needed to answer the question.``Final Answer: There are ``5025 seconds ``in 1``:``23``:``45.

至此，任务解决！

智能体系统面临的挑战

智能体系统中的 LLM 引擎需要克服以下几个难点：

从候选工具集中选出能实现预期目标的工具：例如当被问到“大于 30,000 的最小素数是多少？”时，智能体可以调用 Search 工具，并问它`“K2 的高度是多少”，但这么做无济于事。
以规定的参数格式调用工具：例如，当尝试计算 10 分钟内行驶了 3 公里的汽车的速度时，必须调用 Calculator 以让其执行“距离”除以“时间”的操作，假设 Calculator 工具能接受 JSON 格式的调用： {"tool": "Calculator", "args": "3km/10min"} ，看上去很简单，但其实会有很多小陷阱，一步不慎就前功尽弃，例如：
- 工具名称拼写错误：“calculator” 或 “Compute” 是无效的
- 仅给出参数名而未给出参数值：“args”: “distance/time”
- 参数格式未标准化：“args”："3km in 10minutes”
有效吸收并使用历史信息，无论是原始上下文信息还是前面若干轮工具调用所返回的观察。

那么，在真实场景中如何设置并使用智能体呢？

使用 LangChain 运行智能体

我们最近封装了一个 ChatHuggingFace 接口，你可以利用它在 🦜🔗LangChain 中使用开源模型创建智能体。

要创建 ChatModel 并为其提供工具，代码非常简单，你可在 Langchain 文档中查阅所有内容。

123456789	`from` langchain_community.llms ``import HuggingFaceHub``from langchain_community.chat_models.huggingface ``import `ChatHuggingFace` llm ``= HuggingFaceHub(``repo_id``=``"HuggingFaceH4/zephyr-7b-beta"``,``task``=``"text-generation"``,``) chat_model ``= ChatHuggingFace(llm``=``llm)

你可以通过给 chat_model 提供 ReAct 风格的提示和工具，将其变成智能体：

| 123456789101112131415161718192021222324252627282930313233343536373839 | from langchain ``import hub``from langchain.agents ``import AgentExecutor, load_tools``from langchain.agents.format_scratchpad ``import format_log_to_str``from langchain.agents.output_parsers ``import (``ReActJsonSingleInputOutputParser,``)``from langchain.tools.render ``import render_text_description``from langchain_community.utilities ``import SerpAPIWrapper # setup tools``tools ``= load_tools([``"serpapi"``, ``"llm-math"``], llm``=``llm) # setup ReAct style prompt``prompt ``= hub.pull(``"hwchase17/react-json"``)``prompt ``= prompt.partial(``tools``=``render_text_description(tools),``tool_names``=``", "``.join([t.name ``for t ``in tools]),``) # define the agent``chat_model_with_stop ``= chat_model.bind(stop``=``[``"\nObservation"``])``agent ``= (``{``"input"``: ``lambda x: x[``"input"``],``"agent_scratchpad"``: ``lambda x: format_log_to_str(x[``"intermediate_steps"``]),``}``| prompt``| chat_model_with_stop``| ReActJsonSingleInputOutputParser()``) # instantiate AgentExecutor``agent_executor ``= AgentExecutor(agent``=``agent, tools``=``tools, verbose``=``True``) agent_executor.invoke(``{``"input"``: ``"Who is the current holder of the speed skating world record on 500 meters? What is her current age raised to the 0.43 power?"``}``) |
| --------------------------------------------------------------------- | -------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- |

智能体第一轮输出如下：

1234567	Thought: To answer this question, I need to find age of the current speedskating world record holder. I will use the search tool to find this information.``Action:``{``"action"``: ``"search"``,``"action_input"``: ``"speed skating world record holder 500m age"``}``Observation: ...

智能体对决：开源 LLM 充当通用推理智能体的表现如何？

你可在此处找到我们使用的基准测试代码。

评估

我们想要度量开源 LLM 作为通用推理智能体时的表现。因此，我们选用的问题都是需要依赖逻辑推演以及一些基本工具的使用才能回答出来的。这里，我们将所需工具限制为计算器和互联网搜索。

最终数据集结合了以下 3 个数据集的样本：

为了测试互联网搜索能力，我们从HotpotQA中选择了一些问题，该数据集原本是一个检索数据集，但在可以访问互联网时，其可用于通用问答场景。有些问题原先需要结合多个不同来源的信息，对这类问题，我们可以执行多次互联网搜索来综合出最终结果。
为了用上计算器，我们添加了来自 GSM8K 的一些问题，该数据集用于测试小学数学四则运算（加、减、乘、除）的能力。
我们还从 GAIA 中挑选了一些问题，该数据集是面向通用人工智能助手的一个非常困难的基准测试集。原始数据集中的问题会需要用到很多不同的工具，如代码解释器或 pdf 阅读器，我们精心挑选了一些只需使用搜索和计算器的问题。

评估时，我们选用 Prometheus 格式作为提示格式，并请 GPT-4 对结果以 5 分制李克特量表（Likert scale）形式进行评分。具体使用的提示模板可参阅此处。

模型

我们对下列先进开源模型进行了评估：

Llama2-70b-chat
Mixtral-8x7B-Instruct-v0.1
OpenHermes-2.5-Mistral-7B
Zephyr-7b-beta
SOLAR-10.7B-Instruct-v1.0

上述模型的评估是基于 LangChain 的 ReAct 实现的。因此，其函数调用模板为：

1234	{``"action"``: $TOOL_NAME,``"action_input"``: $``INPUT``}

为了进行比较，我们还使用 LangChain 的 OpenAI 智能体在相同的数据集上对 GPT-3.5 和 GPT-4 进行了评估。此时，我们使用 OpenAI 自己的函数调用模板，模型已经针对该模板进行了调优，因此我们认为此时 OpenAI 模型性能处于最佳水平。

结果

由于并没有专门针对给定调用函数格式进行微调，从这个角度讲，与 OpenAI 智能体相比，开源模型智能体稍有劣势。

尽管如此，还是有一些模型表现让人眼前一亮！ 💪

下面给出了 Mixtral-8x7B 回答问题 “Which city has a larger population, Guiyang or Tacheng?” 的一个例子。

123456789101112131415161718192021 Thought: To answer this question, I need to find the current populations of both Guiyang ``and Tacheng. I will use the search tool to find this information.``Action:``{``"action"``: ``"search"``,``"action_input"``: ``"current population of Guiyang"``}``4.697 million (``2016``) Thought: I have obtained the population of Guiyang, which ``is 4.697 million (as of ``2016``). Now, I will use the search tool again to find the population of Tacheng.``Action:``{``"action"``: ``"search"``,``"action_input"``: ``"current population of Tacheng"``}``Population: Xinjiang: Tacheng data was reported at ``1``,``110.000 Persons ``in 2021. This records a decrease ``from the previous number of ``1``,``138.638 Persons ``for 2020.``Population: Xinjiang: Tacheng data ``is updated yearly, averaging ``1``,``023.000 Persons ``from Dec ``2005 to ``2021``, with ``17 observations. I have obtained the population of Tacheng, which ``is approximately ``1.11 million (as of ``2021``). Comparing the two populations, Guiyang has a larger population than Tacheng. Thought: I now know the final answer``Final Answer: Guiyang has a larger population, which ``is approximately ``4.697 million (as of ``2016``), compared to Tacheng's population of approximately ``1.11 million (as of ``2021``).

以下给出了我们测得的各模型在各数据集上的表现（为了便于阅读，我们把 1-5 分制转换成了 0 - 100%）：

智能体性能基准

如你所见，部分开源模型在智能体工作流中表现欠佳：虽然我们能预料到较小的 Zephyr-7b 可能不尽如人意，但 Llama2-70b 的表现却让我们大跌眼镜。

👉 但 Mixtral-8x7B 表现得非常好，甚至超越了 GPT-3.5！ 🏆

而且这仅仅是开箱性能：与 GPT-3.5 不同，Mixtral 并没有针对智能体工作流场景微调过（据我们所知），这在一定程度上说明其性能还有进步空间。例如，在 GAIA 上，10% 的失败案例是因为 Mixtral 尝试使用错误的参数格式调用工具。通过针对函数调用和任务规划技能进行适当的微调，Mixtral 的分数有可能会进一步提高。

➡️我们强烈建议开源社区针对智能体场景微调 Mixtral，以超越 GPT-4！ 🚀

最后的话：

虽然本文仅使用了 GAIA 基准的一小部分问题和工具，但该基准似乎有潜力对智能体工作流整体性能进行可靠度量，因为其测例通常需要多步推理以及严格的逻辑。
智能体工作流可以提高 LLM 的性能。例如，在 GSM8K 数据集上，GPT-4 的技术报告表明 5-样本 CoT 提示的成功率为 92%；但一旦使用计算器工具，零样本的成功率就能提升到 95%。而对 Mixtral-8x7B，LLM 排行榜测得其 5-样本成功率仅为 57.6%，但我们在智能体工作流中测得的零样本成功率为 73%。 （注意，我们只测试了 GSM8K 数据集中的 20 个问题。）

如何系统的去学习AI大模型LLM ？

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的 AI大模型资料 包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

所有资料 ⚡️ ，朋友们如果有需要全套《LLM大模型入门+进阶学习资源包》，扫码获取~

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。那以下这些PDF籍就是非常不错的学习资源。

在这里插入图片描述

四、AI大模型商业化落地方案

阶段1：AI大模型时代的基础理解

目标：了解AI大模型的基本概念、发展历程和核心原理。
内容：
- L1.1 人工智能简述与大模型起源
- L1.2 大模型与通用人工智能
- L1.3 GPT模型的发展历程
- L1.4 模型工程
  - L1.4.1 知识大模型
  - L1.4.2 生产大模型
  - L1.4.3 模型工程方法论
  - L1.4.4 模型工程实践
- L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
内容：
- L2.1 API接口
  - L2.1.1 OpenAI API接口
  - L2.1.2 Python接口接入
  - L2.1.3 BOT工具类框架
  - L2.1.4 代码示例
- L2.2 Prompt框架
  - L2.2.1 什么是Prompt
  - L2.2.2 Prompt框架应用现状
  - L2.2.3 基于GPTAS的Prompt框架
  - L2.2.4 Prompt框架与Thought
  - L2.2.5 Prompt框架与提示词
- L2.3 流水线工程
  - L2.3.1 流水线工程的概念
  - L2.3.2 流水线工程的优点
  - L2.3.3 流水线工程的应用
- L2.4 总结与展望

阶段3：AI大模型应用架构实践

目标：深入理解AI大模型的应用架构，并能够进行私有化部署。
内容：
- L3.1 Agent模型框架
  - L3.1.1 Agent模型框架的设计理念
  - L3.1.2 Agent模型框架的核心组件
  - L3.1.3 Agent模型框架的实现细节
- L3.2 MetaGPT
  - L3.2.1 MetaGPT的基本概念
  - L3.2.2 MetaGPT的工作原理
  - L3.2.3 MetaGPT的应用场景
- L3.3 ChatGLM
  - L3.3.1 ChatGLM的特点
  - L3.3.2 ChatGLM的开发环境
  - L3.3.3 ChatGLM的使用示例
- L3.4 LLAMA
  - L3.4.1 LLAMA的特点
  - L3.4.2 LLAMA的开发环境
  - L3.4.3 LLAMA的使用示例
- L3.5 其他大模型介绍