一篇大模型 Agent 工具使用全面研究综述

news2024/11/26 19:37:03

使用大型语言模型(LLMs)进行工具学习已成为增强LLMs能力以解决高度复杂问题的一个有希望的范式。尽管这一领域受到越来越多的关注和快速发展,但现有的文献仍然分散,缺乏系统性的组织,为新来者设置了进入障碍。因此对LLMs工具学习方面的现有工作进行全面调查,从两个主要方面展开:

  • (1)为什么工具学习是有益的;

  • (2)如何实现工具学习,以全面理解LLMs的工具学习。

根据工具学习工作流程中的四个关键阶段对文献进行了系统性审查:任务规划、工具选择、工具调用和响应生成。

Paper:Tool Learning with Large Language Models: A Survey
ArXiv:https://arxiv.org/pdf/2405.17935
Code:https://github.com/quchangle1/LLM-Tool-Survey

图1:工具学习发展轨迹的示意图。展示了按出版年份和会议统计的论文,每个会议由一种独特的颜色表示。

对于每个时间段,选择了一些对领域有重大贡献的代表性里程碑研究

图2:总体研究结构框架

技术交流&资料

技术要学会分享、交流,不建议闭门造车。一个人可以走的很快、一堆人可以走的更远。

成立了大模型算法面试和技术交流群,相关资料、技术交流&答疑,均可加我们的交流群获取,群友已超过2000人,添加时最好的备注方式为:来源+兴趣方向,方便找到志同道合的朋友。

方式①、微信搜索公众号:机器学习社区,后台回复:加群
方式②、添加微信号:mlc2040,备注:来自CSDN + 技术交流

用通俗易懂的方式讲解系列

  • 重磅来袭!《大模型面试宝典》(2024版) 发布!

  • 重磅来袭!《大模型实战宝典》(2024版) 发布!

  • 用通俗易懂的方式讲解:一文讲透最热的大模型开发框架 LangChain

  • 用通俗易懂的方式讲解:这应该是最全的大模型训练与微调关键技术梳理

  • 用通俗易懂的方式讲解:大模型训练过程概述

  • 用通俗易懂的方式讲解:专补大模型短板的RAG

  • 用通俗易懂的方式讲解:大模型微调方法总结

  • 用通俗易懂的方式讲解:掌握大模型这些优化技术,优雅地进行大模型的训练和推理!

为什么工具学习是有益的?

一方面,将工具整合到LLMs中可以增强多个领域内的能力,即知识获取、专业技能提升、自动化与效率以及交互增强。另一方面,采用工具学习范式可以增强响应的稳健性和生成过程的透明度,从而提高可解释性和用户信任度,以及改善系统的稳健性和适应性

知识获取(Knowledge Acquisition):

  • LLMs 的能力受限于预训练期间学习的知识范围,这些知识是固定的,不能动态更新。

  • 通过集成外部工具,如搜索引擎、数据库和知识图谱、天气或地图工具,LLMs 能够动态获取和整合外部知识,从而提供更准确、与上下文相关的输出。

专业知识增强(Expertise Enhancement):

  • LLMs 在特定领域缺乏专业知识,例如复杂数学计算、编程和科学问题解决。

  • 通过使用在线计算器、数学工具、Python解释器等工具,LLMs 能够执行复杂计算、解决方程式、分析统计数据,从而增强其在专业领域的能力。

自动化和效率(Automation and Efficiency):

  • LLMs 本质上是语言处理器,缺乏独立执行外部操作的能力,如预订会议室或机票。

  • 通过与外部工具集成,LLMs 可以自动化执行任务,如日程安排、设置提醒、过滤电子邮件等,提高实用性和用户交互的效率。

交互增强(Interaction Enhancement):

  • 用户查询具有多样性和多模态性,LLMs 在理解不同类型输入时面临挑战。

  • 利用多模态工具和机器翻译工具,LLMs 可以更好地理解和响应更广泛的用户输入,优化对话管理和意图识别。

增强的可解释性和用户信任(Enhanced Interpretability and User Trust):

  • 当前LLMs的“黑箱”特性导致其决策过程对用户不透明,缺乏可解释性。

  • 通过工具学习,LLMs可以展示决策过程的每一步,增加操作透明度,使用户能够快速识别和理解错误来源,增强对LLMs决策的信任。

改进的鲁棒性和适应性(Improved Robustness and Adaptability):

  • LLMs 对用户输入非常敏感,微小的变化可能导致响应的大幅变化,显示出缺乏鲁棒性。

  • 集成专用工具可以减少对训练数据中统计模式的依赖,提高对输入扰动的抵抗力和对新环境的适应性。

如何实现工具学习?


图3:使用大型语言模型进行工具学习的整体工作流程。左侧部分展示了工具学习的四个阶段:任务规划、工具选择、工具调用和响应生成。

右侧部分展示了两种工具学习范式:一步式任务解决的工具学习和迭代式任务解决的工具学习。

任务规划(Task Planning )

任务规划的重要性:
  • 任务规划是工具学习过程中的首要阶段,它涉及对用户查询的全面分析,以理解用户意图。

  • 用户的问题往往包含复杂的意图,需要被分解为多个可执行的子问题。

任务规划的步骤:
  • 任务分解:将用户的问题分解为多个子问题,这有助于逐步解决复杂问题。

  • 依赖关系和执行顺序:确定子问题之间的依赖关系以及它们应该被执行的顺序。

任务规划的方法:
  • 无需调整的方法(Tuning-free Methods):利用LLMs的内在能力,通过少量示例或零示例提示来实现任务规划。例如,使用CoT(Chain of Thought)或ReACT等框架来引导LLMs逐步思考和规划。

  • 基于调整的方法(Tuning-based Methods):通过在特定任务上微调LLMs来提高任务规划能力。例如,Toolformer等方法通过微调来增强LLMs对工具使用的意识和能力。

工具选择(Tool Selection)

工具选择的重要性:
  • 工具选择是工具学习过程中的关键步骤,它紧接着任务规划阶段。

  • 在这个阶段,需要从可用的工具集中选择最合适的工具来解决特定的子问题。

工具选择的分类:
  • **基于检索器的工具选择(Retriever-based Tool Selection):**当工具库庞大时,使用检索器(如TF-IDF、BM25等)来从大量工具中检索出与子问题最相关的前K个工具。这种方法侧重于通过关键词匹配和语义相似性来快速缩小工具选择范围。

  • **基于LLM的工具选择(LLM-based Tool Selection):**当工具数量有限或者在检索阶段已经缩小了工具范围时,可以直接将工具描述和参数列表与用户查询一起提供给LLM。LLM需要根据用户查询和工具描述来选择最合适的工具。

工具选择的方法:

无需调整的方法(Tuning-free Methods):

利用LLMs的上下文学习能力,通过策略性提示来增强工具选择能力。例如,通过链式思维(Chain of Thought)或ReACT框架来引导LLMs进行推理和行动。

基于调整的方法(Tuning-based Methods):

通过在工具学习数据集上微调LLMs的参数来提高工具选择的能力。例如,Toolbench和TRICE等方法通过微调和行为克隆来增强LLMs的工具使用能力。

工具调用(Tool Calling)

工具调用的重要性:

工具调用是工具学习流程中的第三个阶段,它紧跟在工具选择之后。

在这个阶段,大型语言模型(LLMs)需要根据所选工具的要求提取用户查询中的必要参数,并调用工具服务器获取数据。

工具调用的步骤:
  • 参数提取:LLMs必须能够从用户查询中提取出符合工具描述中指定格式的参数。

  • 调用工具:使用提取的参数向工具服务器发送请求,并接收响应。

工具调用的方法:
  • **无需调整的方法(Tuning-free Methods):**利用少量示例或规则方法来指导LLMs识别和提取参数。例如,Reverse Chain方法通过逆向思维选择工具,然后填充所需参数。

  • 基于调整的方法(Tuning-based Methods):

  • 通过微调LLMs的参数来增强工具调用能力,使用特定的优化技术如LoRA。例如,GPT4Tools通过微调开源LLMs来集成工具使用能力。

响应生成(Response Generation)

响应生成的重要性:
  • 响应生成是工具学习流程中的最后一个阶段,它涉及将工具的输出与LLMs的内部知识结合起来,生成对用户的全面响应。

  • 此阶段的目标是为用户提供准确、相关且有用的回答。

响应生成的方法:
  • 直接插入方法(Direct Insertion Methods): 在早期工作中,直接将工具的输出插入到生成的响应中。这种方法简单直接,但可能因为工具输出的不可预测性而影响用户体验。

  • **信息整合方法(Information Integration Methods):**大多数方法选择将工具的输出作为LLMs的输入上下文,使LLMs能够根据工具提供的信息制定更优质的回答。由于LLMs的上下文长度有限,需要采用不同的策略来处理工具的长输出。

  • 信息整合的策略:

    • 简化输出:使用预创建的模式或文档来简化长输出。

    • 截断输出:将输出截断以适应长度限制,但可能会丢失解决用户查询所需的信息。

    • 压缩信息:开发压缩器将长信息压缩成更简洁的格式,保留最有用的信息。

无模式方法:动态生成函数以根据指令提取目标输出。

工具学习范式(Paradigms of Tool Learning)

工具学习范式:
  • 一步任务解决(Tool Learning with One-step Task Solving): 这种范式涉及到在收到用户问题后,LLMs立即分析用户请求,理解用户意图,并规划出所有需要的子任务来解决问题。

  • 在这个过程中,LLMs会直接生成一个基于选定工具返回结果的响应,而不会考虑过程中可能出现的错误或根据工具的反馈调整计划。

  • 迭代任务解决(Tool Learning with Iterative Task Solving):

  • 这种范式允许LLMs与工具进行迭代交互,不预先承诺一个完整的任务计划。

  • 相反,它允许基于工具的反馈逐步调整子任务,使LLMs能够一步步地解决问题,并根据工具返回的结果不断完善计划。

  • 这种方法增强了LLMs的问题解决能力,因为它允许模型在响应工具反馈时进行适应和学习。

范式的特点:
  • 规划无反馈(Planning without Feedback):在一步任务解决范式中,LLMs在没有反馈的情况下进行规划,这可能导致在面对错误或意外情况时缺乏适应性。

  • 规划有反馈(Planning with Feedback):在迭代任务解决范式中,LLMs的规划过程包括接收和利用来自工具的反馈,这允许更灵活和动态的问题解决。

工具学习评估基准与指标

评估指标(Evaluation)

任务规划评估(Task Planning Evaluation):
  • 工具使用意识(Tool Usage Awareness):评估LLMs是否能够准确识别何时需要使用外部工具。

  • 任务规划效果(Effectiveness of Task Planning):使用通过率(pass rate)或人类评估来衡量任务规划解决查询的有效性。

  • 计划精度(Precision of the Plan):通过与最优解决方案比较,定量分析LLMs生成的计划的准确性。

工具选择评估(Tool Selection Evaluation):
  • 召回率(Recall):衡量模型选择的前K个工具中有多少是正确的。

  • 归一化折扣累积增益(NDCG, Normalized Discounted Cumulative Gain):不仅考虑正面工具的比例,还考虑它们在列表中的位置。

  • 完整性(COMP, Completeness):评估前K个选择的工具是否形成了一个相对于真实集合的完整集合。

工具调用评估(Tool Calling Evaluation):
  • 评估LLMs在执行工具调用功能时的有效性,检查输入参数是否符合工具文档中的规定。
响应生成评估(Response Generation Evaluation):
  • 评估工具学习最终目标,即提高LLMs解决下游任务的能力。

  • 使用诸如ROUGE-L、精确匹配(Exact Match)、F1分数等指标来评估最终响应的质量。

图4:不同基准测试及其具体配置的详细列表。符号①、②、③和④分别代表工具学习的四个阶段——任务规划、工具选择、工具调用和响应生成。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1875653.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

chatTTS 最强文字转语音模型本地部署!

今天本地部署了下传说中的语音合成大模型chatTTS,合成效果非常不错,比市面上其他工具合成的感情更丰富,语气更自然一些,一起来听听。 英文: React apps are made out of components. A component is a piece of the UI…

【Vue】Vue.js中常见的几种语法

在 Vue.js 中,主要的语法可以分为以下几种: 插值语法 (Interpolation) 使用双大括号 {{ }} 进行文本插值。 示例: {{ message }} 指令语法 (Directives) 指令是特殊的标记,用于告诉Vue框架如何操作DOM。Vue提供了多种内置指…

elasticsearch导出和导入数据

这里我使用的是离线操作的方式, 前提:安装了node, 安装elasticdump命令: npm install elasticdump -g 安装成功后进入elasticdump所在的目录: cd /usr/local/nodejs/lib/node_modules/elasticdump/bin 导出目标索引的映射结构…

黄子韬直播风暴揭秘经济人风波

黄子韬直播风暴:揭秘经纪人风波,真诚道歉小马丁6月27日晚,娱乐圈再次掀起波澜,黄子韬在直播中罕见地谈及了去年那场业界的经纪人风波,并意外地再次回应了与DJ小马丁的演出争议,这无疑让广大粉丝和网友们热血…

QT QThread 线程类的使用及示例

QThread 是 Qt 框架提供的一个用于处理多线程的类,它允许开发者编写具有并发功能的应用程序,提高程序的响应速度、执行效率和用户体验。 在操作系统中,线程是进程内的执行单元,拥有独立的执行路径。每个线程有自己独立的栈空间&a…

压缩pdf在线工具,压缩pdf大小的软件

如何有效地压缩PDF文件大小却是个问题,为了获得最佳的压缩效果,我们必须依赖专业的压缩工具,采用错误的方法可能会对文件内容产生负面影响,甚至导致文件无法打开,今天,我将分享一些独特的压缩技巧&#xff…

Spark基于DPU的Native引擎算子卸载方案

1.背景介绍 Apache Spark(以下简称Spark)是一个开源的分布式计算框架,由UC Berkeley AMP Lab开发,可用于批处理、交互式查询(Spark SQL)、实时流处理(Spark Streaming)、机器学习&a…

Redis基础教程(一):redis配置

💝💝💝首先,欢迎各位来到我的博客,很高兴能够在这里和您见面!希望您在这里不仅可以有所收获,同时也能感受到一份轻松欢乐的氛围,祝你生活愉快! 💝&#x1f49…

已解决javax.security.auth.login.LoginException:登录失败的正确解决方法,亲测有效!!!

已解决javax.security.auth.login.LoginException:登录失败的正确解决方法,亲测有效!!! 目录 问题分析 出现问题的场景 报错原因 解决思路 解决方法 1. 检查用户名和密码 用户名和密码验证 2. 验证配置文件 …

[数据集][目标检测]人员状态跑睡抽烟打电话跌倒检测数据集4943张5类别

数据集格式:Pascal VOC格式YOLO格式(不包含分割路径的txt文件,仅仅包含jpg图片以及对应的VOC格式xml文件和yolo格式txt文件) 图片数量(jpg文件个数):4943 标注数量(xml文件个数):4943 标注数量(txt文件个数):4943 标注…

GMSB文章七:微生物整合分析

欢迎大家关注全网生信学习者系列: WX公zhong号:生信学习者Xiao hong书:生信学习者知hu:生信学习者CDSN:生信学习者2 介绍 本文通过多元方差分析和典型相关分析研究微生物(species)、细胞因子…

昇思25天学习打卡营第5天|MindSpore-ResNet50图像分类

MindSpore-ResNet50图像分类 CIFAR-10数据集 CIFAR-10数据集是一个广泛使用的图像分类数据集,它包含了60,000张32x32的RGB彩色图像,分为10个类别,每个类别有6,000张图像。这些类别包括飞机(airplane)、汽车(automobile)、鸟类(bird)、猫(cat)、鹿(deer)、狗(dog…

如何应对UI测试自动化的不稳定循环!

以下为作者观点: 当我加入UI自动化团队时,我很高兴能为新功能的自动化测试用例开发做出贡献。然而,我很快意识到团队花费了大量时间来修复之前迭代中不稳定的测试。这种情况让我感到困惑,因为当自动化测试脚本已知不稳定时&#…

基于模糊神经网络的时间序列预测(以hopkinsirandeath数据集为例,MATLAB)

模糊神经网络从提出发展到今天,主要有三种形式:算术神经网络、逻辑模糊神经网络和混合模糊神经网络。算术神经网络是最基本的,它主要是对输入量进行模糊化,且网络结构中的权重也是模糊权重;逻辑模糊神经网络的主要特点是模糊权值可…

PLC系统中有源信号和无源信号的解析与应用

(一)无源信号和有源信号(模拟量) (1)无源信号和有源信号定义 对于电流信号而言,若设备有独立的工作电源线,那它提供的信号输出(比如4-20mA)为有源信号;若设备本身无独立…

c++习题02-浮点数求余

目录 一,问题 二,思路 三,代码 一,问题 二,思路 虽然在浮点类型中没有取余的运算(无法直接使用%符号取余),但是我们都知道在数学中,除法是减法的连续运算&#xff…

【CSS in Depth 2 精译】2.2 em 和 rem + 2.2.1 使用 em 定义字号

当前内容所在位置 第一章 层叠、优先级与继承第二章 相对单位 2.1 相对单位的威力 2.1.1 响应式设计的兴起 2.2 em 与 rem ✔️ 2.2.1 使用 em 定义字号 ✔️2.2.2 使用 rem 设置字号 2.3 告别像素思维2.4 视口的相对单位2.5 无单位的数值与行高2.6 自定义属性2.7 本章小结 2.…

自定义一个背景图片的高度,随着容器高度的变化而变化,小于图片的高度时裁剪,大于时拉伸100%展示

1、通过js创建<image?>标签来获取背景图片的宽高比&#xff1b; 2、当元素的高度大于原有比例计算出来的高度时&#xff0c;背景图片的高度拉伸自适应100%&#xff0c;否则高度为auto&#xff0c;会自动被裁减 3、背景图片容器高度变化时&#xff0c;自动计算背景图片的…

Excel 宏录制与VBA编程 ——VBA编程技巧篇一 (Union方法、Resize方法、Cells方法、UseSelect方法、With用法)

Uniom方法 使用Union方法可以将多个非连续区域连接起来成为一个区域&#xff0c;从而可以实现对多个非连续区域一起进行操作。 Resize方法 使用Range对象的Resize属性调整指定区域的大小&#xff0c;并返回调整大小后的单元格区域。 Cells方法 Cells属性返回一个Range对象。 Us…

Python面试宝典第1题:两数之和

题目 给定一个整数数组 nums 和一个目标值 target&#xff0c;找出数组中和为目标值的两个数的索引。可以假设每个输入只对应唯一的答案&#xff0c;且同样的元素不能被重复利用。比如&#xff1a;给定 nums [2, 7, 11, 15] 和 target 9&#xff0c;返回 [0, 1]&#xff0c;因…