[LLM-Agents]浅析Agent工具使用框架：MM-ReAct

news2024/11/17 5:27:27

上文LLM-Agents]详解Agent中工具使用Workflow提到MM-ReAct框架，通过结合ChatGPT 与视觉专家模型来解决复杂的视觉理解任务的框架。通过设计文本提示（prompt design），使得语言模型能够接受、关联和处理多模态信息，如图像和视频。展示了 MM-REACT 在不同场景下处理高级视觉理解任务的有效性，如多图像推理、多跳文档理解、视频摘要和事件定位等。今天我们尝试安装使用一下，了解一下在LLM中如何使用工具。

1. 安装

1.1下载工程

git clone https://github.com/microsoft/MM-REACT

1.2 安装依赖

MM-ReAct是使用Poetry解决依赖包，所以除了安装poetry，还需要额外安装pillow、imagesize 和openai。其中openai需要限制版本为0.28，否则会有兼容性问题。

bash
复制代码
curl -sSL https://install.python-poetry.org | python3 -
subl ~/.zshrc
export PATH="/Users/xxxx/.local/bin:$PATH"
source ~/.zshrc
pip install pillow imagesize
pip install openai==0.28

1.3 设置环境变量

因为该Repo使用了大量的Microsoft的云端API，需要注册运行，此处为了了解运行过程，就不注册了。但为了能够基本运行，依然需要设置一些无效的环境变量。

bash
复制代码
BING_SEARCH_URL="https://api.bing.microsoft.com/v7.0/search";
BING_SUBSCRIPTION_KEY=xxxx;
IMUN_CELEB_PARAMS=xxxx;
IMUN_CELEB_URL="https://yourazureendpoint.cognitiveservices.azure.com/vision/v3.2/models/celebrities/analyze";
IMUN_OCR_BC_URL="https://yourazureendpoint.cognitiveservices.azure.com/formrecognizer/documentModels/prebuilt-businessCard:analyze";
IMUN_OCR_INVOICE_URL="https://yourazureendpoint.cognitiveservices.azure.com/formrecognizer/documentModels/prebuilt-invoice:analyze";
IMUN_OCR_LAYOUT_URL="https://yourazureendpoint.cognitiveservices.azure.com/formrecognizer/documentModels/prebuilt-layout:analyze";
IMUN_OCR_PARAMS="api-version=2022-08-31";
IMUN_OCR_READ_URL="https://yourazureendpoint.cognitiveservices.azure.com/formrecognizer/documentModels/prebuilt-read:analyze";
IMUN_OCR_RECEIPT_URL="https://yourazureendpoint.cognitiveservices.azure.com/formrecognizer/documentModels/prebuilt-receipt:analyze";
IMUN_OCR_SUBSCRIPTION_KEY=xxx;
IMUN_PARAMS="visualFeatures=Tags,Objects,Faces";
IMUN_PARAMS2="api-version=2023-02-01-preview&model-version=latest&features=denseCaptions";
IMUN_SUBSCRIPTION_KEY=xxxx;
IMUN_SUBSCRIPTION_KEY2=xxxx;
IMUN_URL="https://yourazureendpoint.cognitiveservices.azure.com/vision/v3.2/analyze";
IMUN_URL2="https://yourazureendpoint.cognitiveservices.azure.com/computervision/imageanalysis:analyze"

2. 运行

为了使用本地安装的大模型，需要修改两个文件。

  • langchain/llms/openai.py
  • sample.py

2.1 修改sample.py

替换代码中的AzureOpenAI为OpenAI，包括import。

python
复制代码
llm = OpenAI(model_name="gpt-3.5-turbo", chat_completion=True,
             openai_api_base="http://localhost:11434/v1",
             openai_api_key="sk", temperature=0, max_tokens=MAX_TOKENS,
             openai_log="debug")

2.2 修改langchain/llms/openai.py

由于自带的langchain中，可能版本比较老，不支持设置openai_api_base ，因此需要增加一点配置代码。

bash
复制代码
加一点配置代码。
diff --git a/langchain/llms/openai.py b/langchain/llms/openai.py
index 4180165..70711c1 100644
--- a/langchain/llms/openai.py
+++ b/langchain/llms/openai.py
@@ -115,6 +115,8 @@ class BaseOpenAI(BaseLLM, BaseModel):
     """Whether to stream the results or not."""
     chat_completion: bool = False
     """Whether to use the chat client"""
+    openai_api_base: str = ""
+    openai_log: str = "debug"
 
     class Config:
         """Configuration for this pydantic object."""
@@ -146,7 +148,9 @@ class BaseOpenAI(BaseLLM, BaseModel):
         openai_api_key = get_from_dict_or_env(
             values, "openai_api_key", "OPENAI_API_KEY"
         )
-        openai_api_version = values.get("openai_api_version") or os.environ.get("OPENAI_API_VERSION") 
+        openai_api_version = values.get("openai_api_version") or os.environ.get("OPENAI_API_VERSION")
+        openai_api_base = values.get("openai_api_base") or os.environ.get("OPENAI_API_BASE")
+        openai_log = values.get("openai_log") or os.environ.get("OPENAI_LOG")
         chat_completion = values.get("chat_completion") or False
         values["chat_completion"] = chat_completion
         try:
@@ -155,6 +159,10 @@ class BaseOpenAI(BaseLLM, BaseModel):
             openai.api_key = openai_api_key
             if openai_api_version:
                 openai.api_version = openai_api_version
+            if openai_api_base:
+                openai.api_base = openai_api_base
+            if openai_log:
+                openai.log = openai_log
             if chat_completion:
                 values["client"] = openai.ChatCompletion
             else:

2.3 运行

代码运行入口为sample.py本身较为简单，初始化OpenAI，Tool，Agent和开始对话。可以看到除了定义一堆Azure Cloud的工具之外，还自定义了一个edit_photo。

python
复制代码
def edit_photo(query: str) -> str:
    ....
    return "Here is the edited image " + endpoint + response.json()["edited_image"]

# these tools should not step on each other's toes
tools = [
    ...
    Tool(
        name = "Photo Editing",
        func=edit_photo,
        description=(
        "A wrapper around photo editing. "
        "Useful to edit an image with a given instruction."
        "Input should be an image url, or path to an image file (e.g. .jpg, .png)."
        )
    ),
]

默认输入图像为一个表格，我们将图像改为科比。 开始运行 python sample.py 输出，为了阅读体验，删除中间的一些输出。

arduino
复制代码
> Entering new AgentExecutor chain...
message='Request to OpenAI API' method=post path=http://localhost:11434/v1/chat/completions
...

1. There is a new image in the input
 Assistant, please detect objects in this image: https://microsoft-cognitive-service-mm-react.hf.space/file=/tmp/b008c4062adec3b7295dc10fc04305813b2dec9e/celebrity.png
python-BaseException
xxx
...无法连接到Microsoft...

由于无法连接Microsoft云端服务，因此没法继续运行下去，如果连接上了会输出

kotlin
复制代码
AI: 1. There is an image in the input
AI: 1. This is an image of a basketball player in a yellow jersey holding a basketball
2. There are two faces of men detected in this image.
3. Facial recognition can detect celebrity names for these faces
AI: 1. The celebrities detected are Paul Pierce and Kobe Bryant
2. They are likely the basketball players in the image
To summerize, this is an image of basketball players Paul Pierce and Kobe Bryant in a game. Paul Pierce is in a yellow jersey holding a basketball.

总结

总的来说这篇文章中对工具的使用有点过时，收获不是很大，有点浪费时间，尤其是Prompt设计没有啥亮点，并且代码有点绕。要是现在使用Function Calling ，那么就是将函数描述给到LLM，然后设计ReAct的Few Shot ，外加一个For Loop串起整个流程。 后面分析了HuggingGPT，它对于工具使用好多了。

如何系统的去学习大模型LLM ？

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的 AI大模型资料 包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

😝有需要的小伙伴，可以V扫描下方二维码免费领取🆓

在这里插入图片描述

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

img

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

img

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

img

在这里插入图片描述

四、AI大模型商业化落地方案

img

阶段1：AI大模型时代的基础理解

  • 目标：了解AI大模型的基本概念、发展历程和核心原理。
  • 内容：
    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
      - L1.4.1 知识大模型
      - L1.4.2 生产大模型
      - L1.4.3 模型工程方法论
      - L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

  • 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
  • 内容：
    • L2.1 API接口
      - L2.1.1 OpenAI API接口
      - L2.1.2 Python接口接入
      - L2.1.3 BOT工具类框架
      - L2.1.4 代码示例
    • L2.2 Prompt框架
      - L2.2.1 什么是Prompt
      - L2.2.2 Prompt框架应用现状
      - L2.2.3 基于GPTAS的Prompt框架
      - L2.2.4 Prompt框架与Thought
      - L2.2.5 Prompt框架与提示词
    • L2.3 流水线工程
      - L2.3.1 流水线工程的概念
      - L2.3.2 流水线工程的优点
      - L2.3.3 流水线工程的应用
    • L2.4 总结与展望

阶段3：AI大模型应用架构实践

  • 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。
  • 内容：
    • L3.1 Agent模型框架
      - L3.1.1 Agent模型框架的设计理念
      - L3.1.2 Agent模型框架的核心组件
      - L3.1.3 Agent模型框架的实现细节
    • L3.2 MetaGPT
      - L3.2.1 MetaGPT的基本概念
      - L3.2.2 MetaGPT的工作原理
      - L3.2.3 MetaGPT的应用场景
    • L3.3 ChatGLM
      - L3.3.1 ChatGLM的特点
      - L3.3.2 ChatGLM的开发环境
      - L3.3.3 ChatGLM的使用示例
    • L3.4 LLAMA
      - L3.4.1 LLAMA的特点
      - L3.4.2 LLAMA的开发环境
      - L3.4.3 LLAMA的使用示例
    • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

  • 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。
  • 内容：
    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

学习计划：

  • 阶段1：1-2个月，建立AI大模型的基础知识体系。
  • 阶段2：2-3个月，专注于API应用开发能力的提升。
  • 阶段3：3-4个月，深入实践AI大模型的应用架构和私有化部署。
  • 阶段4：4-5个月，专注于高级模型的应用和部署。
这份完整版的大模型 LLM 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

😝有需要的小伙伴，可以Vx扫描下方二维码免费领取🆓

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1688120.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

网络安全技术心得体会

网络安全技术心得体会

网络与信息安全技术心得体会 通过对网络安全这门课程的学习，我进一步了解了网络安全技术的相关知识。大致来说，所谓网络安全指的是对网络系统中各类软硬件和数据信息等提供保护屏障，确保数据信息不受到恶意侵入、窃取等破坏，保证…
阅读更多...
FaceFusion源码框架解读

FaceFusion源码框架解读

FaceFusion源码框架解读 我的视频讲解：FaceFusion入门教学 FaceFusion官网 FaceFusion是一款开源的AI换脸工具，一款非常好用的换脸工具，操作简单，上手容易。 Facefusion：GitHub - facefusion/facefusion: Next gene…
阅读更多...
最新Adaptive特征融合策略，涨点又高效，想发表论文可以参考

最新Adaptive特征融合策略，涨点又高效，想发表论文可以参考

自适应特征融合是一种非常高效的数据处理方法，它比传统的特征更能适应不同的数据和任务需求，也因此拥有广泛的应用前景，是深度学习领域的研究热点。 这种方法通过动态选择和整合来自不同层次或尺度的特征信息，不仅显著提升了模型…
阅读更多...
USB抓包工具：bushound安装及使用

USB抓包工具：bushound安装及使用

一、环境搭建 下载busbound6.01安装包，安装完成，重启电脑。 二、工具配置 按照下图配置工具： 使能自动识别新设备 2. 设置抓取数据的容量 三、抓包 回到capture选项卡，在页面的右下角有个run的按钮，点击使能&…
阅读更多...
nacos-opera（k8s）安装问题解决

nacos-opera（k8s）安装问题解决

整理一些关于k8s部署nacos出现的一些恶心的问题 网上说其他说的更改数据库连接都未解决。 在用nacos-opera想安装高可用nacos时连接mysql数据库报错: 报错具体项: No DataSource set 具体就是说没找到数据源。 第一个 检查一下nacos连接数据库配置 : 第二个 检查一下数据库…
阅读更多...
视频监控汇聚平台LntonCVS通过GB/T28181国标协议实现视频监控平台的级联方案

视频监控汇聚平台LntonCVS通过GB/T28181国标协议实现视频监控平台的级联方案

近年来，随着网络视频监控应用范围的拓展，越来越多的政府部门和跨区域行业单位对视频监控的需求已经不局限于本地联网监控。他们正在探索在原有的本地联网监控基础上，建设省级乃至全国范围内的跨区域监控联网，以全面打造数据共享平…
阅读更多...
【Unity2D：C#Script】实现角色射击功能

【Unity2D：C#Script】实现角色射击功能

一、创建子弹预制体 1. 创建子弹预制体 2. 调整图片大小、层级 二、为子弹添加碰撞体积 1. 添加Box Collider 2D、Rigidbody 2D组件 2. 锁定z轴 三、编辑敌人脚本 注：在以下代码中，只显示本章节新增的代码，省略原有的代码 1. 为敌人添加生…
阅读更多...
安科瑞为河南省促进分布式光伏发电健康持续发展提供解决方案

安科瑞为河南省促进分布式光伏发电健康持续发展提供解决方案

1 光伏、储能运维市场分析 在光伏、储能行业飞速发展的同时，已建的光伏、风力发电站和储能系统的监控、运维管理项目的招标也非常多，2023年上半年，光伏电站开发企业运维招标规模28.6GW，同比增长204.3%，上述28.6GW招标…
阅读更多...
抖店一件代发，从0到1操作全流程

抖店一件代发，从0到1操作全流程

我是王路飞。 先说明一点，新手不需要纠结抖店一件代发（即无货源模式）还能不能做的问题。 无货源只是前期帮助新手阶段的你进入到这个市场里来的一种方式，不是你长期做店的思路。 入门之后，基本就转型为有货源去玩了…
阅读更多...
深度学习之基于暗通道算法+卷积神经网络图像去雾可视化系统

深度学习之基于暗通道算法+卷积神经网络图像去雾可视化系统

欢迎大家点赞、收藏、关注、评论啦 ，由于篇幅有限，只展示了部分核心代码。 文章目录 一项目简介 二、功能三、系统四. 总结 一项目简介 一、项目背景与意义 在图像处理领域，图像去雾技术一直是一个重要的研究方向。由于雾霾等天气条件的影响…
阅读更多...
工业互联网正逐步开始焕发第二春！

工业互联网正逐步开始焕发第二春！

阅读更多...
vue项目中如何使用iconfont

vue项目中如何使用iconfont

导读：vue项目中引入iconfont的方式 iconfont 的三种使用方法 unicode 不常用Font class 像字体一样使用，默认黑色图标，无法修改颜色Symbol 支持多色图标，更灵活，推荐 一、unicode 略 二、Font class 方式一&#…
阅读更多...
一般EI论文的格式是什么样的？

一般EI论文的格式是什么样的？

论文应该符合会议的提交要求和模板，包括页面格式、字体、字号、行距等。可以在特定会议的官方网站上找到详细的提交指南和模板。 EI会议论文的格式通常遵循以下基本结构： 标题和作者信息：论文标题应该简洁明了，能够准确概括您研究…
阅读更多...
【金砖赛】基于docker搭链

【金砖赛】基于docker搭链

一．基于docker搭建 启动并检查是否启动成功 #启动命令 sudo systemctl start docker#检查命令 sudo systemctl status docker修改权限 chomd 777 build_chain.sh 进行4节点联盟链搭建（举例） sudo ./build_chain.sh -d -l "127.0.0.1…
阅读更多...
Java web应用性能分析之【高并发之缓存-多级缓存】

Java web应用性能分析之【高并发之缓存-多级缓存】

说到缓存，作为java开发第一时间想到的是不是上图所示的Redis，又或者是Guava Cache、Caffeine、EhCache这些；Redis作为分布式缓存、其他的可以作为本地缓存。但是作为一名资深开发人员，着眼的层面应该再提升一个级别，从…
阅读更多...
云上聚智——移动云云服务器进行后端的搭建及部署

云上聚智——移动云云服务器进行后端的搭建及部署

什么是移动云 移动云是指将移动设备和云计算技术相结合，为移动应用提供强大的计算和存储能力的服务模式。传统的移动应用通常在本地设备上进行计算和存储，而移动云将这些任务转移到云端进行处理。通过移动云，移动设备可以利用云端的高性能计算…
阅读更多...
Linux程序开发（三）：MakeFile编程及Githup项目编码

Linux程序开发（三）：MakeFile编程及Githup项目编码

Tips："分享是快乐的源泉💧，在我的博客里，不仅有知识的海洋🌊，还有满满的正能量加持💪，快来和我一起分享这份快乐吧😊！ 喜欢我的博客的话，记得…
阅读更多...
海外私人IP和原生IP有什么区别，谁更有优势？

海外私人IP和原生IP有什么区别，谁更有优势？

一、什么是海外私人IP？什么是原生IP？ 1、海外私人IP： 海外私人IP是由专门的服务提供商提供的IP地址，这些IP地址通常与特定地理位置或国家相关联。这些IP地址独享私人而不用与其他用户共享。海外私人IP访问特定国家或地区的网站&am…
阅读更多...
新定义RD8T36P48使用USCI0的TWI功能点亮OLED

新定义RD8T36P48使用USCI0的TWI功能点亮OLED

时间不多，因此先只给出工程，等有时间再添加详细说明 现象 这是从之前的一个51单片机的程序移植过来的，主要修改了IIC启动和停止，以及数据发送的代码，我现在还不是很满意的一点是发送过程中要等待上一个字节发送完才能…
阅读更多...
如何通过OpenHarmony的音频模块实现录音变速功能？

如何通过OpenHarmony的音频模块实现录音变速功能？

简介 OpenAtom OpenHarmony（以下简称“OpenHarmony”）是由开放原子开源基金会孵化及运营的开源项目，是面向全场景、全连接、全智能时代的智能物联网操作系统。 多媒体子系统是OpenHarmony系统中的核心子系统，为系统提供了相机、…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023