操作目的和工具介绍

操作目的： 本操作文档旨在指导用户如何使用 AgentLego 进行智能体构建。AgentLego 是一个开源的智能体算法库，它提供了一系列工具和接口，使开发者能够轻松地构建和部署智能体。

工具介绍： AgentLego 支持直接使用和作为智能体工具使用。直接使用时，用户可以利用 AgentLego 的 API 接口进行推理和预测。作为智能体工具使用时，用户可以利用 AgentLego 的 WebUI 进行交互式对话，并利用 AgentLego 提供的工具进行各种操作。

AgentLego 是一个基于 Python 的智能体算法库，它支持直接使用和作为智能体工具使用。本操作文档将指导您如何使用 AgentLego。

1. 直接使用 AgentLego

1.1 下载示例文件

首先，您需要下载示例文件。

bash
cd /root/agent
wget http://download.openmmlab.com/agentlego/road.jpg
1.2 安装依赖
由于 AgentLego 在安装时并不会安装某个特定工具的依赖，接下来我们需要安装目标检测工具运行时所需的依赖。

bash
conda activate agent
pip install openmim==0.3.9
mim install mmdet==3.3.0
1.3 创建并运行直接使用脚本
接下来，您需要创建一个 Python 脚本 direct_use.py 以直接使用目标检测工具。

import re

import cv2
from agentlego.apis import load_tool

# load tool
tool = load_tool('ObjectDetection', device='cuda')

# apply tool
visualization = tool('/root/agent/road.jpg')
print(visualization)

# visualize
image = cv2.imread('/root/agent/road.jpg')

preds = visualization.split('\n')
pattern = r'(\w+) \((\d+), (\d+), (\d+), (\d+)\), score (\d+)'

for pred in preds:
    name, x1, y1, x2, y2, score = re.match(pattern, pred).groups()
    x1, y1, x2, y2, score = int(x1), int(y1), int(x2), int(y2), int(score)
    cv2.rectangle(image, (x1, y1), (x2, y2), (0, 255, 0), 1)
    cv2.putText(image, f'{name} {score}', (x1, y1), cv2.FONT_HERSHEY_SIMPLEX, 0.8, (0, 255, 0), 1)

cv2.imwrite('/root/agent/road_detection_direct.jpg', image)

然后执行该脚本。

bash
复制
python /root/agent/direct_use.py
执行完成后，您将在 /root/agent 目录下看到一个名为 road_detection_direct.jpg 的图片。

2. 作为智能体工具使用

2.1 修改相关文件

首先，您需要修改 /root/agent/agentlego/webui/modules/agents/lagent_agent.py 文件的第 105 行，将 internlm2-chat-20b 修改为 internlm2-chat-7b。

2.2 使用 LMDeploy 部署

接下来，您需要使用 LMDeploy 启动一个 api_server。

bash

conda activate agent
lmdeploy serve api_server /root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-7b \
                            --server-name 127.0.0.1 \
                            --model-name internlm2-chat-7b \
                            --cache-max-entry-count 0.1

2.3 启动 AgentLego WebUI

然后，您需要启动 AgentLego WebUI。

bash
复制
conda activate agent
cd /root/agent/agentlego/webui
python one_click.py

2.4 使用 AgentLego WebUI

在本地浏览器中打开 http://localhost:7860 以使用 AgentLego WebUI。

首先，配置 Agent。

点击上方 Agent 进入 Agent 配置页面。
点击 Agent 下方框，选择 New Agent。
选择 Agent Class 为 lagent.InternLM2Agent。
输入模型 URL 为 http://127.0.0.1:23333。
输入 Agent name，自定义即可。
点击 save to 以保存配置。
点击 load 以加载配置。
然后，配置工具。

点击上方 Tools 页面进入工具配置页面。
点击 Tools 下方框，选择 New Tool 以加载新工具。
选择 Tool Class 为 ObjectDetection。
点击 save 以保存配置。
最后，使用 Agent。

点击右下角文件夹以上传图片。
上传图片后输入指令并点击 generate 以得到模型回复。

3. 用 AgentLego 自定义工具

3.1 创建工具文件

首先，您需要创建一个名为 magicmaker_image_generation.py 的工具文件。

import json
import requests

import numpy as np

from agentlego.types import Annotated, ImageIO, Info
from agentlego.utils import require
from .base import BaseTool


class MagicMakerImageGeneration(BaseTool):

    default_desc = ('This tool can call the api of magicmaker to '
                    'generate an image according to the given keywords.')

    styles_option = [
        'dongman',  # 动漫
        'guofeng',  # 国风
        'xieshi',   # 写实
        'youhua',   # 油画
        'manghe',   # 盲盒
    ]
    aspect_ratio_options = [
        '16:9', '4:3', '3:2', '1:1',
        '2:3', '3:4', '9:16'
    ]

    @require('opencv-python')
    def __init__(self,
                 style='guofeng',
                 aspect_ratio='4:3'):
        super().__init__()
        if style in self.styles_option:
            self.style = style
        else:
            raise ValueError(f'The style must be one of {self.styles_option}')
        
        if aspect_ratio in self.aspect_ratio_options:
            self.aspect_ratio = aspect_ratio
        else:
            raise ValueError(f'The aspect ratio must be one of {aspect_ratio}')

    def apply(self,
              keywords: Annotated[str,
                                  Info('A series of Chinese keywords separated by comma.')]
        ) -> ImageIO:
        import cv2
        response = requests.post(
            url='https://magicmaker.openxlab.org.cn/gw/edit-anything/api/v1/bff/sd/generate',
            data=json.dumps({
                "official": True,
                "prompt": keywords,
                "style": self.style,
                "poseT": False,
                "aspectRatio": self.aspect_ratio
            }),
            headers={'content-type': 'application/json'}
        )
        image_url = response.json()['data']['imgUrl']
        image_response = requests.get(image_url)
        image = cv2.cvtColor(cv2.imdecode(np.frombuffer(image_response.content, np.uint8), cv2.IMREAD_COLOR),cv2.COLOR_BGR2RGB)
        return ImageIO(image)

3.2 注册新工具
 

接下来，您需要修改 /root/agent/agentlego/agentlego/tools/__init__.py 文件，将我们的工具注册在工具列表中。

from .base import BaseTool
from .calculator import Calculator
from .func import make_tool
from .image_canny import CannyTextToImage, ImageToCanny
from .image_depth import DepthTextToImage, ImageToDepth
from .image_editing import ImageExpansion, ImageStylization, ObjectRemove, ObjectReplace
from .image_pose import HumanBodyPose, HumanFaceLandmark, PoseToImage
from .image_scribble import ImageToScribble, ScribbleTextToImage
from .image_text import ImageDescription, TextToImage
from .imagebind import AudioImageToImage, AudioTextToImage, AudioToImage, ThermalToImage
from .object_detection import ObjectDetection, TextToBbox
from .ocr import OCR
from .scholar import *  # noqa: F401, F403
from .search import BingSearch, GoogleSearch
from .segmentation import SegmentAnything, SegmentObject, SemanticSegmentation
from .speech_text import SpeechToText, TextToSpeech
from .translation import Translation
from .vqa import VQA
+ from .magicmaker_image_generation import MagicMakerImageGeneration

__all__ = [
    'CannyTextToImage', 'ImageToCanny', 'DepthTextToImage', 'ImageToDepth',
    'ImageExpansion', 'ObjectRemove', 'ObjectReplace', 'HumanFaceLandmark',
    'HumanBodyPose', 'PoseToImage', 'ImageToScribble', 'ScribbleTextToImage',
    'ImageDescription', 'TextToImage', 'VQA', 'ObjectDetection', 'TextToBbox', 'OCR',
    'SegmentObject', 'SegmentAnything', 'SemanticSegmentation', 'ImageStylization',
    'AudioToImage', 'ThermalToImage', 'AudioImageToImage', 'AudioTextToImage',
    'SpeechToText', 'TextToSpeech', 'Translation', 'GoogleSearch', 'Calculator',
-     'BaseTool', 'make_tool', 'BingSearch'
+     'BaseTool', 'make_tool', 'BingSearch', 'MagicMakerImageGeneration'
]

3.3 体验自定义工具效果
与 2.2、2.3 以及 2.4 节类似，您需要在两个 terminal 中分别启动 LMDeploy 服务和 AgentLego 的 WebUI 以体验自定义的工具的效果。

注意： 确保 2.2 节中的 LMDeploy 服务以及 2.3 节中的 Web Demo 服务已经停止（即 terminal 已关闭），否则会出现 CUDA Out of Memory 或是端口已占用的情况！

bash
复制
conda activate agent
lmdeploy serve api_server /root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-7b \
                            --server-name 127.0.0.1 \
                            --model-name internlm2-chat-7b \
                            --cache-max-entry-count 0.1
conda activate agent
cd /root/agent/agentlego/webui
python one_click.py
在本地执行如下操作以进行端口映射：

bash
复制
ssh -CNg -L 7860:127.0.0.1:7860 -L 23333:127.0.0.1:23333 root@ssh.intern-ai.org.cn -p 您的 ssh 端口号
在 Tool 界面选择 MagicMakerImageGeneration 后点击 save，回到 Chat 页面选择 MagicMakerImageGeneration 工具后就可以开始使用了。为了确保调用工具的成功率，请在使用时确保仅有这一个工具启用。

以下是一个例子。可以看到模型成功地调用了工具并得到了结果。