PydanticToolsParser 工具(tool call)把 LLM 生成的文本转成结构化的数据(Pydantic 模型)过程中遇到的坑

news2025/2/28 4:30:44

PydanticToolsParser 的作用
PydanticToolsParser 是一个工具,主要作用是 把 LLM 生成的文本转成结构化的数据(Pydantic 模型),让代码更容易使用这些数据进行自动化处理。

换句话说,AI 生成的文本通常是自然语言,代码不好直接解析,比如 “请帮我订明天上午 10 点到上海的机票”。
如果用 PydanticToolsParser,就可以把这句话解析成一个 Python 对象,比如:

FlightBookingRequest(
    destination="上海",
    time="2025-02-27 10:00:00"
)

这样,代码就可以直接使用这个对象去调用订票 API,自动执行任务。

但是我们在调用工具的过程中会遇到类似以下问题:
在这里插入图片描述

可以从以下几个方面去思考排查

  1. 模型不支持或工具调用能力有限

    • 有用户建议更换模型,例如使用“llama-3.3-70b-versatile”或者“llama-3.1-8b-instant”(参见citeturn0search0中的讨论),这些模型在工具调用的兼容性和稳定性上表现更佳。
  2. 提示(prompt)设计问题

    • 如果提示不够明确,模型可能会生成不完整或格式错误的工具调用请求。例如,提示中没有充分说明需要返回完整的 JSON 格式,导致生成的参数中缺失了某些字段。

如何调试与解决

方案一:调整提示格式
确保在提示中明确说明所需的 JSON 格式。例如,在提示中增加类似下面的说明:

query = """
请使用 MathCalculationRequest 工具计算 34 * 5,并按照如下 JSON 格式返回:
{
  "expression": "34 * 5",
  "result": 170.0
}
"""

这样模型能获得更多上下文,从而更准确地生成符合要求的输出。

方案二:更换模型
如前面搜索讨论中建议,尝试使用其他推荐的模型,例如“llama-3.3-70b-versatile”。更换模型的方法如下:

llm = init_chat_model("llama-3.3-70b-versatile", model_provider="groq")

这有助于绕过当前模型在工具调用方面存在的问题。

我遇到的问题主要出在 LLM模型不够强,更换参数更大的模型。


原始有问题的代码如下:

import getpass
import os
from datetime import datetime, timedelta
from typing import Union
from pydantic import BaseModel
from langchain.chat_models import init_chat_model
from langchain_core.output_parsers.openai_tools import PydanticToolsParser


# 1. 获取 API Key
if not os.environ.get("GROQ_API_KEY"):
    os.environ["GROQ_API_KEY"] = getpass.getpass("Enter API key for Groq: ")

# 2. 初始化 LLM
llm = init_chat_model("llama3-8b-8192", model_provider="groq")

# 3. 定义结构化数据模型
class FlightBookingRequest(BaseModel):
    destination: str
    time: str

class ReminderRequest(BaseModel):
    event: str
    time: str

class MathCalculationRequest(BaseModel):
    expression: str
    result: float

# 4. 绑定工具
tools = [FlightBookingRequest, ReminderRequest, MathCalculationRequest]
llm_with_tools = llm.bind_tools(tools)

# 5. 解析 LLM 输出
parser = PydanticToolsParser(tools=tools)
chain = llm_with_tools | parser

def handle_request(request: Union[FlightBookingRequest, ReminderRequest, MathCalculationRequest]):
    print(request)
    if isinstance(request, FlightBookingRequest):
        print(f"正在预订 {request.time} 飞往 {request.destination} 的机票...")
    elif isinstance(request, ReminderRequest):
        print(f"已设置提醒:{request.time} - {request.event}")
    elif isinstance(request, MathCalculationRequest):
        print(f"计算结果:{request.expression} = {request.result}")

    
query =  "用MathCalculationRequest工具解析这个表达式: 34 * 5 "

structured_data = chain.invoke(query)  # AI 解析文本
print(structured_data)
handle_request(structured_data)  # 执行相应任务

修改后的代码请点击查看教程

总结

  • 错误信息表明:模型生成的工具调用请求格式不正确,无法成功解析为 Pydantic 对象。
  • 最有可能的原因是当前使用的 Groq 模型(“llama3-8b-8192”)在工具调用功能上存在局限性或提示设计不足。
  • 推荐尝试调整提示(prompt)、更新依赖库或更换为其他推荐的模型以解决问题。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2307181.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

python-leetcode-乘积最大子数组

152. 乘积最大子数组 - 力扣&#xff08;LeetCode&#xff09; class Solution:def maxProduct(self, nums: List[int]) -> int:if not nums:return 0max_prod nums[0]min_prod nums[0]result nums[0]for i in range(1, len(nums)):if nums[i] < 0:max_prod, min_prod…

江协科技/江科大-51单片机入门教程——P[1-1] 课程简介P[1-2] 开发工具介绍及软件安装

本教程也力求在玩好单片机的同时了解一些计算机的基本概念&#xff0c;了解电脑的一些基本操作&#xff0c;了解电路及其元器件的基本理论&#xff0c;为我们学习更高级的单片机&#xff0c;入门IT和信息技术行业&#xff0c;打下一定的基础。 目录 1.课程简介 2.开发工具及…

简单介绍JVM

1.什么是JVM&#xff1f; JVM就是Java虚拟机【Java Virtual Machine】&#xff0c;简称JVM。主要部分包括类加载子系统&#xff0c;运行时数据区&#xff0c;执行引擎&#xff0c;本地方法库等&#xff0c;接下来我们一一介绍 2.类加载子系统 JVM中运行的就是我们日常写的JA…

【对话推荐系统】Towards Topic-Guided Conversational Recommender System 论文阅读

Towards Topic-Guided Conversational Recommender System 论文阅读 Abstract1 Introduction2 Related Work2.1 Conversation System2.2 Conversational Recommender System2.3 Dataset for Conversational Recommendation 3 Dataset Construction3.1 Collecting Movies for Re…

当下弹幕互动游戏源码开发教程及功能逻辑分析

当下很多游戏开发者或者想学习游戏开发的人&#xff0c;想要了解如何制作弹幕互动游戏&#xff0c;比如直播平台上常见的那种&#xff0c;观众通过发送弹幕来影响游戏进程。需要涵盖教程的步骤和功能逻辑的分析。 首先&#xff0c;弹幕互动游戏源码开发教程部分应该分步骤&…

STM32——HAL库开发笔记21(定时器2—输出比较)(参考来源:b站铁头山羊)

本文主要讲述输出比较及PWM信号相关知识。 一、概念 所谓输出比较&#xff0c;就是通过单片机的定时器向外输出精确定时的方波信号。 1.1 PWM信号 PWM信号即脉冲宽度调制信号。PWM信号的占空比 &#xff08;高电压 所占周期 / 整个周期&#xff09; * 100% 。所以PWM信号…

YOLOv12 ——基于卷积神经网络的快速推理速度与注意力机制带来的增强性能结合

概述 实时目标检测对于许多实际应用来说已经变得至关重要&#xff0c;而Ultralytics公司开发的YOLO&#xff08;You Only Look Once&#xff0c;只看一次&#xff09;系列一直是最先进的模型系列&#xff0c;在速度和准确性之间提供了稳健的平衡。注意力机制的低效阻碍了它们在…

动态内容加载的解决方案:Selenium与Playwright对比故障排查实录

方案进程 2024-09-01 09:00 | 接到亚航航班数据采集需求 2024-09-01 11:30 | 首次尝试使用Selenium遭遇Cloudflare验证 2024-09-01 14:00 | 切换Playwright方案仍触发反爬机制 2024-09-01 16:30 | 引入爬虫代理IPUA轮换策略 2024-09-02 10:00 | 双方案完整实现并通过压力测试故…

NLP学习记录十:多头注意力

一、单头注意力 单头注意力的大致流程如下&#xff1a; ① 查询编码向量、键编码向量和值编码向量分别经过自己的全连接层&#xff08;Wq、Wk、Wv&#xff09;后得到查询Q、键K和值V&#xff1b; ② 查询Q和键K经过注意力评分函数&#xff08;如&#xff1a;缩放点积运算&am…

Spring基础01

Spring基础01 软件开发原则 OCP开闭原则&#xff1a;七大开发原则当中最基本的原则&#xff0c;其他的六个原则是为这个原则服务的。 对扩展开放&#xff0c;对修改关闭。在扩展系统功能的时候&#xff0c;没有修改之前写好的代码&#xff0c;就符合OCP原则&#xff0c;反之&a…

2025年2月,TVBOX接口最新汇总版

这里写自定义目录标题 1、离线版很必要2、关于在线版好还是离线版更实在&#xff0c;作个总结&#xff1a;★ 离线版的优点&#xff1a;★ 离线版的缺点&#xff1a; 3.1、 针对FM内置的写法&#xff1b;3.2、 如果是用在YSC&#xff0c;那么格式也要有些小小的改变3.2.1、 YSC…

Dubbo RPC 原理

一、Dubbo 简介 Apache Dubbo 是一款高性能、轻量级的开源 RPC 框架&#xff0c;支持服务治理、协议扩展、负载均衡、容错机制等核心功能&#xff0c;广泛应用于微服务架构。其核心目标是解决分布式服务之间的高效通信与服务治理问题。 二、Dubbo 架构设计 1. 核心组件 Prov…

第2章_保护您的第一个应用程序

第2章_保护您的第一个应用程序 在本章中&#xff0c;您将学习如何使用 Keycloak 保护您的第一个应用程序。为了让事情更有趣&#xff0c;您将运行的示例应用程序由两部分组成&#xff0c;前端 Web 应用程序和后端 REST API。这将向您展示用户如何向前端进行身份验证&#xff0…

【Godot4.3】自定义圆角容器

概述 Godot控件想要完全实现现代UI风格&#xff0c;需要进行大量的自定义组件设计。本篇就依托于笔者自己对现代UI设计中的圆角面板元素模仿来制作圆角容器组件。 圆角容器 圆角元素在现代的扁平UI设计中非常常见&#xff0c;在Godot中可以通过改进PanelContainer来或者自定…

Flutter系列教程之(5)——常用控件Widget的使用示例

目录 1.页面跳转 2.某个控件设置点击事件 3.AlertDialog对话框的使用 4.文本输入框 5.按钮 圆角扁平按钮: 圆角悬浮按钮: 6.补充 圆点 7.布局使用 Row控件左右对齐 调整边距 1.页面跳转 首先&#xff0c;先介绍一下页面跳转功能吧 Flutter使用 Navigator 进行页面…

DeepSeek开源周,第三弹再次来袭,DeepGEMM

在大型模型推理中&#xff0c;矩阵乘法&#xff08;GEMM&#xff09;是计算的核心瓶颈。DeepGEMM 应运而生——一款专为 FP8精度矩阵乘法 设计的轻量级CUDA库&#xff0c;由深度求索&#xff08;DeepSeek&#xff09;团队开源。它凭借极简代码&#xff08;核心仅300行&#xff…

stm32四种方式精密控制步进电机

在搭建完clion的开发环境后&#xff0c;我决定重写之前的项目并优化完善&#xff0c;争取做出完全可落地的东西&#xff0c;也结合要写的论文内容一同学习下去。 因此&#xff0c;首当其冲的就是回到步进电机控制领域&#xff0c;把之前使用中断溢出进行步进电机控制的方案进行…

git merge -s ours ...的使用方法

当我们在自己的feature branch上开发时&#xff0c;并且已经commit&#xff0c;push了好几次 同时develop分支也commit , push了好几次&#xff0c; 如下图所示 这个时候就不能直接将feature branch上的改动 pull request到develop上面&#xff0c;因为develop基线已经不一样了…

数字可调控开关电源设计(论文+源码)

1 设计要求 在本次数字可调控开关电源设计过程中&#xff0c;对关键参数设定如下&#xff1a; &#xff08;1&#xff09;输入电压&#xff1a;DC24-26V,输出电压&#xff1a;12-24&#xff08;可调&#xff09;&#xff1b; &#xff08;2&#xff09;输出电压误差&#xf…

【DeepSeek】【GPT-Academic】:DeepSeek集成到GPT-Academic(官方+第三方)

目录 1 官方deepseek 1.1 拉取学术GPT项目 1.2 安装依赖 1.3 修改配置文件中的DEEPSEEK_API_KEY 2 第三方API 2.1 修改DEEPSEEK_API_KEY 2.2 修改CUSTOM_API_KEY_PATTERM 2.3 地址重定向 2.4 修改模型参数 2.5 成功调用 2.6 尝试添加一个deepseek-r1参数 3 使用千帆…