PydanticToolsParser 的作用
PydanticToolsParser 是一个工具,主要作用是 把 LLM 生成的文本转成结构化的数据(Pydantic 模型),让代码更容易使用这些数据进行自动化处理。
换句话说,AI 生成的文本通常是自然语言,代码不好直接解析,比如 “请帮我订明天上午 10 点到上海的机票”。
如果用 PydanticToolsParser,就可以把这句话解析成一个 Python 对象,比如:
FlightBookingRequest(
destination="上海",
time="2025-02-27 10:00:00"
)
这样,代码就可以直接使用这个对象去调用订票 API,自动执行任务。
但是我们在调用工具的过程中会遇到类似以下问题:
可以从以下几个方面去思考排查
-
模型不支持或工具调用能力有限
- 有用户建议更换模型,例如使用“llama-3.3-70b-versatile”或者“llama-3.1-8b-instant”(参见citeturn0search0中的讨论),这些模型在工具调用的兼容性和稳定性上表现更佳。
-
提示(prompt)设计问题
- 如果提示不够明确,模型可能会生成不完整或格式错误的工具调用请求。例如,提示中没有充分说明需要返回完整的 JSON 格式,导致生成的参数中缺失了某些字段。
如何调试与解决
方案一:调整提示格式
确保在提示中明确说明所需的 JSON 格式。例如,在提示中增加类似下面的说明:
query = """
请使用 MathCalculationRequest 工具计算 34 * 5,并按照如下 JSON 格式返回:
{
"expression": "34 * 5",
"result": 170.0
}
"""
这样模型能获得更多上下文,从而更准确地生成符合要求的输出。
方案二:更换模型
如前面搜索讨论中建议,尝试使用其他推荐的模型,例如“llama-3.3-70b-versatile”。更换模型的方法如下:
llm = init_chat_model("llama-3.3-70b-versatile", model_provider="groq")
这有助于绕过当前模型在工具调用方面存在的问题。
我遇到的问题主要出在 LLM模型不够强,更换参数更大的模型。
原始有问题的代码如下:
import getpass
import os
from datetime import datetime, timedelta
from typing import Union
from pydantic import BaseModel
from langchain.chat_models import init_chat_model
from langchain_core.output_parsers.openai_tools import PydanticToolsParser
# 1. 获取 API Key
if not os.environ.get("GROQ_API_KEY"):
os.environ["GROQ_API_KEY"] = getpass.getpass("Enter API key for Groq: ")
# 2. 初始化 LLM
llm = init_chat_model("llama3-8b-8192", model_provider="groq")
# 3. 定义结构化数据模型
class FlightBookingRequest(BaseModel):
destination: str
time: str
class ReminderRequest(BaseModel):
event: str
time: str
class MathCalculationRequest(BaseModel):
expression: str
result: float
# 4. 绑定工具
tools = [FlightBookingRequest, ReminderRequest, MathCalculationRequest]
llm_with_tools = llm.bind_tools(tools)
# 5. 解析 LLM 输出
parser = PydanticToolsParser(tools=tools)
chain = llm_with_tools | parser
def handle_request(request: Union[FlightBookingRequest, ReminderRequest, MathCalculationRequest]):
print(request)
if isinstance(request, FlightBookingRequest):
print(f"正在预订 {request.time} 飞往 {request.destination} 的机票...")
elif isinstance(request, ReminderRequest):
print(f"已设置提醒:{request.time} - {request.event}")
elif isinstance(request, MathCalculationRequest):
print(f"计算结果:{request.expression} = {request.result}")
query = "用MathCalculationRequest工具解析这个表达式: 34 * 5 "
structured_data = chain.invoke(query) # AI 解析文本
print(structured_data)
handle_request(structured_data) # 执行相应任务
修改后的代码请点击查看教程
总结
- 错误信息表明:模型生成的工具调用请求格式不正确,无法成功解析为 Pydantic 对象。
- 最有可能的原因是当前使用的 Groq 模型(“llama3-8b-8192”)在工具调用功能上存在局限性或提示设计不足。
- 推荐尝试调整提示(prompt)、更新依赖库或更换为其他推荐的模型以解决问题。