#LLM入门|Prompt#3.2_模型，提示和输出解释器_Models,Prompts_and

本章将简要介绍LLM开发的重要概念：模型、提示和解释器。如果您已经完整学习了前面两个部分的内容，对这些概念应该已经很熟悉了。然而，在LangChain的定义中，这些概念的定义和使用与之前有一些细微的差别。因此，我们仍然推荐您认真阅读本章，以进一步深入了解LLM开发。同时，如果您直接学习本部分的话，本章的内容将是您理解后续内容的重要基础。
我们首先向您演示直接调用 OpenAI 的场景，以充分说明为什么我们需要使用 LangChain。

一、直接调用OpenAI

1.1 计算1+1

我们来看一个简单的例子，直接使用通过 OpenAI 接口封装的函数get_completion来让模型告诉我们：1+1是什么？

from tool import get_completion

get_completion("1+1是什么？")

‘1+1等于2。’

1.2 用普通话表达海盗邮件

在上述简单示例中，模型gpt-3.5-turbo为我们提供了关于1+1是什么的答案。而现在，我们进入一个更为丰富和复杂的场景。
设想一下，你是一家电商公司的员工。你们的客户中有一位名为海盗A的特殊顾客。他在你们的平台上购买了一个榨汁机，目的是为了制作美味的奶昔。但在制作过程中，由于某种原因，奶昔的盖子突然弹开，导致厨房的墙上洒满了奶昔。想象一下这名海盗的愤怒和挫败之情。他用充满海盗特色的英语方言，给你们的客服中心写了一封邮件：customer_email。

customer_email = """
嗯呐，我现在可是火冒三丈，我那个搅拌机盖子竟然飞了出去，把我厨房的墙壁都溅上了果汁！
更糟糕的是，保修条款可不包括清理我厨房的费用。
伙计，赶紧给我过来！
"""

在处理来自多元文化背景的顾客时，我们的客服团队可能会遇到某些特殊的语言障碍。如上，我们收到了一名海盗客户的邮件，而他的表达方式对于我们的客服团队来说略显生涩。
为了解决这一挑战，我们设定了以下两个目标：

首先，我们希望模型能够将这封充满海盗方言的邮件翻译成普通话，这样客服团队就能更容易地理解其内容。
其次，在进行翻译时，我们期望模型能采用平和和尊重的语气，这不仅能确保信息准确传达，还能保持与顾客之间的和谐关系。

为了指导模型的输出，我们定义了一个文本表达风格标签，简称为style。

# 普通话 + 平静、尊敬的语调
style = """正式普通话 \
用一个平静、尊敬、有礼貌的语调
"""

下一步我们需要做的是将customer_email和style结合起来构造我们的提示:prompt

# 要求模型根据给出的语调进行转化
prompt = f"""把由三个反引号分隔的文本\
翻译成一种{style}风格。
文本: ```{customer_email}```
"""

print("提示：", prompt)

提示： 
 把由三个反引号分隔的文本翻译成一种正式普通话 用一个平静、尊敬、有礼貌的语调
风格。
文本: ```
嗯呐，我现在可是火冒三丈，我那个搅拌机盖子竟然飞了出去，把我厨房的墙壁都溅上了果汁！
更糟糕的是，保修条款可不包括清理我厨房的费用。
伙计，赶紧给我过来！

经过精心设计的prompt已经准备就绪。接下来，只需调用get_completion方法，我们就可以获得期望的输出——那封原汁原味的海盗方言邮件，将被翻译成既平和又尊重的正式普通话表达。

response = get_completion(prompt)
print(response)Copy to clipboardErrorCopied

非常抱歉，我现在感到非常愤怒和不满。我的搅拌机盖子竟然飞了出去，导致我厨房的墙壁上都溅满了果汁！更糟糕的是，保修条款并不包括清理我厨房的费用。先生/女士，请您尽快过来处理这个问题！
在进行语言风格转换之后，我们可以观察到明显的变化：原本的用词变得更为正式，那些带有极端情绪的表达得到了替代，并且文本中还加入了表示感激的词汇。
**小建议：你可以调整并尝试不同的提示，来探索模型能为你带来怎样的创新性输出。每次尝试都可能为你带来意想不到的惊喜！**
## 二、通过LangChain使用OpenAI
在前面的小节中，我们使用了封装好的函数get_completion，利用 OpenAI 接口成功地对那封充满方言特色的邮件进行了翻译。得到一封采用平和且尊重的语气、并用标准普通话所写的邮件。接下来，我们将尝试使用 LangChain 解决该问题。
### 2.1 模型
现在让我们尝试使用LangChain来实现相同的功能。从langchain.chat_models导入OpenAI的对话模型ChatOpenAI。 除去OpenAI以外，langchain.chat_models还集成了其他对话模型，更多细节可以查看 [Langchain 官方文档](https://python.langchain.com/en/latest/modules/models/chat/integrations.html)。

from langchain.chat_models import ChatOpenAI

这里我们将参数temperature设置为0.0，从而减少生成答案的随机性。

如果你想要每次得到不一样的有新意的答案，可以尝试调整该参数。

chat = ChatOpenAI(temperature=0.0)
chat

ChatOpenAI(cache=None, verbose=False, callbacks=None, callback_manager=None, tags=None, metadata=None, client=<class ‘openai.api_resources.chat_completion.ChatCompletion’>, model_name=‘gpt-3.5-turbo’, temperature=0.0, model_kwargs={}, openai_api_key=‘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’, openai_api_base=‘’, openai_organization=‘’, openai_proxy=‘’, request_timeout=None, max_retries=6, streaming=False, n=1, max_tokens=None, tiktoken_model_name=None)


上面的输出显示ChatOpenAI的默认模型为gpt-3.5-turbo
### 2.2 使用提示模版
在前面的例子中，我们通过[f字符串](https://docs.python.org/zh-cn/3/tutorial/inputoutput.html#tut-f-strings)把Python表达式的值style和customer_email添加到prompt字符串内。
langchain提供了接口方便快速的构造和使用提示。
#### 2.2.1 用普通话表达海盗邮件
现在我们来看看如何使用langchain来构造提示吧！

from langchain.prompts import ChatPromptTemplate

首先，构造一个提示模版字符串：`template_string`

template_string = “”“把由三个反引号分隔的文本
翻译成一种{style}风格。
文本: {text}
“””

然后，我们调用`ChatPromptTemplatee.from_template()`函数将

上面的提示模版字符`template_string`转换为提示模版`prompt_template`

prompt_template = ChatPromptTemplate.from_template(template_string)

print(“\n”, prompt_template.messages[0].prompt)

input_variables=[‘style’, ‘text’] output_parser=None partial_variables={} template=‘把由三个反引号分隔的文本翻译成一种{style}风格。文本: {text}\n’ template_format=‘f-string’ validate_template=True


对于给定的customer_style和customer_email, 我们可以使用提示模版prompt_template的format_messages方法生成想要的客户消息customer_messages。
提示模版prompt_template需要两个输入变量： style 和 text。 这里分别对应

- customer_style: 我们想要的顾客邮件风格
- customer_email: 顾客的原始邮件文本。

customer_style = “”“正式普通话
用一个平静、尊敬的语气
“””

customer_email = “”"
嗯呐，我现在可是火冒三丈，我那个搅拌机盖子竟然飞了出去，把我厨房的墙壁都溅上了果汁！
更糟糕的是，保修条款可不包括清理我厨房的费用。
伙计，赶紧给我过来！
“”"

使用提示模版

customer_messages = prompt_template.format_messages(
style=customer_style,
text=customer_email)

打印客户消息类型

print(“客户消息类型:”,type(customer_messages),“\n”)

打印第一个客户消息类型

print(“第一个客户客户消息类型类型:”, type(customer_messages[0]),“\n”)

打印第一个元素

print(“第一个客户客户消息类型类型: “, customer_messages[0],”\n”)

客户消息类型:
<class ‘list’>

第一个客户客户消息类型类型:
<class ‘langchain.schema.messages.HumanMessage’>

第一个客户客户消息类型类型:
content=‘把由三个反引号分隔的文本翻译成一种正式普通话用一个平静、尊敬的语气\n风格。文本: \n嗯呐，我现在可是火冒三丈，我那个搅拌机盖子竟然飞了出去，把我厨房的墙壁都溅上了果汁！\n更糟糕的是，保修条款可不包括清理我厨房的费用。\n伙计，赶紧给我过来！\n\n’ additional_kwargs={} example=False



可以看出

- customer_messages变量类型为列表(list)
- 列表里的元素变量类型为langchain自定义消息(langchain.schema.HumanMessage)。



现在我们可以调用模型部分定义的chat模型来实现转换客户消息风格。

customer_response = chat(customer_messages)
print(customer_response.content)

非常抱歉，我现在感到非常愤怒。我的搅拌机盖子竟然飞了出去，导致我厨房的墙壁上都溅满了果汁！更糟糕的是，保修条款并不包括清理我厨房的费用。伙计，请你尽快过来帮我解决这个问题！
#### 2.2.2 用海盗方言回复邮件
到目前为止，我们已经实现了在前一部分的任务。接下来，我们更进一步，将客服人员回复的消息，转换为海盗风格英语，并确保消息比较有礼貌。 这里，我们可以继续使用起前面构造的的langchain提示模版，来获得我们回复消息提示。

service_reply = “”“嘿，顾客，
保修不包括厨房的清洁费用，
因为您在启动搅拌机之前
忘记盖上盖子而误用搅拌机,
这是您的错。
倒霉！再见！
“””

service_style_pirate = “”"
一个有礼貌的语气
使用海盗风格
“”"
service_messages = prompt_template.format_messages(
style=service_style_pirate,
text=service_reply)

print(“\n”, service_messages[0].content)

把由三个反引号分隔的文本翻译成一种一个有礼貌的语气使用海盗风格风格。文本: ```嘿，顾客，保修不包括厨房的清洁费用，因为您在启动搅拌机之前忘记盖上盖子而误用搅拌机, 这是您的错。倒霉！再见！

# 调用模型部分定义的chat模型来转换回复消息风格
service_response = chat(service_messages)
print(service_response.content)

嘿，尊贵的客户啊，保修可不包括厨房的清洁费用，因为您在启动搅拌机之前竟然忘记盖上盖子而误用了搅拌机，这可是您的疏忽之过啊。真是倒霉透顶啊！祝您一路顺风！

2.2.3 为什么需要提示模版

在应用于比较复杂的场景时，提示可能会非常长并且包含涉及许多细节。使用提示模版，可以让我们更为方便地重复使用设计好的提示。
此外，LangChain还提供了提示模版用于一些常用场景。比如自动摘要、问答、连接到SQL数据库、连接到不同的API。通过使用LangChain内置的提示模版，你可以快速建立自己的大模型应用，而不需要花时间去设计和构造提示。
最后，我们在建立大模型应用时，通常希望模型的输出为给定的格式，比如在输出使用特定的关键词来让输出结构化。
– 对于问题：What is the elevation range for the area that the eastern sector of the Colorado orogeny extends into? 通过使用LangChain库函数，输出采用"Thought"（思考）、“Action”（行动）、“Observation”（观察）作为链式思考推理的关键词，让输出结构化。

2.3 输出解析器

2.3.1 不使用输出解释器提取客户评价中的信息

对于给定的评价customer_review, 我们希望提取信息，并按以下格式输出：

{
  "gift": False,
  "delivery_days": 5,
  "price_value": "pretty affordable!"
}

from langchain.prompts import ChatPromptTemplate

customer_review = """\
这款吹叶机非常神奇。 它有四个设置：\
吹蜡烛、微风、风城、龙卷风。 \
两天后就到了，正好赶上我妻子的\
周年纪念礼物。 \
我想我的妻子会喜欢它到说不出话来。 \
到目前为止，我是唯一一个使用它的人，而且我一直\
每隔一天早上用它来清理草坪上的叶子。 \
它比其他吹叶机稍微贵一点，\
但我认为它的额外功能是值得的。
"""

review_template = """\
对于以下文本，请从中提取以下信息：

礼物：该商品是作为礼物送给别人的吗？ \
如果是，则回答 是的；如果否或未知，则回答 不是。

交货天数：产品需要多少天\
到达？ 如果没有找到该信息，则输出-1。

价钱：提取有关价值或价格的任何句子，\
并将它们输出为逗号分隔的 Python 列表。

使用以下键将输出格式化为 JSON：
礼物
交货天数
价钱

文本: {text}
"""

prompt_template = ChatPromptTemplate.from_template(review_template)
print("提示模版：", prompt_template)


messages = prompt_template.format_messages(text=customer_review)


chat = ChatOpenAI(temperature=0.0)
response = chat(messages)

print("结果类型:", type(response.content))
print("结果:", response.content)

提示模版： 
 input_variables=['text'] output_parser=None partial_variables={} messages=[HumanMessagePromptTemplate(prompt=PromptTemplate(input_variables=['text'], output_parser=None, partial_variables={}, template='对于以下文本，请从中提取以下信息：\n\n礼物：该商品是作为礼物送给别人的吗？ 如果是，则回答 是的；如果否或未知，则回答 不是。\n\n交货天数：产品需要多少天到达？ 如果没有找到该信息，则输出-1。\n\n价钱：提取有关价值或价格的任何句子，并将它们输出为逗号分隔的 Python 列表。\n\n使用以下键将输出格式化为 JSON：\n礼物\n交货天数\n价钱\n\n文本: {text}\n', template_format='f-string', validate_template=True), additional_kwargs={})]

结果类型:
 <class 'str'>

结果:
 {
  "礼物": "是的",
  "交货天数": 2,
  "价钱": ["它比其他吹叶机稍微贵一点"]
}

可以看出 response.content类型为字符串（str），而并非字典(dict), 如果想要从中更方便的提取信息，我们需要使用Langchain中的输出解释器。

2.3.2 使用输出解析器提取客户评价中的信息

接下来，我们将展示如何使用输出解释器。

review_template_2 = """\
对于以下文本，请从中提取以下信息：：

礼物：该商品是作为礼物送给别人的吗？
如果是，则回答 是的；如果否或未知，则回答 不是。

交货天数：产品到达需要多少天？ 如果没有找到该信息，则输出-1。

价钱：提取有关价值或价格的任何句子，并将它们输出为逗号分隔的 Python 列表。

文本: {text}

{format_instructions}
"""

prompt = ChatPromptTemplate.from_template(template=review_template_2)

from langchain.output_parsers import ResponseSchema
from langchain.output_parsers import StructuredOutputParser

gift_schema = ResponseSchema(name="礼物",
                             description="这件物品是作为礼物送给别人的吗？\
                            如果是，则回答 是的，\
                            如果否或未知，则回答 不是。")

delivery_days_schema = ResponseSchema(name="交货天数",
                                      description="产品需要多少天才能到达？\
                                      如果没有找到该信息，则输出-1。")

price_value_schema = ResponseSchema(name="价钱",
                                    description="提取有关价值或价格的任何句子，\
                                    并将它们输出为逗号分隔的 Python 列表")


response_schemas = [gift_schema, 
                    delivery_days_schema,
                    price_value_schema]
output_parser = StructuredOutputParser.from_response_schemas(response_schemas)
format_instructions = output_parser.get_format_instructions()
print("输出格式规定：",format_instructions)

输出格式规定： 
 The output should be a markdown code snippet formatted in the following schema, including the leading and trailing "```json" and "```":

```json
{
    "礼物": string  // 这件物品是作为礼物送给别人的吗？                            如果是，则回答 是的，                            如果否或未知，则回答 不是。
    "交货天数": string  // 产品需要多少天才能到达？                                      如果没有找到该信息，则输出-1。
    "价钱": string  // 提取有关价值或价格的任何句子，                                    并将它们输出为逗号分隔的 Python 列表
}

messages = prompt.format_messages(text=customer_review, format_instructions=format_instructions)
print(“第一条客户消息:”,messages[0].content)

第一条客户消息:
对于以下文本，请从中提取以下信息：：

礼物：该商品是作为礼物送给别人的吗？
如果是，则回答是的；如果否或未知，则回答不是。

交货天数：产品到达需要多少天？如果没有找到该信息，则输出-1。

价钱：提取有关价值或价格的任何句子，并将它们输出为逗号分隔的 Python 列表。

文本: 这款吹叶机非常神奇。它有四个设置：吹蜡烛、微风、风城、龙卷风。两天后就到了，正好赶上我妻子的周年纪念礼物。我想我的妻子会喜欢它到说不出话来。到目前为止，我是唯一一个使用它的人，而且我一直每隔一天早上用它来清理草坪上的叶子。它比其他吹叶机稍微贵一点，但我认为它的额外功能是值得的。

The output should be a markdown code snippet formatted in the following schema, including the leading and trailing “json" and "”:

{
    "礼物": string  // 这件物品是作为礼物送给别人的吗？                            如果是，则回答 是的，                            如果否或未知，则回答 不是。
    "交货天数": string  // 产品需要多少天才能到达？                                      如果没有找到该信息，则输出-1。
    "价钱": string  // 提取有关价值或价格的任何句子，                                    并将它们输出为逗号分隔的 Python 列表
}

response = chat(messages)

print(“结果类型:”, type(response.content))
print(“结果:”, response.content)

结果类型:
<class ‘str’>

结果:

{
   "礼物": "不是",
   "交货天数": "两天后就到了",
   "价钱": "它比其他吹叶机稍微贵一点"
}

output_dict = output_parser.parse(response.content)

print(“解析后的结果类型:”, type(output_dict))
print(“解析后的结果:”, output_dict)

解析后的结果类型:
<class ‘dict’>

解析后的结果:
{‘礼物’: ‘不是’, ‘交货天数’: ‘两天后就到了’, ‘价钱’: ‘它比其他吹叶机稍微贵一点’}

output_dict类型为字典(dict), 可直接使用get方法。这样的输出更方便下游任务的处理。