Langchain入门教程

1、框架介绍

LangChain 是一个用于构建大语言模型应用的开源框架，2022年10月作为开源项目推出，目前已经在开发社区颇具名气，构建起了自己的一片开发生态。

LangChain 在 2023 年 3 月获得了 Benchmark Capital 的 1000 万美元种子轮融资，在近期又拿到了红杉2000-2500万美金的融资，估值已经提升到了2亿美金左右。

它提供了一系列模块，这些模块可以组合在一起，用于创建复杂的应用程序，也可以单独用于简单的应用程序。它逻辑上主要有6大模块：Models、prompt、chains、agents、memory、indexes。

一个LangChain应用是通过很多个组件实现的，LangChain主要支持6种组件：

Models：模型，各种类型的模型和模型集成，比如ChatGPT、ChatGLM、T5等大语言模型
Prompts：提示，包括提示管理、自定义提示词。
Agents：代理，决定模型采取哪些行动，执行并且观察流程，直到完成为止; 授予大模型对于外部工具的使用权限。
Memory：记忆，用来保存和模型交互时的上下文状态
Indexes：索引，用来结构化文档，以便和模型交互
Chains：链，一系列对各种组件的调用

2、模块介绍

(1)、Agent

Agent 使用LLM来确定采取哪些行动以及顺序。一个动作可以是使用工具并观察其输出，或返回给用户。

代理的灵活使用，可以增强大模型的能力。

例如，通过agent，我们可以赋予大模型访问网络、访问数据库以及其他工具的能力。

from langchain.agents import initialize_agent,Tool
from langchain.llms import OpenAI
from langchain.tools import BaseTool
from agents.brand_search import BrandInfoSearchWrapper
import langchain

langchain.debug = True
from langchain.chat_models import ChatOpenAI

# llm = ChatOpenAI(temperature=0,model_name="gpt-3.5-turbo")
llm = ChatOpenAI(temperature=0,model_name="gpt-35-turbo-16k")
brand_serach = BrandInfoSearchWrapper(top_k=1,domain="zhihu.com")

tools = [
    Tool(
        name="BrandSearch",
        func=brand_serach.run,
        description="当问题中包含品牌信息是使用"
    )
    ]
agent = initialize_agent(
    tools, llm, agent="zero-shot-react-description", verbose=True)

# print("prompt",agent.agent.llm_chain.prompt.template)

print("问题：")
print("答案：" + agent.run("美宝莲这个品牌的化妆品在中国市场占有率如何？"))

zero-shot-react-description：仅基于工具的描述来确定要使用的工具。可以提供任意数量的工具。此代理需要为每个工具提供描述。
react-docstore：主要与文档存储进行交互。必须提供两个Search和Lookup 工具。Search工具用于搜索文档，而Lookup工具应该查找最近找到的文档中的一个术语。
self-ask-with-search：基于搜索引擎查找问题的答案。必须提供了Google搜索API作为工具。

(2)、Memory

LLMs本身是无状态的，对于连续的提问，大语言模型会独立地处理每个传入的查询。在某些应用程序中（聊天机器人是一个很好的例子），记住以前的交互非常重要，无论是在短期还是长期层面上。Memory模块主要用于存储历史的交互记录。

常用模式：

将历史消息交互列表，在下一次提问时，作为上下文信息。
将历史消息交互列，构建向量存储在VectorDB中，并在每次调用时查询最重要的K个文档。不明确跟踪交互的顺序。

langchain 提供多种组件完成交互记忆的存储：

(a)、ConversationBufferMemory

该组件类似我们上面的描述，只不过它会将聊天内容记录在内存中，而不需要每次再手动拼接聊天记录。
(b)、ConversationBufferWindowMemory

相比较第一个记忆组件，该组件增加了一个窗口参数，会保存最近看 k 论的聊天内容。
©、ConversationTokenBufferMemory

在内存中保留最近交互的缓冲区，并使用 token 长度而不是交互次数来确定何时刷新交互。
(d)、ConversationSummaryMemory

相比第一个记忆组件，该组件只会存储一个用户和机器人之间的聊天内容的摘要。
(e)、ConversationSummaryBufferMemory

结合了上面两个思路，存储一个用户和机器人之间的聊天内容的摘要并使用 token 长度来确定何时刷新交互。
(g)、VectorStoreRetrieverMemory

它是将所有之前的对话通过向量的方式存储到 VectorDB（向量数据库）中，在每一轮新的对话中，会根据用户的输入信息，匹配向量数据库中最相似的 K 组对话。

(3)、Indexes

索引应用于知识库文档的构建和检索，以便 LLM 可以最好地获取问题相关的背景知识。

主要步骤：

文档加载
文字分割
构建 Embedding
向量存储

langchain 生态提供了多种向量库的接入方式：

AnalyticDB
Annoy
AtlasDB
Chroma
Deep Lake
ElasticSearch
FAISS
LanceDB
Milvus
MyScale
OpenSearch
PGVector
Pinecone
Qdrant
Redis
SupabaseVectorStore
Tair
Weaviate
Zilliz

(4)、Chains

使用单独的LLM对于一些简单的应用程序来说是可以的，但许多更复杂的应用程序往往难以获得满意的效果。

链允许我们将多个组件组合在一起，每个组件只完成目标明确的某一项操作，然后将格式化后的响应传递给下一个组件，从而来构建更复杂的应用。

代码示例：

# location 链
from langchain.chat_models import ChatOpenAI

llm = ChatOpenAI(temperature=1,model_name="gpt-35-turbo-16k")
template = """你的工作是根据用户的城市，推荐一道该地区的经典菜肴。
%用户城市
{user_location}

你的答案:
"""
prompt_template = PromptTemplate(input_variables=["user_location"], template=template)
location_chain = LLMChain(llm=llm, prompt=prompt_template)

# meal 链
template = """给你一道菜，就如何在家做这道菜给出一个简短而简单的食谱。
%菜名
{user_meal}

YOUR RESPONSE:
"""
prompt_template = PromptTemplate(input_variables=["user_meal"], template=template)
meal_chain = LLMChain(llm=llm, prompt=prompt_template)

# 通过 SimpleSequentialChain 串联起来，第一个答案会被替换第二个中的user_meal，然后再进行询问
overall_chain = SimpleSequentialChain(chains=[location_chain, meal_chain], verbose=True)
review = overall_chain.run("北京")

大模型输出结果：

> Entering new SimpleSequentialChain chain...

北京的经典菜肴是炸酱面。炸酱面是北京传统的面食之一，以酱肉和面条为主要材料。这道菜肴以面条爽滑细嫩，配上浓郁的酱料和加入的豆腐丁、黄瓜丝、大葱丝等配料，口感丰富，味道独特。炸酱面在北京有悠久的历史，是一道代表北京美食文化的经典菜肴。
炸酱面的制作方法如下：

材料：
- 面条
- 猪肉末
- 韩式豆瓣酱
- 豆腐丁
- 黄瓜丝
- 大葱丝
- 生抽
- 酱油
- 糖
- 盐
- 食用油

步骤：
1. 将猪肉末放入炒锅中炒熟。
2. 加入适量的韩式豆瓣酱继续炒煮几分钟，使酱料更加香味浓郁。
3. 加入少许生抽、酱油、糖和盐，调成酱料。
4. 煮开水，将面条煮熟后捞出备用。
5. 在炸锅中倒入适量的食用油，将豆腐丁炸熟。
6. 将煮熟的面条放在碗中，加入炸好的豆腐丁、黄瓜丝和大葱丝。
7. 倒入准备好的酱料，搅拌均匀即可。
炸酱面制作完成，可以根据个人口味加入适量的辣椒油或花生碎增添口感。

> Finished chain.

Langchain提供的链式处理模式：

SimpleSequentialChain: 顺序链的最简单形式，其中每个步骤都有一个单一的输入/输出，并且一个步骤的输出是下一步的输入。
SequentialChain: 相比 SimpleSequentialChain 只允许有单个输入输出，它是一种更通用的顺序链形式，允许多个输入/输出。
TransformChain: 转换链允许我们创建一个自定义的转换函数来处理输入，将处理后的结果用作下一个链的输入。

示例代码：

# 转换链：输入变量：text，输出变量：output_text
transform_chain = TransformChain(
    input_variables=["text"], output_variables=["output_text"], transform=transform_func
)

# 使用顺序链
sequential_chain = SimpleSequentialChain(chains=[transform_chain, llm_chain])
# 开始执行
sequential_chain.run(state_of_the_union)
# 结果

3、Function calling

ChatGPT 提供了Function calling功能，这个功能方便我们更加简单的构建大模型处理链。

functions的格式是一个json数组，每一个json是一个函数，包含：

name：函数名，
description：描述，
parameters参数，
param_description:参数描述。
required 需要的参数。

示例代码：

response = openai.ChatCompletion.create(
            messages=[
                {"role": "system", "content": "你是电商领域营销专家"},
                {"role": "user", "content": prompt}
            ],
            temperature=0,
            stream=False,
            headers=headers,
            # max_tokens=2048,
            # top_p=1,
            functions = [{
                "name":"brand_parse",
                "description":"给出品牌分析",
                "parameters":{
                "type":"object",
                "properties":{
                    "brand_name":{"type":"string","description":"分析的品牌名称"},
                    "value1":{"type":"string","description":"一段话描述品牌知名度,如果不了解请输入:无法给出评价"},
                    "value2":{"type":"string","description":"一段话描述品牌影响力,如果不了解请输入:无法给出评价"},
                    "value3":{"type":"string","description":"一段话描述品牌市场规模,如果不了解请输入:无法给出评价"},
                    "value4":{"type":"string","description":"一段话描述品牌调性,如果不了解请输入:无法给出评价"},
                    "value5":{"type":"string","description":"一段话描述产品风格,如果不了解请输入:无法给出评价"},
                    "value6":{"type":"string","description":"一段话描述品牌受众,如果不了解请输入:无法给出评价"}
                    },
                "required":["value1","value2","value3","value4","value5","value6"],
                },
            }],
            function_call={"name":"brand_parse"}
    )

输出结果：

{
"value1": "皮尔卡丹是一个非常知名的品牌，几乎每个人都听说过它。",
"value2": "皮尔卡丹在时尚界有很大的影响力，它的设计风格独特且受到广泛认可。",
"value3": "皮尔卡丹在连衣裙类目领域市场规模很大，是该领域的领导者之一。",
"value4": "皮尔卡丹的调性时尚、优雅，给人一种高贵大气的感觉。",
"value5": "皮尔卡丹的产品风格时尚、简约，注重细节和质感。",
"value6": "皮尔卡丹的受众主要是年轻女性，他们注重时尚和品质。"
}