LangChain系列：LangChain基础入门教程

LangChain 是一个开源框架，旨在简化使用大型语言模型（LLM）创建应用程序的过程。它为链提供了标准接口，与许多其他工具进行了集成，并为常见应用提供了端到端的链。
LangChain 让 AI 开发人员能够基于大型语言模型（如 GPT-4, DeepSeek）与外部计算和数据源相结合来开发应用程序。该框架提供了 Python 和 JavaScript 的包。

LangChain重要性

LangChain帮助管理复杂的工作流程，使llm更容易集成到各种应用程序中，如聊天机器人和文档分析。主要优势包括：

模块化工作流：简化了llm的链接，实现可重用和高效的工作流。
提示词管理：提供有效的提示词工程和内存记忆处理工具。
易于集成：简化了构建llm驱动应用程序的过程。

在这里插入图片描述

LangChain关键组件

1. Models（模型）

定义: Models 是 LangChain 的核心组件，负责处理自然语言任务。LangChain 支持多种类型的模型，包括大型语言模型（LLMs）、聊天模型（Chat Models）和嵌入模型（Embedding Models）。
类型:
- LLMs: 如 OpenAI 的 GPT 系列，用于生成文本。
- Chat Models: 如 OpenAI 的 ChatGPT，专为对话场景设计。
- Embedding Models: 如 OpenAI 的 text-embedding-ada-002，用于将文本转换为向量。
作用:
- 文本生成: 生成文章、代码、故事等。
- 问答系统: 回答用户问题，如客服机器人。
- 语义分析: 通过嵌入模型实现文本相似度计算，用于推荐系统或搜索。

2. Prompts（提示）

定义: Prompts 是用户输入或系统生成的文本，用于引导模型生成特定输出。LangChain 提供了多种提示模板和优化工具。
类型:
- 静态提示: 固定格式的提示，如“请总结以下文本”。
- 动态提示: 根据上下文生成的提示，如多轮对话中的问题。
作用:
- 控制输出: 通过设计提示，可以引导模型生成更符合需求的输出。
- 提高效率: 在客服场景中，使用标准化提示可以快速生成高质量回复。
- 多语言支持: 通过多语言提示，实现跨语言任务处理。

3. Chains（链）

定义: Chains 是将多个组件（如模型、提示、工具等）串联起来，形成一个完整的工作流程。
类型:
- 简单链: 单一任务链，如问答链。
- 复杂链: 多步骤任务链，如先检索信息再生成回答。
作用:
- 任务自动化: 在文档处理中，可以自动完成“加载文档→提取信息→生成报告”的流程。
- 多轮对话: 在聊天机器人中，通过链式结构实现上下文连贯的对话。
- 复杂推理: 在数据分析中，结合多个模型完成复杂推理任务。

4. Agents（代理）

定义: Agents 是能够自主决策和执行任务的组件，通常结合模型和工具使用。
类型:
- 零样本代理: 无需训练即可执行任务。
- 自定义代理: 根据特定需求设计的代理。
作用:
- 动态决策: 在客服场景中，代理可以根据用户问题动态选择调用知识库或生成回答。
- 工具集成: 在数据分析中，代理可以调用计算工具或数据库查询工具。
- 任务调度: 在自动化流程中，代理可以管理多个任务的执行顺序。

5. Memory（记忆）

定义: Memory 用于存储和管理对话或任务的历史信息，以保持上下文一致性。
类型:
- 短期记忆: 存储当前会话的上下文。
- 长期记忆: 存储用户的历史数据或偏好。
作用:
- 多轮对话: 在聊天机器人中，记忆可以记住用户之前的提问，提供连贯的回答。
- 个性化服务: 在推荐系统中，记忆可以存储用户偏好，提供个性化推荐。
- 任务延续: 在复杂任务中，记忆可以保存任务状态，便于后续继续处理。

6. Indexes（索引）

定义: Indexes 用于管理和检索大量文本数据，通常结合向量数据库使用。
类型:
- 文本索引: 基于关键词的检索。
- 向量索引: 基于语义相似度的检索。
作用:
- 知识库检索: 在企业知识库中，快速检索相关信息。
- 语义搜索: 在电商平台中，通过语义索引实现更精准的商品搜索。
- 文档管理: 在法律或医疗领域，快速查找相关文档。

7. Tools（工具）

定义: Tools 是外部功能或 API，如搜索引擎、数据库、计算器等。
类型:
- 搜索工具: 如 Google 搜索 API。
- 计算工具: 如数学计算器。
- 数据库工具: 如 SQL 查询工具。
作用:
- 扩展能力: 在问答系统中，调用搜索工具获取实时信息。
- 数据处理: 在数据分析中，调用计算工具进行复杂计算。
- 系统集成: 在企业应用中，集成内部系统 API 实现自动化流程。

8. Callbacks（回调）

定义: Callbacks 是事件驱动的机制，用于在特定事件发生时执行自定义逻辑。
类型:
- 日志回调: 记录系统运行日志。
- 错误回调: 处理任务执行中的错误。
作用:
- 监控与调试: 在开发过程中，通过回调监控模型行为。
- 错误处理: 在生产环境中，通过回调实现错误预警和恢复。
- 性能优化: 通过回调记录任务执行时间，优化系统性能。

9. Output Parsers（输出解析器）

定义: Output Parsers 用于解析和处理模型的输出，将其转换为结构化数据。
类型:
- JSON 解析器: 将输出解析为 JSON 格式。
- 自定义解析器: 根据需求设计解析逻辑。
作用:
- 数据标准化: 在 API 集成中，将模型输出解析为标准化格式。
- 结果提取: 在信息提取任务中，从模型输出中提取关键信息。

10. Document Loaders（文档加载器）

定义: Document Loaders 用于从不同来源（如文件、数据库、API）加载文档数据。
类型:
- 文件加载器: 加载本地文件（如 PDF、TXT）。
- API 加载器: 从外部 API 获取数据。
作用:
- 数据整合: 在知识库构建中，从多个来源加载文档。
- 信息提取: 在文档处理中，加载文档并提取关键信息。

11. Text Splitters（文本分割器）

定义: Text Splitters 用于将长文本分割成较小的片段，便于模型处理。
类型:
- 按字符分割: 按固定字符数分割。
- 按语义分割: 按句子或段落分割。
作用:
- 处理长文本: 在文档总结中，将长文档分割为小块进行处理。
- 提高效率: 在问答系统中，分割文本以匹配模型输入长度。

12. Vector Stores（向量存储）

定义: Vector Stores 用于存储和管理文本的向量表示，通常结合索引使用。
类型:
- 本地向量存储: 如 FAISS。
- 云向量存储: 如 Pinecone。
作用:
- 语义搜索: 在推荐系统中，通过向量存储实现语义相似度搜索。
- 知识管理: 在企业知识库中，存储文档的向量表示以便快速检索。

13. Embeddings（嵌入）

定义: Embeddings 是将文本转换为向量表示的技术，通常用于语义分析和相似度计算。
类型:
- 预训练嵌入: 如 OpenAI 的嵌入模型。
- 自定义嵌入: 根据特定任务训练的嵌入模型。
作用:
- 语义分析: 在情感分析中，通过嵌入模型理解文本情感。
- 聚类分析: 在用户分群中，通过嵌入模型实现用户聚类。

14. Evaluators（评估器）

定义: Evaluators 用于评估模型或系统的性能，通常结合测试数据和指标使用。
类型:
- 自动化评估: 如 BLEU 分数。
- 人工评估: 如人工打分。
作用:
- 性能监控: 在生产环境中，定期评估模型性能。
- 优化指导: 在开发过程中，通过评估结果优化模型。

15. Utilities（工具集）

定义: Utilities 是 LangChain 提供的各种辅助工具和函数，用于简化开发过程。
类型:
- 文本处理工具: 如正则表达式工具。
- 调试工具: 如日志记录工具。
作用:
- 提高效率: 在开发中，快速实现常见功能。
- 简化流程: 在任务处理中，减少重复代码。

通过以上组件的灵活组合，LangChain 可以支持多种应用场景，如智能客服、知识库管理、自动化文档处理等，帮助开发者快速构建高效的基于大型语言模型的应用程序。

LangChain工作机制

LangChain遵循结构化的流程，将用户查询、数据检索和响应生成集成为无缝的工作流程。

图

用户查询

该流程在用户提交查询或请求时开始。例如，用户可能会问：“今天天气怎么样？”该查询用作LangChain流程的输入。

向量表示与相似性搜索

一旦收到查询，LangChain使用嵌入将其转换为向量表示。该向量捕获查询的语义含义。然后使用该向量在向量数据库中执行相似性搜索。目标是找到与用户查询匹配的数据库中存储的最相关的信息或上下文。

获取相关信息

基于相似性搜索，LangChain从数据库中检索最相关的数据或上下文。此步骤确保语言模型能够访问准确且上下文适当的信息，以生成有意义的响应。

生成响应

检索到的信息被传递到语言模型（例如，OpenAI的GPT4， DeepSeek的R1或其他）。LLM处理输入并根据提供的数据生成响应或采取操作。

例如，如果查询是关于天气的，LLM可能会生成这样的响应：“今天的天气是阳光明媚的，最高温度为10摄氏度。”

格式化后的响应作为最终输出返回给用户。用户会收到一个清晰、准确且与上下文相关的查询答案。

LangChain入门示例

要开始使用LangChain，您需要安装所需的库并设置一个基本环境。

步骤1：安装LangChain

安装LangChain的命令如下：

pip install langchain

步骤2：安装大模型

LangChain与各种大型语言模型（llm）一起工作，对于这个例子，我们将使用OpenAI，当然也支持其他大模型，如DeepSeek。安装OpenAI，执行如下命令：

pip install openai 
# pip install deepseek-sdk

步骤3：安装Python-dotenv

为了在环境变量中安全地存储LLM API密钥，我们将使用python-dotenv库。运行以下命令安装：

pip install  python-dotenv

步骤4：生成并存储您的API密钥

你需要通过注册和创建帐户从LLM平台生成API密钥。一旦你有了API密钥，在你的项目目录中创建一个。env文件，并像这样添加你的API密钥：

OPENAI_KEY = 'your_api_key'

步骤5：编写Python脚本

接下来，创建名为lang.py的新Python文件。在这个文件中，将使用LangChain用LLM生成响应。首先导入必要的库：

import os
import openai
import langchain
from dotenv import load_dotenv

# Load the API key from .env file
load_dotenv()
api_key = os.getenv("OPENAI_KEY", None)

这段代码从.env文件加载环境变量，LLM API密钥存储在该文件中。初始设置完成后，让我们继续构建一个生成响应的简单应用程序。我们首先向模型提出一个基本问题：“给我推荐一项必备技能”

步骤6：初始化OpenAI模型

导入LangChain并使用OpenAI类初始化OpenAI LLM（大型语言模型）：

from langchain.llms import OpenAI

# Initialize OpenAI LLM with a temperature of 0.9 for randomness
llm = OpenAI(temperature=0.9, openai_api_key=api_key)

在这种情况下，temperature=0.9的设置意味着结果将更加随机和创造性。如果你希望响应更加准确和确定，可以将温度降低到0.4左右。

步骤7：生成响应

现在模型已经初始化，您可以通过向它传递一个简单的提示来生成响应。在这种情况下，我们会问，“给我推荐一项必备技能？”

response=llm.predict("给我推荐一项必备技能？")
print(response)

该输出基于语言模型的预测，并且温度设置为0.9，它提供了当前需求的更具创造性和多样化的技能集。

LangChain的应用场景

LangChain是一个强大的工具，可用于构建广泛的llm驱动应用程序。它易于使用，并且拥有大量的用户和贡献者社区。

会话代理：构建聊天机器人和虚拟助手，它们可以与用户进行有意义的、上下文感知的对话。
文档摘要：自动生成长文档摘要，方便用户消化大量信息。
问题回答：创建能够根据给定上下文或一组文档回答问题的系统。
流程自动化：设计涉及多个步骤的工作流，例如数据提取、处理和报告，所有这些都由语言模型提供支持。
内容生成：在语言模型的帮助下生成创意内容，如文章、故事或营销文案。

LangChain框架提供良好的接口和流程，可以开发有趣的人工智能应用程序，从个人助理到提示管理以及自动化任务。所以，继续学习，继续开发强大的大模型应用程序。