大模型从入门到应用——LangChain：模型（Models）-[大型语言模型（LLMs）：基础知识！

news2024/11/23 12:20:20

LangChain系列文章：

基础知识
快速入门
- 安装与环境配置
- 链（Chains）、代理（Agent:）和记忆（Memory）
- 快速开发聊天模型
模型（Models）
- 基础知识
- 大型语言模型（LLMs）
  - 基础知识
  - LLM的异步API、自定义LLM包装器、虚假LLM和人类输入LLM（Human Input LLM）
  - 缓存LLM的调用结果
  - 加载与保存LLM类、流式传输LLM与Chat Model响应和跟踪tokens使用情况
- 聊天模型（Chat Models）
  - 基础知识
  - 使用少量示例和响应流式传输
- 文本嵌入模型
  - Aleph Alpha、Amazon Bedrock、Azure OpenAI、Cohere等
  - Embaas、Fake Embeddings、Google Vertex AI PaLM等
提示（Prompts）
- 基础知识
- 提示模板
  - 基础知识
  - 连接到特征存储
  - 创建自定义提示模板和含有Few-Shot示例的提示模板
  - 部分填充的提示模板和提示合成
  - 序列化提示信息
- 示例选择器（Example Selectors）
- 输出解析器（Output Parsers）
记忆（Memory）
- 基础知识
- 记忆的类型
  - 会话缓存记忆、会话缓存窗口记忆和实体记忆
  - 对话知识图谱记忆、对话摘要记忆和会话摘要缓冲记忆
  - 对话令牌缓冲存储器和基于向量存储的记忆
- 将记忆添加到LangChain组件中
- 自定义对话记忆与自定义记忆类
- 聊天消息记录
- 记忆的存储与应用
索引（Indexes）
- 基础知识
- 文档加载器（Document Loaders）
- 文本分割器（Text Splitters）
- 向量存储器（Vectorstores）
- 检索器（Retrievers）
链（Chains）
- 基础知识
- 通用功能
  - 自定义Chain和Chain的异步API
  - LLMChain和RouterChain
  - SequentialChain和TransformationChain
  - 链的保存（序列化）与加载（反序列化）
- 链与索引
  - 文档分析和基于文档的聊天
  - 问答的基础知识
  - 图问答（Graph QA）和带来源的问答（Q&A with Sources）
  - 检索式问答
  - 文本摘要（Summarization）、HyDE和向量数据库的文本生成
代理（Agents）
- 基础知识
- 代理类型
- 自定义代理（Custom Agent）
- 自定义MRKL代理
- 带有ChatModel的LLM聊天自定义代理和自定义多操作代理（Custom MultiAction Agent）
- 工具
  - 基础知识
  - 自定义工具（Custom Tools）
  - 多输入工具和工具输入模式
  - 人工确认工具验证和Tools作为OpenAI函数
- 工具包（Toolkit）
- 代理执行器（Agent Executor）
  - 结合使用Agent和VectorStore
  - 使用Agents的异步API和创建ChatGPT克隆
  - 处理解析错误、访问中间步骤和限制最大迭代次数
  - 为代理程序设置超时时间和限制最大迭代次数和为代理程序和其工具添加共享内存
- 计划与执行
回调函数（Callbacks）

大型语言模型（LLMs）是LangChain的核心组件。LangChain不提供大型语言模型，而是提供了一个标准接口，通过该接口我们可以与各种LLMs进行交互。LLM类是专为与LLM接口设计的类。有许多LLM提供者（如：OpenAI、Cohere、Hugging Face），此类旨在为所有LLM提供一个标准接口。在《[自然语言处理从入门到应用——LangChain：模型（Models）-大型语言模型（LLMs）]》系列文章中，我们将专注于通用的LLM功能，而有关使用特定LLM包装器的详细信息，请参见具体的示例。

在本文中，我们将使用OpenAI LLM包装器，其功能对于所有LLM类型都是通用的。

from langchain.llms import OpenAI
llm = OpenAI(model_name="text-ada-001", n=2, best_of=2)
12

生成文本（Generate Text）是LLM最基本的功能，其传入一个字符串并返回一个字符串：

llm("Tell me a joke")
1

输出：

'\n\nWhy did the chicken cross the road?\n\nTo get to the other side.'
1

generate：我们还可以用一个输入列表来调用它，得到是比仅输入文本更完整的响应。这个完整的响应包括多个顶级响应，以及LLM供应商特定的信息。

llm_result = llm.generate(["Tell me a joke", "Tell me a poem"]*15)
len(llm_result.generations)
12

输出：

30
1

输入：

llm_result.generations[0]
1

输出：

[Generation(text='\n\nWhy did the chicken cross the road?\n\nTo get to the other side!'), 
Generation(text='\n\nWhy did the chicken cross the road?\n\nTo get to the other side.')]
12

输入：

llm_result.generations[-1]
1
[Generation(text="\n\nWhat if love neverspeech\n\nWhat if love never ended\n\nWhat if love was only a feeling\n\nI'll never know this love\n\nIt's not a feeling\n\nBut it's what we have for each other\n\nWe just know that love is something strong\n\nAnd we can't help but be happy\n\nWe just feel what love is for us\n\nAnd we love each other with all our heart\n\nWe just don't know how\n\nHow it will go\n\nBut we know that love is something strong\n\nAnd we'll always have each other\n\nIn our lives."), 
Generation(text='\n\nOnce upon a time\n\nThere was a love so pure and true\n\nIt lasted for centuries\n\nAnd never became stale or dry\n\nIt was moving and alive\n\nAnd the heart of the love-ick\n\nIs still beating strong and true.')]
12

我们还可以访问返回的特定于服务提供商的信息，这些信息在不同的服务提供商之间并不标准化：

llm_result.llm_output
1

输出：

{'token_usage': {'completion_tokens': 3903, 'total_tokens': 4023, 'prompt_tokens': 120}}
1

Number of Tokens：我们还可以估算在该模型中一段文本将包含多少tokens。这很有用，因为模型有一个上下文长度，并且对于更多tokens的成本更高，这意味着我们需要知道传入的文本有多长。按默认设置，使用tiktoken估计tokens：

llm.get_num_tokens("what a joke")
1

输出：

3
1

参考文献：
[1] LangChain 🦜️🔗 中文网，跟着LangChain一起学LLM/GPT开发：https://www.langchain.com.cn/
[2] LangChain中文网 - LangChain 是一个用于开发由语言模型驱动的应用程序的框架：http://www.cnlangchain.com/