用通俗易懂的方式讲解：使用 Mistral-7B 和 Langchain 搭建基于PDF文件的聊天机器人

news2024/9/25 3:23:37

在本文中，使用LangChain、HuggingFaceEmbeddings和HuggingFace的Mistral-7B LLM创建一个简单的Python程序，可以从任何pdf文件中回答问题。

一、LangChain简介

LangChain是一个在语言模型之上开发上下文感知应用程序的框架。LangChain使用带prompt和few-shot示例的LLM来提供相关响应和推理。LangChain擅长文档问答、聊天机器人、分析结构化数据等。LangChain提供方便处理LLM的抽象组件及其实现，还为更高级别的任务提供组件Chain。

安装langchain：

pip install langchain

LangChain中的模块：Model I/O（模型I/O）, Retrieval（检索）, Chains（链）, Agents（代理）, Memory（记忆）, Callbacks（回调）

1.1 模型I/O模块

模型I/O是应用程序的核心元素。使用LangChain，可以使用任何大语言模型。这个接口需要三个组件：大语言模型、提示和输出解析器。

LangChain提供了许多类和函数来构建提示，为各种任务提供现成的**提示模板，**也可以自定义提示模板。

LangChain可以使用LLM，也可以使用以聊天消息列表为输入并返回聊天聊天消息。它可以与许多LLM一起工作，包括OpenAI LLMs和开源LLM。

输出解析器用于构建从LLM接收的响应，PydanticOutputParser是LangChain中输出解析器的主要类型。

1.2 检索模块

检索模块实现了检索增强生成（RAG），可以访问大模型训练数据之外的用户私有数据。检索步骤包括以下几步：加载数据、转换数据、创建或获取嵌入、存储嵌入和检索嵌入。LangChain拥有大约100个文档加载器，可以读取主要的文档格式，比如CSV、HTML、pdf、代码等。它可以使用不同的算法转换数据。LangChain集成了超过25个嵌入模型和超过50家向量数据库。

1.3 链条模块

复杂的应用程序通常需要组合多个LLM来完成。LangChain提供了Chain功能，可以集成多个LLM，Chain也可以调用其他Chain。

1.4 代理模块

代理也是一种Chain，负责决定下一步动作。代理由一个语言模型和一个提示组成，它需要以下输入：可用工具列表、用户输入和历史执行信息（如果有的话）。代理cals的功能被称为“工具”。代理使用LLM来决定要采取的操作和顺序。操作包括——使用工具，观察工具的输出，向用户返回响应。

1.5 记忆模块

记忆模块使系统能够记住过去的信息，这在对话机器人中非常重要。

1.6 回调模块

回调机制允许用户使用API的“回调”参数返回LLM应用程序不同阶段的信息，比如用于日志记录、监控、流式传输等。

二、Mistral-7B

Mistral-7B是一个强大的语言模型（目前是开源的），具有73亿个参数，性能优于很多参数量更高的大模型。它可以下载以供离线使用，也可以在云中使用或从HuggingFace下载。使用langchain中的HuggingFaceHub，可以使用以下代码加载并使用Mistral-7B：

repo_id = "mistralai/Mistral-7B-v0.1"
llm = HuggingFaceHub(huggingfacehub_api_token='your huggingface access token here', 
                     repo_id=repo_id, model_kwargs={"temperature":0.2, "max_new_tokens":50})

三、HuggingFace Embedding

在处理文本、图像、音频、视频、文档等数据时，通常首先会进行embedding把他们表示成数字类型，这样便于神经网络处理，embedding不仅仅是一种数字表示，它也可以捕捉数据的上下文语义信息。

HuggingFace提供了Sentence Transformers模型可以进行embedding，安装如下所示：

pip install -U sentence-transformers

然后使用它加载一个预先训练好的模型来对文本句子进行编码。

四、chroma向量存储

chroma是一个开源的嵌入数据库（矢量存储），用于创建、存储、检索和进行嵌入的语义搜索。安装如下：

pip install chroma

它允许用户连接到chroma客户端，创建一个集合，将带有元数据和id的文档添加到集合（此步骤创建嵌入），然后查询此集合（语义检索）。

五、pypdf 库

pypdf库可以读取、拆分、合并、裁剪、转换pdf文件的页面，添加自定义数据，更改查看选项，为pdf文件添加密码，从pdf文件中检索文本和元数据。安装如下所示：

pip install pypdf

要将pypdf与AES加密或解密一起使用，请安装额外的依赖项：

pip install pypdf[crypto]

六、实现代码

# Install dependencies
!pip install huggingface_hub
!pip install chromadb
!pip install langchain
!pip install pypdf
!pip install sentence-transformers

# import required libraries
from langchain.document_loaders import PyPDFLoader
from langchain.text_splitter import CharacterTextSplitter
from langchain.embeddings import HuggingFaceEmbeddings
from langchain.llms import HuggingFaceHub
from langchain.vectorstores import Chroma
from langchain.chains import ConversationalRetrievalChain

# Load the pdf file and split it into smaller chunks
loader = PyPDFLoader('report.pdf')
documents = loader.load()

# Split the documents into smaller chunks 
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
texts = text_splitter.split_documents(documents)

# We will use HuggingFace embeddings 
embeddings = HuggingFaceEmbeddings()

#Using Chroma vector database to store and retrieve embeddings of our text
db = Chroma.from_documents(texts, embeddings)
retriever = db.as_retriever(search_kwargs={'k': 2})

# We are using Mistral-7B for this question answering 
repo_id = "mistralai/Mistral-7B-v0.1"
llm = HuggingFaceHub(huggingfacehub_api_token='your huggingface access token here', 
                     repo_id=repo_id, model_kwargs={"temperature":0.2, "max_new_tokens":50})

# Create the Conversational Retrieval Chain
qa_chain = ConversationalRetrievalChain.from_llm(llm, retriever,return_source_documents=True)

#We will run an infinite loop to ask questions to LLM and retrieve answers untill the user wants to quit
import sys
chat_history = []
while True:
    query = input('Prompt: ')
    #To exit: use 'exit', 'quit', 'q', or Ctrl-D.",
    if query.lower() in ["exit", "quit", "q"]:
        print('Exiting')
        sys.exit()
    result = qa_chain({'question': query, 'chat_history': chat_history})
    print('Answer: ' + result['answer'] + '\n')
    chat_history.append((query, result['answer']))

至此，基于PDF的聊天机器人就搭建好了，你可以从一个长而难的pdf中回答你的所有问题。Just do it！

通俗易懂讲解大模型系列

  • 用通俗易懂的方式讲解：ChatGPT 开放的多模态的DALL-E 3功能，好玩到停不下来！

  • 用通俗易懂的方式讲解：结合检索和重排序模型，改善大模型 RAG 效果明显

  • 用通俗易懂的方式讲解：基于扩散模型（Diffusion）,文生图 AnyText 的效果太棒了

  • 用通俗易懂的方式讲解：在 CPU 服务器上部署 ChatGLM3-6B 模型

  • 用通俗易懂的方式讲解：ChatGLM3-6B 功能原理解析

  • 用通俗易懂的方式讲解：使用 LangChain 和大模型生成海报文案

  • 用通俗易懂的方式讲解：一个强大的 LLM 微调工具 LLaMA Factory

  • 用通俗易懂的方式讲解：ChatGLM3-6B 部署指南

  • 用通俗易懂的方式讲解：LangChain Agent 原理解析

  • 用通俗易懂的方式讲解：HugggingFace 推理 API、推理端点和推理空间使用详解

  • 用通俗易懂的方式讲解：使用 LangChain 封装自定义的 LLM，太棒了

  • 用通俗易懂的方式讲解：使用 FastChat 部署 LLM 的体验太爽了

  • 用通俗易懂的方式讲解：基于 Langchain 和 ChatChat 部署本地知识库问答系统

  • 用通俗易懂的方式讲解：使用 Docker 部署大模型的训练环境

  • 用通俗易懂的方式讲解：在 Ubuntu 22 上安装 CUDA、Nvidia 显卡驱动、PyTorch等大模型基础环境

  • 用通俗易懂的方式讲解：Llama2 部署讲解及试用方式

  • 用通俗易懂的方式讲解：LangChain 知识库检索常见问题及解决方案

  • 用通俗易懂的方式讲解：基于 LangChain 和 ChatGLM2 打造自有知识库问答系统

  • 用通俗易懂的方式讲解：代码大模型盘点及优劣分析

  • 用通俗易懂的方式讲解：Prompt 提示词在开发中的使用

  • 用通俗易懂的方式讲解：万字长文带你入门大模型

技术交流

建了AIGC大模型技术交流群！ 想要学习、技术交流、获取如下原版资料的同学，可以直接加微信号：mlc2060。加的时候备注一下：研究方向 +学校/公司+CSDN，即可。然后就可以拉你进群了。

方式①、微信搜索公众号：机器学习社区，后台回复：加群
方式②、添加微信号：mlc2060，备注：来自CSDN + 技术交流

在这里插入图片描述

参考文献：

[1] https://medium.com/@nimritakoul01/chat-with-your-pdf-files-using-mistral-7b-and-langchain-f3be9363301c

[2] https://colab.research.google.com/corgiredirector?site=https%3A%2F%2Fmedium.com%2F%40woyera%2Fhow-to-chat-with-your-pdf-using-python-llama-2-41df80c4e674

[3] https://www.shakudo.io/blog/build-pdf-bot-open-source-llms

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1364658.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

【Spring Boot 源码学习】SpringApplication 的定制化介绍

【Spring Boot 源码学习】SpringApplication 的定制化介绍

Spring Boot 源码学习系列 SpringApplication 的定制化介绍 一、引言二、往期内容三、主要内容1. 基础配置1.1 设置关闭 Banner1.2 设置自定义 Banner 打印对象1.3 设置应用程序主入口类1.4 设置用于创建应用程序上下文的工厂1.5 添加 BootstrapRegistry 初始化器实现1.6 设置或…
阅读更多...
计算机毕业设计 基于Javaweb的城乡居民基本医疗信息管理系统的设计与实现 Java实战项目 附源码+文档+视频讲解

计算机毕业设计 基于Javaweb的城乡居民基本医疗信息管理系统的设计与实现 Java实战项目 附源码+文档+视频讲解

博主介绍：✌从事软件开发10年之余，专注于Java技术领域、Python人工智能及数据挖掘、小程序项目开发和Android项目开发等。CSDN、掘金、华为云、InfoQ、阿里云等平台优质作者✌ 🍅文末获取源码联系🍅 👇🏻 精…
阅读更多...
通俗易懂的15个Java Lambda表达式案例

通俗易懂的15个Java Lambda表达式案例

文章目录 1. **实现Runnable接口**：2. **事件监听器**（如Swing中的ActionListener）：3. **集合遍历**（使用forEach方法）：4. **过滤集合**（使用Stream API）：5. …
阅读更多...
VMware17 下载安装教程

VMware17 下载安装教程

VMware17 下载安装ubuntu22.04虚拟机安装 一、VM安装 1.打开官方下载地址：https://www.vmware.com/products/workstation-pro/workstation-pro-evaluation.html 跳转页面后，点击左边的Download oad now，下载的就是最新版的 Workstation 17 …
阅读更多...
Fiber Golang 中的路由和中间件

Fiber Golang 中的路由和中间件

掌握 GoLang Fiber 中的路由和中间件艺术，以进行高效的 Web 开发 在网络开发领域中，创建一个有效地路由和管理各种任务的 Web 应用程序至关重要。路由决定了如何处理传入的请求，而中间件在执行任务，如身份验证、日志记录和请求解…
阅读更多...
【vue】emit 的理解与使用

【vue】emit 的理解与使用

文章目录 介绍流程示例效果父组件子组件 介绍 $emit 是 Vue 组件实例中的一个方法，用来触发自定义事件，并向父组件传递信息它接受两个参数：事件名称和可选参数this.$emit(事件名称, 参数);流程 示例 效果 触发前 触发后 父组件 父组件使…
阅读更多...
stable diffusion 人物高级提示词（五）场景、特效、拍摄手法、风格

stable diffusion 人物高级提示词（五）场景、特效、拍摄手法、风格

一、场景 场景Promptindoor室内outdoor室外cityscape城市景色countryside乡村beach海滩forest森林mountain山脉snowfield雪原skyscraper摩天大楼ancient monument古代遗迹cathedral大教堂library图书馆museum博物馆office building办公大楼restaurant餐厅street market街头市场…
阅读更多...
Hive实战：网址去重

Hive实战：网址去重

文章目录 一、实战概述二、提出任务三、完成任务（一）准备数据1、在虚拟机上创建文本文件2、上传文件到HDFS指定目录 （二）实现步骤1、启动Hive Metastore服务2、启动Hive客户端3、基于HDFS数据文件创建Hive外部表4、利用Hive SQL实…
阅读更多...
VMware Workstation——快照

VMware Workstation——快照

目录 一、为什么要使用快照 二、拍摄快照 三、快照管理 1、克隆 2、转到 ​3、删除 一、为什么要使用快照 VMware虚拟机的快照是一个很重要的功能。 简单点说它相当于某个时刻虚拟的备份，并且可以快速还原至原来的状态。但是它和备份还是有区别的。 【快照…
阅读更多...
吉林大学分布式计算系统题目解析

吉林大学分布式计算系统题目解析

分布式计算题目解析 填空题 1、名字按结构可分为（）和（） （绝对名字）和（相对名字） 绝对名字：这是完全确定的路径名字,也就是从根目录开始的完整路径。例如在文件系统中…
阅读更多...
推荐弱光图像增强算法比较《Lightening Network for Low-Light Image Enhancement》(附带DLN可执行程序)

推荐弱光图像增强算法比较《Lightening Network for Low-Light Image Enhancement》(附带DLN可执行程序)

文章链接：https://ieeexplore.ieee.org/document/9141197 文章代码：https://github.com/WangLiwen1994/DLN 很经典的一个工作，其实并没有特别好讲的，因为并不是广为流传的工作 唯一值得说的就是比较好更改网络结构以及用于我们自…
阅读更多...
Python综合数据分析_根据订单求RFM值

Python综合数据分析_根据订单求RFM值

文章目录 0.导入数据1.数据可视化2.数据清洗3.特征工程4.构建User用户表5.求R值6.求F值7.求M值 0.导入数据 import pandas as pd #导入Pandas df_sales pd.read_csv(订单.csv) #载入数据 df_sales.head() #显示头几行数据 1.数据可视化 import matplotlib.pyplot as plt #导…
阅读更多...
实现目标检测中的数据格式自由（labelme json、voc、coco、yolo格式的相互转换）

实现目标检测中的数据格式自由（labelme json、voc、coco、yolo格式的相互转换）

在进行目标检测任务中，存在labelme json、voc、coco、yolo等格式。labelme json是由anylabeling、labelme等软件生成的标注格式、voc是通用目标检测框（mmdetection、paddledetection）所支持的格式，coco是通用目标检测框&#xff0…
阅读更多...
来瞅瞅Java 11都有啥新特性

来瞅瞅Java 11都有啥新特性

第1章：引言 大家好，我是小黑！今天小黑要和咱们聊聊Java 11，这个在Java发展史上占有一席之地的版本。说起Java，咱们都知道，它是一门历史悠久又持续发展的编程语言。Java不仅因其“一次编写，到处…
阅读更多...
Java 堆的设计，如何用堆进行排序

Java 堆的设计，如何用堆进行排序

Java 学习面试指南：https://javaxiaobear.cn 1、堆的定义 堆是计算机科学中一类特殊的数据结构的统称，堆通常可以被看做是一棵完全二叉树的数组对象。 1、堆的特性 它是完全二叉树，除了树的最后一层结点不需要是满的，其它的每一层…
阅读更多...
如何写html邮件 —— 参考主流outook、gmail、qq邮箱渲染邮件过程

如何写html邮件 —— 参考主流outook、gmail、qq邮箱渲染邮件过程

文章目录 ⭐前言⭐outlook渲染邮件⭐gmail邮箱渲染邮件⭐qq邮箱渲染邮件 ⭐编写html邮件💖table表格的属性💖文本💖图片💖按钮💖背景图片 ⭐总结⭐结束 ⭐前言 大家好，我是yma16，本文分享关于 …
阅读更多...
软件装一送三了！还附带弹窗资讯，你确定不试一下？

软件装一送三了！还附带弹窗资讯，你确定不试一下？

前言 前几天一个朋友向我吐槽，说电脑太卡了。自己好像都没安装什么软件，怎么就那么多弹窗广告。 我看了一下他的电脑，笑了一下说：你的电脑真好，都会只能给你推荐美女看，这资讯来之不易啊，好好享…
阅读更多...
深信服技术认证“SCSA-S”划重点：文件包含漏洞

深信服技术认证“SCSA-S”划重点：文件包含漏洞

为帮助大家更加系统化地学习网络安全知识，以及更高效地通过深信服安全服务认证工程师考核，深信服特别推出“SCSA-S认证备考秘笈”共十期内容，“考试重点”内容框架，帮助大家快速get重点知识~ 划重点来啦 *点击图片放大展示 深信服…
阅读更多...
霍兰德职业兴趣测试 60题（免费版）

霍兰德职业兴趣测试 60题（免费版）

霍兰德职业兴趣理论从兴趣的角度出发探索职业指导的问题，明确了职业兴趣的人格观念，使得人们对于职业兴趣的认识有了质的变化。在霍兰德职业兴趣理论提出来之前，职业兴趣和职业环境二者分别独立存在，正是霍兰德的总结，…
阅读更多...
Snipaste下载和使用

Snipaste下载和使用

文章目录 前言一、Snipaste功能1.屏幕截图2.贴图功能3.图片编辑4.标注功能5.快捷键6.支持多屏7.安全可靠 二、使用步骤三、下载 总结 前言 Snipaste是一款简单但功能强大的截图工具，也可以将截图贴回到屏幕上。 一、Snipaste功能 1.屏幕截图 支持捕捉全屏、窗口、…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023