基于 InternLM 和 LangChain 搭建你的知识库(三)

news2024/11/25 14:30:20

基于 InternLM 和 LangChain 搭建你的知识库

大模型开发范式

在这里插入图片描述

Finetune

在大型语言模型中，Finetune（微调）是一种技术，用于调整预训练的模型以提高其在特定任务或数据集上的表现。这种方法通常涉及以下步骤：

预训练模型：首先，需要一个预训练的大型语言模型，如GPT、BERT或其他变体。这些模型通常在大型文本语料库上训练，以学习语言的广泛特征和结构。

特定任务的数据：接着，收集和准备针对特定任务的数据集。这个数据集应该包括输入和期望的输出，例如，用于情感分析的句子和它们的情感标签，或者用于翻译任务的句子对。

微调：然后，使用特定任务的数据集对预训练模型进行微调。这通常涉及在该数据集上继续训练模型一段时间，调整模型的权重以优化任务特定的性能。微调时，学习率通常设置得比预训练阶段低，以避免过快破坏预训练时学到的有用特征。

评估和调整：最后，评估微调后模型的性能，并根据需要调整微调过程（如调整学习率、训练更多的轮次或修改数据处理方式）以进一步提高性能。

微调的优势在于能够利用预训练模型在广泛数据上学习到的丰富知识，从而需要较少的标注数据就可以达到较高的性能。这对于数据稀缺的任务尤其有价值。然而，微调也有其挑战，例如过拟合（特别是在小数据集上）、调整过程中的超参数选择等。
在这里插入图片描述
Retrieval Augmented Generation (RAG)
RAG是一种自然语言处理技术，结合了信息检索和文本生成的能力，以提高模型在处理复杂查询时的性能和准确性。在RAG系统中，首先利用一个检索组件查询一个大型文档数据库，以找到与给定查询最相关的信息。然后，这些检索到的文档被送入一个生成模型，如序列到序列的转换模型，这个模型利用检索到的信息来生成回答或完成给定的文本任务。

RAG模型的关键在于它结合了检索的精确性和生成模型的灵活性。通过这种方式，RAG能够在需要具体信息或知识支持时提供更准确、更丰富的回答。例如，在回答特定的事实问题、撰写有关特定主题的文章或生成信息丰富的对话回复时，RAG模型可以展现出比传统的生成模型更优越的性能。

RAG技术的一个主要优势是它能够有效地处理那些对传统生成模型来说过于复杂或需要外部知识的查询。它通过检索相关文档来直接利用现有的知识库，然后将这些信息融入生成过程中，从而提高了生成文本的相关性和准确性。这使得RAG尤其适合于需要广泛背景知识的应用场景，如问答系统、内容创作和对话系统等。

RAG模型的实现通常涉及到两个主要组件的训练和优化：检索组件和生成组件。检索组件负责从大型文档集中快速有效地检索出与查询最相关的文档，而生成组件则负责处理这些文档，并基于它们生成连贯和相关的文本输出。这两个组件的协同工作使得RAG能够在许多自然语言处理任务中实现高性能。

在这里插入图片描述

LangChain是一个开源框架，旨在利用最新的自然语言处理（NLP）技术，尤其是大型语言模型（LLM），来构建和部署语言应用。它提供了一套工具和API，使开发者能够轻松集成复杂的语言理解和生成能力到他们的应用中。LangChain通过提供与检索增强生成（RAG）、链式推理、对话系统等高级功能的集成，促进了创新应用的开发。以下是几种结合LangChain可能的应用场景：

  • 增强的问答系统：利用LangChain，可以构建更智能、更准确的问答系统，这些系统能够通过检索和引用大量的外部知识源来回答复杂的问题。结合RAG等技术，这些系统不仅能够生成准确的答案，还能提供答案的来源，增加透明度和可信度。
  • 知识管理和信息检索：LangChain可以帮助企业和组织构建先进的知识管理系统，这些系统能够理解自然语言查询，并从大型文档库中检索和总结相关信息。这对于提高研究效率和支持决策过程特别有价值。
  • 自动内容创作：利用LangChain，可以开发出能够自动生成文章、报告、摘要等内容的应用。结合RAG等技术，这些应用能够引用和整合来自多个来源的信息，创造出既丰富又准确的内容。
  • 交互式对话系统和聊天机器人：LangChain提供的工具和API使得开发者能够构建高度互动的对话系统和聊天机器人，这些系统能够进行复杂的对话、解答问题、提供推荐，甚至执行特定的任务或服务。
  • 教育和学习：通过LangChain，可以开发辅助学习和教学的应用，例如自动生成练习题、提供个性化的学习资料和反馈，以及构建能够解答学生问题的智能助手。
  • 创意写作和娱乐：LangChain也可以用于支持创意写作，包括自动生成故事、诗歌、剧本等。此外，它还可以用于开发互动游戏和娱乐应用，其中包括复杂的故事情节和角色对话。

基于langChain搭建RAG
在这里插入图片描述

构建向量数据库

加载源文件 -》文档分块 -》文档向量
在这里插入图片描述

搭建知识库助手

在这里插入图片描述

构建一个检索问答链（Retrieval Question-Answering Chain, RQAC）涉及到创建一个系统，它可以通过检索相关信息并基于这些信息生成回答来处理复杂的查询。这个过程通常涉及到以下几个关键步骤：

需求分析：

确定系统的目标用户和用例。
确定需要检索的信息类型和来源。
选择或构建检索系统：

确定适合的检索技术（例如，Elasticsearch, Solr, 或自定义检索算法）。
构建或配置检索数据库，确保它包含足够的信息来回答用户的问题。
实现一个检索模块，它可以根据用户的查询从数据库中检索相关文档或信息。
选择或开发问答生成模型：

选择一个现有的语言模型（如GPT-4, BERT, T5等），这些模型可以用来理解查询和生成回答。
根据需要，训练或微调模型以提高对特定域或任务的回答质量。
集成检索和问答系统：

实现一个流程，其中用户的查询首先触发检索模块来查找相关信息。
将检索到的信息作为上下文输入到问答模型中，生成针对用户查询的回答。
用户界面设计：

设计一个用户界面，用户可以通过它提交查询并接收回答。
确保界面简洁易用，能够清楚地展示检索到的信息和生成的回答。
测试和优化：

对系统进行彻底测试，包括单元测试、集成测试和用户接受测试。
根据反馈优化检索准确性和回答质量。
部署和维护：

部署系统到生产环境。
定期更新数据库和模型，确保系统能够处理新出现的查询和信息。
在这里插入图片描述
在这里插入图片描述

web demo

有很多支持简易Web部署的框架，如Gradio，streamlit

环境搭配

conda activate InternLM

安装一些重要的包

# 升级pip
python -m pip install --upgrade pip

pip install modelscope==1.9.5
pip install transformers==4.35.2
pip install streamlit==1.24.0
pip install sentencepiece==0.1.99
pip install accelerate==0.24.1

模型下载

在目录下新建 download.py 文件并在其中输入以下内容，粘贴代码后记得保存文件，如下图所示。并运行 python download.py 执行下载，模型大小为 14 GB，下载模型大概需要 10~20 分钟

import torch
from modelscope import snapshot_download, AutoModel, AutoTokenizer
import os
model_dir = snapshot_download('Shanghai_AI_Laboratory/internlm-chat-7b', cache_dir='../model', revision='v1.0.3')

LangChain 相关环境配置

在已完成 InternLM 的部署基础上，还需要安装以下依赖包：

pip install langchain==0.0.292
pip install gradio==4.4.0
pip install chromadb==0.4.15
pip install sentence-transformers==2.2.2
pip install unstructured==0.10.30
pip install markdown==3.3.7

同时，需要使用到开源词向量模型 Sentence Transformer
首先需要使用 huggingface 官方提供的 huggingface-cli 命令行工具。安装依赖:

pip install -U huggingface_hub

目录下新建python文件 download_hf.py，填入以下代码：

  • resume-download：断点续下
  • local-dir：本地存储路径。（linux环境下需要填写绝对路径）
import os

# 下载模型

os.system('huggingface-cli download --resume-download sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 --local-dir ../model/sentence-transformer')

下载 NLTK 相关资源

cd /root
git clone https://gitee.com/yzy0612/nltk_data.git  --branch gh-pages
cd nltk_data
mv packages/*  ./
cd tokenizers
unzip punkt.zip
cd ../taggers
unzip averaged_perceptron_tagger.zip

下载项目代码

cd /root/data
git clone https://github.com/InternLM/tutorial

数据收集

我们选择由上海人工智能实验室开源的一系列大模型工具开源仓库作为语料库来源，包括：

OpenCompass：面向大模型评测的一站式平台
IMDeploy：涵盖了 LLM 任务的全套轻量化、部署和服务解决方案的高效推理工具箱
XTuner：轻量级微调大语言模型的工具库
InternLM-XComposer：浦语·灵笔，基于书生·浦语大语言模型研发的视觉-语言大模型
Lagent：一个轻量级、开源的基于大语言模型的智能体（agent）框架
InternLM：一个开源的轻量级训练框架，旨在支持大模型训练而无需大量的依赖

进入到数据库盘

cd /root/data

# clone 上述开源仓库
git clone https://gitee.com/open-compass/opencompass.git
git clone https://gitee.com/InternLM/lmdeploy.git
git clone https://gitee.com/InternLM/xtuner.git
git clone https://gitee.com/InternLM/InternLM-XComposer.git
git clone https://gitee.com/InternLM/lagent.git
git clone https://gitee.com/InternLM/InternLM.git

将数据整理出来的脚本

# 首先导入所需第三方库
from langchain.document_loaders import UnstructuredFileLoader
from langchain.document_loaders import UnstructuredMarkdownLoader
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain.vectorstores import Chroma
from langchain.embeddings.huggingface import HuggingFaceEmbeddings
from tqdm import tqdm
import os

# 获取文件路径函数
def get_files(dir_path):
    # args：dir_path，目标文件夹路径
    file_list = []
    for filepath, dirnames, filenames in os.walk(dir_path):
        # os.walk 函数将递归遍历指定文件夹
        for filename in filenames:
            # 通过后缀名判断文件类型是否满足要求
            if filename.endswith(".md"):
                # 如果满足要求，将其绝对路径加入到结果列表
                file_list.append(os.path.join(filepath, filename))
            elif filename.endswith(".txt"):
                file_list.append(os.path.join(filepath, filename))
    return file_list

# 加载文件函数
def get_text(dir_path):
    # args：dir_path，目标文件夹路径
    # 首先调用上文定义的函数得到目标文件路径列表
    file_lst = get_files(dir_path)
    # docs 存放加载之后的纯文本对象
    docs = []
    # 遍历所有目标文件
    for one_file in tqdm(file_lst):
        file_type = one_file.split('.')[-1]
        if file_type == 'md':
            loader = UnstructuredMarkdownLoader(one_file)
        elif file_type == 'txt':
            loader = UnstructuredFileLoader(one_file)
        else:
            # 如果是不符合条件的文件，直接跳过
            continue
        docs.extend(loader.load())
    return docs

# 目标文件夹
tar_dir = [
    "/root/data/InternLM",
    "/root/data/InternLM-XComposer",
    "/root/data/lagent",
    "/root/data/lmdeploy",
    "/root/data/opencompass",
    "/root/data/xtuner"
]

# 加载目标文件
docs = []
for dir_path in tar_dir:
    docs.extend(get_text(dir_path))

# 对文本进行分块
text_splitter = RecursiveCharacterTextSplitter(
    chunk_size=500, chunk_overlap=150)
split_docs = text_splitter.split_documents(docs)

# 加载开源词向量模型
embeddings = HuggingFaceEmbeddings(model_name="/root/data/model/sentence-transformer")

# 构建向量数据库
# 定义持久化路径
persist_directory = 'data_base/vector_db/chroma'
# 加载数据库
vectordb = Chroma.from_documents(
    documents=split_docs,
    embedding=embeddings,
    persist_directory=persist_directory  # 允许我们将persist_directory目录保存到磁盘上
)
# 将加载的向量数据库持久化到磁盘上
vectordb.persist()

实行
在这里插入图片描述
DEMO

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1449407.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

跟廖雪峰老师学习Git（持续更新）

跟廖雪峰老师学习Git（持续更新）

Git简介 创建版本库 第一步，创建一个新目录 第二步，通过git init变成Git可以管理的仓库 把文件添加到文本库，不要使用Windows自带的记事本！ 我用的是VS code 创建readme.txt 放入库中 commit可以一次提交很多文件&#xff0…
阅读更多...
JVM对象创建与内存分配机制深度剖析

JVM对象创建与内存分配机制深度剖析

对象的创建 对象创建的主要流程: 1.类加载检查 虚拟机遇到一条new指令时，首先将去检查这个指令的参数是否能在常量池中定位到一个类的符号引用，并且检查这个符号引用代表的类是否已被加载、解析和初始化过。如果没有，那必须先执行相应的类…
阅读更多...
Java集合框架（包装类、泛型）

Java集合框架（包装类、泛型）

前言： 本篇文章我们来讲解Java中的集合框架，就相当于车轮子。Java是面向对象的语言，所以相对于C语言有自身优势，就比如现成的数据结构（比如栈，队列，堆等）。Java的集合框架大家也不用…
阅读更多...
代码随想录 Leetcode135. 分发糖果

代码随想录 Leetcode135. 分发糖果

题目&#xff1a; 代码(首刷看解析 2024年2月15日&#xff09;&#xff1a; class Solution { public:int candy(vector<int>& ratings) {vector<int> left(ratings.size(), 1);vector<int> right(ratings.size(), 1);for (int i 1; i < ratings.si…
阅读更多...
[C#] 如何调用Python脚本程序

[C#] 如何调用Python脚本程序

为什么需要C#调用python&#xff1f; 有以下几个原因需要C#调用Python&#xff1a; Python拥有丰富的生态系统&#xff1a;Python有很多强大的第三方库和工具&#xff0c;可以用于数据科学、机器学习、自然语言处理等领域。通过C#调用Python&#xff0c;可以利用Python的生态系…
阅读更多...
代码随想录刷题笔记 DAY 26 | 组合总和 No.39 | 组合求和 II No.40 | 分割回文串 No.131

代码随想录刷题笔记 DAY 26 | 组合总和 No.39 | 组合求和 II No.40 | 分割回文串 No.131

文章目录 Day 2501. 组合总和&#xff08;No. 39&#xff09;1.1 题目1.2 笔记1.3 代码 02. 组合求和 II&#xff08;No. 40&#xff09;2.1 题目2.2 笔记2.3 代码 03. 分割回文串&#xff08;No. 131&#xff09;3.1 题目3.2 笔记3.3 代码 Day 25 01. 组合总和&#xff08;No…
阅读更多...
Leetcode 115 不同的子序列

Leetcode 115 不同的子序列

题意理解&#xff1a; 给你两个字符串 s 和 t &#xff0c;统计并返回在 s 的 子序列 中 t 出现的个数&#xff0c;结果需要对 109 7 取模。 即此题可以理解为&#xff1a;从s中删除元素去构造t,有多少种方法 或者也可以理解为&#xff1a;s中按顺序取t,有多少个 则一定有s和t…
阅读更多...
FreeRTOS 队列管理

FreeRTOS 队列管理

概览 基于 FreeRTOS 的应用程序由一组独立的任务构成——每个任务都是具有独立权 限的小程序。这些独立的任务之间很可能会通过相互通信以提供有用的系统功能。 FreeRTOS 中所有的通信与同步机制都是基于队列实现的。 本章期望让读者了解以下事情 　 如何创建一个队列 　 …
阅读更多...
如何将字体添加到 ONLYOFFICE 文档服务器 8.0

如何将字体添加到 ONLYOFFICE 文档服务器 8.0

作者&#xff1a;VincentYoung 阅读本文&#xff0c;了解如何为自己的在线办公软件 ONLYOFFICE 文档服务器的字体库添加字体 ONLYOFFICE 文档是什么 ONLYOFFICE 文档是一个功能强大的文档编辑器&#xff0c;支持处理文本文档、电子表格、演示文稿、可填写表单、PDF 和电子书…
阅读更多...
“恶意提起知识产权诉讼行为的法律规制”主题研讨活动成功举办

“恶意提起知识产权诉讼行为的法律规制”主题研讨活动成功举办

随着我国社会经济的迅速发展以及创新型国家、知识产权强国建设的不断深入,知识产权在社会生活中正发挥着越来越重要的作用。特别是对于广大市场主体而言,知识产权已经不仅是一种私权利,更成为商业竞争中非常重要的一种手段,由此引发了大量的知识产权诉讼纠纷。此类纠纷中,既有权…
阅读更多...
Maven详细配置整理

Maven详细配置整理

Maven的作用 在Javaweb开发中&#xff0c;需要使用大量的jar包&#xff0c;需要手动去导入&#xff0c;Maven能够自动帮我们导入和配置这个jar包。 对于新手Maven就是用来方便导入jar包的&#xff01; Maven的核心思想&#xff1a;约定大于配置 有约束&#xff0c;不要去违…
阅读更多...
[FPGA开发工具使用总结]VIVADO在线调试(1)-信号抓取工具的使用

[FPGA开发工具使用总结]VIVADO在线调试(1)-信号抓取工具的使用

目录 1简介2 添加观测信号的几种方法2.1 通过定制IP核添加2.2 通过约束文件添加2.3 通过GUI生成DEBUG约束文件2.4 两种方法的优点与缺点 3在线调试方法3.1 器件扫描设置3.2 触发条件设置3.3 触发窗口设置3.4 采样过程控制 4常见问题4.1 时钟域的选择4.2 缺少LTX文件4.3 ILA无时…
阅读更多...
- 语言经验 - 《使用google profiler 对c++应用进行性能热点分析》

- 语言经验 - 《使用google profiler 对c++应用进行性能热点分析》

本文属于专栏《构建工业级QPS百万级服务》​​​​​ 性能优化&#xff0c;是工业应用中的重要一环。因为当我们的重要目的之一是盈利时&#xff0c;那么成本就十分重要。而性能优化的前提是&#xff0c;我们知道哪一部分功能&#xff0c;是最耗费资源的&#xff0c;才…
阅读更多...
烹饪第一个U-Net进行图像分割

烹饪第一个U-Net进行图像分割

今天我们将学习如何准备计算机视觉中最重要的网络之一&#xff1a;U-Net。如果你没有代码和数据集也没关系&#xff0c;可以分别通过下面两个链接进行访问&#xff1a; 代码&#xff1a; https://www.kaggle.com/datasets/mateuszbuda/lgg-mri-segmentation?sourcepost_page--…
阅读更多...
【C语言】常见字符串函数的功能与模拟实现

【C语言】常见字符串函数的功能与模拟实现

目录 1.strlen() 模拟实现strlen() 2.strcpy() 模拟实现strcpy() 3.strcat() 模拟实现strcat() 4.strcmp() 模拟实现strcmp() 5.strncpy() 模拟实现strncpy() 6.strncat() 模拟实现strncat() 7.strncmp() 模拟实现strncmp() 8.strstr() 模拟实现strstr() 9.str…
阅读更多...
第二十九回 施恩三入死囚牢 武松大闹飞云浦-分布式版本控制系统Git使用

第二十九回 施恩三入死囚牢 武松大闹飞云浦-分布式版本控制系统Git使用

武松要蒋门神答应三件事&#xff1a;离开快活林、东西都归还施恩&#xff0c;公开对施恩赔礼道歉&#xff0c;不许在孟州住。蒋门神不得已都答应了&#xff0c;灰溜溜地离开了孟州城。 一个月之后&#xff0c;天气转凉&#xff0c;张都监调武松到孟州城&#xff0c;做了他的亲…
阅读更多...
vue3-应用规模化-路由和状态

vue3-应用规模化-路由和状态

客户端 vs. 服务端路由 服务端路由指的是服务器根据用户访问的 URL 路径返回不同的响应结果。当我们在一个传统的服务端渲染的 web 应用中点击一个链接时&#xff0c;浏览器会从服务端获得全新的 HTML&#xff0c;然后重新加载整个页面。 然而&#xff0c;在单页面应用中&…
阅读更多...
CSS设置盒子阴影

CSS设置盒子阴影

语法 box-shadow: *h-shadow v-shadow blur spread color* inset; 注释: box-shadow向框添加一个或多个阴影. 该属性是由逗号分隔的阴影列表,每个阴影由2-4个长度值、可选的颜色值及可选的inset关键词来规定。省略长度的值是0。 外阴影 a、给元素右边框和下边框加外阴影——把…
阅读更多...
生活篇——华为手机去除负一屏

生活篇——华为手机去除负一屏

华为手机去除如下图的恶心负一屏 打开华为的应用市场app 进入&#xff1a;我的-设置-国家/地区&#xff08;改为俄罗斯&#xff09;-进入智慧助手检查更新并更新智慧助手。 然后重复开始的操作&#xff0c;将地区改回中国&#xff0c;这样就没有负一屏了。
阅读更多...
python自学...

python自学...

一、稍微高级一点的。。。 1. 闭包&#xff08;跟js差不多&#xff09; 2. 装饰器 就是spring的aop 3. 多线程
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023