基于Qwen2/Lllama3等大模型，部署团队私有化RAG知识库系统的详细教程（Docker+AnythingLLM）

news2024/10/5 18:30:50

自 ChatGPT 发布以来，大型语言模型（Large Language Model，LLM，大模型）得到了飞速发展，它在处理复杂任务、增强自然语言理解和生成类人文本等方面的能力让人惊叹，几乎各行各业均可从中获益。

然而，在一些垂直领域，这些开源或闭源的通用基础大模型也暴露了一些问题，主要体现在以下 3 个方面：

  1. 知识的局限性： 大模型的知识源于训练数据，目前主流大模型（如：通义千问、文心一言等）的训练数据基本来源于网络公开的数据。因此，非公开的、离线的、实时的数据大模型是无法获取到（如：团队内部实时业务数据、私有的文档资料等），这些数据相关的知识也就无从具备。
  2. 幻觉问题： 大模型生成人类文本底层原理是基于概率（目前还无法证明大模型有意识），所以它有时候会一本正经地胡说八道，特别是在不具备某方面的知识情况下。当我们也因缺乏这方面知识而咨询大模型时，大模型的幻觉问题会各我们造成很多困扰，因为我们也无法区分其输出的正确性。
  3. 数据的安全性： 对于个人、创新团队、企业来说，数据安全至关重要，老牛同学相信没有谁会愿意承担数据泄露的风险，把自己内部私有数据上传到第三方平台进行模型训练。这是一个矛盾：我们既要借助通用大模型能力，又要保障数据的安全性！

为了解决以上通用大模型问题，检索增强生成（Retrieval-Augmented Generation，RAG）方案就应运而生了：

RAG主要流程

RAG 的主要流程主要包含以下 2 个阶段：

  1. 数据准备阶段： 管理员将内部私有数据向量化后入库的过程，向量化是一个将文本数据转化为向量矩阵的过程，该过程会直接影响到后续检索的效果；入库即将向量数据构建索引，并存储到向量数据库的过程。
  2. 用户应用阶段： 根据用户的 Prompt 提示词，通过检索召回与 Prompt 提示词相关联的知识，并融入到原 Prompt 提示词中，作为大模型的输入 Prompt 提示词，通用大模型因此生成相应的输出。

从上面 RAG 方案我们可以看出，通过与通用大模型相结合，我们可搭建团队私有的内部本地知识库，并能有效的解决通用大模型存在的知识局限性、幻觉问题和隐私数据安全等问题。

目前市面上已经有多个开源 RAG 框架，老牛同学将选择AnythingLLM框架（16.8K ☆，https://github.com/Mintplex-Labs/anything-llm）与大家一起来部署我们自己或者团队内部的本地知识库。整个部署过程将涉及以下几个方面：

  1. 环境准备： AnythingLLM框架推荐使用 Docker 部署，因此我们需要提前把 Docker 安装和配置好
  2. 大模型准备： 老牛同学继续使用Qwen2-7B大模型，大家可以根据自己实际情况选择，无特殊要求
  3. RAG 部署和使用： 即 AnythingLLM 安装和配置，并最终使用我们大家的 RAG 系统

环境准备：Windows 打开虚拟化功能（Hyper-V 和 WSL）

友情提示： 老牛同学用的是 Windows 操作系统，因此下面是 Windows 的配置方式。

安装 Docker 需要用到虚拟化，因此需要 Windows 系统打开Hyper-V和WSL 子系统功能。如果是 Windows 11 家庭版，默认并没有安装Hyper-V功能，可以通过以下方式进行安装：

Windows家庭版

【第一步（家庭版）：安装 Hyper-V 依赖包】

  1. 新建一个 txt 临时文本，并复制以下代码并保存，之后把该临时文件重命名为Hyper-V.bat
  2. 右键以管理员方式运行Hyper-V.bat，本代码自动安装相关包，完成之后输入Y重启电脑后即可
pushd "%~dp0"
dir /b %SystemRoot%\servicing\Packages\*Hyper-V*.mum >hyper-v.txt
for /f %%i in ('findstr /i . hyper-v.txt 2^>nul') do dism /online /norestart /add-package:"%SystemRoot%\servicing\Packages\%%i"
del hyper-v.txt
Dism /online /enable-feature /featurename:Microsoft-Hyper-V-All /LimitAccess /ALL

【第二步：开启虚拟化功能】

首先，打开 Windows 功能（即：控制面板）：

Windows功能

然后，勾选以下 3 个选项（Hyper-V、适用于 Linux 的 Windows 子系统和虚拟机平台），打开虚拟化功能：

打开虚拟化功能

点击确定之后重启电脑即可！

环境准备：Docker 安装和配置

Docker 安装和配置主要包含以下 2 个步骤：

【第一步：下载 Docker 软件】

下载和安装 Docker 软件：https://www.docker.com

如果大家和老牛同学一样，出现无法打开 Docker 官网的情况，则也可以通过以下方式下载最新的版本：

  1. 打开 Docker 中文网站：https://docker.github.net.cn/desktop/release-notes/
  2. 选择对应的安装软件，如果直接点击下载，可能还是无法下载。可以右键复制下载链接，然后通过迅雷进行下载（老牛同学亲测有效）

Docker下载

【第二步；Docker 安装和配置】

下载完成之后，安装过程与普通的软件没有区别，安装完成之后需要注销电脑：

Docker安装完成

登录操作系统之后，需要Accept同意 Docker 协议条款，然后注册登录或者Continue without signing in直接跳过，打开 Docker 软件。

设置镜像源： 点击右上角齿轮设置按钮，选择Docker Engine，打开设置页面，输入 Docker 镜像文件加速器地址：

"registry-mirrors": [
    "https://docker.registry.cyou",
    "https://mirror.baidubce.com"
  ]

如果以上加速器地址不可用，可以使用阿里云个人私有的地址：https://cr.console.aliyun.com/cn-hangzhou/instances/mirrors
设置Docker镜像源

点击Apply & Restart按钮即可！

AnythingLLM 安装和配置

接下来，我们开始安装和部署AnythingLLM框架，包含以下 3 步：

【第一步： 下载和启动 AnythingLLM 镜像】

docker pull mintplexlabs/anythingllm

Docker镜像下载

可以通过以下命令，查看当前 Docker 的镜像列表：

>docker images
REPOSITORY                 TAG       IMAGE ID       CREATED      SIZE
mintplexlabs/anythingllm   latest    d950fa3b8011   2 days ago   2.94GB

Docker镜像列表

【第二步： 启动 AnythingLLM 框架】

Windows 系统： AnythingLLM 镜像挂载和启动命令（因为命令有多行，需要通过PowerShell执行）：

# Run this in powershell terminal
$env:STORAGE_LOCATION="$HOME\Documents\anythingllm"; `
If(!(Test-Path $env:STORAGE_LOCATION)) {New-Item $env:STORAGE_LOCATION -ItemType Directory}; `
If(!(Test-Path "$env:STORAGE_LOCATION\.env")) {New-Item "$env:STORAGE_LOCATION\.env" -ItemType File}; `
docker run -d -p 3001:3001 `
--cap-add SYS_ADMIN `
-v "$env:STORAGE_LOCATION`:/app/server/storage" `
-v "$env:STORAGE_LOCATION\.env:/app/server/.env" `
-e STORAGE_DIR="/app/server/storage" `
mintplexlabs/anythingllm;

或者，Linux/MacOS 系统： AnythingLLM 镜像挂载和启动命令：

export STORAGE_LOCATION=$HOME/anythingllm && \
mkdir -p $STORAGE_LOCATION && \
touch "$STORAGE_LOCATION/.env" && \
docker run -d -p 3001:3001 \
--cap-add SYS_ADMIN \
-v ${STORAGE_LOCATION}:/app/server/storage \
-v ${STORAGE_LOCATION}/.env:/app/server/.env \
-e STORAGE_DIR="/app/server/storage" \
mintplexlabs/anythingllm

启动完成，通过浏览器打开AnythingLLM界面：http://localhost:3001

AnythingLLM初始界面

【第三步： 配置 AnythingLLM】

点击Get started 按钮，进入LLM 选择页面。老牛同学在前面文章中，分别介绍了大模型通过Ollama和OpenAI这 2 种主要的部署方式（包括：Llama3、Qwen2、Gemma2等）。

老牛同学在这里选择Ollama方式，如果大家重新设置了端口号，则需要看下 Ollama URL 端口号是否正确，默认值为：http://host.docker.internal:11434

AnythingLLM确认配置

AnythingLLM 设置确认，包括：大模型提供方、词嵌入和向量数据库，这些配置后续还可以修改。

最后，创建一个工作区，老牛同学设置的名称为：RAG-ClassmateWX

AnythingLLM 导入数据和使用

上一步配置完成之后，无需任何其他配置，就可以和大模型对话聊天了，和通过其他客户端与大模型对话没有区别。接下来，我们需要导入我们内部私有数据，并进行验证。

【第一步：导入内部数据】

我们在电脑本地新建一个 txt 文件，文件名为：为什么个人、团队等均有必要部署私有化的RAG知识库系统.txt，文件内容就是本文的开头内容：

自ChatGPT发布以来，大型语言模型（Large Language Model，LLM，大模型）得到了飞速发展，它在解决复杂任务、增强自然语言理解和生成类人文本等方面的能力让人惊叹，几乎各行各业均可从中获益。

然而，在一些垂直领域，这些开源或闭源的通用的基础大模型也暴露了一些问题，主要有以下3个方面：

1. **知识的局限性：** 大模型的知识源于训练数据，目前主流大模型（如：通义千问、文心一言等）的训练数据基本来源于网络公开的数据。因此，非公开的、离线的、实时的数据大模型是无法获取到（如：团队内部实时业务数据、私有的文档资料等），这些数据相关的知识也就无从具备。
2. **幻觉问题：** 大模型生成人类文本底层原理是基于概率（目前还无法证明大模型有意识），所以它有时候会**一本正经地胡说八道**，特别是在不具备某方面的知识情况下。当我们也因缺乏这方面知识而咨询大模型时，大模型的幻觉问题会各我们造成很多困扰，因为我们也无法区分其输出的正确性。
3. **数据的安全性：** 对于个人、创新团队、企业来说，**数据安全**至关重要，老牛同学相信没有谁会愿意承担数据泄露的风险，把自己内部私有数据上传到第三方平台进行模型训练。这是一个矛盾：我们既要借助通用大模型能力，又要保障数据的安全性！

为了解决以上3个大模型通用问题，**检索增强生成**（Retrieval-Augmented Generation，**RAG**）方案就应运而生了！

首先，点击RAG-ClassmateWX工作空间右边的上传图标，准备上传本 txt 文件：

准备上传文件

然后，点击 txt 文件并上传，并点击Move to workspace导入到工作空间：

上传txt外部文件

最后，点击Save and Embed完成 txt 文本文件数据准备步骤（导入、向量化和入库等）。

【第二步：内部数据使用和验证】

回到主界面，输入刚才 txt 内部文件名：为什么个人、团队等均有必要部署私有化的 RAG 知识库系统

AnthingLLM的检索和结果

RAG 的回答感觉比我原文要好多了，大模型在引用了内部数据的同时，还展示自己的创造性！

同时，老牛同学用同样的问题，咨询 AnythingLLM 的底层模型，结果就比较普通通用了，大家可以对比看下：

AnythingLLM底层大模型结果

总结和问题

和我们之前的大模型部署和应用过程相比，基于 AnythingLLM 的 RAG 实现整个部署过程比较繁琐，包括环境准备、Docker 安装和配置、AnythingLLM 配置等。然而，AnythingLLM 的使用过程却相对比较简单，我们只需要上传我们内部数据文件，AnythingLLM 框架屏蔽了中间的数据提取分割、向量化处理、向量索引和入库、检索召回和重组 Prompt 提示词等过程。

同时，我们通过构建本地知识库，做了一个简单的测试验证，测试结果表明，在使用 RAG 的情况下，大模型的回答结果更加有效、更符合我们期望，同时具备了一定的创造性！

老牛同学最后提个问题：检索召唤的过程，能否使用搜索引擎（如：Elastic Search）代替？欢迎大家留言讨论，我们共同学习进步！

关注本公众号，我们共同学习交流进步 👇🏻👇🏻👇🏻

微信公众号：老牛同学

使用 Llama3/Qwen2 等开源大模型，部署团队私有化 Code Copilot 和使用教程

本地部署 GLM-4-9B 清华智谱开源大模型方法和对话效果体验

玩转 AI，笔记本电脑安装属于自己的 Llama 3 8B 大模型和对话客户端

ChatTTS 开源文本转语音模型本地部署、API 使用和搭建 WebUI 界面

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1900692.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

Vatee万腾平台：智慧生活的无限可能

Vatee万腾平台：智慧生活的无限可能

在科技日新月异的今天，我们的生活正被各种智能技术悄然改变。从智能家居到智慧城市，从个人健康管理到企业数字化转型，科技的力量正以前所未有的速度渗透到我们生活的每一个角落。而在这场智能革命的浪潮中，Vatee万腾平台以其卓越的…
阅读更多...
ctfshow-web入门-文件包含（web87）巧用 php://filter 流绕过死亡函数的三种方法

ctfshow-web入门-文件包含（web87）巧用 php://filter 流绕过死亡函数的三种方法

目录 方法1&#xff1a;php://filter 流的 base64-decode 方法 方法2&#xff1a;通过 rot13 编码实现绕过 方法3&#xff1a;通过 strip_tags 函数去除 XML 标签 除了替换&#xff0c;新增 file_put_contents 函数&#xff0c;将会往 $file 里写入 <?php die(大佬别秀了…
阅读更多...
Drools开源业务规则引擎（三）- 事件模型（Event Model）

Drools开源业务规则引擎（三）- 事件模型（Event Model）

文章目录 Drools开源业务规则引擎&#xff08;三&#xff09;- 事件模型&#xff08;Event Model&#xff09;1.org.kie.api.event2.RuleRuntimeEventManager3.RuleRuntimeEventListener接口说明示例规则文件规则执行日志输出 4.AgentaEventListener接口说明示例监听器实现类My…
阅读更多...
leetcode力扣_双指针问题

leetcode力扣_双指针问题

141. 环形链表 思路&#xff1a;判断链表中是否有环是经典的算法问题之一。常见的解决方案有多种&#xff0c;其中最经典、有效的一种方法是使用 快慢指针&#xff08;Floyd’s Cycle-Finding Algorithm&#xff09;。 初始化两个指针&#xff1a;一个快指针&#xff08;fast&…
阅读更多...
文件加密软件谁好用丨2024文件加密软件TOP10推荐

文件加密软件谁好用丨2024文件加密软件TOP10推荐

个人和企业都有隐私保护的需求&#xff0c;文件加密可以确保敏感信息不被未授权的人查看。在数据传输或存储过程中&#xff0c;加密可以防止数据被截获或非法访问。企业需要保护其商业机密&#xff0c;如专利、商业策略和客户信息等&#xff0c;防止竞争对手获取。加密可以保护…
阅读更多...
腐蚀服务器如何设置管理员

腐蚀服务器如何设置管理员

可以设置服主与管理员 控制台中设置&#xff08;需游戏账号在线&#xff09; 服主 添加&#xff1a;在控制台中输入ownerid空格SteamID 删除&#xff1a;在控制台中输入removeowner空格SteamID 管理员 添加&#xff1a;在控制台中输入moderatorid空格SteamID 删除&#…
阅读更多...
分布式事务get global lock fail Xid 获取全局锁失败

分布式事务get global lock fail Xid 获取全局锁失败

问题如下&#xff1a; 解决方法&#xff1a;在发生报错的方法上添加本地事务
阅读更多...
C#中委托与事件

C#中委托与事件

一、委托 1.1概念 委托是一种引用类型&#xff0c;它可以用于封装并传递方法作为参数。委托可以理解为是一个指向方法的**“指针”&#xff0c;它允许将方法作为参数传递给其他方法或存储在数据结构中&#xff0c;然后稍后调用这些方法。&#xff08;委托可以看作时函数的容器…
阅读更多...
雨量监测站：守护大地的晴雨表

雨量监测站：守护大地的晴雨表

雨量监测站是一种专门用于测量和记录降雨量的设施。它通常由雨量计、数据采集器、传输装置和数据处理系统组成。雨量计负责感应雨滴的接触&#xff0c;通过一定的机制将降雨量转化为电信号或数字信号。数据采集器则负责收集这些信号&#xff0c;并将其传输至数据处理系统进行分…
阅读更多...
【nvm管理nodejs版本，切换node指定版本】

【nvm管理nodejs版本，切换node指定版本】

nvm管理nodejs版本 nvm管理nodejs版本主要功能使用 nvm nvm管理nodejs版本 nvm&#xff08;Node Version Manager&#xff09;顾名思义node版本管理器&#xff0c;无须去node管网下载很多node安装程序;用于管理多个 Node.js 版本的工具。它允许你在同一台机器上同时安装和管理…
阅读更多...
WPF自定义模板--RadioButton

WPF自定义模板--RadioButton

默认格式 <Style x:Key"RadioButtonStyle" TargetType"{x:Type RadioButton}"><Setter Property"FocusVisualStyle" Value"{StaticResource FocusVisual}"/><Setter Property"Background" Value"{Stat…
阅读更多...
Autosar MCAL-S32k324 Crypto配置-RandomNumber生成及使用

Autosar MCAL-S32k324 Crypto配置-RandomNumber生成及使用

文章目录 前言CryptoPrimitivesCryptoPrimitiveAlgorithmFamilyCryptoPrimitiveAlgorithmModeCryptoPrimitiveAlgorithmSecondaryFamilyCryptoPrimitiveServiceCryptoDriverObject代码使用Random Generate执行流程配置job函数使用示例总结前言 之前介绍过AES-CMAC算法的配置，…
阅读更多...
计算机专业怎么选择电脑

计算机专业怎么选择电脑

现在高考录取结果基本已经全部出来了&#xff0c;很多同学都如愿以偿的进入到了计算机类专业&#xff0c;现在大部分同学都在为自己的大学生活做准备了&#xff0c;其中第一件事就是买电脑&#xff0c;那计算机类专业该怎么选择电脑呢&#xff1f; 计算机专业是个一类学科&…
阅读更多...
VBA初学：零件成本统计之四（汇总计算）

VBA初学：零件成本统计之四（汇总计算）

第四步&#xff0c;最后进行汇总计算 汇总统计的计算 Sub count() Dim rng As Range Dim i As Long, j As Long Dim arr_s, arr, brr, crr, drr Dim rowscount As Long Dim X As Variant Dim rg As Single, xb As Single, zj As SingleMsgBox "汇总计算时间较久&#xff…
阅读更多...
实战某大型连锁企业域渗透

实战某大型连锁企业域渗透

点击星标&#xff0c;即时接收最新推文 本文选自《内网安全攻防&#xff1a;红队之路》 扫描二维码五折购书 实战域渗透测试流程 对黑客来说&#xff0c;拿下域控制器是终极目标。然而攻击者空间是如何通过采取信息收集、权限提升、横向移动等一系列手段&#xff0c;从而一步步…
阅读更多...
白嫖A100活动-入门篇-1.Linux+InterStudio

白嫖A100活动-入门篇-1.Linux+InterStudio

进入InterStudio 这节课是为了让大家熟悉使用InterStudio平台&#xff0c;以便后续开发 InterStudio平台是算力平台&#xff0c;可以通过平台使用A100,还可以使用“书生”团队集成好的环境、工具&#xff0c;快速部署LLMs. 进入平台&#xff1a; 记得报名&#xff0c;获得免…
阅读更多...
vue2响应式原理+模拟实现v-model

vue2响应式原理+模拟实现v-model

效果 简述原理 配置对象传入vue实例 模板解析&#xff0c;遍历出所有文本节点&#xff0c;利用正则替换插值表达式为真实数据 data数据代理给vue实例&#xff0c;以后通过this.xxx访问 给每个dom节点增加观察者实例&#xff0c;由观察者群组管理&#xff0c;内部每一个键值…
阅读更多...
集成学习（一）Bagging

集成学习（一）Bagging

前边学习了&#xff1a;十大集成学习模型&#xff08;简单版&#xff09;-CSDN博客 Bagging又称为“装袋法”&#xff0c;它是所有集成学习方法当中最为著名、最为简单、也最为有效的操作之一。 在Bagging集成当中&#xff0c;我们并行建立多个弱评估器&#xff08;通常是决策…
阅读更多...
52-3 权限维持 - IFEO注入（镜像劫持）

52-3 权限维持 - IFEO注入（镜像劫持）

IFEO注入（映像劫持）介绍 IFEO（Image File Execution Options）位于Windows注册表中的路径为： HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows NT\CurrentVersion\Image File Execution Options IFEO最初设计用于为在默认系统环境下可能出现错误的程序提供特殊的调试和执…
阅读更多...
JavaWeb开发之环境准备-大合集

JavaWeb开发之环境准备-大合集

本文博客地址 JavaWeb开发 || 环境准备 1. 前言2. JDK8安装2.1 下载地址2.2 安装配置图示2.2.1 JDK安装2.2.2 配置系统环境变量 3. Maven安装3.1 Maven下载3.2 Maven解压及系统变量配置 4. Tomcat安装4.1 Tomcat下载4.2 Tomcat解压及系统变量配置 5. Redis安装5.1 Redis下载5.…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023