RagFlow+Ollama 构建RAG私有化知识库

news2025/2/22 23:35:46

RagFlow+Ollama 构建RAG私有化知识库

  • 关于RAG
  • 一、什么是RAGFlow
    • 一、RAGFlow 安装
      • 配置测服已有服务： mysql、redis、elasticsearch
  • 二、RAGFlow 配置

  • ollama：本地运行大型语言模型的工具软件。用户可以轻松下载、运行和管理各种开源 LLM。降低使用门槛，用户能快速启动运行本地模型。
    RagFlow：用来连接大语言模型和外部数据的框架(外部数据指自身领域的特定知识)，它将两者结合起来，提升回答的准确性。
    注：以下创建完RagFlow虚拟环境后，相关的命令都是在该环境下操作，如果操作过程有中断，请操作时，先生效该环境。

关于RAG

  • 简介
    检索增强生成（Retrieval-Augmented Generation，RAG）是一种结合了信息检索和语言模型的技术，它通过从大规模的知识库中检索相关信息，并利用这些信息来指导语言模型生成更准确和深入的答案。这种方法在2020年由Meta AI研究人员提出，旨在解决大型语言模型（LLM）在信息滞后、模型幻觉、私有数据匮乏和内容不可追溯等问题。

在日常工作和学习中，我们时常会面对大量的PDF、Word、Excel等文档，需要从中查找特定的信息或内容。然而，传统的Ctrl+F搜索方式在面对海量文档或复杂格式时，往往效率低下，令人头疼。如果使用MaxKb 工具，它将彻底改变你处理文档的方式。

  • 工作原理
    在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

RAG 的主要流程主要包含以下 2 个阶段：

  1. 数据准备阶段： 管理员将内部私有数据向量化后入库的过程，向量化是一个将文本数据转化为向量矩阵的过程，该过程会直接影响到后续检索的效果；入库即将向量数据构建索引，并存储到向量数据库的过程。
  2. 用户应用阶段： 根据用户的 Prompt 提示词，通过检索召回与 Prompt 提示词相关联的知识，并融入到原 Prompt 提示词中，作为大模型的输入 Prompt 提示词，通用大模型因此生成相应的输出。
    从上面 RAG 方案我们可以看出，通过与通用大模型相结合，我们可搭建团队私有的内部本地知识库，并能有效的解决通用大模型存在的知识局限性、幻觉问题和隐私数据安全等问题。

ollama安装参考 上一篇博客

一、什么是RAGFlow

官网
在这里插入图片描述

RAGFlow是一个基于对文档深入理解的开源 RAG（检索增强生成）引擎。它的作用是可以让用户创建自有知识库，根据设定的参数对知识库中的文件进行切块处理，用户向大模型提问时，RAGFlow先查找自有知识库中的切块内容，接着把查找到的知识库数据输入到对话大模型中再生成答案输出。

它能凭借引用知识库中各种复杂格式的数据为后盾，为用户提供真实可信，少幻觉的答案。RAGFlow的技术原理涵盖了文档理解、检索增强、生成模型、注意力机制等，特别强调了深度文档理解技术，能够从复杂格式的非结构化数据中提取关键信息。下面我手把手教各位同学如何在Linux系统中搭建RAGFlow。

一、RAGFlow 安装

安装前，先确保电脑符合以下要求：

  • 硬件：CPU ≥ 4 核 ; 内存≥ 16 GB; 磁盘空间 ≥ 50 GB;

  • 软件：Docker版本 ≥ 24.0.0 ；Docker Compose 版本 ≥ v2.26.1，Docker 和 Docker Compos 必须预先安装好，并且达到版本要求，我就是因为之前安装的Docker Compose 版本太低，导致安装错误，研究了好久才解决问题。

如果尚未在本地计算机（Windows、Mac或Linux）上安装Docker，请参阅安装Docker引擎。

  1. 更改 vm.max_map_count 值，设定为：=262144。

这个值的作用是允许Linux系统中，一个进程创建的最大内存映射区域数。如果应用程序需要创建的内存映射区域数超过了这个限制，就会导致映射失败，并可能出现性能问题或者直接导致应用程序崩溃。因此，对于依赖大量内存映射区域的应用程序（例如数据库系统、搜索引擎等），需要适当调整这个参数。

sudo sysctl -w vm.max_map_count=262144
  1. 改完后查看
sysctl vm.max_map_count
  1. 永久更改vm.max_map_count 值， 无需每次开机手动更改。

编辑文件：/etc/sysctl.conf

更改或加入 ：vm.max_map_count=262144

  1. 克隆仓库：
git clone https://github.com/infiniflow/ragflow.git

如果下载过程缓慢或不能连接，可以选用Github加速或代理，这里就不详细描述了。

  1. 进入docker 文件夹，利用提前编译好的 Docker 镜像启动服务器：
cd ragflow/docker
chmod +x ./entrypoint.sh
docker compose -f docker-compose-CN.yml up -d
或者
docker compose -f docker-compose-gpu-CN-oc9.yml up -d

以下为docker的配置文件，根据自身环境选择
在这里插入图片描述

请注意，运行上述命令会自动下载 RAGFlow 的开发版本 docker 镜像。如果你想下载并运行特定版本的 docker 镜像，请在 docker/.env 文件中找到 RAGFLOW_VERSION 变量，将其改为最新版本。例如 RAGFLOW_VERSION=v0.10.0，v0.10.0是截止到目前最新的版本，然后再运行上述的命令。下载的包较大，超过10G，需要耐心等待。

ragflow版本对比
在这里插入图片描述

若需要默认embedding models, 修改如下
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

配置测服已有服务： mysql、redis、elasticsearch

针对企业测试、生产环境已有以上服务的童鞋， 可以不依赖单台服务器安装ragFlow时关联安装的服务，节省硬件成本和环境迁移成本

  • mysql
    修改文件ragflow/conf/service_conf.yaml
mysql:
  name: 'rag_flow'
  user: 'root'
  password: 'infini_rag_flow'
  host: 'mysql'
  port: 5455

在这里插入图片描述

另外，需要注意docker-compose 需要安装V2.26.1以上版本，如未更新，上述指令会出现这个错误。

unknown shorthand flag: 'f' in -f``See 'docker --help'.

更新方法可参考docker-compose Github：https://github.com/docker/compose#linux ， 这里说明如下：

  • （1）这里选择较新的 docker-compose V2.29.0 下载，Github下载：https://github.com/docker/compose/releases/tag/v2.29.0，页面选择 docker-compose-linux-x86_64 文件下载。
    在这里插入图片描述

  • （2）下载完成后，把docker-compose-linux-x86_64 改名为 docker-compose，放到以下目录即可：

  • /usr/local/lib/docker/cli-plugins

最后记得添加运行权限，进入存放docker-compose的文件夹，运行：

sudo chmod +x docker-compose

对于不同的Linux系统，亦可尝试放这几处：

  • /usr/local/libexec/docker/cli-plugins`
  • /usr/lib/docker/cli-plugins
  • /usr/libexec/docker/cli-plugins
  1. 服务器启动成功后再次确认服务器状态：
docker logs -f ragflow-server

在这里插入图片描述

如果您跳过这一步系统确认步骤就登录 RAGFlow，你的浏览器有可能会提示 network anomaly 或 网络异常，因为 RAGFlow 可能并未完全启动成功，所以需要执行上述指令，确保RAGFlow 安装后能成功运行。

  1. 在浏览器中输入服务器对应的 IP 地址并登录 RAGFlow。

我在浏览器中打开：http://192.168.0.18 ,，即可成功打开登录页。此地址为本机IP，可以在终端中用 ifconfig 查看。

在这里插入图片描述
在这里插入图片描述

登录页中点击sign up进行注册， 填入电邮地址和密码后，返回登录页，就可以用刚刚注册的电邮地址和密码登录了。

  1. 关于本地对话大模型的搭建。

在对RAGFlow进行配置前，需要先确认是否搭建本地对话大模型，如果需要全套系统本地搭建的同学，也需要在本地先搭建好开源模型，我这里选用了Ollama + llama3.1:8b。

配置前，需要把Ollama 运行起来：

Ollama run llama3.1:8b

然后用浏览器打开 http://localhost:11434

可以看到页面中显示：Ollama is running，此为保证RAGFlow模型正确配置的必备条件。

另外，如果不想在本地搭建大模型，RAGFlow也可以连接各大在线模型，在配置前，各位同学需要先获取选用模型的API key 和 链接地址，这里就不做详细介绍了，大家可参考官网。

二、RAGFlow 配置

  1. 创建知识库

在RAGFlow系统中，用户可以拥有多个知识库，构建更灵活、更多样化的问答。这里创建第一个知识库，点击创建知识库，填入知识库名称。

  1. 配置知识库

以下显示了知识库的配置页面。正确配置知识库对于 AI 聊天至关重要。如果选择了错误的嵌入模型或块方法，会导致聊天中出现意外的语义丢失或不匹配的答案。

这里需要注意带星号的配置包括：语言，权限，嵌入模型，解析方法。

在这里插入图片描述

（1）解析方法的说明

RAGFlow 提供了多个分块模板，以便于不同布局的文件进行分块，并确保语义完整性。在 Chunk method （块方法） 中，您可以选择适合文件布局和格式的默认模板。下表显示了系统所有支持的块模板的内容及文件格式，大家根据需求自行选择。
在这里插入图片描述

（2）上传知识库文件，并做相应的配置，我这里选了2个关于单片机Lwip库的说明文件。

在这里插入图片描述

（3）选择解析方法

在这里插入图片描述

如无特殊要求，按默认值即可。

（4）选择 embedding model

嵌入模型（embedding model） ，这里选择默认的BAAI/bge-large-zh-v1.5，这个模型专门针对中文语义理解进行了优化，能够将文本映射为低维稠密向量，这些向量可以用于检索、分类、聚类或语义匹配等任务。

（5）解析文件

必须先对上传的文件进行解析，才能让RAGFlow执行检索知识库功能。文件解析是知识库配置中的一个关键步骤。RAGFlow 文件解析的含义有两个：基于文件布局对文件进行分块，并在这些块上构建嵌入和全文（关键字）索引。选择 chunk 方法和 embedding 模型后，您可以开始解析文件：

在这里插入图片描述

单击 UNSTART 旁边的播放按钮以开始文件解析。

如果文件解析长时间停止，单击红叉图标停止后，再单击刷新。

如上所示，RAGFlow 允许您对特定文件使用不同的块方法，从而提供更大的灵活性。

如上所示，RAGFlow 允许您启用或禁用单个文件，从而对基于知识库的 AI 聊天提供更精细的控制。

  1. 运行检索测试

RAGFlow 在其聊天中使用全文搜索和矢量搜索的多次调用。在设置 AI 聊天之前，请考虑调整以下参数以确保预期信息始终出现在答案中：

  • 相似度阈值：相似度低于阈值的数据块将被过滤。默认设置为 0.2。
  • 向量相似度权重：向量相似度占总分的百分比。默认设置为 0.3。
  1. 配置本地对话模型

在 RAGFlow 的配置页中，单击页面右上角的徽标> 然后点击右边栏的Model Providers，然后将 本地运行的Ollama 添加到 RAGFlow。

在这里插入图片描述
在这里插入图片描述

按以上内容填入，Base url需要填入本机的IP地址，并且需要在本地运行Ollama；Mode Name 我用的是llama3.1:8b；本地运行Ollama，API-key无需填写；

在这里插入图片描述

本地对话模型添加成功，如上图。

  1. 开始 AI 聊天

RAGFlow 中的聊天基于特定知识库或多个知识库。创建知识库，完成文件解析，并且配置完对话模型后，各位同学可以开始 AI 对话了。

（1）通过创建助手来开始 AI 对话。

单击页面顶部中间的 Chat 选项卡> Create an assistant 以显示下一个对话的 Chat Configuration 对话框。
在这里插入图片描述

（2）更新 Assistant Setting（助理配置）:

配置页中需要关注以下选项：

  • Assistant name 是您的聊天助理的名称。每个助手都对应于一个对话框，其中包含知识库、提示、混合搜索配置和大模型设置的唯一组合。

  • Empty response（空响应）：当RAGFlow 没有在知识库中检索到答案时，它会统一响应您在此处设置的内容。

  • 如果希望 RAGFlow 未能在你的知识库中检索到答案时，根据对话大模型的内容即兴创作，请将其留空，但这可能会出现幻觉答案。

  • Show Quote（显示引述的文档）: 这是 RAGFlow 的一个关键功能，默认情况下是启用的。RAGFlow 不像黑匣子那样工作，让人无法得知引述的内容。相反，它清楚地显示了其答案的信息来源。

（3）更新 Prompt Engine（提示引擎）：这里的内容一般根据系统默认即可，有需要的同学，可以查看官方文档。

（4）更新 Model Setting （模型配置）

  • Model ：选择 Chat （对话） 模型。尽管您在系统模型设置中选择了默认聊天模型，但 RAGFlow 允许您为对话选择替代聊天模型，选择正确的对话模型十分重要，这个影响到系统能否正常运行，如果对话模型配置错误，将导致不能输出正确的对话内容。
  • Freedom：指 LLM 即兴创作的级别。从 Improvise、Precise 到 Balance，每个自由度级别都对应于 Temperature、Top P、Presence Penalty 和 Frequency Penalty 的独特组合。
  • Temperature: LLM 的预测随机性水平。值越高，LLM 的创意就越大。
  • Top P：也称为“细胞核采样”，选用默认值即可。
  • Max Tokens：LLM 响应的最大长度。请注意，如果此值设置得太低，则响应可能会减少。

（5）完成以上配置后，我们就可以来到对话页，让大模型根据你的知识库内容，开始一段淋漓畅快的对话了。

在这里插入图片描述
在这里插入图片描述

三、总结
RAGFlow是一个基于检索增强生成（Retrieval-Augmented Generation，简称RAG）的框架，它结合了检索（Retrieval）和生成（Generation）两个关

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2303656.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

【Linux】【网络】不同子网下的客户端和服务器通信

【Linux】【网络】不同子网下的客户端和服务器通信

【Linux】【网络】不同子网下的客户端和服务器通信 前两天在进行socket()网络编程并进行测试时，发现在不同wifi下两个电脑无法进行连接，大概去查找了如何解决 看到可以使用 frp 这个快速反向代理实现。 frp 可让您将位于 NAT 或防火墙后面的本地服务器…
阅读更多...
SpringBoot教程（十四） SpringBoot之集成Redis

SpringBoot教程（十四） SpringBoot之集成Redis

SpringBoot教程（十四） | SpringBoot之集成Redis 一、Redis集成简介二、集成步骤 2.1 添加依赖2.2 添加配置2.3 项目中使用之简单使用 （举例讲解）2.4 项目中使用之工具类封装 （正式用这个）2.5 序列化 &…
阅读更多...
OpenHarmony分布式数据管理子系统

OpenHarmony分布式数据管理子系统

OpenHarmony分布式数据管理子系统 简介 目录 组件说明 分布式数据对象数据共享分布式数据服务Key-Value数据库首选项关系型数据库标准数据化通路 相关仓 简介 子系统介绍 分布式数据管理子系统支持单设备的各种结构化数据的持久化，以及跨设备之间数据的同步、…
阅读更多...
单片机 Bootloade与二进制文件的生成

单片机 Bootloade与二进制文件的生成

单片机的 Bootloader 是一种特殊的程序，负责在单片机上电后初始化硬件、更新用户应用程序（固件），并将控制权移交给用户程序。以下是其运行机制和关键流程的详细说明： 1、单片机 Bootloader 的核心作用 固件更新&…
阅读更多...
MySQL数据库（3）—— 表操作

MySQL数据库（3）—— 表操作

目录 一，创建表 1.1 创建表的SQL 1.2 演示 二，查看表 三，修改表 四，删除表 常用的表操作会涉及到两种SWL语句 DDL（Data Definition Language）数据定义语言：建表、改表、删表等&#xff0…
阅读更多...
Springboot + Ollama + IDEA + DeepSeek 搭建本地deepseek简单调用示例

Springboot + Ollama + IDEA + DeepSeek 搭建本地deepseek简单调用示例

1. 版本说明 springboot 版本 3.3.8 Java 版本 17 spring-ai 版本 1.0.0-M5 deepseek 模型 deepseek-r1:7b 需要注意一下Ollama的使用版本： 2. springboot项目搭建 可以集成在自己的项目里，也可以到 spring.io 生成一个项目 生成的话，如下…
阅读更多...
七星棋牌源码高阶技术指南：6端互通、200+子游戏玩法深度剖析与企业级搭建实战(完全开源)

七星棋牌源码高阶技术指南：6端互通、200+子游戏玩法深度剖析与企业级搭建实战(完全开源)

在棋牌游戏行业高速发展的今天，如何构建一个具备高并发、强稳定性与多功能支持的棋牌游戏系统成为众多开发者和运营团队关注的焦点。七星棋牌全开源修复版源码 凭借其 六端互通、200子游戏玩法、多省区本地化支持，以及 乐豆系统、防沉迷、比赛场、AI智能…
阅读更多...
HarmonyOS 开发套件 介绍 ——上篇

HarmonyOS 开发套件 介绍 ——上篇

HarmonyOS 开发套件 介绍 ——上篇 在当今科技飞速发展的时代，操作系统作为智能设备的核心，其重要性不言而喻。而HarmonyOS，作为华为推出的全新操作系统，正以其独特的魅力和强大的功能，吸引着越来越多的开发者和用户的…
阅读更多...
网络空间安全（1）web应用程序的发展历程

网络空间安全（1）web应用程序的发展历程

前言 Web应用程序的发展历程是一部技术创新与社会变革交织的长卷，从简单的文档共享系统到如今复杂、交互式、数据驱动的平台，经历了多个重要阶段。 一、起源与初期发展（1989-1995年） Web的诞生： 1989年，欧洲…
阅读更多...
JUC并发—9.并发安全集合三

JUC并发—9.并发安全集合三

大纲 1.并发安全的数组列表CopyOnWriteArrayList 2.并发安全的链表队列ConcurrentLinkedQueue 3.并发编程中的阻塞队列概述 4.JUC的各种阻塞队列介绍 5.LinkedBlockingQueue的具体实现原理 6.基于两个队列实现的集群同步机制 1.并发安全的数组列表CopyOnWriteArrayList …
阅读更多...
Baklib云智协同：数字资产赋能企业效能跃升

Baklib云智协同：数字资产赋能企业效能跃升

内容概要 在数字化转型加速的背景下，Baklib通过构建智能化的知识中台架构，为企业打造了贯穿知识采集、整合、应用的全链路解决方案。该平台以动态知识图谱为核心技术底座，支持文档、音视频、代码等20余种格式的数字资产全生命周期管理&#…
阅读更多...
wordpress adrotate插件 文件上传漏洞

wordpress adrotate插件 文件上传漏洞

当你爆破进wordpress后台但权限不是管理员的时&#xff0c;如果你有adrotate插件操作权限可以用adrotate的文件上传功能get webshell 该漏洞需要AdRotate版本 < 5.13.3 第一步按顺序点击上传文件 在这里文件一定要压缩成zip格式&#xff0c;上传的时候也是上传这个zip 上…
阅读更多...
Python爬虫入门到精通：从零开始的数据采集之旅

Python爬虫入门到精通：从零开始的数据采集之旅

一、网络世界的"小蜘蛛"：什么是爬虫？ 想象一下，你是一只勤劳的小蜘蛛，每天在互联网这张巨大的网上爬来爬去。你不需要自己织网，只需要顺着别人织好的网络路径，把有价值的信息收集到自己的小篮子里。这就是爬虫最形象的比喻——一个自动化的信息采集程序。 Py…
阅读更多...
Transformer解析——（四）Decoder

Transformer解析——（四）Decoder

本系列已完结&#xff0c;全部文章地址为&#xff1a; Transformer解析——&#xff08;一&#xff09;概述-CSDN博客 Transformer解析——&#xff08;二&#xff09;Attention注意力机制-CSDN博客 Transformer解析——&#xff08;三&#xff09;Encoder-CSDN博客 Transforme…
阅读更多...
毕业项目推荐：基于yolov8/yolov5/yolo11的番茄成熟度检测识别系统（python+卷积神经网络）

毕业项目推荐：基于yolov8/yolov5/yolo11的番茄成熟度检测识别系统（python+卷积神经网络）

文章目录 概要一、整体资源介绍技术要点功能展示&#xff1a;功能1 支持单张图片识别功能2 支持遍历文件夹识别功能3 支持识别视频文件功能4 支持摄像头识别功能5 支持结果文件导出&#xff08;xls格式&#xff09;功能6 支持切换检测到的目标查看 二、数据集三、算法介绍1. YO…
阅读更多...
Blaze RangePartitioning 算子Native实现全解析

Blaze RangePartitioning 算子Native实现全解析

引言&#xff1a;本文将全面且深入地解析Blaze RangePartitioning算子的Native实现过程。相较于原生Spark&#xff0c;RangePartitioning的Native实现在执行时间上达到了30%的显著下降&#xff0c;同时在资源开销方面节省了高达76%。这一改进大幅降低了运行成本&#xff0c;展现…
阅读更多...
1、Window Android 13模拟器 将编译的映像文件导入Android Studio

1、Window Android 13模拟器 将编译的映像文件导入Android Studio

1、环境准备 编译环境&#xff1a;Ubuntu-18.04.5编译版本&#xff1a;android13-release下载地址&#xff1a;清华大学开源软件镜像站AOSP # 下载repo # 同步代码&#xff1a;repo init -u https://mirrors.tuna.tsinghua.edu.cn/git/AOSP/platform/manifest -b android13-r…
阅读更多...
MTK-Android13-包安装器PackageInstaller 静默安装实现

MTK-Android13-包安装器PackageInstaller 静默安装实现

目的 我们最终是为了搞明白安装的整个流程。一方面通过安卓系统自带的包安装器来了解PMS 安装流程&#xff1b;另一方面熟悉框架层Framework 针对Android apk 安装流程。 前两篇文章分析了PackagerInstaller 安装流程。 Android13-包安装器PackageInstaller-之apk安装跳转 An…
阅读更多...
基于ffmpeg+openGL ES实现的视频编辑工具-opengl相关逻辑（五）

基于ffmpeg+openGL ES实现的视频编辑工具-opengl相关逻辑（五）

在我们的项目中，OpenGL ES 扮演着至关重要的角色，其主要功能是获取图像数据，经过一系列修饰后将处理结果展示到屏幕上，以此实现各种丰富多样的视觉效果。为了让大家更好地理解后续知识，本文将详细介绍 OpenGL 相关代码。需要注意的是，当前方案将对 OpenGL 的所有操作都集…
阅读更多...
【数据库系统概论】第第12章 并发控制

【数据库系统概论】第第12章 并发控制

12.1 并发控制概述 并发控制是指数据库管理系统&#xff08;DBMS&#xff09;通过控制多个事务同时执行&#xff0c;保证数据的一致性和隔离性&#xff0c;避免事务间的相互干扰。 事务串行执行不能充分利用系统资源 并发执行的优点&#xff1a;能够减少处理机的空闲 时间&a…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023