【RAGFlow】Ubuntu系统下实现源码启动RAGFlow

news2024/9/20 16:40:51

在这里插入图片描述

一、RAGFlow 是什么？

RAGFlow 是一款基于深度文档理解构建的开源 RAG（Retrieval-Augmented Generation）引擎。RAGFlow 可以为各种规模的企业及个人提供一套精简的 RAG 工作流程，结合大语言模型（LLM）针对用户各类不同的复杂格式数据提供可靠的问答以及有理有据的引用。
在这里插入图片描述

二、RAGFlow架构设计

在这里插入图片描述
检索流程

  • 首先Questions提出问题，由查询分析器进行Keyword & Embedding，到AI 原生数据库（Infinity）进行相似性检索，返回Chunk数据
  • 然后基于多路召回、融合重排序处理，得到更精确、准确答案
  • 最后调用LLMs进行内容生成，返回答案给用户

知识加载

  • Documents加载进行Task Dispatch分发，进行Task Exector
  • 基于深度文档理解（DeepDoc）处理，如：OCR、文档解析、文档分层分析、表结构识别
  • 最后基于可控可解释的模板文本切片，形成Chunk存入AI 原生数据库

三、RAGFlow主要功能

Quality in, quality out

  • 基于深度文档理解，能够从各类复杂格式的非结构化数据中提取真知灼见。
  • 真正在无限上下文（token）的场景下快速完成大海捞针测试。

基于模板的文本切片

  • 不仅仅是智能，更重要的是可控可解释。
  • 多种文本模板可供选择

有理有据、最大程度降低幻觉（hallucination）

  • 文本切片过程可视化，支持手动调整。
  • 有理有据：答案提供关键引用的快照并支持追根溯源。

兼容各类异构数据源

  • 支持丰富的文件类型，包括 Word 文档、PPT、excel 表格、txt 文件、图片、PDF、影印件、复印件、结构化数据, 网页等。

全程无忧、自动化的 RAG 工作流

  • 全面优化的 RAG 工作流可以支持从个人应用乃至超大型企业的各类生态系统。
  • 大语言模型 LLM 以及向量模型均支持配置。
  • 基于多路召回、融合重排序。
    • 多路召回:策略是指采用不同的策略、特征或简单模型，根据相关任务的特点，合适的召回规则，分别召回一部分候选集。在“计算速度”和“召回率”之间进行了权衡，可以使用多线程并发技术，从而提高效率。
    • 融合重排序：则是对多路召回得到的候选集进行进一步的优化排序。它结合了多个排序算法的优点，形成了一种全新的排序算法，旨在提高排序的准确性和速度。
    • 多路召回和融合重排序的推荐系统能够充分利用各种策略和算法的优点，提高推荐的准确性和效率，从而提升用户体验
  • 提供易用的 API，可以轻松集成到各类企业系统。

四、源码启动服务

4.1 环境安装

4.1.1 更新系统软件包

1.到手一个全新的Ubuntu系统，从零开始搭建，使用MobaXterm来远程Ubuntu系统进行操作。
在这里插入图片描述

2.更新本地包列表：apt-get update；升级已安装的软件包到最新版本：apt-get upgrade
在这里插入图片描述

4.1.2 安装conda、python3、git、pip3

在Ubuntu系统上安装conda、Python、git和pip的详细步骤如下：

4.1.2.1 安装conda

Conda是一个开源的包、依赖和环境管理器，用于安装多个版本的软件包及其依赖，并在它们之间轻松切换。以下是安装conda的步骤：

  1. 下载Anaconda：
  • 使用wget命令从清华大学开源软件镜像站下载Anaconda安装包（以最新版本为例，请根据实际情况替换URL中的版本号）。
# 下载最新镜像源
wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-2024.06-1-Linux-x86_64.sh

注意：由于无法直接获取当前最新版本的URL，请访问清华大学开源软件镜像站

由于清华镜像站安装时出错了，所以换了源下载下来。
在这里插入图片描述

下载成功的源地址如下：

wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-2024.06-1-Linux-x86_64.sh

在这里插入图片描述

  1. 安装Anaconda：
  • 执行下载的shell脚本进行安装。
bash Anaconda3-2024.06-1-Linux-x86_64.sh
  • 跟随安装程序的提示操作，包括阅读并同意许可协议、选择安装位置等。
  • 安装完成后，根据提示初始化conda（可选，但推荐）。
  • 一路默认安装到了路径 /root/anaconda3下面了
    在这里插入图片描述
    在这里插入图片描述
  1. 验证安装：
  • 安装完成后，conda下的bin文件会添加到环境变量里面，这时候需要source一下bash文件
source ~/.bashrc
  • 再通过运行conda --version来验证conda是否已成功安装。
    在这里插入图片描述
4.1.2.2 安装Python3

Ubuntu系统通常已经预装了Python3。但如果你需要安装特定版本的Python3或确认是否已安装，可以按照以下步骤操作：
1.检查Python3版本：

  • 在终端中输入python3 --version 来检查已安装的Python3版本。

在这里插入图片描述

2.安装Python（如果未安装）：

  • 使用apt包管理器安装Python 3：apt-get install python3。
4.1.2.3 安装git
  • Git是一个开源的分布式版本控制系统，用于跟踪和管理代码更改。以下是安装git的步骤：
    1.安装git：
  • 使用apt包管理器安装git：apt-get install git。
    2.验证安装：
  • 通过运行git --version来验证git是否已成功安装。
    在这里插入图片描述
4.1.2.4 安装pip3

pip是Python的包安装程序，用于安装和管理Python包。Ubuntu系统通常已经预装了pip。但如果你需要安装或更新pip，可以按照以下步骤操作：

  1. 安装pip（如果未安装）：
  • 使用apt包管理器安装pip：apt-get install python3-pip 。
  1. 更新pip（如果需要）：
  • 使用pip自身来更新：pip3 install --upgrade pip3 。
  1. 验证安装：
  • 通过运行pip3 --version来验证pip是否已成功安装。
    在这里插入图片描述

通过以上步骤，可以在Ubuntu系统上成功安装conda、Python、git和pip。这些工具将帮助你更有效地进行软件开发和版本控制。

4.1.3 安装Ragflow

4.1.3.1 克隆Ragflow的源代码
  • 使用Git克隆Ragflow的GitHub仓库。打开终端，执行以下命令：
git clone https://github.com/infiniflow/ragflow.git

在这里插入图片描述

  • 打开ragflow目录
cd ragflow

在这里插入图片描述

4.1.3.2 创建Python虚拟环境

为了避免依赖冲突，建议为Ragflow创建一个独立的Python虚拟环境。使用conda来创建。

conda create -n ragflow python=3.12.4

在这里插入图片描述

conda activate ragflow

在这里插入图片描述

4.1.3.3 安装依赖
  • 在Ragflow的源代码目录中，找到requirements.txt文件，并使用pip安装所有依赖。
    依赖清单如下：
accelerate==0.27.2
aiohttp==3.9.5
aiosignal==1.3.1
annotated-types==0.6.0
anyio==4.3.0
argon2-cffi==23.1.0
argon2-cffi-bindings==21.2.0
Aspose.Slides==24.2.0
attrs==23.2.0
blinker==1.7.0
cachelib==0.12.0
cachetools==5.3.3
certifi==2024.2.2
cffi==1.16.0
charset-normalizer==3.3.2
click==8.1.7
coloredlogs==15.0.1
cryptography==42.0.5
dashscope==1.14.1
datasets==2.17.1
datrie==0.8.2
demjson3==3.0.6
dill==0.3.8
distro==1.9.0
elastic-transport==8.12.0
elasticsearch==8.12.1
elasticsearch-dsl==8.12.0
et-xmlfile==1.1.0
filelock==3.13.1
fastembed==0.2.6
FlagEmbedding==1.2.5
Flask==3.0.2
Flask-Cors==4.0.0
Flask-Login==0.6.3
Flask-Session==0.6.0
flatbuffers==23.5.26
frozenlist==1.4.1
fsspec==2023.10.0
h11==0.14.0
hanziconv==0.3.2
httpcore==1.0.4
httpx==0.27.0
huggingface-hub==0.20.3
humanfriendly==10.0
idna==3.6
install==1.3.5
itsdangerous==2.1.2
Jinja2==3.1.3
joblib==1.3.2
lxml==5.1.0
MarkupSafe==2.1.5
minio==7.2.4
mpmath==1.3.0
multidict==6.0.5
multiprocess==0.70.16
networkx==3.2.1
nltk==3.8.1
numpy==1.26.4
nvidia-cublas-cu12==12.1.3.1
nvidia-cuda-cupti-cu12==12.1.105
nvidia-cuda-nvrtc-cu12==12.1.105
nvidia-cuda-runtime-cu12==12.1.105
nvidia-cudnn-cu12==8.9.2.26
nvidia-cufft-cu12==11.0.2.54
nvidia-curand-cu12==10.3.2.106
nvidia-cusolver-cu12==11.4.5.107
nvidia-cusparse-cu12==12.1.0.106
nvidia-nccl-cu12==2.19.3
nvidia-nvjitlink-cu12==12.3.101
nvidia-nvtx-cu12==12.1.105
ollama==0.1.9
onnxruntime-gpu==1.17.1
openai==1.12.0
opencv-python==4.9.0.80
openpyxl==3.1.2
packaging==23.2
pandas==2.2.1
pdfminer.six==20221105
pdfplumber==0.10.4
peewee==3.17.1
pillow==10.3.0
protobuf==4.25.3
psutil==5.9.8
pyarrow==15.0.0
pyarrow-hotfix==0.6
pyclipper==1.3.0.post5
pycparser==2.21
pycryptodome
pycryptodome-test-vectors
pycryptodomex
pydantic==2.6.2
pydantic_core==2.16.3
PyJWT==2.8.0
PyMySQL==1.1.1
PyPDF2==3.0.1
pypdfium2==4.27.0
python-dateutil==2.8.2
python-docx==1.1.0
python-dotenv==1.0.1
python-pptx==0.6.23
PyYAML==6.0.1
redis==5.0.3
regex==2023.12.25
requests==2.31.0
ruamel.yaml==0.18.6
ruamel.yaml.clib==0.2.8
safetensors==0.4.2
scikit-learn==1.4.1.post1
scipy==1.12.0
sentence-transformers==2.4.0
shapely==2.0.3
six==1.16.0
sniffio==1.3.1
StrEnum==0.4.15
sympy==1.12
threadpoolctl==3.3.0
tika==2.6.0
tiktoken==0.6.0
tokenizers==0.15.2
torch==2.2.1
tqdm==4.66.2
transformers==4.38.1
triton==2.2.0
typing_extensions==4.10.0
tzdata==2024.1
urllib3==2.2.1
Werkzeug==3.0.3
xgboost==2.0.3
XlsxWriter==3.2.0
xpinyin==0.7.6
xxhash==3.4.1
yarl==1.9.4
zhipuai==2.0.1
BCEmbedding
loguru==0.7.2
umap-learn
fasttext==0.9.2
volcengine==1.0.141
readability-lxml==0.8.1
html_text==0.6.2
selenium==4.21.0
webdriver-manager==4.0.1
cn2an==0.5.22
roman-numbers==1.0.2
word2number==1.1
markdown==3.6
mistralai==0.4.2
boto3==1.34.140
duckduckgo_search==6.1.9
google-generativeai==0.7.2
groq==0.9.0

pip3 install -r requirements.txt

注意：如果遇到依赖冲突，可能需要手动解决，如调整包版本或卸载冲突的包。
这里使用ragflow中原来的requirements.txt文件，总共要安装151个依赖，由于我安装的python3版本 = 3.12.4，在安装到Aspose.Slides == 24.2.0 时，会报错，这个依赖的版本支持 python3 >= 3.5,< 3.11，所以安装不成功
解决方法：
将Aspose.Slides == 24.2.0后面的版本修改为 Aspose.Slides==24.6.0 即可。
在这里插入图片描述

  • 全部装完，花了两个多小时，平均速度500K左右吧

在这里插入图片描述

  • 如果cuda > 12.0，需额外执行以下命令：（这个依赖目前用到的版本是12.1.105，所以需要执行这部分命令）
$ pip uninstall -y onnxruntime-gpu
$ pip install onnxruntime-gpu --extra-index-url https://aiinfra.pkgs.visualstudio.com/PublicPackages/_packaging/onnxruntime-cuda-12/pypi/simple/
4.1.3.4 拷贝入口脚本并配置环境变量
$ cp docker/entrypoint.sh .
$ vi entrypoint.sh

使用以下命令获取python路径及ragflow项目路径

$ which python
$ pwd

将上述which python的输出作为PY的值，将pwd的输出作为PYTHONPATH的值。
LD_LIBRARY_PATH如果环境已经配置好，可以注释掉。

# 此处配置需要按照实际情况调整，两个export为新增配置
PY=${PY}
export PYTHONPATH=${PYTHONPATH}

# 可选：添加Hugging Face镜像
export HF_ENDPOINT=https://hf-mirror.com
4.1.3.5 启动服务
  • 启动基础服务
$ cd docker
$ docker compose -f docker-compose-base.yml up -d
  • 检查配置文件 确保docker/.env中的配置与conf/service_conf.yaml中配置一致， service_conf.yaml中相关服务的IP地址与端口应该改成本机IP地址及容器映射出来的端口。
  • 启动服务
$ chmod +x ./entrypoint.sh
$ bash ./entrypoint.sh
  • 启动WebUI服务
$ cd web
$ npm install --registry=https://registry.npmmirror.com --force
$ vim .umirc.ts
# 修改proxy.target为http://127.0.0.1:9380
$ npm run dev
  • 部署WebUI服务
$ cd web
$ npm install --registry=https://registry.npmmirror.com --force
$ umi build
$ mkdir -p /ragflow/web
$ cp -r dist /ragflow/web
$ apt install nginx -y
$ cp ../docker/nginx/proxy.conf /etc/nginx
$ cp ../docker/nginx/nginx.conf /etc/nginx
$ cp ../docker/nginx/ragflow.conf /etc/nginx/conf.d
$ systemctl start nginx

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1937107.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

【C语言初阶】C语言数组基础：从定义到遍历的全面指南

【C语言初阶】C语言数组基础：从定义到遍历的全面指南

&#x1f4dd;个人主页&#x1f339;&#xff1a;Eternity._ ⏩收录专栏⏪&#xff1a;C语言 “ 登神长阶 ” &#x1f921;往期回顾&#x1f921;&#xff1a;C语言函数 &#x1f339;&#x1f339;期待您的关注 &#x1f339;&#x1f339; ❀数组 &#x1f4d2;1. 什么是数组…
阅读更多...
【医学影像】X86+FPGA:支持AI医学影像设备应用的工控主板，赋能CT、MRI、X线、超声等医学影像设备

【医学影像】X86+FPGA:支持AI医学影像设备应用的工控主板，赋能CT、MRI、X线、超声等医学影像设备

支持AI医学影像设备应用的工控主板 在我国人口老龄化问题不断加剧&#xff0c;对影像诊断需求持续增长&#xff0c;和国家利好高端医学影像市场发展的系列法规和政策接连出台的大环境下&#xff0c;AI医学影像设备产业迎来发展黄金期。紧跟发展大势&#xff0c;基于12/13代 In…
阅读更多...
天途无人机林业应用解决方案

天途无人机林业应用解决方案

林业应用现状分析 森林环境较为复杂&#xff0c;人员无法快速到达现场&#xff0c;工作人员通常会面临监控盲区&#xff0c;林区爬山涉水困难多&#xff1b;森林防火重要性不可忽视&#xff0c;2019年全国共发生森林火灾2345起&#xff0c;森林防火仍为重中之重&#xff1b;环…
阅读更多...
SAPUI5基础知识16 - 深入理解MVC架构

SAPUI5基础知识16 - 深入理解MVC架构

1. 背景 经过一系列的练习&#xff0c;相信大家对于SAPUI5的应用程序已经有了直观的认识&#xff0c;我们在练习中介绍了视图、控制器、模型的概念和用法。在本篇博客中&#xff0c;让我们回顾总结下这些知识点&#xff0c;更深入地理解SAPUI5的MVC架构。 首先&#xff0c;让…
阅读更多...
Jvm基础（一）

Jvm基础（一）

目录 JVM是什么运行时数据区域线程私有1.程序计数器2.虚拟机栈3.本地方法栈 线程共享1.方法区2.堆 二、对象创建1.给对象分配空间(1)指针碰撞(2)空闲列表 2.对象的内存布局对象的组成Mark Word类型指针实例数据&#xff1a;对齐填充 对象的访问定位句柄法 三、垃圾收集器和内存…
阅读更多...
React基础学习-Day04

React基础学习-Day04

React基础学习-Day04 常见的钩子函数及基础使用方式 1.useState useState 是 React 的一个 Hook&#xff0c;用于在函数组件中添加状态。它返回一个状态变量和一个更新该状态的函数。与类组件的 this.state 和 this.setState 相对应&#xff0c;useState 让函数组件也能拥有…
阅读更多...
【第10章】Spring Cloud之Nacos动态配置

【第10章】Spring Cloud之Nacos动态配置

文章目录 前言一、上下文1. 新增配置2. 启动类3. 效果 二、注解 ( 推荐 ) \color{#00FF00}{(推荐)} (推荐)1. 获取配置2. 测试2.1 未配置2.2 配置值2.3 修改值 总结 前言 这一章我们通过两个案例来学习Nacos动态配置&#xff0c;通过在控制台修改服务端配置文件值&#xff0c;…
阅读更多...
linux环境交叉编译openssl库，以使Qt支持https

linux环境交叉编译openssl库，以使Qt支持https

一.前言 Qt若需要支持https&#xff0c;则需要openssl的支撑,并且要注意&#xff0c;Qt不同版本会指定对应的openssl版本库&#xff0c;比方我用的Qt5.15.10他要求用的openssl版本是1.1.1&#xff0c;你就不能用其他版本&#xff0c;不然基本就是失败报错。 如何查看Qt对应ope…
阅读更多...
TK秘籍：深度剖析机房IP与住宅IP的利与弊

TK秘籍：深度剖析机房IP与住宅IP的利与弊

大家好&#xff0c;今天我们来聊聊TikTok运营中的一个重要环节——IP地址的选择。 想象一下&#xff0c;你在TikTok上发布视频&#xff0c;就像是在一个热闹的市集上摆摊&#xff0c;而IP地址就是你的摊位位置。选对了位置&#xff0c;你的摊位就能吸引更多顾客&#xff0c;也…
阅读更多...
浪漫情怀：红酒中的诗意与情感

浪漫情怀：红酒中的诗意与情感

在生活的点滴细节中&#xff0c;总有些元素能触动我们内心较柔软的地方&#xff0c;唤起那份深深的浪漫情怀。而红酒&#xff0c;便是这其中的一种神奇媒介。它以其不同的色泽、香气和口感&#xff0c;让人沉醉其中&#xff0c;感受那份诗意与情感的交织。今天&#xff0c;就让…
阅读更多...
2024 React 和 Vue 的生态工具

2024 React 和 Vue 的生态工具

react Vue
阅读更多...
使用Kotlin Flow和协程开发高性能Android应用

使用Kotlin Flow和协程开发高性能Android应用

使用Kotlin Flow和协程开发高性能Android应用：以电影业务为例 引言 在当今移动互联网快速发展的时代，用户对应用的性能和响应速度有了更高的要求。作为开发者，我们需要不断探索和采用新的技术来提升应用的性能和用户体验。Kotlin作为Android开发的首选语言，其协程和Flow特…
阅读更多...
抖音/腾讯/百度ocpm深度回传如何操作？广告投放双出价的投放技巧？

抖音/腾讯/百度ocpm深度回传如何操作？广告投放双出价的投放技巧？

要实现抖音、腾讯和百度的OCPM&#xff08;Optimized Cost Per Mille&#xff09;深度回传&#xff0c;可以通过借助第三方平台&#xff0c;例如&#xff08;转化宝&#xff09;实现广告数据精准回传&#xff0c;如此之外&#xff0c;在广告投放过程中还需要注重这些方面。 转化…
阅读更多...
Python+Django+MySQL的新闻发布管理系统【附源码，运行简单】

Python+Django+MySQL的新闻发布管理系统【附源码，运行简单】

PythonDjangoMySQL的新闻发布管理系统【附源码&#xff0c;运行简单】 总览 1、《新闻发布管理系统》1.1 方案设计说明书设计目标工具列表 2、详细设计2.1 登录2.2 程序主页面2.3 新闻新增界面2.4 文章编辑界面2.5 新闻详情页2.7 其他功能贴图 3、下载 总览 自己做的项目&…
阅读更多...
云计算实训06——find、stat、touch、tree、scp、crontab指令相关应用

云计算实训06——find、stat、touch、tree、scp、crontab指令相关应用

一、find命令 1.find的作用&#xff1a;对文件进行搜索 2. 基本语法&#xff1a; find [文件路径] [选项 选项的值 ] 3.常见的选项 -name 根据文件的名称搜索文件&#xff0c;支持通配符 * -type f 代表普通文件&#xff0c;-type d 代表目录 4.* 通配符 在 linux 系统…
阅读更多...
QT--多页面、定时器和日期时间数据

QT--多页面、定时器和日期时间数据

多页面 widget.ui 负责实现一个页面; mian.cpp创建窗体对象,并监控上面的事件 窗口的显示和隐藏: 一个窗体,比如logpage widget,继承QWidget QWidget::show(); 显示该窗体 QWidget::hide(); 隐藏该窗体 页面间通信采用在main.cpp中创建connect槽函数。 代码如下 //main.c…
阅读更多...
socket 收发TCP/UDP

socket 收发TCP/UDP

一、c 个人测试记录&#xff0c;有问题还请指出&#xff0c;谢谢 参考&#xff1a;C开发基础之网络编程WinSock库使用详解TCP/UDP Socket开发_c udp使用什么库-CSDN博客 代码中Logger测试见文章&#xff1a; c中spdlog的使用/python中logger的使用-CSDN博客 1、main.cpp 收…
阅读更多...
PE安装系统

PE安装系统

前些天客户的电脑坏了,需要重装系统,我们的恢复光盘安装的时候,由于主板的原因,导致进入windows安装界面,鼠标键盘没有响应,自然也就无法正常安装了. 那我们只能换个方法,PE安装试试看,那么我们需要做哪些准备工作呢? 1.制作PE启动盘,网上很多制作工具,如""U启动,…
阅读更多...
贪心算法总结（1）

贪心算法总结（1）

一、贪心算法简介 常用方法&#xff1a;交换论证法、数学归纳法、反证法、分类讨论 二、柠檬水找零&#xff08;交换论证法&#xff09; . - 力扣&#xff08;LeetCode&#xff09; class Solution { public:bool lemonadeChange(vector<int>& bills) {int five0,t…
阅读更多...
蜂窝物联云平台：一站式服务，智能生活从此开始！

蜂窝物联云平台：一站式服务，智能生活从此开始！

蜂窝云平台 一、PC端展示与管理 GIS地图整合 在GIS地图上精确展示地块&#xff0c;轻松点选查看详细设备信息、实时监控和控制功能&#xff0c;以及基地的全方位介绍。 个性化定制界面 界面布局与功能展示均可按需求定制&#xff0c;打造独一无二的用户体验。 数据集中看板 将…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023