来自工业界的开源知识库 RAG 项目结构化文件解析方案比较

news2024/11/15 20:03:55

背景介绍

在过去实践 RAG 的过程中，深刻体会到 RAGFlow 提出的 "Quality in, quality out", 只有高质量的文件处理才能获得良好的 RAG 效果。

RAG 的第一步是对文件进行解析，由于 Embedding 和 LLM 模型的长度限制，往往需要将解析后的文件进行切片。原始的 RAG 就是直接按照固定长度对文件进行切分，导致最终检索到的内容都是碎片化的，效果往往不佳。因此后续的改进期望能按照文件的结构进行切分，保证分块信息的完整性，这就是所谓的 "structure-aware" chunker。

但是并非所有的文件都容易获取到结构信息，比如 pdf 文件获取结构化的信息就比较困难，一个可选的方案就是将 pdf 等难以处理的文档转换为相对容易获取结构的格式，基于转换后的文档进行结构化解析和切分。目前一般会选择转换为 html 或 markdown 格式。

本文就以相对基础的 html 文件为例，比较目前热门 RAG 项目中的结构化解析文件的能力，看看目前 RAG 项目处理文件的基本功如何。

技术方案比较

在梳理了现有的 RAG 开源项目之后，发现使用的技术存在不少相似之处，因此先总结使用的技术方案，后面在与开源项目意义对应。

实际测试时使用的是如下所示的一个 html 片段：

请添加图片描述

基于 unstructured 解析方案

unstructured 是一个目前热门的开源非结构化文件解析方案，专门为 RAG 场景进行设计，支持了文件的解析，切片等多种场景。

目前基于 unstructured 的方案存在两种用法：

使用 unstructured 提取出完整的文本内容，之后将完整的内容提供给 RAG 的 Splitter 环节进行切片，这种方案没办法做任何结构化的优化，因为结构化信息在解析环节已经全部丢弃，后续只能根据符号和文本内容进行分片；
使用 unstructured 拆分出 html 元素，提取各个元素的内容并进行必要的拼接，之后再提交给 Splitter 环节进行处理，这种方式可以保留部分文件结构化信息；

下面简单实现 unstructed 的文档解析拆分如下所示：

from langchain_community.document_loaders import UnstructuredHTMLLoader

loader = UnstructuredHTMLLoader(
    "./xxx.html",
    mode="elements",
    strategy="fast",
)
docs = loader.load()
for doc in docs:
    print("-------------->")
    print(doc.page_content)

查看 unstructured 拆分的结果如下所示：

请添加图片描述

可以看到 unstructed 的切分是按照细粒度的元素切分的，导致大量人工看起来不太合适的内容也被切分开了，后续使用的效果可能不是特别理想。但是可以保证基础元素内部不会出现断句的情况。

下面是基于 unstructed 提供的 chunk_by_title() 方法进行合并后看到的分片效果：

请添加图片描述

可以看到合并后分片的新的分片可能在在视觉上单行中间，效果表现一般，但是预期比直接忽略结构分片可能会略好一些。

基于 html_text 解析方案

html_text 是一个相对小众的 html 解析开源项目，同样用于 html 内容提取。html_text 提取了内容后，会在接近可视化内容的部分增加换行符，后续可以基于换行符进行切分。

目前开源项目是基于 html_text + readability 实现的，简化后如下所示：

import chardet
import html_text
import readability

# 获取文件编码

def get_encoding(file):
    with open(file, "rb") as f:
        tmp = chardet.detect(f.read())
        return tmp["encoding"]


def get_data(file_path):
    with open(file_path, "r", encoding=get_encoding(file_path)) as f:
        txt = f.read()
        html_doc = readability.Document(txt)
        # 基于 html_text 提取内容

        content = html_text.extract_text(html_doc.summary(html_partial=True))
        sections = content.split("\n")
        return sections

ret = get_data(file_path)
for d in ret:
    print("---------->")
    print(d)

实际基于 html_text 解析得到的内容如下所示：

请添加图片描述
可以看到实际的分片位置更符合可视化页面的效果，不会将最原始的元素拆分开。实际测试下来，<span> 这种不会产生换行的元素不会被切分，<p> 这种产生换行的元素会切分为不同块。相对 unstructed 而言更符合视觉效果一些

基于 BeautifulSoup 解析方案

BeautifulSoup 是 python 生态中比较常用的 html 解析方案，所以部分 RAG 项目中会基于 BeautifulSoup 实现，这种情况一般会基于 get_text() 将文本内容全部获取出来，放弃文件的结构信息。实现如下所示：

from bs4 import BeautifulSoup

with open(file_path, "rb") as fp:
    soup = BeautifulSoup(fp, "html.parser")
    text = soup.get_text()
    text = text.strip() if text else ""
    print(text)

基于 trafilatura 解析方案

Trafilatura 是一个类似 BeautifulSoup 的 html 解析方案，从官方文档描述来看，Trafilatura 解析的速度和质量都比较高。

使用 Trafilatura 解析后，直接提取了文档的内容，放弃了文件的结构，其实现也比较简单：

import trafilatura

with open(file_path, "rb") as file:
    html_content = file.read()

    # 使用 Trafilatura 提取内容

    result = trafilatura.extract(html_content)

开源项目方案比较

之前在文章来自工业界的开源知识库 RAG 项目最全细节对比中对常规的开源项目进行了详细对比，本文就对其中的一些热门开源项目的 html 解析方案进行比较：

项目	html 技术方案
RAGFlow	html_text 解析
Langchain-Chatchat	unstructured 解析
dify	BeautifulSoup 解析
GoMate	html_text 解析
haystack	trafilatura 解析
QAnything	暂未支持，但是很多格式都是基于 unstructured 解析
langchain	支持 unstructured 和 BeautifulSoup 解析，同时也支持按照指定元素进行切分