Kotaemon：开源的RAG UI

news2024/11/13 20:26:56

检索增强生成 (RAG) 已成为一种改变游戏规则的方法，可增强大型语言模型的功能。Kotaemon 是由 Cinnamon 开发的开源项目，它站在这项创新的最前沿，提供了一个简洁、可定制且功能丰富的基于 RAG 的用户界面，用于与文档聊天。

Kotaemon 的设计兼顾了最终用户和开发人员，为文档问答 (QA) 和 RAG 管道开发提供了一个多功能平台。该项目充当一个功能齐全的 RAG UI，允许用户通过自然语言查询与他们的文档进行交互，同时为开发人员提供了一个强大的框架来构建和定制他们自己的 RAG 管道。

NSDT工具推荐： Three.js AI纹理开发包 - YOLO合成数据生成器 - GLTF/GLB在线编辑 - 3D模型格式在线转换 - 可编程3D场景编辑器 - REVIT导出3D模型插件 - 3D模型语义搜索引擎 - AI模型在线查看 - Three.js虚拟轴心开发包 - 3D模型在线减面 - STL模型在线切割

1、Kotaemon的主要功能

简洁、极简的用户界面：Kotaemon 的一大特色是简洁、极简的用户界面。该用户界面基于 Gradio 框架构建，在简洁性和功能性之间实现了完美平衡。用户可以在深色和浅色模式之间切换，确保在各种照明条件和个人偏好下都能舒适使用。

多用户支持和协作：用户可以将文件组织到公共和私人收藏中，从而提供结构化的文档管理方法。此外，Kotaemon 还允许用户与他人分享聊天对话，促进团队内或跨部门的协作和知识共享。

高级 RAG 管道：RAG 管道采用重新排名机制，进一步优化搜索结果，向用户呈现最相关的信息。这种复杂的检索过程构成了 Kotaemon 为复杂查询提供准确且上下文感知响应的能力的基础。

增强的引用支持：系统对任何文档子集执行 QA，并提供来自 LLM 评委和矢量数据库的相关分数。这种评分机制可帮助用户判断所呈现信息的可靠性和相关性。此外，Kotaemon 还包含一个警告系统，当发现相关性较低的结果时会提醒用户，确保透明度并鼓励对响应进行批判性评估。

多模式 QA 功能：此功能在处理科学论文、技术文档或任何视觉元素在传达信息方面发挥关键作用的内容时特别有价值。Kotaemon 能够理解这些多模式元素并将其融入其 QA 流程，这使其有别于传统的纯文本 RAG 系统。

复杂推理方法：在处理需要复杂推理的复杂查询时，Kotaemon 表现出色。该平台提供了几种内置的“更智能的推理方法”，用户可以根据问题的性质快速切换。

其中一种方法是多跳 QA 的问题分解。这种方法将复杂的查询分解为更简单的子问题，使系统能够逐步解决复杂的问题。通过分解问题，Kotaemon 可以为多方面查询提供更准确、更全面的答案。
基于代理的推理是 Kotaemon 的另一个强大功能。该平台实现了流行的推理框架，例如 ReACT（推理和表演）和 ReWOO（对象网络推理），从而能够对用户查询做出更动态、更情境感知的响应。这些基于代理的方法允许 Kotaemon 浏览复杂的信息空间并绘制可能不会立即显现的连接。
对于希望突破 RAG 功能界限的用户，Kotaemon 还包括对 GraphRAG 索引的实验性支持。这种尖端技术旨在通过利用基于图形的知识表示来改进摘要响应，从而可能带来更连贯、更符合情境的答案。

可扩展性和定制性：Kotaemon 最大的优势之一是其可扩展性。该平台旨在成为一个灵活的基础，开发人员可以在其上构建和集成他们的自定义 RAG 管道。这种开放式架构允许快速设计原型并尝试不同的文档检索和问答方法。

2、Kotaemon安装与配置

Kotaemon 提供多种安装选项，以满足不同用户的需求和技术专长水平。

对于那些寻求快速、轻松安装的用户，建议使用 Docker 安装。只需运行提供的 Docker 命令，即可立即启动并运行 Kotaemon：

docker run \
-e GRADIO_SERVER_NAME=0.0.0.0 \
-e GRADIO_SERVER_PORT=7860 \
-p 7860:7860 -it --rm \
taprosoft/kotaemon:v1.0

对于希望更好地控制安装或需要将 Kotaemon 集成到现有环境中的用户，可以使用手动安装过程。这包括克隆存储库、设置 Python 环境和安装必要的依赖项：

# optional (setup env)
conda create -n kotaemon python=3.10
conda activate kotaemon

# clone this repo
git clone https://github.com/Cinnamon/kotaemon
cd kotaemon

pip install -e "libs/kotaemon[all]"
pip install -e "libs/ktem"

Kotaemon 的灵活性扩展到其配置选项。用户可以通过配置文件自定义系统的各个方面：

flowsettings.py 文件允许对应用程序进行高级配置，包括设置文档存储、向量存储以及启用或禁用特定功能。
.env 文件提供了一种配置模型连接和凭据的方法，支持各种 LLM 提供程序，例如 OpenAI、Azure OpenAI 和通过 Ollama 或 llama-cpp-python 的本地模型。