---

---

关于 LangChain-Chatchat

Langchain-Chatchat（原Langchain-ChatGLM）基于 Langchain 与 ChatGLM 等语言模型的本地知识库问答。

• github : https://github.com/chatchat-space/Langchain-Chatchat
• wiki: https://github.com/chatchat-space/Langchain-Chatchat/wiki/
  • 支持列表 LLM 模型、Embedding 模型、向量数据库、工具支持列表
  • 开发环境部署
    前期准备 ：软件、硬件
    部署代码：Docker 部署、最轻模式部署方案、常规模式本地部署方案（环境安装、模型下载、初始化知识库、一键启动、多卡加载)
  • 参数配置 ：基础配置项 basic_config.py、模型配置项 model_config.py、提示词配置项 prompt_config.py、数据库配置 kb_config.py、服务和端口配置项 server_config.py、覆盖配置文件 或者配置 startup.py
  • 自定义：使用自定义的分词器、 Agent 工具、微调模型、嵌入模型，日志功能。
  • 最佳实践：推荐的模型组合、微调模型加载实操、预处理知识库文件、自定义的关键词调整Embedding模型、实际使用效果
• 原理介绍：ChatGLM + LangChain 实践培训（视频 1h）
  https://www.bilibili.com/video/BV13M4y1e7cN/
  ppt : https://pan.baidu.com/s/15jmNG2dc80IWM4LlLj94Rw?pwd=7fnw

---

特性说明

• 利用 langchain 思想实现的 基于本地知识库 的问答应用
• 目标：期望建立一套对中文场景与开源模型支持友好、可离线运行的知识库问答解决方案。
• 受 GanymedeNil 的项目 document.ai 和 AlexZhangji 创建的 ChatGLM-6B Pull Request启发，建立了 全流程可使用开源模型 实现的本地知识库问答应用。
• 本项目的最新版本中通过使用 FastChat 接入 Vicuna, Alpaca, LLaMA, Koala, RWKV 等模型，依托于 langchain 框架支持 通过基于 FastAPI 提供的 API 调用服务，或使用基于 Streamlit 的 WebUI 进行操作。
• 依托于本项目支持的开源 LLM 与 Embedding 模型，本项目可实现全部使用开源模型离线私有部署。
  与此同时，本项目也支持 OpenAI GPT API 的调用，并将在后续持续扩充对各类模型及模型 API 的接入。

---

实现原理

本项目实现原理如下图所示，过程包括：
加载文件 -> 读取文本 -> 文本分割 -> 文本向量化 -> 问句向量化 -> 在文本向量中匹配出与问句向量最相似的 top k个 -> 匹配出的文本作为上下文和问题一起添加到 prompt中 -> 提交给 LLM生成回答。

---

文档处理流程

---

技术路线图（截止0.2.10）

• Langchain 应用
  • 本地数据接入
  • 接入非结构化文档
    • .txt, .rtf, .epub, .srt
    • .eml, .msg
    • .html, .xml, .toml, .mhtml
    • .json, .jsonl
    • .md, .rst
    • .docx, .doc, .pptx, .ppt, .odt
    • .enex
    • .pdf
    • .jpg, .jpeg, .png, .bmp
    • .py, .ipynb
  • 结构化数据接入
    • .csv, .tsv
    • .xlsx, .xls, .xlsd
  • 分词及召回
    • 接入不同类型 TextSplitter
    • 优化依据中文标点符号设计的 ChineseTextSplitter
  • 搜索引擎接入
  • Bing 搜索
  • DuckDuckGo 搜索
  • Metaphor 搜索
  • Agent 实现
  • 基础React形式的Agent实现，包括调用计算器等
  • Langchain 自带的Agent实现和调用
  • 智能调用不同的数据库和联网知识
• LLM 模型接入
  • 支持通过调用 FastChat api 调用 llm
  • 支持 ChatGLM API 等 LLM API 的接入
  • 支持 Langchain 框架支持的LLM API 接入
• Embedding 模型接入
  • 支持调用 HuggingFace 中各开源 Emebdding 模型
  • 支持 OpenAI Embedding API 等 Embedding API 的接入
  • 支持 智谱AI、百度千帆、千问、MiniMax 等在线 Embedding API 的接入
• 基于 FastAPI 的 API 方式调用
• Web UI
  • 基于 Streamlit 的 Web UI

---

使用

Langchain-Chatchat 体验
https://mp.weixin.qq.com/s/RvS85gPjWOXkfQa9A2izpw

---

1、克隆项目

首先将以上项目克隆至本地，并安装相关依赖。

git clone https://github.com/chatchat-space/Langchain-Chatchat.git

pip install -r requirements.txt --trusted-host mirrors.aliyun.com
pip install -r requirements_webui.txt --trusted-host mirrors.aliyun.com

---

2、下载模型

git clone https://www.modelscope.cn/qwen/Qwen-1_8B-Chat-Int8.git
git clone https://www.modelscope.cn/AI-ModelScope/bge-large-zh.git  

模型下载路径为 /models

---

3、初始化配置文件和知识库

python copy_config_example.py
python init_database.py --recreate-vs

---

4、修改配置信息

model_config.py

# 修改为下载模型的地址
MODEL_ROOT_PATH = "/models"

# 修改为本地使用模型
LLM_MODELS = ["Qwen-1_8B-Chat-Int8"]

---

5、启动

python startup.py --all-webui --model-name Qwen-1_8B-Chat-Int

---

2024-03-20（三）
喝了一杯 黑糖珍珠鲜牛奶~