文章目录
- 一、AnythingLLM简介
- 二、搭建本地智能知识库
- 2.1 安装Ollama
- 2.2 安装AnythingLLM
- 参考资料
一、AnythingLLM简介
AnythingLLM是由Mintplex Labs Inc.开发的一个全栈应用程序，是一款高效、可定制、开源的企业级文档聊天机器人解决方案。AnythingLLM能够将任何文档、资源或内容片段转化为大语言模型在聊天中可以利用的相关上下文。
AnythingLLM支持几乎所有的主流大模型和多种文档类型，可定制化，而且安装和设置简单。目前适用于MacOS、Linux和Windows操作系统，也可以使用Docker安装。官方已经做好了各个版本的应用，直接下载对应版本，像正常软件一样安装启动即可。
1.核心特性
- 多用户协作与权限定制：支持多用户同时在线，根据角色分配不同权限，保障信息安全。
- 全面文档格式兼容：无缝支持PDF、TXT、DOCX等主流文档格式，扩展知识库的边界。
- 直观的文档管理界面：用户友好的界面简化了向量数据库中的文档管理流程。
- 双模式对话系统：对话模式记录历史问答，查询模式专注于文档的即时速查。
2.技术生态支持
- LLM支持：全面兼容开源llama.cpp模型、OpenAI、Azure OpenAI、Anthropic ClaudeV2等，以及LM Studio和LocalAi。
- 嵌入模型：内建AnythingLLM原生嵌入器，同时支持OpenAI、Azure OpenAI等嵌入技术。
- 向量数据库：以LanceDB为默认选择，同时支持Pinecone、Chroma、Weaviate、QDrant等数据库，为知识库提供强大的数据索引和检索能力。
二、搭建本地智能知识库
2.1 安装Ollama
AnythingLLM中需要设置 “工作区 LLM 提供者”，这里我们可以使用 Ollama 来提供大模型服务，这里就需要提前在我们的环境上安装好 Ollama 。
Ollama 的安装及部署参考本人之前的博客：【大模型】Ollama的安装部署及运行大模型教程
在使用AnythingLLM前，需要启动Ollama服务。执行ollama serve，ollama默认地址为：http://127.0.0.1:11434
【注意】：这里我们的 Ollama 安装在Ubuntu远程服务器上，AnythingLLM 安装在本地 Windows
PC机上。如果想在本地PC机访问 Ollama 提供的模型服务，还需做个端口映射。在Windows命令行页面输入如下命令：
python ssh -L 11434:localhost:11434 root@xxx.xxx.yyy.yyy然后在PC机的浏览器访问
http://127.0.0.1:11434/，能够看到如下页面：
2.2 安装AnythingLLM
（1）下载安装包进行安装
安装包下载地址：https://anythingllm.com/desktop
这里，我们选择了 Windows 的安装包，在本地PC机上进行安装。
（2）Open Seetings
进入 Open Seetings页面，可以设置人工智能提供商，包括：LLM首选项、向量数据库等。
-
LLM首选项：
这里我们选择了 Ollama 来提供模型服务。 -
向量数据库
向量数据库直接使用默认的LanceDB即可。
（3）创建工作区
（4）设置工作区
（5）开启对话
在对话界面可以通过“上传文档”，或者 “发送消息” 来开启对话。
- 上传文档
参考资料
- 【RAG检索增强生成】Ollama+AnythingLLM本地搭建RAG大模型私有知识库_ollama检索增强
