文章目录
- 前言
- 一、AnythingLLM 简介&基础应用
- 1.主要特性
- 2.下载与安装
- 3.配置 LLM 提供商
- 4.AnythingLLM 工作区&对话
- 二、AnythingLLM 进阶应用：知识增强使用
- 三、AnythingLLM 的 API 访问
- 四、小结
- 1.聊天模式
- 2.本地存储&向量数据库
前言
如果你不知道Ollama是什么，以及想知道如何安装并使用Ollama，请先移步本人的这篇文章：
《只看这篇就够了：本地电脑部署DeepSeek R1大模型，实现AI自由保姆级教程，从此妈妈再也不用担心服务器繁忙啦》（文章里的Chatbox可不用装）
本篇教程，咱就接着这篇文章，继续探索：
一、AnythingLLM 简介&基础应用
AnythingLLM 是一款开箱即用的一体化 AI 应用，支持 RAG（检索增强生成）、AI 代理等功能。
它无需编写代码或处理复杂的基础设施问题，适合快速搭建私有知识库和智能问答系统，并提供api方式调用。
1.主要特性
- 多种部署方式：支持云端、本地和自托管部署。
- 多用户协作：支持团队协作，适用于企业知识管理和客户支持。
- 多模型支持：兼容 OpenAI、Anthropic、LocalAI 等主流大模型。
- 多向量数据库支持：支持 Pinecone、Weaviate 等向量数据库。
- 多文件格式处理：支持 PDF、TXT、DOCX 等文件格式。
- 实时网络搜索：结合 LLM 响应缓存与对话标记功能，提供高效的文档管理和智能问答能力。
2.下载与安装
AnythingLLM 提供了 Mac、Windows 和 Linux 的安装包，用户可以直接从官网下载并安装。
官网地址：https://anythingllm.com
根据需要，下载自己对应的操作系统的版本。
我这里以Windows版为例
安装完成后，首次启动时会提示配置偏好设置。用户可以根据需求进行设置，后续也可以随时修改。
3.配置 LLM 提供商
在 AnythingLLM 的设置页面，可以通过 LLM 首选项 修改 LLM 提供商。
本文使用本地部署的 Ollama 和 deepseek-r1:14b 模型。
配置完成后，务必点击 Save changes 按钮保存设置。
4.AnythingLLM 工作区&对话
我们新建一个工作区，取名为“
xxx系统智能客服”，然后点击保存。
工作区聊天设置，设置好默认的参数后，点击下方的“
Update workspace”。
接下来就可以自由地对话啦：
在聊天界面中，用户可以创建多个工作区。
每个工作区可以独立管理文档和 LLM 设置，并支持多个会话（Thread），每个会话的上下文也是独立的。
二、AnythingLLM 进阶应用：知识增强使用
点击“
上传”图标，上传一个文档，支持的格式多样，txt、csv、word等基本都涵盖了。
上传完成后，选择一个或多个文档，点击“
Move to Workspace”
点击右下角的“
Save and Embed”，如弹出成功提示，就说明我们就配置完成啦。
现在你可以开始你的任意提问了，LLM会结合自己的知识，以及文档的内容，生成你提问的相应回答。
提示：保存成功后，请新开Thread哦，不然知识可能没有更新~
三、AnythingLLM 的 API 访问
AnythingLLM也是提供了对外api访问的，使得我们的其他程序，可以接入进来。
创建好api密钥，打开api文档，根据你实际情况，用相应的语言，接入即可，就能达到上述我们图形化界面上的一系列操作。
四、小结
这里总结一些容易产生歧义的概念，以及个性化的配置。
1.聊天模式
我们可以看到，在“聊天设置”里，有2种模式：聊天和查询
- 聊天：将提供LLM的
一般知识和找到的文档上下文的答案。- 查询：将
仅提供找到的文档上下文的答案。
可以根据自己的实际情况，选择不同的聊天模式。
2.本地存储&向量数据库
由于我们的初衷是：打造个性化的本地知识库，所以对于向量数据库，推荐LanceDB，它是100%保存在本地的，无需担心会联网上传敏感数据，使得数据更安全。
同时，LanceDB也是默认配置，无需额外配置。
都看到这里了，各位帅哥/美女，不管有用没用，都帮忙点个赞呗，❤️谢谢~
-
Author
- 吴所畏惧 2025.02.10
