前言
之前写了如何本地部署deepseek,已经可以私有化问答了,本地搭建deepseek实操(ollama搭建,docker管理,open-webui使用)
其中我觉得最厉害的还是这个模型蒸馏,使我们可以用很低的代价使用大模型,还有他的推理功能,下面介绍一下,如何投喂一些数据,实现私有的知识库。
ollama + deepseek
这套工具我在上一篇已经写了,是部署本地化使用的。
AnythingLLM
官方介绍如下
AnythingLLM是一个全栈应用程序,您可以使用现成的商业大语言模型或流行的开源大语言模型,再结合向量数据库解决方案构建一个私有ChatGPT,不再受制于人:您可以本地运行,也可以远程托管,并能够与您提供的任何文档智能聊天。
AnythingLLM将您的文档划分为称为workspaces (工作区)的对象。工作区的功能类似于线程,同时增加了文档的容器化,。工作区可以共享文档,但工作区之间的内容不会互相干扰或污染,因此您可以保持每个工作区的上下文清晰。
官方下载网站:https://anythingllm.com/desktop
简单来说:我们可以用这个工具,选择对应的大模型,来投喂数据,来分析我们需要的数据
操作
1,首先进来了先设置成中文,方便我们操作
,2,然后选择提供商,可以选到我们本地的大模型。
3,新建工作区
4,进行聊天设置,选上我们需要的LLM。
5,进行代理配置
6,数据投喂
Anything LLM 支持3种数据上传方式
本地文档上传:直接上传本地文件。
Web 链接:通过 URL 上传网页内容。
数据链接:从 GitHub、GitLab 等平台导入数据。
我用本地文档演示
6.1 点击旁边的上传按钮
6.2 准备一个文件
把文件上传进来
下面开始提问
到这里恭喜你,你学会了简单的根据大模型搭建自己的知识库。
提升
下面我们投喂一下网站
到这里我觉得其实就很厉害了,可以根据一个链接生成这么多内容。
思考
可以利用这些功能进行什么使用?
显而易见的,首先是搭建公司的智能客服,问答体系,也能嵌入到聊天系统里面。
如何提升生产力,创造价值?
根据api定制一些功能,如果仅仅是问答体系其实用处和现代不大,deepseek的出现,为小公司进军大模型做了很好的准备,可以当成一个大脑,来进行一些业务的处理。使我们的软件更智能,更快,更好。
后续再学习如何使用api,提升软件的效率
**ps:**这个deepseek调用api,只有python的,没有java的调用方法,得学习一下python。