dify + deepseek /qwen + win +xinference 等完成知识库建设

news2025/3/31 19:24:59

Dify.AI · The Innovation Engine for Generative AI Applications

简介：Dify是一个用于构建人工智能应用程序的开源平台。我们将后端即服务和LLMOps相结合，简化了生成式人工智能解决方案的开发，使开发人员和非技术创新者都可以使用。CPU>=2核 RAM>=4Gib

安装dify之前需要先安装docker、git，可以一键搭建dify

ps:本博客注重的是安装的过程，中间的一些使用说明可以通过本博客跳转

1.安装dify

1) 获取安装信息

a) 使用git拉取dify源码
git pull https://github.com/langgenius/dify

国内网络比较卡可能需要多次刷新

git安装教程可参考：本地安装git-CSDN博客

b) Dify安装包
解压可用 dify-main.zip

2) 修改配置

cp dify-main\docker\.env.example -> dify-main\docker\.env

因本地还部署了RAGFlow所以修改了这个端口，默认可不修改

3) 使用docker部署

cd D:\python\dify-main\docker -- 到dify目录下

docker compose up -d

docker 安装教程：本地安装docker-CSDN博客

安装成功后，启动docker后则启动

首次登录的用户账号则被认定为管理员账号

进入后可进行dify的一些参数配置创建机器人知识库等信息

2. dify 使用基础使用

参考博客： dify（docker deepseek xinference）机器人的操作 -CSDN博客

3. xinference -rerank模型

Xinference 是一个开源的分布式模型推理框架，旨在简化大规模AI模型的部署和加速推理过程。它由专注于AI技术的公司 Xorbits Inc. 开发，支持多种模型类型（如大语言模型、语音识别模型、多模态模型等），并通过优化计算资源和硬件加速技术，显著提升模型性能。

在dify中如果要使用rerank模型进行重排序二次检索得到更精确的数据则需要在安装xinference

安装命令：

docker run  -d  --name xinference --gpus all  -v D:/python/xinfore/models:/root/models  -v D:/python/xinfore/.xinference:/root/.xinference -v D:/python/xinfore/.cache/huggingface:/root/.cache/huggingface -e XINFERENCE_HOME=/root/models  -p 9997:9997  registry.cn-hangzhou.aliyuncs.com/xprobe_xinference/xinference:latest  xinference-local -H 0.0.0.0