在本教程中，我们将详细介绍如何在本地环境中使用 DeepSeek 和 Qwen 模型，结合 AnythingLLM，构建一个用于 SolidWorks 二次开发的私有化智能知识库。
目录
-
前言
-
环境准备
-
2.1 安装 Ollama
-
2.2 安装 Docker Desktop
-
-
DeepSeek 本地部署
-
3.1 下载 DeepSeek 模型
-
3.2 运行 DeepSeek 模型
-
-
安装 AnythingLLM
-
4.1 下载并安装 AnythingLLM
-
4.2 配置 LLM 服务
-
-
构建知识库
-
5.1 上传 SolidWorks 相关文档
-
5.2 向量化处理
-
-
集成与应用
-
6.1 集成 DeepSeek 和 AnythingLLM
-
6.2 在 SolidWorks 中调用
-
-
总结
1. 前言
随着人工智能技术的快速发展，构建私有化的智能知识库已成为提升工作效率的重要手段。DeepSeek 是一款开源的 AI 模型，性能可与 OpenAI 的 GPT-4 相媲美，支持本地运行，确保数据隐私。Qwen 模型则在多种任务上表现出色，适合用于构建专业领域的知识库。结合 AnythingLLM，我们可以高效地管理和查询 SolidWorks 相关的技术文档和开发资料。
2. 环境准备
2.1 安装 Ollama
Ollama 是一个开源的大型语言模型（LLM）服务工具，可以在本地运行开源大语言模型。首先，访问 Ollama 官网 下载适用于您操作系统的安装包。安装完成后，打开命令行窗口，输入以下命令验证安装：
ollama -v
如果显示版本号，则表示安装成功。
3. DeepSeek 本地部署
3.1 下载 DeepSeek 模型
在命令行中运行以下命令，下载 DeepSeek 模型：bash
复制编辑
ollama pull deepseek-r1:7b
根据您的硬件配置，选择合适的模型版本。例如，1.5B 模型适用于资源有限的设备。下载过程可能需要一些时间，耐心等待即可。
我下载了7b+32b+qwen2.5
3.2 运行 DeepSeek 模型
下载完成后，运行以下命令启动 DeepSeek 模型：
llama run deepseek-r1:32b 此时，您可以在命令行中与 DeepSeek 进行交互，测试其功能。
4. 安装 AnythingLLM
4.1 下载并安装 AnythingLLM
访问 AnythingLLM 官网 下载适用于您操作系统的安装包。安装完成后，启动应用程序。
4.2 配置 LLM 服务
在 AnythingLLM 中，选择 LLM 服务提供商为 Ollama。在配置中，输入以下信息：
- LLM 服务地址：
http://host.docker.internal:11434 - 模型名称：
deepseek-r1:1.5b
保存配置后，重启 AnythingLLM 以使配置生效。
5. 构建知识库
5.1 上传 SolidWorks 相关文档
在 AnythingLLM 中，创建一个新的工作区。点击上传按钮，选择 SolidWorks 相关的文档（如 PDF、Word、TXT 等格式），上传到工作区。
5.2 向量化处理
上传完成后，右键点击上传的文件，选择“加入工作区”。然后，点击“保存并嵌入”，将文档内容转换为向量数据，存储到向量数据库中。
6. 集成与应用
6.1 集成 DeepSeek 和 AnythingLLM
通过上述配置，DeepSeek 模型和 AnythingLLM 已成功集成。您可以在 AnythingLLM 的聊天界面中，输入与 SolidWorks 相关的问题，DeepSeek 将根据知识库中的内容进行回答。
6.2 在 SolidWorks 中调用
要在 SolidWorks 中调用该知识库，您需要开发一个插件或宏，利用 SolidWorks 的 API 与 AnythingLLM 进行交互。具体步骤包括：
- 创建插件：使用 SolidWorks 提供的 API，创建一个新的插件项目。
- 集成 HTTP 请求：在插件中，使用 HTTP 请求与运行在本地的 AnythingLLM 进行通信。
- 处理响应：将从 AnythingLLM 获取的回答，展示在 SolidWorks 的界面中，供用户参考。
7. 总结
通过本教程，您已成功在本地环境中部署了 DeepSeek 和 Qwen 模型，结合 AnythingLLM，构建了一个用于 SolidWorks 二次开发的私有化智能知识库。该系统能够高效地管理和查询 SolidWorks 相关的技术文档和开发资料，提升开发效率。
请注意，以上步骤仅为概述，具体实施过程中可能需要根据您的实际情况进行调整。建议在部署前，详细阅读相关文档，并进行充分的测试，以确保系统的稳定性和可靠性。(上面文字来字chat gpt大概步骤没什么问题)
下面是实际情况，我的机器 只有RTX3060+64G内存。
运行32b的模型时，还是有点慢的。 差不2.5tokens/1s
有时候问完问题，大模型在推理时，一个字一个字的输出时的逻辑其实是值得新手去学习的。
这基本上完全离线的生成状态，方便无网打造自己的私人编辑助理。
代码层面:
用的千问2.5 7b模型 ，跑起来相当流畅。53 tok/s
代码质量也是相关的高。
