Ollama+Cherrystudio+beg-m3+Deepseek R1 32b部署本地私人知识库(2025年2月win11版)

news2025/2/25 7:00:19

之前综合网络各方面信息得到的配置表:

在信息爆炸的时代,数据安全和个性化需求愈发凸显。搭建本地私人知识库,不仅能确保数据的安全性,还能根据个人需求进行个性化定制,实现知识的高效管理和利用。随着技术的不断发展,我们现在有了更多强大的工具来实现这一目标。本文将详细介绍如何在 2025 年 2 月的 win11 系统环境下,利用 Ollama、Cherrystudio、beg - m3 和 Deepseek R1 32b 这些工具,部署属于自己的本地私人知识库。这些工具各自具有独特的优势,相互配合能够打造出一个功能强大、灵活高效的本地知识服务体系 ,满足大家在工作、学习和研究等多方面的知识管理需求。

部署前的准备

1. CPU(处理器)
型号建议:Intel Core i9-13600K/14600K 
性能优势:均为高性能消费级CPU,具备强大的单核和多核处理能力,能够有效支持GPU的计算任务。
2. GPU(显卡)
型号建议:
消费级别可选:NVIDIA RTX 4090 或最低3090*1张 ,条件允许NVIDIA A100 或 H100(适合企业级应用)
考虑因素:若模型过于庞大,建议配置多台多块GPU并使用分布式训练技术。
3.  内存(RAM)
容量建议:最低48GB DDR5 6000起步
布局方式:采用双通道或四通道配置,提升内存带宽。
4. 存储(Storage)
系统盘建议:系统盘2TB PCI.E4.0容量起步,知识库存储SSD越大越好
数据存储扩展:可选NAS硬盘,提供大容量存储。
优点:NVMe SSD的高速读写适合快速加载模型和处理数据。
5. 电源(PSU)
功率建议:1250W以上,具体取决于GPU数量和类型
认证要求:选择80Plus金牌或白牌电源,确保高效稳定供电。
6. 散热系统
风冷散热器:NZXT Kraken X62 或Corsair Hydro H150i铂金版,支持高效散热。
机箱风扇:配置高质量机箱风扇,如Noctua NF-A12x25,提供良好的气流循环。
7. 网络(Networking)
网卡建议:Intel X550-T3 (千兆) 或更高如Mellanox ConnectX-6 for万兆网络
优点:高速网络接口便于数据传输和模型更新。
软件配置推荐
操作系统
首选系统:Ubuntu 22.04 LTS(支持长期维护,兼容性好)
备选方案:Windows 11 Pro for NVIDIA GPU管理
驱动与开发库
NVIDIA驱动:建议安装最新版本的CUDA-compatible驱动。
深度学习框架:
TensorFlow-GPU >=2.9.0
PyTorch >=2.0.0(支持MetaAI的新功能)
其他库:安装相应的PyPI依赖,如-transformers库等。 

【0】能够流畅运行Deepseek R1 32b版本的机器 配置如下,实测低于这个配置则开始卡顿:

关键工具 Ollama 的安装与配置

【1】下载Ollama:我们在win11 24H2系统下安装,注意选择 win版本Download Ollama on macOSDownload Ollama for macOShttps://ollama.com/download

 【2】一键式安装完成后,在终端里执行命令安装bgm-m3向量数据库和deepseek R1 32b版本:

ollama pull bge-m3
ollama run deepseek-r1:32b

安装步骤详解

在 win11 系统上安装 Ollama,首先需要从官方网站获取安装包。打开浏览器,访问Ollama 官网下载链接 ,在页面中找到适用于 Windows 系统的下载选项并点击下载。下载完成后,找到下载的安装包,通常是一个.exe 后缀的文件,双击运行它。

在安装向导界面,首先会出现欢迎页面,点击 “Next” 继续。接下来是许可协议页面,仔细阅读协议内容后,若同意则勾选 “I accept the agreement”,然后点击 “Next”。在选择安装路径时,默认路径一般为 “C:\Users\ 你的用户名 \AppData\Local\Programs\Ollama” ,如果 C 盘空间充足,可直接使用默认路径;若想更改安装路径,点击 “Browse” 按钮,在弹出的文件夹选择窗口中,定位到你期望的安装位置,例如 “D:\Program Files\Ollama” ,选好后点击 “OK”,再点击 “Next”。随后,安装程序会询问是否创建桌面快捷方式,建议勾选,方便后续快速启动 Ollama,之后点击 “Install” 开始安装。安装过程可能需要一些时间,期间会显示安装进度条,等待安装完成后,点击 “Finish” 完成安装。

环境变量设置

安装完成后,需要设置一些环境变量,以优化 Ollama 的使用体验。首先设置模型存储路径变量 OLLAMA_MODELS。右键点击 “此电脑”,选择 “属性”,在弹出的窗口中点击 “高级系统设置”。在 “系统属性” 窗口的 “高级” 选项卡下,点击 “环境变量” 按钮。在 “环境变量” 窗口的 “系统变量” 区域,点击 “新建” 按钮。在 “新建系统变量” 窗口中,变量名输入 “OLLAMA_MODELS”,变量值输入你想要存储模型的路径,比如 “D:\Ollama\Models” ,这个路径可以根据你的磁盘空间和个人习惯进行选择,设置完成后点击 “确定”。

接着设置端口变量 OLLAMA_HOST,同样在 “系统变量” 区域点击 “新建” ,变量名输入 “OLLAMA_HOST”,变量值一般设置为 “http://localhost:11434” ,这是 Ollama 服务默认的本地访问端口。设置完成后,依次点击 “确定” 关闭所有窗口,使环境变量生效。这些环境变量的作用在于,OLLAMA_MODELS 指定了模型的存储位置,方便用户管理模型文件,同时避免因模型文件过大占用系统盘空间;OLLAMA_HOST 则确定了 Ollama 服务的访问地址和端口,方便用户通过该地址与 Ollama 进行交互,如通过浏览器访问 Ollama 的 Web 界面或者在其他程序中调用 Ollama 的 API 。

服务验证

验证 Ollama 是否安装成功,可以通过命令行进行。按下 “Win+R” 组合键,打开 “运行” 对话框,输入 “cmd” 并回车,打开命令提示符窗口。在命令提示符中输入 “ollama --version” 或 “ollama -v” ,如果安装成功,会显示 Ollama 的版本号信息,例如 “ollama version 0.5.15” 。

另外,还可以通过访问本地特定端口来查看服务状态。打开浏览器,在地址栏中输入 “http://localhost:11434” ,如果看到 Ollama 的相关信息页面,说明 Ollama 服务已经正常启动并在该端口监听,至此,Ollama 在 win11 系统上的安装与配置就完成了。

Cherrystudio 安装

在 win11 系统上安装 Cherrystudio,首先打开浏览器,访问Cherrystudio 官网下载链接 。在官网页面中,找到 “下载客户端” 按钮,点击后根据系统提示选择适合 win11 系统的版本进行下载。下载完成后,找到下载的安装包,通常是一个.exe 后缀的文件,双击运行它。

安装向导的欢迎界面会首先出现,点击 “下一步” 继续。接着是许可协议页面,仔细阅读协议内容,若同意则勾选 “我接受协议”,然后点击 “下一步”。在选择安装路径时,默认路径一般为 “C:\Program Files\CherryStudio” ,如果 C 盘空间充足,可直接使用默认路径;若想更改安装路径,点击 “浏览” 按钮,在弹出的文件夹选择窗口中,选择你期望的安装位置,例如 “D:\Software\CherryStudio” ,选好后点击 “确定”,再点击 “下一步”。之后,安装程序会询问是否创建桌面快捷方式和开始菜单文件夹,建议都勾选,方便后续快速启动 Cherrystudio,然后点击 “安装” 开始安装。安装过程中会显示安装进度条,等待安装完成后,点击 “完成” 按钮,完成 Cherrystudio 的安装。安装完成后,首次启动 Cherrystudio,检查界面是否正常加载,各项功能按钮是否可见,确保软件能够正常运行。

【3】安装Cherrystudio,一站式安装,尽量安装在专门的大SSD硬盘上即可。 

Cherry Studio - 全能的AI助手Cherry Studio AI 是一款强大的多模型 AI 助手,支持 iOS、macOS 和 Windows 平台。快速切换多个先进的 LLM 模型,提升工作学习效率。https://www.cherry-ai.com/download

【4】进入Cherrystudio进行配置:第一步选择设置,第二步点击Ollama,三、四步将32b模型和bgm-m3向量数据数据库分别点上。

 【5】维护知识库,第五步点击添加第六步输入标题,比如将我们今年写作的医疗开发方面文章以DOCX格式录入进去,第七步点击搜索知识库即可调出对话框搜索文章内的相关内容

【6】查看输出结果:

【7】选择智能体-学术-学术研究者即可建立相应的学术研究者智能体

【8】 在助手中就可以开始相应的AI问答应用,选择我们建立的学术研究者,本地库选择2025 CSDN论文,即可进行相应的问答。

优化建议

在使用知识库的过程中,可能会遇到一些问题,以下是针对常见问题的优化建议:

  1. 检索速度慢:如果出现检索速度慢的情况,首先可以检查硬件资源的使用情况。打开任务管理器,查看 CPU、内存和磁盘的使用率,如果发现某项资源使用率过高,可能会影响检索速度。例如,如果内存不足,系统可能会频繁进行磁盘交换,导致检索速度变慢,此时可以考虑增加内存。另外,优化知识内容结构也非常重要。确保添加到知识库中的文件结构清晰,对于大型文档,可以在文档内部添加详细的目录结构,方便系统快速定位和检索内容。同时,合理调整模型参数也能提升检索速度,比如在 Cherrystudio 中,适当调整 beg - m3 嵌入模型的参数,如向量维度、相似度计算方法等,找到最适合自己知识库的参数配置,以提高检索效率。
  2. 回答不准确:当回答不准确时,一方面可以检查知识内容的质量和准确性。确认添加到知识库中的知识是否存在错误或不完整的情况,如果有,及时进行修正和补充。另一方面,调整模型的训练和微调策略。如果有条件,可以使用更多与知识库内容相关的领域数据对 Deepseek R1 32b 模型进行微调,使其更好地理解和回答与知识库相关的问题。此外,还可以在 Cherrystudio 中调整模型的温度参数等,温度参数控制着模型输出的随机性,适当降低温度值,可以使模型的回答更加确定和聚焦,减少回答的随机性和模糊性,从而提高回答的准确性 。

部署回顾

在 win11 系统下部署本地私人知识库,我们首先从硬件和软件资源准备入手,确保系统满足硬件要求,并成功获取了 Ollama、Cherrystudio、beg - m3 和 Deepseek R1 32b 等关键软件和模型资源。接着,详细地完成了 Ollama 的安装与配置,包括安装步骤、环境变量设置以及服务验证,这为后续模型的下载和使用奠定了基础。通过 Ollama 顺利下载并测试了 Deepseek R1 32b 模型,验证了其功能的可用性。在 Cherrystudio 的使用方面,完成了安装、API 密钥申请与配置,成功添加了 Deepseek R1 和 beg - m3 模型,为构建知识库做好了准备。在构建知识库阶段,创建了知识库,添加了丰富的知识内容,并通过 beg - m3 嵌入模型对知识进行向量化处理,使知识能够被系统高效检索和利用。最后,在知识库的使用过程中,能够通过 Cherrystudio 进行便捷的知识检索和问答,并针对可能出现的检索速度慢、回答不准确等问题,提出了相应的优化建议,如检查硬件资源、优化知识内容结构、调整模型参数等。

未来展望

本地私人知识库在未来有着广阔的发展空间。随着技术的不断进步,模型的性能将不断提升,能够更精准地理解和处理复杂的知识内容。在应用场景方面,除了现有的工作、学习和研究领域,还可以拓展到更多专业领域,如医疗领域,医生可以利用本地私人知识库快速查询患者的病历、疾病诊断标准和治疗方案等信息,提高诊断的准确性和效率;在金融领域,分析师可以借助知识库快速获取市场数据、行业报告和投资策略等知识,为投资决策提供有力支持。

同时,随着人工智能和物联网技术的融合发展,本地私人知识库还可能与智能家居设备、智能穿戴设备等进行交互,实现更加智能化的知识服务。例如,用户可以通过智能语音助手与本地私人知识库进行对话,获取所需的知识和信息,无需手动输入查询内容,提升使用的便捷性。鼓励读者继续深入探索这些技术,不断优化自己的知识库,充分发挥本地私人知识库的价值,为个人和工作带来更多的便利和创新。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2304762.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

用Golang与WebAssembly构建高性能Web应用:详解`syscall/js`包

用Golang与WebAssembly构建高性能Web应用:详解syscall/js包 引言为什么选择syscall/js包?适用场景 syscall/js包概述syscall/js包的核心概念1. js.Global2. js.Value3. js.Func4. js.Null 和 js.Undefined syscall/js包在WebAssembly中的位置 环境配置与…

【每日八股】计算机网络篇(一):概述

OSI 的 7 层网络模型? OSI(Open Systems Interconnection,开放互联系统)是由国际标准化组织(ISO)提出的一种网络通信模型。 自上而下,OSI 可以被分为七层,分别是:应用层…

C语言中的文件和文件操作

文件操作 一、文件的打开和关闭二、文件的顺序读写fgetc和fputcfgets和fputsfscanf和fprintfsscanf和sprintffread和fwrite 三、文件的随机读写1.fseek2.ftell3.rewind 四、补充1.文件读取结束的判定2.文件缓冲区 一、文件的打开和关闭 流和标准流 流:想象为流淌着…

2.24力扣每日一题--设计有序流

1656. 设计有序流 - 力扣(LeetCode) (设计一个可以存储n个字符串的数据结构,其中满足存在一个”指针“,用以展示当下是否还存在空间存储,每个字符串有自己ID需要存储) 数据结构: 字…

架构——Nginx功能、职责、原理、配置示例、应用场景

以下是关于 Nginx 的功能、职责、原理、配置示例、应用场景及其高性能原因的详细说明: 一、Nginx 的核心功能 1. 静态资源服务 功能:直接返回静态文件(如 HTML、CSS、JS、图片、视频等)。配置示例:server {listen 80…

涉密载体管控系统革新:RFID技术引领,信息安全新境界

行业背景 文件载体管控系统DW-S402是用于对各种SM载体进行有效管理的智能柜(智能管理系统),实现对载体的智能化、规范化、标准化管理,广泛应用于保密、机要单位以及企事业单位等有载体保管需求的行业。 随着信息化技术发展&…

基于 SpringBoot 的 “电影交流平台小程序” 系统的设计与实现

大家好,今天要和大家聊的是一款基于 SpringBoot 的 “电影交流平台小程序” 系统的设计与实现。项目源码以及部署相关事宜请联系我,文末附上联系方式。 项目简介 基于 SpringBoot 的 “电影交流平台小程序” 系统设计与实现的主要使用者分为 管理员 和…

【Rust中级教程】2.9. API设计原则之显然性(obvious) :文档与类型系统、语义化类型、使用“零大小”类型

喜欢的话别忘了点赞、收藏加关注哦(加关注即可阅读全文),对接下来的教程有兴趣的可以关注专栏。谢谢喵!(・ω・) 2.9.1. 文档与类型系统 用户可能不会完全理解API的所有规则和限制。所以你写的API应该让你…

【网络编程】广播和组播

数据包发送方式只有一个接受方,称为单播。如果同时发给局域网中的所有主机,称为广播。只有用户数据报(使用UDP协议)套接字才能广播: 广播地址以192.168.1.0 (255.255.255.0) 网段为例,最大的主机地址192.168.1.255代表该网段的广…

Lecture 1 - AI Systems (Overview)

一、Machine Learning Approach标准机器学习流程 • Train ML algorithm(训练机器学习算法):基于收集的数据训练机器学习模型。 二、Machine Learning for Adaptation(适应性机器学习) 加入了数据更新和自动化的部分…

Ansible 学习笔记

这里写自定义目录标题 基本架构文件结构安装查看版本 Ansible 配置相关文件主机清单写法 基本架构 Ansible 是基于Python实现的,默认使用22端口, 文件结构 安装 查看用什么语言写的用一下命令 查看版本 Ansible 配置相关文件 主机清单写法

springboot005学生心理咨询评估系统(源码+数据库+文档)

源码地址:学生心理咨询评估系统 文章目录 1.项目简介2.部分数据库结构与测试用例3.系统功能结构4.包含的文件列表(含论文)后台运行截图 1.项目简介 ​ 使用旧方法对学生心理咨询评估信息进行系统化管理已经不再让人们信赖了,把现…

Apache Doris:一款高性能的实时数据仓库

Apache Doris 是一款基于 MPP 架构的高性能、实时分析型数据库。它以高效、简单和统一的特性著称,能够在亚秒级的时间内返回海量数据的查询结果。Doris 既能支持高并发的点查询场景,也能支持高吞吐的复杂分析场景。 Apache Doris 最初是百度广告报表业务…

轻量级日志管理平台Grafana Loki

文章目录 轻量级日志管理平台Grafana Loki背景什么是Loki为什么使用 Grafana Loki?架构Log Storage Grafana部署使用基于 Docker Compose 安装 LokiMinIO K8s集群部署Loki采集Helm 部署方式和案例 参考 轻量级日志管理平台Grafana Loki 背景 在微服务以及云原生时…

《跟李沐学 AI》AlexNet论文逐段精读学习心得 | PyTorch 深度学习实战

前一篇文章,使用 AlexNet 实现图片分类 | PyTorch 深度学习实战 本系列文章 GitHub Repo: https://github.com/hailiang-wang/pytorch-get-started 本篇文章内容来自于学习 9年后重读深度学习奠基作之一:AlexNet【下】【论文精读】】的心得。 《跟李沐…

【电机控制器】FU6832S——持续更新

【电机控制器】FU6832S——持续更新 文章目录 [TOC](文章目录) 前言一、ADC二、UART三、PWM四、参考资料总结 前言 使用工具: 提示:以下是本篇文章正文内容,下面案例可供参考 一、ADC 二、UART 三、PWM 四、参考资料 总结 本文仅仅简…

计算机视觉算法实战——产品分拣(主页有源码)

✨个人主页欢迎您的访问 ✨期待您的三连 ✨ ✨个人主页欢迎您的访问 ✨期待您的三连 ✨ ✨个人主页欢迎您的访问 ✨期待您的三连✨ ​ 1. 领域简介✨✨ 产品分拣是工业自动化和物流领域的核心技术,旨在通过机器视觉系统对传送带上的物品进行快速识别、定位和分类&a…

基于模块联邦的微前端架构:重构大型前端应用的模块化边界

引言:企业级前端的模块化困境 字节跳动广告系统采用Webpack 5模块联邦后,主应用构建时间从14分钟降至38秒,微应用独立发布频率提升至每天50次。在动态加载机制下,首屏资源加载体积减少79%,跨团队组件复用率达到92%。其…

Android之图片保存相册及分享图片

文章目录 前言一、效果图二、实现步骤1.引入依赖库2.二维码生成3.布局转图片保存或者分享 总结 前言 其实现在很多分享都是我们自定义的,更多的是在界面加了很多东西,然后把整个界面转成图片保存相册和分享,而且现在分享都不需要第三方&…

Linux放行端口

8080这个端口测试看telnet是不通的,您服务器内是否有对应的业务监听了这个端口呢?您到服务器内执行下: netstat -nltp |grep 8080 同时服务器内执行下: systemctl status firewalld iptables -nL 截图反馈下,我看下防火…