搭建本地私有知识问答系统:MaxKB + Ollama + Llama3 (wsl网络代理配置、MaxKB-API访问配置)

news2024/9/25 7:25:41

目录

  • 搭建本地私有知识问答系统:MaxKB、Ollama 和 Llama3 实现指南
    • 引言
    • MaxKB+Ollama+Llama 3 Start building
      • MaxKB 简介:
      • 1.1、docker部署 MaxKB(方法一)
        • 1.1.1、启用wls或是开启Hyper
      • 使用 WSL 2 的优势
        • 1.1.2、安装docker
        • 1.1.3、docker部署 MaxKB (Max Knowledge Base)
        • MaxKB 默认登录信息
      • 1.2、使用1Panel 部署 MaxKB(方法二)
      • 1.3、wsl启用Linux,在Linux中使用docker 部署 MaxKB(方法三,本文选用)√
        • 1.3.1、启用并设置 wls2
        • 1.3.2、安装ubuntu
        • 1.3.3、登录、退出 ubuntu
        • 1.3.4、配置网络 (如果可以连接网络,跳过 1.3.4 即可)
          • 1)如果无法联网,请配置修改DNS地址可临时生效:
          • 2)配置永久生效
        • 1.3.5、登录Ubuntu 系统中安装docker
          • ①设置Docker的apt存储库。
          • ②安装Docker包。
          • ③给予当前用户docker执行权限。
        • 1.3.6、下载MaxKB
      • 2、部署 OLama
      • 3、选择Llama3进行部署
      • 4、mapping MaxKB + OLlama + Llama 3
        • 4.1、我们可以先导入一个个人的知识库
        • 4.2、添加我们下载好的模型
        • 4.3、如果API域名无效
        • 4.4、创建问答系统应用
      • 参考地址汇总

搭建本地私有知识问答系统:MaxKB、Ollama 和 Llama3 实现指南

引言

在当今信息爆炸的时代,构建一个本地私有知识问答系统可以帮助组织和个人高效管理和利用知识。本文将详细介绍如何在本地 Windows 环境下,利用 MaxKB、Ollama 和 Llama3 搭建一个功能强大的私有知识问答系统。

MaxKB+Ollama+Llama 3 Start building

MaxKB 简介:

MaxKB 是一款基于 LLM 大语言模型的开源知识库问答系统,旨在成为企业的最强大脑,支持从多种数据源导入和管理知识。。

  • 开箱即用:支持直接上传文档、自动爬取在线文档,支持文本自动拆分、向量化、RAG(检索增强生成),智能问答交互体验好;
  • 模型中立:支持对接各种大语言模型,包括本地私有大模型(Llama 3 / Qwen 2 等)、国内公共大模型(通义千问 / 智谱 AI / 百度千帆 / Kimi / DeepSeek 等)和国外公共大模型(OpenAI / Azure OpenAI / Gemini 等);
  • 灵活编排:内置强大的工作流引擎,支持编排 AI 工作过程,满足复杂业务场景下的需求;
  • 无缝嵌入:支持零编码快速嵌入到第三方业务系统,让已有系统快速拥有智能问答能力,提高用户满意度。

(1.1 ~ 1.3三种方法三选一即可)

1.1、docker部署 MaxKB(方法一)

1.1.1、启用wls或是开启Hyper
  • 允许创建和管理虚拟机,且允许用户在 Windows 上运行原生的 Linux 命令行工具和应用程序,而无需使用虚拟机或双重启动系统。

方案一:安装wls2 并启用 (Windows 10、Windows 11 ) √

# 输入以下命令来启用 WSL:
wsl --install

# 如果已经启用但未安装特定版本,可以使用如下命令启用 WSL 2:
dism.exe /online /enable-feature /featurename:Microsoft-Windows-Subsystem-Linux /all /norestart
# 启用虚拟机平台
dism.exe /online /enable-feature /featurename:VirtualMachinePlatform /all /norestart

# 设置 WSL 2 作为默认版本:
wsl --set-default-version 2

可以通过任务管理器 ‘performance CPU’ 界面查看是否开启

  • 使用 WSL 2 的优势

    • 更高的性能:与 Hyper-V 相比,WSL 2 提供了更高的文件系统性能。
    • 完全的系统调用兼容性:WSL 2 使用真正的 Linux 内核,确保了对 Linux 系统调用的完全兼容。
    • 更好的资源利用:WSL 2 更有效地利用主机资源。

方案二:开启Hyper-V (window 7)

在这里插入图片描述

1.1.2、安装docker

下载 windows 版 docker
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

如果docker不是自启动需要手动修改下

在这里插入图片描述

1.1.3、docker部署 MaxKB (Max Knowledge Base)

部署 maxkb

# 我们可以指定本地文件夹挂载,这样可以便于我们维护配置
docker run -d --name=maxkb -p 8080:8080 -v C:\Leojiang\leojiangDocument\AI\maxkb:/var/lib/postgresql/data cr2.fit2cloud.com/1panel/maxkb
MaxKB 默认登录信息
http://目标服务器 IP 地址:目标端口

用户名:admin
默认密码:MaxKB@123..

1.2、使用1Panel 部署 MaxKB(方法二)

选择使用 1Panel 部署,安装完后在1Panel中搜索MaxKB安装即可,此处不再赘述。

1.3、wsl启用Linux,在Linux中使用docker 部署 MaxKB(方法三,本文选用)√

某些公司电脑禁用docker desktop可以选用此方法

  • Docker Desktop从2021年8月31日开始收费。‌Docker Desktop的转变是为了提供更好的服务和支持,‌但这也意味着对于那些不符合免费使用条件的用户,‌需要支付一定的费用。‌具体来说,‌Docker Desktop现在被称为Docker Personal,‌主要免费提供给小型企业、‌个人、‌教育机构和非商业开源项目使用。‌对于商业用户,‌特别是那些员工超过250人或年收入超过1000万美元的公司,‌使用Docker Desktop需要进行付费订阅
1.3.1、启用并设置 wls2
# 检查是否WSL运行 distributions
#wsl --list --running
# 检查 WSL 状态:
#wsl --list --verbose
# 输入以下命令来启用 WSL:
#wsl --install

# 查看商店提供了哪些发行版
wsl --list --online

# 启用Windows子系统,可以使用如下命令启用 WSL 2:
dism

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1949829.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

解决Windows 11更新错误0x800f081f的详细指南

在尝试更新Windows 11时,用户可能会遇到各种错误代码,其中之一是0x800f081f。这个错误通常与Windows更新组件或系统文件的损坏有关。本文将提供解决这一特定错误的详细步骤,并解释可能的原因。 错误代码0x800f081f概述 错误代码0x800f081f指…

【LLM】-08-搭建问答系统-语言模型,提问范式与 Token

目录 1、语言模型 1.1、训练过程: 1..2、大型语言模型分类: 1.3、指令微调模型训练过程: 2、Tokens 3、Helper function辅助函数 (提问范式) 4、计算token数量 1、语言模型 大语言模型(LLM)是通过预测下一个词…

【数据结构】搜索二叉树

二叉搜索树 二叉树的博客 在之前的数据结构的文章中已经基本对二叉树有一定的了解,二叉搜索树也是一种数据结构,下面将对二叉搜索树进行讲解。 二叉搜索树的概念 二叉搜索树又称为二叉排序树,它或者是一棵空树,或者是具有下面性…

汇凯金业:区块链技术包括哪些技术

区块链,作为一项颠覆性的技术,其应用场景日益广泛。然而,很多人对于区块链技术的组成部分却知之甚少。本文将深入探讨区块链技术所包含的各种技术组件,揭示其背后的工作原理,帮助读者更全面地理解区块链。 区块链技术…

最优化大模型效果之 RAG(一):Naive RAG

Hi,我是 Hyde,今天的话题是 RAG(Retrieval-Augmented Generation),一种用于优化大模型效果的方法,翻译成中文就是检索增强生成。 在之前的文章《最优化大模型效果的方向和思考》中,我们提到当前…

Google Test 学习笔记(简称GTest)

文章目录 一、介绍1.1 介绍1.2 教程 二、使用2.1 基本使用2.1.1 安装GTest (下载和编译)2.1.2 编写测试2.1.3 运行测试2.1.4 高级特性2.1.5 调试和分析 2.2 源码自带测试用例2.3 TEST 使用2.3.1 TestCase的介绍2.3.2 TEST宏demo1demo2 2.3.3 TEST_F宏2.3…

2-45 基于matlab的递归最小二乘法(RLS)对声音信号去噪

基于matlab的递归最小二乘法(RLS)对声音信号去噪,并对消噪前后的信号进行FFT分析,对比消噪前后的效果。可替换自己的声音信号进行分析。程序已调通,可直接运行。 2-45 递归最小二乘法(RLS) FFT分析 - 小红书…

聘请TPM管理咨询公司如何赢得员工认可?

聘请TPM管理咨询公司是一个重要的决策,它不仅能提升企业的运营效率和质量管理水平,而且需要得到员工的广泛认可才能确保改革的顺利实施。然而,赢得员工的认可并非易事,需要公司管理层和咨询公司共同努力,采取一系列措施…

崖山异构数据库迁移利器YMP初体验-Oracle迁移YashanDB

前言 首届YashanDB「迁移体验官」开放后,陆续收到「体验官」们的投稿,小崖在此把优秀的投稿文章分享给大家~今天分享的用户文章是《崖山异构数据库迁移利器YMP初体验-Oracle迁移YashanDB》(作者:小草),满满…

C++ | Leetcode C++题解之第275题H指数II

题目&#xff1a; 题解&#xff1a; class Solution { public:int hIndex(vector<int>& citations) {int n citations.size();int left 0, right n - 1;while (left < right) {int mid left (right - left) / 2;if (citations[mid] > n - mid) {right m…

C++ primer plus 第16章string 类和标准模板库, 函数符概念

C primer plus 第16章string 类和标准模板库, 函数符概念 C primer plus 第16章string 类和标准模板库, 函数符概念 文章目录 C primer plus 第16章string 类和标准模板库, 函数符概念16.5.1 函数符概念程序清单16.15 functor.cpp 16.5.1 函数符概念 正如 STL定义了容器和迭代…

【AOP实战】掌握Spring Boot AOP:重构代码,提升效率

文章目录 Spring Boot AOP - 面向切面编程AOP到底有什么不同AOP中的编程术语和常用注解定义切面环绕通知通知方法传参总结 Spring Boot AOP - 面向切面编程 AOP&#xff0c;即面向切面编程&#xff0c;其核心思想就是把业务分为核心业务和非核心业务两大部分。例如一个论坛系统…

ESP32和mDNS学习

目录 mDNS的作用mDNS涉及到的标准文件组播地址IPv4 多播地址IPv6 多播地址预先定义好的组播地址 mDNS调试工具例程mDNS如何开发和使用注册服务查询服务 mDNS的作用 mDNS 是一种组播 UDP 服务&#xff0c;用来提供本地网络服务和主机发现。 你要和设备通信&#xff0c;需要记住…

PHP基础语法-Part1

脚本格式 PHP脚本以<?php开头&#xff0c;以?>结尾&#xff1b; PHP语句以分号结尾&#xff08;;&#xff09; PHP是解释型语言&#xff1b; 输入和输出 获取用户的输入&#xff1a; $input readline("input:"); echo $input; echo "input:";…

EEtrade:区块链是什么

区块链&#xff0c;这个近年来频繁出现在我们视野中的术语&#xff0c;已经从一个技术小众圈的词汇&#xff0c;逐渐演变为全球关注的焦点。从比特币的诞生&#xff0c;到如今在金融、供应链、物联网等领域的广泛应用&#xff0c;区块链技术正在深刻地改变着我们的生活。那么&a…

将YOLOv8模型从PyTorch的.pt格式转换为TensorRT的.engine格式

TensorRT是由NVIDIA开发的一款高级软件开发套件(SDK)&#xff0c;专为高速深度学习推理而设计。它非常适合目标检测等实时应用。该工具包可针对NVIDIA GPU优化深度学习模型&#xff0c;从而实现更快、更高效的运行。TensorRT模型经过TensorRT优化&#xff0c;包括层融合(layer …

ARCGIS PRO DSK GraphicsLayer创建文本要素

一、判断GraphicsLayer层【地块注记】是否存在&#xff0c;如果不存在则新建、如果存在则删除所有要素 Dim GraphicsLayer pmap.GetLayersAsFlattenedList().OfType(Of ArcGIS.Desktop.Mapping.GraphicsLayer).FirstOrDefault() 获取当前map对象中的GetLayer图层 Await Queue…

【北京迅为】《i.MX8MM嵌入式Linux开发指南》-第三篇 嵌入式Linux驱动开发篇-第五十六章 设备驱动IO控制

i.MX8MM处理器采用了先进的14LPCFinFET工艺&#xff0c;提供更快的速度和更高的电源效率;四核Cortex-A53&#xff0c;单核Cortex-M4&#xff0c;多达五个内核 &#xff0c;主频高达1.8GHz&#xff0c;2G DDR4内存、8G EMMC存储。千兆工业级以太网、MIPI-DSI、USB HOST、WIFI/BT…

云计算安全扩展要求解读

云计算简介&#xff1a; 一种全新网络服务方式&#xff0c;将传统的以桌面为核 心的任务处理转变为以网络为核心的任务处理&#xff0c; 利用互联网实现自己想要完成的一切处理任务&#xff0c; 使网络成为传递服务、计算力和信息的综合媒 介&#xff0c;真正实现按需计算、多…

揭秘Django与Neo4j:构建智能知识图谱的终极指南

揭秘Django与Neo4j:构建智能知识图谱的终极指南 前言 图是一种用于对象之间的成对关系进行建模的数学结构。 它由两个主要元素组成:节点和关系。 节点:节点可以看作是传统数据库中的记录。每个节点代表一个对象或实体,例如一个人或一个地方。节点按标签分类,这有助于根…