大模型本地化部署2-Docker部署MaxKB

news2024/9/24 7:20:51

大模型本地化部署2-Docker部署MaxKB

    • 0、MaxKB简介
    • 1、安装docker
    • 2、在docker中拉取MaxKB镜像
    • 3、运行镜像
    • 4、访问MaxKB
    • 5、创建应用
    • 6、使用应用进行对话

0、MaxKB简介

MaxKB是一款基于LLM大预言模型的知识库问答系统。具有以下特点:

  • 多模型支持:支持对接主流的大模型,包括本地私有大模型(如Llama 2)、Azure OpenAI、百度千帆、阿里通义千问大模型等;
  • 开箱即用:支持直接上传文档、自动爬取在线文档,支持文本自动拆分、向量化、智能问答交互体验好;
  • 无缝嵌入:支持零编码快速嵌入到第三方业务系统。

1、安装docker

docker的安装不在此讲解,假设您已经安装好了docker环境。我本地电脑是Windows11,采用的WLS的方式,就是在应用商店中安装了Ubuntu20.4,在Ubuntu20.4中安装的docker环境,使用时先启动docker服务,如下图:
在这里插入图片描述

2、在docker中拉取MaxKB镜像

首先通过以下命令搜索都有那些maxkb镜像:

docker search maxkb

执行如下下图:
在这里插入图片描述
然后通过以下命令拉取maxkb镜像

docker pull 1panel/maxkb

如果提示网络未响应,可以改为以下命令尝试最新镜像

docker pull cr2.fit2cloud.com/1panel/maxkb

执行如下图:
在这里插入图片描述

3、运行镜像

拉取镜像完毕后,运行一个容器实例,如下:

docker run -d --name=maxkb -p 8080:8080 -v ~/.maxkb:/var/lib/postgresql/data 1panel/maxkb

执行结果如下图:
在这里插入图片描述

4、访问MaxKB

启动maxkb容器实例后,就可以在本机打开浏览器,在地址栏输入以下地址进行访问:
http://localhost:8080
运行效果如下图:
在这里插入图片描述

默认登录信息
用户名:admin
默认密码:MaxKB@123…

进入系统后会提示修改默认密码,如下图所示:
在这里插入图片描述
然后输入自己的新密码保存。

5、创建应用

点击下图中的创建应用
在这里插入图片描述
根据提示填写相关信息
在这里插入图片描述
其中AI模型选择,添加模型,在弹出选择供应商界面中选择Ollama,如下图:
在这里插入图片描述
在添加Ollama模型时填写相应信息,如下图所示:
在这里插入图片描述

其中“基础模型”,如果下拉列表中没有你要用的模型,可以直接输入,只要名字对就行,如果ollama还没有安装这个模型,就会自动下载。
其中“API域名”,要填写ollama服务器的IP地址:11434
注意需要关闭windows下的专用网络防火墙,就是能在wsl2中能ping通ollama服务器的ip地址,或者能telnet登录上ollama服务器IP地址 11434。否则会提示API域名无效。

填写应用信息完毕后如下图:
在这里插入图片描述
然后点击“创建”按钮,就可以在应用列表中看到这个应用,如下图:
在这里插入图片描述

6、使用应用进行对话

点击应用下面的演示按钮,就可以打开对话界面了,如下图:
在这里插入图片描述
点击演示后,出现新页面,如下图:
在这里插入图片描述
这样就可以进行知识问答了,如下图:
在这里插入图片描述
在问答的过程中,可以看到GPU的使用情况。
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2081193.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Qt 调用执行 Python 函数

一.环境 Qt 5.15.2 python-3.12.5 二.安装 1.安装python-3.12.5.exe 三.配置 1.设置环境变量 2.设置Qt 编译环境 3.新建Python文件 4.运行 四.源码 1.修改pro文件 2.testPy.py 注意: .py文件需要拷贝到build目录下 def myPrint(string):print(string)def ad…

抖音ip会莫名其妙变成北京吗

‌‌抖音IP会莫名其妙变成北京吗?抖音的IP地址可能会莫名其妙变成‌北京‌,这通常是由于多种原因导致的,包括但不限于网络连接、用户使用的网络服务提供商等问题。以下是一些可能导致这种情况发生的原因和解决方法。 原因分析: 网…

mysql学习下

1:添加数据 1.1为表中所有字段添加数据 1.1.1NSERT 语句中指定所有字段名 语法:INSERT INTO 表名(字段名1,字段名2,…)VALUES(值1,值2,…); 例题:向student表中插⼊(id为1&#…

src-登陆框的常见测试思路

常见的登陆形式 第三方平台 OAuth 认证 用户名 密码 手机号 短信验证码 邮箱 邮件验证码 登陆框的常见测试思路 弱口令 弱口令指的是人为设定、复杂度较低的密码口令 为系统账户(尤其是管理员账户)设置弱口令会使得整个系统的身份认证模块…

graalvm jenkins maven 配置

1. maven 使用指定jdk编译 设置 JAVA_HOME环境变量: linux: linux: export JAVA_HOME/data/java/graalvm-jdk-22.0.29.1window: set JAVA_HOMED:\develop\Java\graalvm-jdk-22.0.29.1 2.mvn编译报错 问题 : Unable to make field private final java.util.Comparator java.…

波束搜索算法图解【Beam Search】

许多 NLP 应用程序(例如机器翻译、聊天机器人、文本摘要和语言模型)都会生成一些文本作为其输出。此外,图像字幕或自动语音识别(即语音转文本)等应用程序也会输出文本,即使它们可能不被视为纯 NLP 应用程序…

#网络高级 笔记

modbus_tcp协议 modbus_rtu协议和modbus库 http协议和web服务器搭建 服务器原码分析和基于WebServer的工业数据采集项目 第H5,即网页制作,项目完善 一、modbus起源 1.起源 Modbus由Modicon公司于1979年开发,是一种工业现场总线协议标准 Mo…

Harmony(鸿蒙)使用之Bugly的简单使用

Bugly环境:Bugly Harmony 版本,支持Harmony OS Next平台 开发工具版本:DevEco Studio NEXT Developer Beta1(以上),API 12 步骤一、创建产品,填写产品相关信息 1、注册完成后,可在…

R 语言学习教程,从入门到精通,R 绘图 中文支持(25)

1、R 绘图 中文支持 不同系统的字体库目录: Linux 一般在 /usr/share/fonts 下,我们可以使用 fc-list 命令查看: # fc-list /usr/share/fonts/truetype/dejavu/DejaVuSerif-Bold.ttf: DejaVu Serif:styleBold /usr/share/fonts/truetype/de…

vue事件监听

我们可以使用 v-on 指令 (简写为 ) 来监听 DOM 事件,并在事件触发时执行对应的 1.回车事件(点击回车触发) confirm 适用uni-app keyup.enter 适用vue3 运用场景:通常在文本框输入的时候使用 2.点击事件(鼠标左键…

基于ZYNQ FPGA+DSP C6678坚固型高性能数据采集与运动控制系统

基于FPGADSP的实时控制系统架构的坚固型高性能运动控制器,支持多通道并行同步实时高速采样,并直接通过底层逐点传递给DSP算法处理,以保证实时性,可以实现高速的逐点控制输出,确保了控制系统能够在多输入多输出高速控制…

PDF文件的读取与合并:使用PyPDF2与ReportLab

目录 一、PyPDF2库基础 1.1 PyPDF2简介 1.2 安装PyPDF2 1.3 读取PDF内容 1.4 合并PDF文件 二、ReportLab库基础 2.1 ReportLab简介 2.2 安装ReportLab 2.3 使用ReportLab生成PDF文本 2.4 ReportLab 与 PyPDF2 结合使用 三、注意事项与最佳实践 3.1 文本提取的局限性…

HW数通IA笔记2-网络参考模型

目录 零、本章主要内容 一、应用和数据 二、网络参考模型与标准协议 2.2 TCP/IP参考模型 2.3 TCP/IP常见协议 2.3.1 应用层 2.3.2 传输层 2.3.3 网络层 2.3.4 数据链路层 2.3.5 物理层 2.4 常见的协议标准化组织 三、数据的通信过程 零、本章主要内容 1、理解数据的…

高级MySQL数据库备份脚本

高级MySQL数据库备份脚本 主要功能项目构成credentials.txtsettings.confmysql-dump.sh SFTP备份配置:生成 SSH 密钥对将公钥复制到 SFTP 服务器测试无密码登录 邮件发送配置安装插件sendmail、mailx修改mail配置获取邮箱授权码 如何执行备份执行备份脚本计划每日的…

【数据结构-前缀异或和】力扣1371. 每个元音包含偶数次的最长子字符串

给你一个字符串 s ,请你返回满足以下条件的最长子字符串的长度:每个元音字母,即 ‘a’,‘e’,‘i’,‘o’,‘u’ ,在子字符串中都恰好出现了偶数次。 示例 1: 输入&…

PyCharm 自定义字体大小

常用编程软件自定义字体大全首页 文章目录 前言具体操作1. 打开设置对话框2. 设置编辑器字体3. 选择外观字体 前言 PyCharm 自定义字体大小,统一设置为 JetBrains Mono 具体操作 【File】>【Settings...】>【Editor】>【Font】 统一设置为字体样式 JetB…

JVM上篇:内存与垃圾回收篇-13-垃圾回收器

笔记来源:尚硅谷 JVM 全套教程,百万播放,全网巅峰(宋红康详解 java 虚拟机) 文章目录 13. 垃圾回收器13.1. GC 分类与性能指标13.1.1. 垃圾回收器概述13.1.2. 垃圾收集器分类13.1.3. 评估 GC 的性能指标吞吐量暂停时间…

X86架构(五)——栈操作与寻址操作

我们先采用 X86架构(四) 所学知识,在显示器上显示 123...100 ;代码清单7-1;文件名:c07_mbr.asm;文件说明:硬盘主引导扇区代码;创建日期:2011-4-13 18:02jmp near __startmessage db 123...100 __start:mov ax, 0x7c0 ;数据段基…

APP封装安装配置参考说明

APP封装安装配置参考说明 一, 环境准备 宝塔环境 nginx php5.6 mysql5.6 java-openjdk1.8 apktool 1,安装 nginx,php,mysql自行安装 java-openjdk1.8 安装 推荐使用命令行安装 1.1 yum install java-1.8.0-openjdk1.2 yum install -y java-1.8.0-openjdk-devel1.3 设置…

Intellij Idea + Git 完美实战!

环境准备 使用前需要安装一个远程的 Git 仓库和本地的 Git 客户端。由于IDEA中的Git插件需要依赖本地Git客户端,所以需要进行如下配置: 如果本地已有项目,直接通过如下操作,即可在远程自动创建仓库并关联 1. 克隆远程仓库代码&am…