ollama语言大模型部署使用

news2024/9/20 18:51:26

ollama语言大模型部署使用

  • 前言
  • 一、下载安装maxkb
    • 1、下载解压赋权
    • 2、安装
  • 二、安装ollama
    • docker运行
  • 三、无需获取api_key
    • maxkb安装ollama模型
    • 对,就是这,你选好基础模型后,只需要给他地址,添加完成后自行调用ollama安装你选择好的模型
    • 添加应用,保存并发布,返回应用
    • 应用信息复制访问
    • 相当有趣的功能:嵌入第三方


前言

先说下为什么选择maxkb对接ollama
1、个人观点用着舒服,maxkb,ollama docker部署完成后,在maxkb上部署应用模型只需要选择ai模型,ollama会自行安装
2、一键话部署,方便开箱即用,提供嵌入第三方
3、有官方文档支持。
4、支持多模型,支持直接上传文档 / 自动爬取在线文档,支持文本自动拆分、向量化和 RAG(检索增强生成),智能问答交互体验好。
5、灵活编排

##1panel也支持maxkb的部署,目前应该是最快的,但是我没选。。。。选了个离线包单独部署,嫌麻烦的可以直接来个企业版,有人帮你搞。

  • maxkb官方使用手册
  • maxkb官方演示视频
  • maxkb官方论坛求助

一、下载安装maxkb

版本下载地址

1、下载解压赋权

##上传本地服务器解压、切换目录后授权
[root@ubuntu maxkb-v1.4.1-offline]# chmod +x ./*.sh

[root@ubuntu maxkb-v1.4.1-offline]# ll
total 40
drwxrwxr-x. 4 root root   32 May  5  2023 docker
drwxr-xr-x. 2 root root   33 Aug  8 14:24 images
-rw-r--r--. 1 root root  442 Aug  8 14:22 install.conf
-rw-r--r--. 1 root root 9350 Aug 16 16:44 install.log
-rwxr-xr-x. 1 root root 6734 Aug  8 14:22 install.sh
-rw-r--r--. 1 root root 7030 Aug 16 16:39 kbctl
drwxr-xr-x. 4 root root   93 Aug  8 14:28 maxkb
-rw-r--r--. 1 root root   11 Aug  8 14:22 README.md
-rwxr-xr-x. 1 root root  984 Aug  8 14:22 uninstall.sh

在这里插入图片描述

2、安装

  • 飞致云的所有服务安装都会帮你初始化docker环境,有个系统直接安装就行。
##1、直接运行install安装
root@ubuntu:/u01/maxkb-v1.4.1-offline# ./install.sh 


##2、docker部署,需要代理下载镜像,有丢丢大,2G左右
docker run -d --name=maxkb -p 8080:8080 -v /u01/maxkb:/var/lib/postgresql/data cr2.fit2cloud.com/1panel/maxkb

# 用户名: admin
# 密码: MaxKB@123..

在这里插入图片描述

二、安装ollama

docker运行

大佬文章

##docker安装
dockert pull  ollama/ollama
##到这步就可以了。然后转maxkb web界面选择ollama ai模型,他会帮你安装
docker run -d -v /u01/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

##进入容器并运行大模型
docker exec -it ollama /bin/bash
##下载并运行大模型
ollama run llama3.1:70b
##列出所有模型
ollama list
##单独下载大模型
ollama pull llama3.1:70b

在这里插入图片描述

具体模型
在这里插入图片描述

三、无需获取api_key

maxkb安装ollama模型

在这里插入图片描述

对,就是这,你选好基础模型后,只需要给他地址,添加完成后自行调用ollama安装你选择好的模型

在这里插入图片描述

添加应用,保存并发布,返回应用

在这里插入图片描述

应用信息复制访问

在这里插入图片描述
在这里插入图片描述

相当有趣的功能:嵌入第三方

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2134679.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

GD - GDLink的接口引脚杜邦线接触不好,还是自己做一个转接头好些

文章目录 GD - GDLink的接口引脚杜邦线接触不好,还是自己做一个转接头好些概述笔记转接头使用时的连接关系转接头弄个壳子好些在转接头上,将线序转为自己板子SWD的防呆线序 转接头的2x5P线序和看到的GD-LINK2x5P接口相反END GD - GDLink的接口引脚杜邦线…

37拼购:电商新风尚,共享双赢的购物革命

随着2024年电商市场的日益繁荣,商品海洋中的同质化问题愈发严峻,消费者在茫茫商海中寻觅独特价值的难度陡增。在此背景下,一种名为“37悦享拼”的创新电商模式横空出世,它巧妙融合了私域社交与电商精髓,旨在打破传统壁…

Java wrapperr打包springboot项目到linux和Windows

Java wrapper打包springboot项目到linux和Windows 1 Java wrapper 说明2 linux的安装步骤2.1 解压 创建目录2.2 复制文件2.3 配置文件2.4 启动 3 windows3.1 配置文件3.2 复制文件3.3 启动 1 Java wrapper 说明 前提: 一定要有Java环境(我使用的是jdk1.8…

【ArcGIS Pro】扩展模块 Nuget 使用

前提需知 ArcGIS Pro 扩展模块30 NuGet 仅适用于 ArcGIS Pro 加载项和配置。由于 NuGet 包含 Pro 公共扩展模块 API,因此不应在核心主机应用程序和 Pro 插件中引用它,这些应用程序和插件旨在与 ArcGIS.Core 地理数据库和几何 API 一起使用,而…

druid jdbc 执行 sql 输出 开销耗时

druid 执行sql输出 参考链接配置_LogFilter alibaba/druid Wiki GitHub 看不太懂的往这里瞅瞅。 1. 别名映射 这个地方 给我们提供了 5 种 logfilter : log4j、log4j2、slf4j、commonlogging和commonLogging 每一种实际上都代表一个日志框架 或 日志门面。 -Ddruid.fil…

吊打面试官!业务架构的关键概念

商业模式 商业模式是帮助企业成功的“秘诀”,它通过整合企业内外部的多种要素,构建起一个全面、高效且具有独特竞争优势的运营体系。这一体系的目的是满足市场的需求,实现各利益相关者价值最大化,并确保企业的长期盈利能力。 商…

rabbitmq容器化部署

需求 容器化部署rabbitmq服务 部署服务 找到如下官网信息版本 官网版本发布信息 这里看到最新版本是3.13版本,这里在3.13中找一个版本下载容器镜像即可。 找到dockrhub.com中 找到3.13.2版本镜像。 容器服务安装此处省略 现在下载容器镜像需要配置容器代理 ~#…

.NET微信网页开发之使用微信JS-SDK获取当前地理位置

前言: 前段时间有一个关于通过获取用户当前经纬度坐标,计算出该用户距离某指定地点之间的距离。因为做这个项目需要能够获取到比较精确的经纬度坐标,刚开始使用的是百度地图结果发现百度地图地位不太准确(有时候相差的比较的大&am…

u盘怎么重装系统_u盘重装win10系统详细图文教程【支持新旧机型】

u盘怎么重装系统?对于电脑小白来说用u盘安装系统还是有点难度的,有些电脑小白采用在线一键重装的方式安装系统,结果在安装过程中出现各种问题进不了系统了。所以建议小白采用U盘方式安装系统比较保险,因为这样哪怕安装失败还可以通…

一些写leetcode的笔记

标准库中的string类没有实现像C#和Java中string类的split函数&#xff0c;所以想要分割字符串的时候需要我们自己手动实现。但是有了stringstream类就可以很容易的实现&#xff0c;stringstream默认遇到空格、tab、回车换行会停止字节流输出。 #include <sstream> #incl…

.NET 一款在线解密Web.config的脚本

01阅读须知 此文所提供的信息只为网络安全人员对自己所负责的网站、服务器等&#xff08;包括但不限于&#xff09;进行检测或维护参考&#xff0c;未经授权请勿利用文章中的技术资料对任何计算机系统进行入侵操作。利用此文所提供的信息而造成的直接或间接后果和损失&#xf…

PowerShell install 一键部署Oracle21c-xe

Oracle21c-xe前言 Oracle Database 23ai Free 让您可以充分体验 Oracle Database 的能力,世界各地的企业都依赖它来处理关键任务工作负载。 Oracle Database Free 的资源限制为 2 个 CPU(前台进程)、2 GB 的 RAM 和 12 GB 的磁盘用户数据。该软件包不仅易于使用,还可轻松下…

会议室占用【python实现】

题目来自此 思路见代码随想录合并区间 def main():import astmeetings ast.literal_eval(input())meetings.sort(keylambda x:x[0])result [meetings[0]]for meeting in meetings:if meeting[0] < result[-1][1]:result[-1][1] meeting[1]else:result.append(meeting)pr…

使用gitee如何回滚上一个版本,简单操作方式-gitee自带功能无需使用代码

使用gitee如何回滚上一个版本&#xff0c;简单操作方式-gitee自带功能无需使用代码&#xff0c;很多朋友使用代码的话容易出错&#xff0c;gitee自带了本功能&#xff1a; 找到gitee代码仓库&#xff0c;找到对应的想要回滚的版本点击进去 点击revert&#xff0c;选择自己对应的…

程序员的AI时代,如何用AI来增加副业收入

大家好&#xff0c;我是程序员小灰。今天&#xff0c;我来继续和大家聊一聊AI这个话题。 众所周知&#xff0c;在2023年3月&#xff0c;OpenAI公司的GPT-4横空出世&#xff0c;在全世界掀起了AIGC的热潮。随后一年多的时间里&#xff0c;众多强大的AI工具如雨后春笋一般涌现出…

初学51单片机之IO口上下拉电阻相关

本案本来是描述一下I2C总线的&#xff0c;在此之前推荐一下B站一个UP关于时序图的讲解 I2C入门第一节-I2C的基本工作原理_哔哩哔哩_bilibili 不过在描述I2C前先简单的探讨下51单片机IO口下拉电阻的基本情况&#xff0c;事实上这个问题困扰笔者很长时间了&#xff0c;这次也是一…

【机器学习(二)】分类和回归任务-决策树算法-Sentosa_DSML社区版

文章目录 一、算法概念二、算法原理&#xff08;一&#xff09;树的构造&#xff08;二&#xff09;划分选择1、信息增益2、基尼指数3、卡方检验 &#xff08;三&#xff09;停止标准&#xff08;四&#xff09;剪枝处理1、预剪枝2、后剪枝 三、决策树的优缺点四、决策树分类任…

“孪舟”引擎V5.0:更有颜、更真实、更智能、更灵活、更强大

在9月6日智汇云舟2024视频孪生产品发布会上&#xff0c;我们向线上线下嘉宾展示了基于视频孪生技术的众多产品&#xff0c;以及前沿技术。我们的目标是依托自研3DGIS引擎&#xff0c;将视频、AI、IoT等多种技术深度融合&#xff0c;升级数字孪生为视频孪生&#xff0c;实时实景…

mathorcup发邮件:参赛必看邮件撰写技巧?

mathorcup发邮件的注意事项&#xff1f;如何使用mathorcup发信&#xff1f; 无论是提交参赛作品、咨询比赛规则&#xff0c;还是与组委会沟通&#xff0c;一封清晰、专业的邮件都能为你赢得更多机会。AokSend将为你详细介绍mathorcup发邮件的撰写技巧&#xff0c;帮助你在比赛…

分析图形学示例报告

一、实验任务 二、主要功能模块 三、代码 //自定义坐标系模块 CDC* pDC GetDC();//获得设备上下文 CRect rect;//定义矩形 GetClientRect(&rect);//获得矩形客户去大小 pDC->SetMapMode(MM_ANISOTROPIC);//自定义坐标系 pDC->SetWindowExt(rect.Width()/4, rect.He…