ubuntu 安装配置 ollama ,添加open-webui

news2024/11/14 15:45:28

ubuntu 安装配置 ollama

    • 下载安装 [https://ollama.com/download](https://ollama.com/download)
        • 一 安装方法 1 命令行下载安装
        • 一 安装方法 2 , 手动下载安装
      • 二 配置模型下载路径
      • 三 运行
        • 1 启动 ollama 服务
        • 2 运行大模型
      • 四 添加开机自启服务 ollama serve
        • 1 关闭 ollama 服务
        • 2 修改配置文件
      • 五 重新加载配置
      • 六 重启ollama serve
      • 七 查看模型文件信息路径
      • 八 添加open-webui
        • 方法1,docker 拉取现有的镜像,创建容器运行
        • 方法2,open-webui源码构建docker镜像

下载安装 https://ollama.com/download

一 安装方法 1 命令行下载安装
curl -fsSL https://ollama.com/install.sh | sh
一 安装方法 2 , 手动下载安装

1 手动下载 https://ollama.com/install.sh 这个文件

2 注释掉下载部分 curl xxxx 手动下载ollama-linux-{ARCH}

status "Downloading ollama..."
#curl --fail --show-error --location --progress-bar -o $TEMP_DIR/ollama "https://ollama.com/download/ollama-linux-${ARCH}${VER_PARAM}"

我电脑intel/amd cpu 所以 {ARCH} = amd64
浏览器下载 https://ollama.com/download/ollama-linux-amd64
放在 install.sh 同目录下

3 注释掉 #$SUDO install -o0 -g0 -m755 $TEMP_DIR/ollama $BINDIR/ollama
改为下面一行:

status "Installing ollama to $BINDIR..."
$SUDO install -o0 -g0 -m755 -d $BINDIR
#$SUDO install -o0 -g0 -m755 $TEMP_DIR/ollama $BINDIR/ollama
$SUDO install -o0 -g0 -m755 ./ollama-linux-amd64  $BINDIR/ollama

4 运行 install.sh ,安装

./install.sh 

需要sudo 权限, 安装完毕

二 配置模型下载路径

gedit .bashrc

然后添加一行 配置 OLLAMA_MODELS 环境变量自定义路径

### ollama model dir 改为自己的路径
export OLLAMA_MODELS=/path/ollama_cache

添加目录权限:

chown `你的linux用户:你的linux用户组`  /path/ollama_cache

如果开始没配置OLLAMA_MODELS ,默认路径是

/usr/share/ollama/.ollama/models 

如果修改了OLLAMA_MODELS环境变量,把之前下载的 OLLAMA_MODELS 目录变量下的两个目录

blobs  manifests

复制到新的OLLAMA_MODELS目录变量下 ,即可

三 运行

1 启动 ollama 服务
ollama serve
2 运行大模型

ollama run <模型名称>
运行 千问 大模型

ollama run  qwen

模型下载到刚才的OLLAMA_MODELS 环境变量下

=========================================================================================================

四 添加开机自启服务 ollama serve

1 关闭 ollama 服务
 service ollama stop
2 修改配置文件
sudo gedit /etc/systemd/system/ollama.service

1 把User改为 你的linux系统用户名 ,Group 改为 你的linux用户组
2 添加 Environment="OLLAMA_MODELS=/path/ollama_cache" 改为你的路径

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/local/bin/ollama serve
User=你的linux用户名
Group=你的linux用户组
Restart=always
RestartSec=3
Environment="OLLAMA_MODELS=/path/ollama_cache"
Environment="PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/snap/bin"

[Install]
WantedBy=default.target

五 重新加载配置

sudo systemctl daemon-reload

六 重启ollama serve

sudo systemctl start ollama

七 查看模型文件信息路径

ollama show <模型> --modelfile

ollama show qwen --modelfile

八 添加open-webui

确保网络代理关闭 ubuntu 系统,设置,网络代理,选择->关闭

参考 官方文档 https://docs.openwebui.com/getting-started/

以下容器 运行之后,需要等一会,再访问 http://127.0.0.1:8080/
注册 open-webui 账号然后用账号登录,效果如下:

在这里插入图片描述

方法1,docker 拉取现有的镜像,创建容器运行

OLLAMA_BASE_URL 指定 ollama 服务地址 ,可以是本地也可以是远端

docker run -d --network=host -v open-webui:/app/backend/data -e OLLAMA_BASE_URL=http://127.0.0.1:11434 --name open-webui --restart always ghcr.io/open-webui/open-webui:main
方法2,open-webui源码构建docker镜像

下载open-webui 源码
https://github.com/open-webui/open-webui

编译运行open-webui 的 Docker 镜像

./run-compose.sh --enable-gpu --build

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2113938.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

2158. 直播获奖(live)

代码 #include<bits/stdc.h> using namespace std; int main() {int n,w,a[100000],cnt[601]{0},i,j,s;cin>>n>>w;for(i0;i<n;i){scanf("%d",&a[i]);cnt[a[i]];int x(i1)*w/100;if(!x) x1;for(j600,s0;j>0;j--){scnt[j];if(s>x){cou…

离线语音通断器

很长一段时间没有更新了 这段时间丰富了离线语音通断器的款式&#xff0c;目前成熟的模块包括单路&#xff0c;三路&#xff0c;四路&#xff0c;八路&#xff0c;输出支持无源输出&#xff0c;有源输出&#xff0c;目前主要针对房车改装市场做一些定制化的客户&#xff0c;同…

快排Java

快速排序的复杂度 快排代码 package leetcode;import java.util.Arrays;public class QuickSort {public static void quickSort(int[] array, int low, int high) {if (low < high) {int pivotIndex partition(array, low, high);quickSort(array, low, pivotIndex - 1);…

winserver2012 关闭iis

1&#xff0c;打开控制面板&#xff0c;搜索管理工具 2&#xff0c;打开管理工具 3&#xff0c;双击打开&#xff1a; 3.1&#xff0c;看到服务列表&#xff1a;右键管理网站-浏览&#xff0c;可以查看web服务&#xff1b; 4&#xff0c;如何关闭&#xff1a;右键结束即可。

【Linux】探索进程优先级的奥秘,解锁进程的调度与切换

目录 进程优先级&#xff1a; 是什么&#xff1f; 为什么存在进程优先级的概念呢&#xff1f; Linux为什么调整优先级是要受限制的&#xff1f; PRI vs NICE Linux的调度与切换 概念准备&#xff1a; 那我们到底怎样完成进程的调度和切换呢&#xff1f; 区分&#xff…

2024国赛论文拿奖快对照这几点及评阅要点,勿踩雷区!(国赛最后冲刺,提高获奖概率)

↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑ 2024“高教社杯”全国大学生数学建模竞赛已过去第三个夜晚&#xff0c;小伙伴们都累了没…

无法用 FileZilla 传送文件的解决方案

以下内容源于学习过程中的总结&#xff0c;欢迎交流。 参考博客 &#xff08;1&#xff09;无法用FileZilla 传送文件的解决方案_filezilla could not transfer-CSDN博客 连接时的设置如下&#xff0c;可见我没有以root用户身份进行连接。 我打算把某个文件从本地PC机传送到虚…

【重学 MySQL】十四、显示表结构

【重学 MySQL】十四、显示表结构 使用DESCRIBE或DESC命令使用SHOW COLUMNS命令查询information_schema数据库使用SHOW CREATE TABLE命令总结 在MySQL中&#xff0c;查看或显示表结构是一个常见的需求&#xff0c;它可以帮助你了解表中包含哪些列、每列的数据类型、是否允许为空…

GUI编程08:画笔paint

本节内容视频链接&#xff1a;10、画笔paint_哔哩哔哩_bilibilihttps://www.bilibili.com/video/BV1DJ411B75F?p10&vd_sourceb5775c3a4ea16a5306db9c7c1c1486b5 package com.yundait.lesson03;import java.awt.*; import java.awt.event.WindowAdapter; import java.awt.…

JdK版本介绍

JDK&#xff08;Java Development Kit&#xff09;是Java开发的核心工具包&#xff0c;它包含了Java运行时环境&#xff08;JRE&#xff09;以及Java开发工具&#xff08;如编译器、调试器等&#xff09;。JDK的版本更新不断&#xff0c;每个版本都带来了新特性、性能改进和安全…

linux基础IO——动静态库——进程编址、进程执行、动态库加载

前言&#xff1a;本节内容为基础IO部分的最后一节&#xff0c; 主要是为了讲一下动静态库里面的动态库如何加载到内存&#xff0c; 动态库的地址等等。 但是&#xff0c;这些内容牵扯到了程序的编址&#xff0c; 程序的加载&#xff0c; 进程的执行等等知识点&#xff0c; 所以…

代码随想录算法训练营第二十天| 39. 组合总和、40. 组合总和Ⅱ、131. 分割回文串

今日内容 leetcode. 39 组合总和leetcode. 40 组合总和Ⅱleetcode. 131 分割回文串 Leetcode. 39 组合总和 文章链接&#xff1a;代码随想录 (programmercarl.com) 题目链接&#xff1a;39. 组合总和 - 力扣&#xff08;LeetCode&#xff09; 本题不太一样的是可以对同一个数…

自己实现一个分布式锁

我的博客大纲 我的后端学习大纲 1.setnx命令&#xff1a; 2.基于Redis实现分布式锁&#xff1a; 2.1.基本实现&#xff1a; 借助于redis中的命令setnx(key, value)&#xff0c;key不存在就新增&#xff0c;存在就什么都不做。同时有多个客户端发送setnx命令&#xff0c;只有一…

20240902-VSCode-1.19.1-部署vcpkg-win10-22h2

20240902-VSCode-1.19.1-部署vcpkg-win10-22h2 软件环境 标签:C++ VSCode mingw gcc13 vcpkg cmake分栏:C++操作系统:Windows10 x64 22h2一、安装VScode-1.19.1 请参考另一篇文章《20240717-VSCode-1.91.1-部署gcc13-C++23-win10-22h2》。 二、安装cmake 本文流程需要安…

【微处理器系统原理与应用设计第八讲】程序设计的开发框架包括编程语言、程序的基本要素、汇编程序结构、集成开发环境

一、编程语言 从处理器的角度看&#xff1a;一个指令只是一个操作&#xff0c;那么执行多条指令构成的程序就是完成一个完整功能的操作。 从程序执行的角度看&#xff1a;处理器读取指令后译码执行&#xff0c;完成所有操作。 从程序设计的角度看&#xff1a;用指令来描述所…

尽快更新!Zyxel 路由器曝出 OS 命令注入漏洞,影响多个版本

近日&#xff0c;Zyxel 发布安全更新&#xff0c;以解决影响其多款商用路由器的关键漏洞&#xff0c;该漏洞可能允许未经认证的攻击者执行操作系统命令注入。 该漏洞被追踪为 CVE-2024-7261&#xff0c;CVSS v3 得分为 9.8&#xff0c;是一个输入验证故障&#xff0c;由用户提…

“榆”您相约|遨游矿用煤安防爆手机助力煤矿作业安全增效

金秋九月结硕果&#xff0c;丹桂飘香迎盛会。2024年9月13日至15日&#xff0c;第十八届榆林国际煤炭暨高端能源化工产业博览会&#xff08;以下简称“榆林国际煤博会”&#xff09;即将在榆林会展中心盛大启幕。本次博览会以“能源新时代&#xff0c;低碳新榆林”为主题&#x…

SAP学习笔记 - 开发03 - CDSView开发环境搭建,Eclipse中连接SAP,CDSView创建

上一章讲了BTP的账号创建&#xff0c;环境搭建等内容。 SAP学习笔记 - 开发02 - BTP实操流程&#xff08;账号注册&#xff0c;BTP控制台&#xff0c;BTP集成开发环境搭建&#xff09;-CSDN博客 本章继续讲SAP开发。 - CDSView 的开发环境&#xff08;Eclipse&#xff09;搭建…

世界公认十大护眼灯数据出炉!一文看懂孩子用的台灯哪个牌子好

近年来&#xff0c;随着科技的迅猛发展&#xff0c;诸如智能手机、电脑等电子设备在工作、学习及娱乐中的应用日益广泛&#xff0c;人们对这些设备的依赖程度也随之加深。然而&#xff0c;长时间面对屏幕不可避免地给眼睛带来伤害&#xff0c;如眼疲劳、干燥甚至近视等问题。因…

线程池概念介绍

一、初始化线程的四种方式 1.继承Thread 2.实现Runnable 3.实现Callable接口FutureTask 4.线程池:两种主要初始化方式Executors.newFixedThreadPool()或new ThreadPoolExecutor() 方式1和方式2:主进程无法获取线程的运算结果。 方式3:主进程可以获取运算结果&#xff0c;但是…