Ollama调用多GPU实现负载均衡

news2025/4/17 0:02:31

文章目录

    • 📊 背景说明
    • 🛠️ 修改 systemd 服务配置
      • 1. 配置文件路径
      • 2. 编辑服务文件
      • 2. 重新加载配置并重启服务
      • 3. 验证配置是否成功
    • 📈 应用效果示例
      • 1. 调用单个70b模型
      • 2. 调用多个模型（70b和32b模型）
    • 总结
    • 📌 附：自动化脚本（可选）
    • 额外补充
    • 🧠 1. Open WebUI多用户同时访问同一个模型，是否相互影响？
      • 🔍 详细说明：
        • ✅ 互不干扰的部分
        • ⚠️ 可能“互相影响”的部分
    • 📚 2. 使用知识库（向量检索/RAG）是否会影响模型？
      • ✅ 简短回答
      • 🔍 具体解释

默认的ollama调用的各种大模型，如deepseek 70b模型，每个模型实例只绑定一张 GPU，如果是多卡，其它卡会一直闲置，造成一定浪费。
本文档介绍如何通过 systemd 配置文件为 Ollama 服务添加 GPU 和调度相关的环境变量，从而实现多 GPU 的高效利用与负载均衡。

📊 背景说明

我们首先通过命令nvidia-smi查看有几张GPU，如下图，可以看到我们当前有4张卡，GPU编号是0,1,2,3（为了之后配置中设置数字）。

请添加图片描述

如果只是通过Open WebUI 使用ollama的deepseek-r1:70b模型，我们观察GPU使用情况，如下图，可以发现只有一张卡使用，即使是多个用户同时使用deepseek-r1:70b模型，也依然只有单个GPU使用，这造成了极大的资源浪费，没有相应的负载均衡。
在这里插入图片描述

如果局域网内用户，几个人访问70b模型，几个人访问32b模型，第一张卡显存占满了之后，才会调用第二张卡，第三张卡和第四张卡永远都不用使用到，造成一定程度上的资源浪费。

Ollama 也只会在部分 GPU 上负载，其他 GPU 处于空闲状态。
在这里插入图片描述

Ollama 默认每个模型实例只绑定一张 GPU，并不具备自动负载均衡的能力。

为实现模型多卡部署与更高的吞吐量，我们可以通过设置环境变量来调整 Ollama 的调度行为。

因此我们需要相应的环境设置，设置也很简单。

🛠️ 修改 systemd 服务配置

1. 配置文件路径

Ollama 的 systemd 服务配置文件路径如下：

/etc/systemd/system/ollama.service

2. 编辑服务文件

sudo vim /etc/systemd/system/ollama.service

默认的整体配置如下：
在这里插入图片描述

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/local/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin:/root/bin"
Environment="OLLAMA_HOST=0.0.0.0:11434"
Environment="OLLAMA_ORIGINS=*"

[Install]
WantedBy=default.target

按下 i 进入插入模式，找到 [Service] 段，我们需要在[Service]的下面添加几个环境变量设置，如下：

Environment="CUDA_VISIBLE_DEVICES=0,1,2,3"
Environment="OLLAMA_SCHED_SPREAD=1"
Environment="OLLAMA_KEEP_ALIVE=-1"

✨参数说明：

  • Environment=“CUDA_VISIBLE_DEVICES=0,1,2,3” 代表让ollama能识别到第几张显卡,因为4张显卡，从0开始编号，所以为0,1,2,3。根据你的显卡数量进行设置。
  • Environment=“OLLAMA_SCHED_SPREAD=1” 这几张卡均衡使用
  • Environment=“OLLAMA_KEEP_ALIVE=-1” 模型一直加载, 不自动卸载，这个设置会一直占用显存不释放，相应会快一些。如果不经常使用模型，可以把这个去掉，啥时候通过Open Webui访问，然后啥时候加载模型，第一次加载一般会慢一些。

添加之后的完整配置：

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/local/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin:/root/bin"
Environment="OLLAMA_HOST=0.0.0.0:11434"
Environment="OLLAMA_ORIGINS=*"
### 添加如下配置，下面三个是新增的
Environment="CUDA_VISIBLE_DEVICES=0,1,2,3"
Environment="OLLAMA_SCHED_SPREAD=1"
Environment="OLLAMA_KEEP_ALIVE=-1"

[Install]
WantedBy=default.target

按下 Esc，然后输入 :wq 保存并退出。

2. 重新加载配置并重启服务

使用如下命令：

sudo systemctl daemon-reload
sudo systemctl restart ollama

在这里插入图片描述

💡 注意：若出现 Failed 信息，仅为非关键错误，通常不影响实际运行。

sudo systemctl daemon-reload命令解释：

重新加载 systemd 管理器的配置文件。当你修改了服务的配置文件（比如 /etc/systemd/system/ollama.service）后，systemd 并不会自动发现这些改动，你需要显式告诉它：“配置文件变了，请重新读取”。

sudo systemctl restart ollama命令解释：

停止再重新启动 ollama 服务，使其立即应用你新修改的配置。

3. 验证配置是否成功

查看服务状态：

systemctl status ollama

在这里插入图片描述

检查环境变量是否注入成功：

sudo systemctl show ollama | grep Environment

你应当看到如下输出：

Environment=CUDA_VISIBLE_DEVICES=0,1,2,3
Environment=OLLAMA_SCHED_SPREAD=1
Environment=OLLAMA_KEEP_ALIVE=-1

参数说明

参数含义
CUDA_VISIBLE_DEVICES=0,1,2,3指定可用的 GPU 编号（0 到 3），表示总共使用 4 张显卡
OLLAMA_SCHED_SPREAD=1启用多 GPU 均衡调度，让模型推理在多卡之间分摊负载
OLLAMA_KEEP_ALIVE=-1模型常驻内存，保持加载状态，防止自动卸载，提高响应速度

📈 应用效果示例

1. 调用单个70b模型

进行上述设置之后，我们通过Open Webui访问70b模型，如下

在这里插入图片描述

此时查看显存占用，如下图，可以发现此时会同时使用4张卡，模型占用的43G左右的显存会均衡分布在4张卡中，而不是用单个卡推理。

在这里插入图片描述

2. 调用多个模型（70b和32b模型）

此时再访问32b的模型，如下：
在这里插入图片描述

此时显存占用如下图，可以发现依然会均衡的调用每个GPU，而不会使用单个GPU。

在这里插入图片描述

总结

通过为 systemd 添加环境变量配置，Ollama 可以实现：

  • 多 GPU 推理任务的自动均衡调度
  • 模型常驻显存，减少加载时间
  • 灵活控制资源占用，提升整体性能表现

该方法适用于高并发场景、长时间部署服务、模型启动延迟敏感等使用场景。

📌 附：自动化脚本（可选）

如需自动完成上述步骤，可使用以下脚本：

#!/bin/bash

SERVICE_FILE="/etc/systemd/system/ollama.service"

# 插入环境变量（如果没有手动加过）
sudo sed -i '/^\[Service\]/a Environment="CUDA_VISIBLE_DEVICES=0,1,2,3"\nEnvironment="OLLAMA_SCHED_SPREAD=1"\nEnvironment="OLLAMA_KEEP_ALIVE=-1"' "$SERVICE_FILE"

# 重新加载并重启服务
sudo systemctl daemon-reload
sudo systemctl restart ollama

# 检查状态
sudo systemctl status ollama

额外补充

🧠 1. Open WebUI多用户同时访问同一个模型，是否相互影响？

🔍 详细说明：

✅ 互不干扰的部分
  • 推理上下文是隔离的：每个用户的输入输出在 WebUI 层面是分开的，彼此看不到对方内容。
  • 会话状态是用户独立的：对话记录、聊天上下文、调用参数不会混淆。
⚠️ 可能“互相影响”的部分
  • GPU 显存竞争：
    • 70B 模型非常吃显存，如果同时多个用户发起推理，可能卡顿、OOM、速度变慢。
    • 尤其是 batch size、上下文长度较大时会挤爆内存。
    • 此时你看到的“互相影响”其实是性能瓶颈，不是逻辑混乱。
  • 线程/队列调度：
    • 如果使用的是单实例模型服务（比如 Ollama 只加载一次模型），请求会被排队处理。
    • 一个用户长时间生成内容可能导致另一个用户响应慢。

📚 2. 使用知识库（向量检索/RAG）是否会影响模型？

✅ 简短回答

不会直接影响模型本身，但会影响模型的“输出内容”。

🔍 具体解释

  • 模型本体（参数、权重）是静态的，不会被修改。
  • 知识库的作用是提供额外的上下文信息（通过检索，拼接在 prompt 前），相当于给模型“补充资料”。
  • 所以：
    • 每个用户的知识库是独立配置的话，互不影响。
    • 如果多个用户使用同一个知识库，那检索到的内容可能类似，影响回答的风格/方向，但不至于“污染”模型。
    • 不会长期改变模型行为，只是短暂地影响一次回答。

参考链接：
https://bbs.huaweicloud.com/blogs/447392

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2335307.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

WebRTC实时通话EasyRTC嵌入式音视频通信SDK，构建智慧医疗远程会诊高效方案

WebRTC实时通话EasyRTC嵌入式音视频通信SDK，构建智慧医疗远程会诊高效方案

一、方案背景 当前医疗领域，医疗资源分布不均问题尤为突出，大城市和发达地区优质医疗资源集中，偏远地区医疗设施陈旧、人才稀缺，患者难以获得高质量的医疗服务，制约医疗事业均衡发展。 EasyRTC技术基于WebRTC等先进技…
阅读更多...
AIoT 智变浪潮演讲实录 | 刘浩然：让硬件会思考：边缘大模型网关助力硬件智能革新

AIoT 智变浪潮演讲实录 | 刘浩然：让硬件会思考：边缘大模型网关助力硬件智能革新

4 月 2 日，由火山引擎与英特尔联合主办的 AIoT “智变浪潮”技术沙龙在深圳成功举行，活动聚焦 AI 硬件产业的技术落地与生态协同，吸引了芯片厂商、技术方案商、品牌方及投资机构代表等 700 多位嘉宾参会。 会上，火山引擎边缘智能高…
阅读更多...
【Windows】系统安全移除移动存储设备指南：告别「设备被占用」弹窗

【Windows】系统安全移除移动存储设备指南：告别「设备被占用」弹窗

Windows系统安全移除移动存储设备指南：告别「设备被占用」弹窗 解决移动硬盘和U盘正在被占用无法弹出 一、问题背景 使用Windows系统时，经常遇到移动硬盘/U盘弹出失败提示「设备正在使用中」，即使已关闭所有可见程序。本文将系统梳理已验证…
阅读更多...
ArmSoM Sige5 CM5：RK3576 上 Ultralytics YOLOv11 边缘计算新标杆

ArmSoM Sige5 CM5：RK3576 上 Ultralytics YOLOv11 边缘计算新标杆

在计算机视觉技术加速落地的今天，ArmSoM 正式宣布其基于 ​​Rockchip RK3576​​ 的旗舰产品 ​​Sige5 开发板​​ 和 ​​CM5 核心板​​ 全面支持 Ultralytics YOLOv11 模型的 RKNN 部署。这一突破标志着边缘计算领域迎来新一代高性能、低功耗的 AI 解决方案&am…
阅读更多...
【ubuntu】linux开机自启动

【ubuntu】linux开机自启动

目录 开机自启动： /etc/rc.loacl system V 使用/etc/rc*.d/系统运行优先级 遇到的问题： 1. Linux 系统启动阶段概述 方法1：/etc/rc5.d/ 脚本延时日志 方法二：使用 udev 规则来触发脚本执行 开机自启动： /etc/…
阅读更多...
操作系统导论——第19章 分页：快速地址转换（TLB）

操作系统导论——第19章 分页：快速地址转换（TLB）

使用分页作为核心机制来实现虚拟内存，可能会带来较高的性能开销。使用分页，就要将内存地址空间切分成大量固定大小的单元（页），并且需要记录这些单元的地址映射信息。因为这些映射信息一般存储在物理内存中，…
阅读更多...
计算机网络：流量控制与可靠传输机制

计算机网络：流量控制与可靠传输机制

目录 基本概念 流量控制：别噎着啦！ 可靠传输：快递必达服务 传输差错：现实中的意外 滑动窗口 基本概念 换句话说：批量发货排队验收 停止-等待协议 SW（发1份等1份） 超时重传：…
阅读更多...
架构生命周期（高软57）

架构生命周期（高软57）

系列文章目录 架构生命周期 文章目录 系列文章目录前言一、软件架构是什么？二、软件架构的内容三、软件设计阶段四、构件总结 前言 本节讲明架构设计的架构生命周期概念。 一、软件架构是什么？ 二、软件架构的内容 三、软件设计阶段 四、构件 总结 就…
阅读更多...
JMeter使用

JMeter使用

1.简介 1.1 打开方式 ①点击bat,打开 ②添加JMeter系统环境变量,输⼊命令jmeter即可启动JMeter⼯具 1.2 配置 简体中文 放大字体 1.3 使用 ①添加线程组 ②创建http请求 2. 组件 2.1 线程组 控制JMeter将⽤于执⾏测试的线程数，也可以把⼀个线程理解为⼀个测…
阅读更多...
Ant Design Vue 表格复杂数据合并单元格

Ant Design Vue 表格复杂数据合并单元格

Ant Design Vue 表格复杂数据合并单元格 官方合并效果 官方示例 表头只支持列合并&#xff0c;使用 column 里的 colSpan 进行设置。 表格支持行/列合并&#xff0c;使用 render 里的单元格属性 colSpan 或者 rowSpan 设值为 0 时&#xff0c;设置的表格不会渲染。 <temp…
阅读更多...
ECharts 如何实现柱状图悬停时，整个背景区域均可触发点击事件

ECharts 如何实现柱状图悬停时，整个背景区域均可触发点击事件

1. 前言 ECharts 柱状图的点击事件默认仅响应柱子本身的点击&#xff0c;本文旨在实现整个背景区域均可触发点击事件 2. 实现思路 核心&#xff1a;全局监听 坐标判断 数据转换 通过 getZr() 监听整个画布点击&#xff0c;结合像素坐标判断是否在图表区域内‌通过 containPi…
阅读更多...
金融简单介绍及金融诈骗防范

金融简单介绍及金融诈骗防范

在当今社会&#xff0c;金融学如同一股无形却强大的力量&#xff0c;深刻影响着我们生活的方方面面。无论是个人的日常收支、投资理财&#xff0c;还是国家的宏观经济调控&#xff0c;都与金融学紧密相连。​ 一、金融学的概念​ 金融学&#xff0c;简单来说&#xff0c;是研…
阅读更多...
cursor+高德MCP：制作一份旅游攻略

cursor+高德MCP：制作一份旅游攻略

高德开放平台 | 高德地图API (amap.com) 1.注册成为开发者 2.进入控制台选择应用管理----->我的应用 3.新建应用 4.点击添加Key 5.在高德开发平台找到MCP的文档 6.按照快速接入的步骤&#xff0c;进行操作 一定要按照最新版的cursor, 如果之前已经安装旧的版本卸载掉重新安…
阅读更多...
Kubernetes控制平面组件：API Server Webhook 授权机制 详解

Kubernetes控制平面组件：API Server Webhook 授权机制 详解

云原生学习路线导航页&#xff08;持续更新中&#xff09; kubernetes学习系列快捷链接 Kubernetes架构原则和对象设计&#xff08;一&#xff09;Kubernetes架构原则和对象设计&#xff08;二&#xff09;Kubernetes架构原则和对象设计&#xff08;三&#xff09;Kubernetes控…
阅读更多...
【Python爬虫】简单案例介绍2

【Python爬虫】简单案例介绍2

本文继续接着我的上一篇博客【Python爬虫】简单案例介绍1-CSDN博客 目录 跨页 3.2 环境准备 跨页 当对单个页面的结构有了清晰的认识并成功提取数据后&#xff0c;接下来就需要考虑页面之间的跨页问题。此时我们便迎来了下一个关键任务&#xff1a;如何实现跨页爬取&#xf…
阅读更多...
【神经网络】python实现神经网络（四）——误差反向传播的基础理论

【神经网络】python实现神经网络（四）——误差反向传播的基础理论

一.反向传播 本章将介绍能够高效计算权重参数的梯度的方法——误差反向传播法，这里简单介绍一下什么是反向传播，加入有个函数y = f(x)，那么它的反向传播为图下这个样子： 反向传播的计算顺序是，将输入信号E乘以节点的局部导数，然后将结果传递给下一个节点。这里所…
阅读更多...
I/O进程（全）

I/O进程（全）

I/O 一、标准IO 1.概念 在C库中定义的一组用于输入输出的函数 2.特点 (1).通过缓冲机制减少系统调用&#xff0c;提高效率 (2.)围绕流进行操作&#xff0c;流用FILE *来描述(3).标准IO默认打开了三个流&#xff0c;stdin&#xff08;标准输入&#xff09;、stdout&#xff08;标…
阅读更多...
vue2使用ezuikit-js播放萤石视频

vue2使用ezuikit-js播放萤石视频

需求&#xff1a;需要在大屏上播放萤石视频&#xff0c;用到官方的ezuikit-js插件实现&#xff0c;并实现视频播放切换功能。有个问题至今没有解决&#xff0c;就是萤石视频的宽高是固定的&#xff0c;不会根据大屏缩放进行自适应。我这边做了简单的刷新自适应。 1.下载ezuikit…
阅读更多...
【笔试强训day19】

【笔试强训day19】

目录 第一题&#xff1a;小易的升级之路 描述 输入描述&#xff1a; 输出描述&#xff1a; 输入&#xff1a; 输出&#xff1a; 第二题&#xff1a;礼物的最大价值 描述 输入&#xff1a; 返回值&#xff1a; 备注&#xff1a; 第三题&#xff1a;对称之美 题目描述…
阅读更多...
STM32电机库 电机控制特性

STM32电机库 电机控制特性

ST MC FW库提供FOC和六步法两种电机控制方式。这使得它能够驱动永磁同步电机 （PMSM） 和无刷直流电机 （BLDC）。FOC 更适合 PMSM，而六步法更适合 BLDC 电机。该固件可以驱动内嵌式PMSM 和标贴式PMSM。 ST Motor Control 固件库提供以下功能： FOC SVPWM 生成： 可配置的 PW…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023