label_studio中uwsgi内存占用高的问题排查

news2025/2/25 15:03:46

问题描述

使用docker起的label_studio服务,起来就占了8GB内存,无论是否有标注任务。
而且这个么大内存label_studio起来就有,不是随着时间起来的。本来发现问题的是label_stuido17.3, 我下载了18.02版本的docker,问题也是一样的,看github上的issues,没看到跟我一样的问题。

先说推论

之所以叫推论,是因为没有实锤,只是根据我做的各种测试来推理的。

我自己各种对比测试下来,怀疑是uwsgi中的http进程会根据系统内存大小计算出一个预申请的内存大小,然后申请内存。在大内存的host系统上申请的内存多,在内存不那么富裕的host系统上,docker起来后申请的内存就少。我也买找到控制这个内存占用的方法,毕竟我也没时间看源码,修改uwsgi.ini也没啥作用。

我使用同一个docker镜像,在我16GB的系统上起容器,发现http进程占用的内存很少:

在这里插入图片描述

在另一台128GB的服务器上,容器起来后就固定占8GB+的内存:

在这里插入图片描述

分析

label_stuido是一个python语言编写的深度学习标注平台。
主要是通过uwsgi+django的方式对外提供网页服务。

我用memory_profiler分析server.py中的main()函数,发现这个函数执行完只占了200多M的内存,所以应该不是工作线程占的大头。通过ps命令也能看到,是uwsgi的http进程占的。而uwsgi这个程序是一个c语言编写的程序,没办法用分析python的工具来分析。我本来想用valgrind来分析它的内存占用,在label_studio的容器中valgrind没安装成功,只得作罢。我把同样的容器用同样的启动方式在另一个服务器上起了一下,发现内存占用就不一样了。所以才有了上面的推论。

做过的其它测试

网上别人遇到的uwsgi的内存问题基本都是随着时间增长,请求越来越多,内存越来越大。而我遇到的问题是起来内存就大。
我也抱着试试看的态度,修改了uwsgi.ini这个配置文件中的很多参数,结果发现对我没啥用,起来内存占用还是那么多。

我修改过的配置有:

processes = 2 	 
processes = 1 	 
reload-on-rss = 2044->1024   
buffer-size = 65535->25535  
post-buffering = 4096->1024   
max-requests = 3000 ->1000
worker-reload-mercy = 300->100 

箭头左边是默认值,右边是我修改的值。除了修改processes内把起来的内存减少200M左右,其它的基本不起作用。

能否在启动docker的时候限制内存大小

既然uwsgi启动时预申请内存,能够限制docker的内存资源达到节省内存的目的吗?

我用docker-compose控制docker看到的内存大小,结果只要不够的话,uwsgi根本就起不来,我猜测它有办法获取host系统上实际的内存大小,然后计算预申请的内存大小,不够的话就死给你看。我测试下来这种思路行不通。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1027590.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

视频监控系统/安防监控/视频AI智能分析网关:持刀检测算法场景汇总

TSINGSEE青犀AI智能分析网关——持刀检测算法,是一种利用计算机AI分析算法技术来检测和辨别视频中是否存在刀具的算法,用来保障群众安全,维护公共治安,还可以与“人员跌倒”、“人员聚集”、“人员跌倒”等算法结合,制…

inpaint-anything:分割任何东西遇到图像修复

用户可以通过单击图像中的任何对象来选择它。借助强大的视觉模型,例如SAM,LaMa和稳定扩散(SD),Inpaint Anything能够顺利地删除对象(即删除任何内容)。 此外,在用户输入文本的提示下…

JUnit测试进阶(Mock测试)

Mock测试 一、Mock测试1.Mock测试产生背景2.什么是Mock测试3.具体案例 一、Mock测试 1.Mock测试产生背景 一个应用程序通常由多个类文件组成,各个类之间彼此存在着继承,实现,关联,依赖等关系,共同为用户服务。应用中单…

vue部分/所有内容全屏切换展示

需求:就是把一个页面的某一部分内容点击全屏操作按钮后全屏展示,并非所有内容全屏,所有内容的话那肯定就所有全屏展示啊,可以做切换 1.部分全屏代码 element.requestFullscreen();这个就是全屏的代码了,注意前面的ele…

学习如何编码

在学习编码时感受到一些失败 ● 他在编码旅途之初并没有一个明确的目标; ● 他从看课程和阅读教程开始,但他只会复制代码,而不关心它是如何工作的。有时候他会复制粘贴代码 ● 他没有通过做小挑战或记笔记来强化他正在学习的东西 ● 他没有练…

springboot整合全局异常处理

一、项目结构 二、全局异常 (1)启动类 package com.mgx;import com.mgx.common.dto.Result; import com.mgx.utils.ErrorUtil; import org.mybatis.spring.annotation.MapperScan; import org.springframework.boot.SpringApplication; import org.spr…

GLIP:将语言图像预训练引入目标检测

本文将深入研究一篇论文,该论文以CLIP在语言图像预训练方面的巨大成功为基础,并将其扩展到目标检测任务:GLIP — G圆形语言图像预训练。我们将涵盖论文的关键概念和发现,并通过提供进一步的上下文以及为图像和实验结果添加注释来使它们易于理解。我们走吧!

sublime text3 设置代码错误提示之php

第一步: ctrlshiftp 输入 install package 并选中 第二步: 输入 sublimelinter-php 第三步: Prefernces> package Settings >Sublimelinter > settings 这里不同按照版本可能不一样 有些可能是 settings User 第四步 完成

element show-overflow-tooltip 复制

el-table-column的show-overflow-tooltip弹出的提示无法复制&#xff0c;官方也暂时不准备解决&#xff0c;可以自己模拟一个 <el-table-column label"支付单号" width"100"><template #default"{ row }"><el-tooltip :content&…

正则表达式新解

文章目录 是什么&#xff1f;正则用法匹配单个字符匹配一组字符其他元字符核心函数 贪婪匹配和非贪婪匹配正则练习 是什么&#xff1f; 正则表达式(Regular Expression)是一种文本模式&#xff0c;包括普通字符&#xff08;例如&#xff0c;a 到 z 之间的字母&#xff09;和特殊…

华为OD机试 - 矩形相交的面积 - 逻辑分析(Java 2023 B卷 100分)

目录 专栏导读一、题目描述二、输入描述三、输出描述1、输入&#xff1a;2、输出&#xff1a;3、说明 四、解题思路五、Java算法源码六、效果展示1、输入2、输出3、说明 华为OD机试 2023B卷题库疯狂收录中&#xff0c;刷题点这里 专栏导读 本专栏收录于《华为OD机试&#xff0…

文本文件中回车及空格字符的删除(自用)

问题&#xff1a;notepad显示正常但是&#xff0c;其他文本文件打开发现数据之间有空格 解决步骤&#xff1a; [1] 把符号都显示出来 [2] 删除字符 [2-1]CR LF ----- \r\n [2-2]还有一种就是箭头&#xff0c;也会呈现 同样用替换的方法处理

计算机毕业设计 基于SSM+Vue的农业信息管理系统的设计与实现 Java实战项目 附源码+文档+视频讲解

博主介绍&#xff1a;✌从事软件开发10年之余&#xff0c;专注于Java技术领域、Python人工智能及数据挖掘、小程序项目开发和Android项目开发等。CSDN、掘金、华为云、InfoQ、阿里云等平台优质作者✌ &#x1f345;文末获取源码联系&#x1f345; &#x1f447;&#x1f3fb; 精…

centos7如何释放磁盘空间?

centos7磁盘满了,但是找不到大的文件,原因是没有释放磁盘空间 小白教程&#xff0c;一看就会&#xff0c;一做就成。 1.原因 当centos系统下启动多个服务且没有一定的清理机制时&#xff08;比如日志&#xff09;&#xff0c;系统磁盘空间很容易就被占满&#xff0c;但是有时…

Vue路由与nodes的环境配置

一&#xff0c;Vue路由 什么是Vue路由&#xff1f; Vue路由是Vue.js的一部分&#xff0c;是一个官方的Vue.js插件&#xff0c;用于管理单页面应用程序的路由。它允许您在应用程序中使用URL路径和参数来管理不同的页面视图&#xff0c;而无需刷新页面。使用Vue路由&#xff0c…

易点易动固定资产管理平台:打通BMP,实现高效流程管理与全生命周期管理

在现代企业管理中&#xff0c;固定资产的流程管理和全生命周期管理是提高效率和降低成本的关键。易点易动固定资产管理平台通过打通BMP&#xff08;Business Process Management&#xff09;系统&#xff0c;实现了固定资产流程管理和全生命周期高效化管理的目标。本文将详细介…

从零开始训练大模型

Task05 从零开始训练大模型 目录 1. 预训练阶段 1.1 Tokenizer Training1.2 Language Model PreTraining1.3 数据集清理1.4 模型效果评测 2. 指令微调阶段&#xff08;Instruction Tuning Stage&#xff09; 2.1 Self Instruction2.2 开源数据集整理2.3 模型的评测方法 3. 奖…

【新版】系统架构设计师 - 案例分析 - 数据库设计

个人总结&#xff0c;仅供参考&#xff0c;欢迎加好友一起讨论 文章目录 架构 - 案例分析 - 数据库设计数据库基础数据库设计概述E-R模型概念结构设计逻辑结构设计规范化&#xff08;范式&#xff09;反规范化技术数据库事务并发控制索引视图物化视图存储过程触发器数据库性能优…

RT-Thread 访问I/O设备

访问I/O设备 应用程序通过I/O设备管理接口来访问硬件设备&#xff0c;当设备驱动实现后&#xff0c;应用程序就可以访问该硬件。 查找设备&#xff1a;应用程序根据设备名称获取设备句柄&#xff0c;进而操作设备。 获得设备句柄后&#xff0c;应用程序可使用如下函数对设备…