Linux资源限制命令—ulimit

news2024/11/24 8:53:38

ulimit功能简述

假设有这样一种情况,当一台 Linux 主机上同时登陆了 10 个人,在系统资源无限制的情况下,这 10 个用户同时打开了 500 个文档,而假设每个文档的大小有 10M,这时系统的内存资源就会受到巨大的挑战。而实际应用的环境要比这种假设复杂的多,例如在一个嵌入式开发环境中,各方面的资源都是非常紧缺的,对于开启文件描述符的数量,分配堆栈的大小,CPU 时间,虚拟内存大小,等等,都有非常严格的要求。资源的合理限制和分配。

不仅仅是保证系统可用性的必要条件,也与系统上软件运行的性能有着密不可分的联系。这时,ulimit可以起到很大的作用,它是一种简单并且有效的实现资源限制的方式。ulimit用于限制shell启动进程所占用的资源,支持以下各种类型的限制:所创建的内核文件的大小、进程数据块的大小、Shell进程创建文件的大小、内存锁住的大小、常驻内存集的大小、打开文件描述符的数量、分配堆栈的最大大小、CPU 时间、单个用户的最大线程数、Shell 进程所能使用的最大虚拟内存。同时,它支持硬资源和软资源的限制。

作为临时限制,ulimit 可以作用于通过使用其命令登录的 shell 会话,在会话终止时便结束限制,并不影响于其他 shell 会话。而对于长期的固定限制,ulimit 命令语句又可以被添加到由登录 shell 读取的文件中,作用于特定的 shell 用户。

如何使用ulimit

ulimit通过一些参数选项来管理不同种类的系统资源。在本节,我们将讲解这些参数的使用。

ulimit命令的格式为:

$ ulimit [options] [limit]
[options]

-H: 设置硬资源限制,一旦设置不能增加。如,ulimit -Hs 64;限制硬资源,线程栈大小为64K。

-S: 设置软资源限制,设置后可以增加,但是不能超过硬资源设置。如,ulimit -Sn 32;限制软资源,32个文件描述符。

-a: 显示当前所有的limit信息。如,ulimit -a;显示当前所有的limit信息。

-c: 最大的core文件的大小, 以blocks为单位。如,ulimit -c unlimited;对生成的core文件的大小不进行限制。

-d: 进程最大的数据段的大小,以Kbytes为单位。如,ulimit -d unlimited;对进程的数据段大小不进行限制。

-f: 进程可以创建文件的最大值,以 blocks 为单位。如,ulimit -f 2048;限制进程可以创建的最大文件大小为2048 blocks。

-l: 最大可加锁内存大小,以Kbytes为单位。如,ulimit -l 32;限制最大可加锁内存大小为32Kbytes。

-m: 最大内存大小,以Kbytes为单位。如,ulimit -m unlimited;对最大内存不进行限制。

-n: 可以打开最大文件描述符的数量。如,ulimit -n 128;限制最大可以使用128个文件描述符。

-p: 管道缓冲区的大小,以Kbytes为单位。如,ulimit -p 512;限制管道缓冲区的大小为512Kbytes。

-s: 线程栈大小,以Kbytes为单位。如,如,ulimit -s 512;限制线程栈的大小为512Kbytes。

-t: 最大的CPU占用时间,以秒为单位。 如,ulimit -t unlimited;对最大的CPU占用时间不进行限制。

-u: 用户最大可用的进程数。如,ulimit -u 64;限制用户最多可以使用64个进程。

-v: 进程最大可用的虚拟内存,如,以Kbytes为单位。如,ulimit -v 200000;限制最大可用的虚拟内存为200000Kbytes。

参数名对应选项含义
-a显示当前系统所有的limit资源信息,ulimit -a
core file size-c内核core文件的大小限制,单位为blocks
file size-f进程可以创建文件的最大值,单位为blocks
data seg size-d进程最大数据段的大小,单位为KB
max memory size-m进程可使用内存大小,单位为KB
open files-n用户可使用的文件描述符的最大数量
stack size-s最大堆栈大小,单位为KB
pipe size-p管道缓冲区大小,单位为KB
max user processes-u用户最大可用进程数
virtual memory-v进程最大可用虚拟内存,单位为KB
cpu time-t最大CPU占用时间,单位为秒
max locked memory-l最大加锁内存大小,单位为KB

ulimit使用实例

用户进程的有效范围

ulimit 作为对资源使用限制的一种工作,是有其作用范围的。那么,它限制的对象是单个用户,单个进程,还是整个系统呢?事实上,ulimit 限制的是当前 shell 进程以及其派生的子进程。举例来说,如果用户同时运行了两个 shell 终端进程,只在其中一个环境中执行了 ulimit -s 100,则该 shell 进程里创建文件的大小收到相应的限制,而同时另一个 shell 终端包括其上运行的子程序都不会受其影响。

$ ll -h newfile 
-rw-r--r--. 1 root root 223K 4月  23 09:16 newfile
$ ulimit -f 100
$ cat newfile > shell1
File size limit exceeded (core dumped)
$ ll -h shell1
-rw-r--r--. 1 root root 100K 4月 23 09:20 shell1
$ cat newfile > shell2
$ ll -d shell2 
-rw-r--r--. 1 root root 227690 4月  23 09:23 shell2
$ ll -h shell2 
-rw-r--r--. 1 root root 223K 4月  23 09:23 shell2

那么,是否有针对某个具体用户的资源加以限制的方法呢?答案是有的,临时生效(不限制打开文件大小限制):

$ ulimit -f unlimited

或通过修改系统的/etc/security/limits.conf配置文件。该文件不仅能限制指定用户的资源使用,还能限制指定组的资源使用。该文件的每一行都是对限定的一个描述,格式如下:

#格式:<domain> <type> <item> <value>
#domain:表示用户或组的名字,还可以使用*作为通配符,表示所有用户。
#type:表示限制类型,soft表示软资源限制,设置后可以超过软资源限制,但是不能超过硬资源限制;hard表示硬资源限制,一旦设置不能超过限制。
#item:表示需要限定的资源名称,常用的有nofile(用户可用文件描述符最大数量)、CPU(占用CPU时间)、statck(最大堆栈大小)、noproc(用户最大可用进程数)等。
#value:表示限制资源的具体值。
#举例:
 * soft noproc 65535
 * hard noproc 65535
 * soft nofile 65535
 * hard nofile 65535

通过添加对应的一行描述,则可以产生相应的限制。例如:

 * hard noflle 100

该行配置语句限定了任意用户所能创建的最大文件数是 100。现在已经可以对进程和用户分别做资源限制了,看似已经足够了,其实不然。很多应用需要对整个系统的资源使用做一个总的限制,这时候我们需要修改/proc下的配置文件。/proc目录下包含了很多系统当前状态的参数,例如/proc/sys/kernel/pid_max,/proc/sys/net/ipv4/ip_local_port_range等等,从文件的名字大致可以猜出所限制的资源种类。由于该目录下涉及的文件众多,在此不一一介绍。有兴趣的读者可打开其中的相关文件查阅说明。

使用ulimit限制shell的内存使用

在这一小节里向读者展示如何使用-d,-m 和-v 选项来对shell所使用的内存进行限制。首先我们来看一下不设置ulimit限制时调用ls命令的情况:

$ ll shell1 -l
-rw-r--r--. 1 root root 227690 4月  23 09:16 shell1

大家可以看到此时的 ls 命令运行正常。下面设置 ulimit:

$ ulimit -d 1000 -m 1000 -v 1000
这里再温习一下前面章节里介绍过的这三个选项的含义:

-d:设置数据段的最大值。单位:KB。

-m:设置可以使用的常驻内存的最大值。单位:KB。

-v:设置虚拟内存的最大值。单位:KB。

通过上面的 ulimit 设置我们已经把当前 shell 所能使用的最大内存限制在 1000KB 以下。接下来我们看看这时运行 ls 命令会得到什么样的结果:

$ ll shell1 -l
Segmentation fault (core dumped)

使用ulimit限制程序所能创建的socket数量

考虑一个现实中的实际需求。对于一个 C/S 模型中的 server 程序来说,它会为多个 client 程序请求创建多个 socket 端口给与响应。如果恰好有大量的 client 同时向 server 发出请求,那么此时 server 就会需要创建大量的 socket连接。但是在 Linux 下一切资源皆文件,普通文件是文件,磁盘打印机是文件,socket 当然也是文件。在 Linux 下创建一个新的socket 连接,实际上就是创建一个新的文件描述符。而Linux对单进程能打开的文件描述符是有限制的,默认单进程能打开的最大文件数量为1024,。ulimit 并没有哪个选项直接说是用来限制socket的数量的。但是,我们有-n这个选项,它是用于限制一个进程所能打开的文件描述符的最大值。如下所示(查看某个进程当前打开的文件描述符信息):

$ ll /proc/36766/fd
总用量 0
lr-x------. 1 root root 64 4月  23 09:31 0 -> /dev/null
l-wx------. 1 root root 64 4月  23 09:31 1 -> /mydata/localhost.localdomain.err
lrwx------. 1 root root 64 4月  23 09:31 10 -> /mydata/ib_logfile1
lrwx------. 1 root root 64 4月  23 09:31 11 -> socket:[115703]
lrwx------. 1 root root 64 4月  23 09:31 12 -> /tmp/ibLxLFBt (deleted)
l-wx------. 1 root root 64 4月  23 09:31 13 -> /mydata/mysql-bin.000001
lrwx------. 1 root root 64 4月  23 09:31 14 -> socket:[115704]
lrwx------. 1 root root 64 4月  23 09:31 15 -> /mydata/mysql/host.MYI
.......................

因此,我们可以通过使用ulimit -n来限制但进程所能打开的最大文件描述符数量,默认单进程打开的文件描述符为1024,就是代表单个进程只能同时最多只能维持1024甚至更少(因为有其它文件的句柄被打开)。如果开启4个进程维持用户链接,那么整个应用能够同时维持的连接数不会超过4*1024个,也就是说最多只能支持4×1024个用户在线。可以增大这个设置以便服务能够维持更多的TCP连接,从而达到限制socket创建的数量。

如果单个进程打开的文件句柄数量超过了系统定义的值,就会提到“too many files open”的错误提示。如何知道当前进程打开了多少个文件句柄呢?通过lsof命令可以帮你查看:

$ lsof -n |awk '{print $2}'|sort|uniq -c |sort -nr| head -n 2
    126 7015
     93 1831

上面说明了,7015进程打开了126个文件描述符,你可以通过ps命令看看7015这个进程是什么服务(这里都是以我的举例说明的,你在实验时要根据自己的进程进行查看,相信你有这个意识)。

修改单进程所能打开的最大文件数

1)ulimit -n 102400

这只是在当前终端有效,退出之后,open files又变为默认值。

2)将ulimit -n 102400写到/etc/profile中,这样每次登录终端时,都会自动执行/etc/profile。

3)令修改open files的数值永久生效,则必须修改配置文件:/etc/security/limits.conf在这个文件后加上:

* soft nofile 1024000
* hard nofile 1024000
root soft nofile 1024000
root hard nofile 1024000

ulimit使用注意事项

修改完配置文件后要退出SSH终端,重新登录会话才能生效。

除了limits.conf还有一个/etc/security/limits.d目录,系统会默认优先读取并使用这个目录下的配置文件,再读取limits.conf的配置,如果有重复的配置,以/etc/security/limits.d目录下的配置文件为准。

正在运行的应用不会读取新添加的ulimit资源限制,在应用重启后资源限制才生效。

ulimit修改可使用文件描述符最大数量不能超过1048576(1024*1024),如果要提高整个数量需要修改内核参数/etc/sys/fs/nr_open

在这里插入图片描述

/etc/security/limits.conf件中的配置对system services不生效,只对通过PAM登录的用户生效,也就是说使用systemd管理的

服务进程是不受该配置文件影响。

在这里插入图片描述

systemd管理服务的修改方法

假设nginx服务由systemd进行管理,如果需要修改其资源限制,有以下两种方法:

  1. 使用ps aux|grep nginx获取nginx进程的id

    # ps aux |grep nginx
    root    2441  0.0  0.0  50176  5952 ?  Ss  18:30  0:00 nginx: master process /usr/sbin/nginx -g daemon on; master_process on;
    
  2. 执行cat /proc/nginx_id/limits查看当前生效的资源限制

    # cat /proc/2441/limits 
    Limit                     Soft Limit           Hard Limit           Units     
    Max cpu time              unlimited            unlimited            seconds   
    Max file size             unlimited            unlimited            bytes     
    Max data size             unlimited            unlimited            bytes     
    Max stack size            8388608              unlimited            bytes     
    Max core file size        0                    unlimited            bytes     
    Max resident set          unlimited            unlimited            bytes     
    Max processes             261206               261206               processes 
    Max open files            65536                65536                files     
    Max locked memory         65536                65536                bytes     
    Max address space         unlimited            unlimited            bytes     
    Max file locks            unlimited            unlimited            locks     
    Max pending signals       261206               261206               signals   
    Max msgqueue size         819200               819200               bytes     
    Max nice priority         0                    0                    
    Max realtime priority     0                    0                    
    Max realtime timeout      unlimited            unlimited            us   
    

全局修改

对于systemd管理的服务,可以通过修改全局配置/etc/systemd/system.conf或/etc/systemd/user.conf(对于所有的服务生效)

具体修改哪个全局配置文件取决systemd服务本身运行在系统实例还是用户实例(通常情况下运行在系统实例)。

# ps aux |grep systemd
root     1  0.5  0.0 158336 10176 ?        Ss   Mar30   7:54 /lib/systemd/systemd --system --deserialize 20

如上所示代表运行在系统实例状态,如果要以用户实例运行,把–system 换成–user即可。不过通常情况下都是系统实例状态。

 #在配置文件中添加如下内容
 DefaultLimitNOFILE=655360
 DefaultLimitNPROC=655360

修改配置后生效的方法有两种:

  • 重启系统
  • 执行systemctl daemon-reexec

使用daemon-reload无效原因

使用 systemctl daemon-reload不会刷新全局配置/etc/systemd/system.conf,引用serverfault.com对systemd-system.conf的说明:

不会刷新, daemon-reload 将重载所有单元文件,而不是 systemd 本身的配置。然而, systemctl daemon-reexec 将重新执行systemd,并使它在流程中消化其新配置。

来自 systemctl 手册页:

daemon-reexec
       Reexecute the systemd manager. This will serialize the manager
       state, reexecute the process and deserialize the state again. This
       command is of little use except for debugging and package upgrades.
       Sometimes, it might be helpful as a heavy-weight daemon-reload.
       While the daemon is being reexecuted, all sockets systemd listening
       on behalf of user configuration will stay accessible.

当手册页说daemon-reexec用于包升级时,它在很大程度上意味着这个命令将执行任何新的二进制文件,并重新处理它的配置。但是,我们用来升级systemd的RPM已经包含了这样做的脚本,所以在正常升级的情况下通常不需要它。

Or you can reboot. Either will do.

换句话说,daemon-reexec 将重新执行systemd管理程序,重新读取系统配置文件,而daemon-reload只会去读service部分的配置,不包含全局配置/systemd/system.conf,相当于重量级的daemon-reload.

单个服务修改

如果只修改单个服务的资源限制,以nginx为例,需编辑/usr/lib/systemd/system/nginx.service

找到[Service段],添加如下配置

[Service]
LimitNOFILE=655360
LimitNPROC=655360

运行如下命令,配置立即生效

# systemctl daemon-reload
# systemctl restart nginx.service

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/28295.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

市面上主流源表软件全面对比,总有一款适合你!

在电测行业中&#xff0c;在对高精度的电压、电流或电流电压源进行测量扫描时就要请出我们的小伙伴“源表“。 它精确的采集能力以及为各种低电平测量应用提供额外的灵活性让它成为了电测行业中不和或缺的一员。而作为和它配合的搭档源表软件也在电测行业中有着重要的作用。 …

【排序专题】不会吧,不会吧居然还有人不懂排序算法?有彩蛋哦

文章目录1. 冒泡排序2. 选择排序3. 简单插入排序4. 希尔排序-->简单插入排序演变5. 归并排序(递归版本)6. 归并排序(非递归版本)7. 荷兰国旗问题8.由荷兰国旗问题进而引出快速排序 and 快速排序1.0版本9.快速排序2.0版本(挖坑法)10.快速排序 3.0版本(随机取数法)11.堆排序12…

AOP结合注解实现项目中接口调用情况监控

一、概述 项目中经常会遇到这样一个需求&#xff0c;需要监控每个controller中接口被调用的情况。 比如某个接口被调用的时间&#xff0c;哪个用户调用的&#xff0c;请求参数是什么&#xff0c;返回值是什么等等。 并且调用情况需要存储到数据库中&#xff0c;此时就可以AO…

三十二、Java LinkedList

Java LinkedList 链表&#xff08;Linked list&#xff09;是一种常见的基础数据结构&#xff0c;是一种线性表&#xff0c;但是并不会按线性的顺序存储数据&#xff0c;而是在每一个节点里存到下一个节点的地址。 链表可分为单向链表和双向链表。 一个单向链表包含两个值: 当…

JavaEE——Servlet中的session

之前的博客中提到&#xff0c;cookie是为了浏览器能够在本地保存数据而产生的机制&#xff0c;是在浏览器工作的。而session则是与之对应的&#xff0c;在客户端工作的。一个服务器对应多个客户端&#xff0c;每个客户端都有自己的session&#xff0c;以sessionId为key&#xf…

python进阶(28)import导入机制原理

前言 在Python中&#xff0c;一个.py文件代表一个Module。在Module中可以是任何的符合Python文件格式的Python脚本。了解Module导入机制大有用处。 1. Module组成 一个.py文件就是一个module。Module中包括attribute, function等。 这里说的attribute其实是module的global vari…

[ros2实操]2-ros2的消息和ros1的消息转换

记录一下ros2和ros1消息互传的操作 !!!需要注意的是,只有ros1订阅了相关ros2的消息时,ros1_bridge节点才会转发相关消息. 参考链接 1,docker镜像链接:待定 2,github教程:Bridge communication between ROS 1 and ROS 2 一.准备步骤 为在自己原来的系统ubuntu1804上同时安装…

[附源码]SSM计算机毕业设计基于ssm的电子网上商城JAVA

项目运行 环境配置&#xff1a; Jdk1.8 Tomcat7.0 Mysql HBuilderX&#xff08;Webstorm也行&#xff09; Eclispe&#xff08;IntelliJ IDEA,Eclispe,MyEclispe,Sts都支持&#xff09;。 项目技术&#xff1a; SSM mybatis Maven Vue 等等组成&#xff0c;B/S模式 M…

通过五个维度比较分析关键容灾技术

【摘要】每一种容灾技术方案,可以从实现的技术复杂度、需要投入的成本、需要承担的风险、技术的先进性、技术的成熟度等几个方面来综合评估,寻求适合企业的最佳技术组合方案。本文对几类关键容灾技术进行了比较分析。(文中涉及相关技术产品最新参数请以官网最新发布为准) …

【SpringBoot】SpringBoot开启MyBatis缓存+ehcache(一二级缓存和myBatis的差不多,第三方缓存是jar包的不一样)

文章目录第三方缓存1、导jar包2、配置文件ehcache.xml3、EnableCaching开启缓存4、application.yml读取配置文件5、使用缓存&#xff08;注解Cacheable&#xff09;Cacheable的三个属性&#xff1a;value、key和condition▶测试&#xff1a;root对象可以用来生成keyCachePutCac…

LeetCode HOT 100 —— 4.寻找两个正序数组的中位数

题目 给定两个大小分别为 m 和 n 的正序&#xff08;从小到大&#xff09;数组 nums1 和 nums2。请你找出并返回这两个正序数组的 中位数 。 算法的时间复杂度应该为 O(log (mn)) 思路 正序数组&#xff0c;立即推—>二分查找 如果本题不要求时间复杂度O&#xff08;log…

光点数据可视化解决方案,助力新型智慧城市打造_光点科技

随着城市化进程的快速发展&#xff0c;智慧城市逐渐从理论理念演变为实践。智慧城市作为一个极其复杂的城市数字化建设和运营系统&#xff0c;涵盖了大量的智能交通、智能物流、智能公园等子系统。对于智慧城市解决方案提供商和集成商来说&#xff0c;其数据可视化产品的统一监…

View的绘制流程

view的绘制流程主要为measure&#xff0c;layout&#xff0c;draw三个阶段 View与window的逻辑结构如图所示&#xff1a; ViewRootImpl&#xff08;替代ViewRoot&#xff09;类&#xff0c;是连接WindowMannager和DecorView的纽带&#xff0c;View的三大流程均是通过ViewRoot完…

godoc安装与go文档查询

前言 最近在用go语言做项目&#xff0c;语法还是很简单的&#xff0c;但是API不熟悉&#xff0c;&#x1f605;&#xff0c;另外也没有类似Java的Spring这样的独秀的IOC和AOP框架&#xff0c;灵活度很大&#xff0c;经常需要查询文档&#xff0c;但是godoc从go1.14.2开始就从内…

【CNN】MobileNet——卷积神经网络中轻量级的经典

前言 MobileNet 系列 是 Andrew G. Howard&#xff08;Google Inc.&#xff09; 等人于 2017 年&#xff08;其实是 2016 年先于 Xception 已经提出&#xff0c;但是直到 2017 年才挂到 arXiv 上&#xff09;在 MobileNets: Efficient Convolutional Neural Networks for Mobi…

干货 | 如何在子查询和联接之间选择

在 联接与子查询&#xff1a;哪个更快&#xff1f;文章我们了解到连接往往比子查询执行得更快。话虽如此&#xff0c;这并不是一条通用准则&#xff0c;因此你可能不希望自动假设联接更可取。正如那篇文章中提到的&#xff0c;如果你需要在查询添加许多联接&#xff0c;数据库服…

分治算法Divide and Conquer

评价 它可以减少运行的时间&#xff0c;很多问题如果暴力求解需要O(n^2)的复杂度&#xff0c;而通过分治可以减少到O&#xff08;nlogn&#xff09; 当与随机化技术相结合时&#xff0c;分治的功能很强大 分治算法的步骤 1.先将大的问题分解为一个个小的子问题 2.对每一个子…

swift内存绑定

swift提供了3种不同的API来绑定/重新绑定指针 assumingMemoryBound(to:)bindMemory(to: capacity:)withMemoryRebound(to: capacity: body:) 绕过编译器检查 - assumingMemoryBound 就是假定内存绑定 func testPointer(_ p: UnsafePointer<Int>) {print(p) } let tup…

Tomcat运行流程、Servlet运行原理以及常用API

文章目录Servlet原理Tomcat 的定位Tomcat 的伪代码Tomcat 初始化流程Tomcat处理请求总结Servlet的核心APIHttpServletHttpServletRequestHttpServletResponseCookie 和 SessionServlet原理 Servlet终究是属于应用层&#xff0c;它是在应用层进行的一系列操作&#xff0c;它的底…

Prometheus Operator 实战 监控 etcd 集群

上节课和大家讲解了 Prometheus Operator 的安装和基本使用方法&#xff0c;这节课给大家介绍如何在 Prometheus Operator 中添加一个自定义的监控项。 除了 Kubernetes 集群中的一些资源对象、节点以及组件需要监控&#xff0c;有的时候我们可能还需要根据实际的业务需求去添…