【云原生-深入理解Kubernetes-2】容器 Linux Cgroups 限制

news2024/11/19 14:54:35

文章目录

  • 系列文章目录
  • 👹关于作者
  • 回顾
  • 一、Docker Engine 和 Hypervisor 区别
  • 二、容器比虚拟机受欢迎？
    • 优势
    • 劣势
  • 三、Linux Cgroups 限制
    • 使用 Cgroups 子系统配置文件
      • - 前提知识
      • - 限制
  • ✊ 最后

在这里插入图片描述

系列文章目录

【云原生-深入理解Kubernetes-1】容器的本质是进程


👹关于作者

大家好，我是秋意零。

😈 CSDN作者主页

  • 😎 博客主页

👿 简介

  • 👻 普通本科生在读
  • 在校期间参与众多计算机相关比赛，如：🌟 “省赛”、“国赛”，斩获多项奖项荣誉证书
  • 🔥 各个平台，秋意零 账号创作者
  • 🔥 云社区 创建者
点赞、收藏+关注下次不迷路！

欢迎加入云社区

回顾

上一章提到，容器本质是一个进程，通过 Linux 系统 NameSpace 技术实现资源隔离（障眼法），通过它修改了进程看待整个操作系统“视角”，只能看到某些指定的内容。

一、Docker Engine 和 Hypervisor 区别

  • 在之前虚拟机与容器技术的对比图中，不应该把 Docker Engine（或其他容器管理工具） 跟 Hypervisor 放在相同的位置，因为 Hypervisor 是对创建出来的虚拟机隔离环境负责，而 Docker Engine（或其他容器管理工具）是借助宿主机本身 NameSpace 实现的。
  • 所以应该把 Docker Engine（或其他容器管理工具）放在和宿主机其他应用程序同级别的位置。都是宿主机统一管理，只不过这些进程设置了 Namespace 参数。而 Docker 在这里，更多的是辅助和管理。

在这里插入图片描述

二、容器比虚拟机受欢迎？

优势

  • 因为虚拟机必须包含一个操作系统，进而让应用进程运行在这个虚拟机操作系统之上，这就不可避免地带来了额外的资源消耗和占用
  • 根据实验，一个运行着 CentOS 的 KVM 虚拟机启动后，在不做优化的情况下，虚拟机自己就需要占用 100~200 MB 内存。此外，用户应用运行在虚拟机里面，它对宿主机操作系统的调用就不可避免地要经过虚拟化软件的拦截和处理，这本身又是一层性能损耗，尤其对计算资源、网络和磁盘 I/O 的损耗非常大。
  • 相对于容器，这些消耗和占用都是不存在的，所以 ** “敏捷”和“高性能”是容器相较于虚拟机最大的优势 ** 。

劣势

隔离不彻底

不过，有利就有弊，基于 Linux Namespace 的隔离机制相比于虚拟化技术也有很多不足之处，其中最主要的问题就是：隔离得不彻底。如果你要在 Windows 宿主机上运行 Linux 容器，或者在低版本的 Linux 宿主机上运行高版本的 Linux 容器，都是行不通的。

安全问题

因为共享宿主机内核，容器中的应用暴露出来的攻击面就很大，所以生产环境中，没有人敢把运行在宿主机上的容器直接暴露到公网上。

三、Linux Cgroups 限制

虽然对容器的进程使用了 NameSpace 技术，但是对于宿主机上的进程和容器进程是处于同等级别的资源竞争关系。这就意味着，比如 100 号进程表面被隔离起来了，但是它还是会使用到宿主机上的资源（CPU、内存），也会被其他宿主机上的进程强占用资源，当然自己这个 100 号进程也有可能把所有资源吃光。这时就需要使用 Linux Cgroups 进行资源限制。

  • Linux Cgroups 就是 Linux 内核中用来为进程设置资源限制的一个重要功能。
  • Linux Cgroups 的全称是 Linux Control Group。它最主要的作用，就是限制一个进程组能够使用的资源上限，包括 CPU、内存、磁盘、网络带宽等等。

Linux 中，Cgroups 给用户暴露出来的操作接口是文件系统，它以文件和目录的方式组织在 /sys/fs/cgroup 路径下，我们可以使用 mount -t 命令展现出来

[root@master ~]# mount -t cgroup
cgroup on /sys/fs/cgroup/systemd type cgroup (rw,nosuid,nodev,noexec,relatime,xattr,release_agent=/usr/lib/systemd/systemd-cgroups-agent,name=systemd)
cgroup on /sys/fs/cgroup/cpu,cpuacct type cgroup (rw,nosuid,nodev,noexec,relatime,cpuacct,cpu)
cgroup on /sys/fs/cgroup/cpuset type cgroup (rw,nosuid,nodev,noexec,relatime,cpuset)
cgroup on /sys/fs/cgroup/freezer type cgroup (rw,nosuid,nodev,noexec,relatime,freezer)
cgroup on /sys/fs/cgroup/memory type cgroup (rw,nosuid,nodev,noexec,relatime,memory)
cgroup on /sys/fs/cgroup/hugetlb type cgroup (rw,nosuid,nodev,noexec,relatime,hugetlb)
cgroup on /sys/fs/cgroup/net_cls,net_prio type cgroup (rw,nosuid,nodev,noexec,relatime,net_prio,net_cls)
cgroup on /sys/fs/cgroup/pids type cgroup (rw,nosuid,nodev,noexec,relatime,pids)
cgroup on /sys/fs/cgroup/blkio type cgroup (rw,nosuid,nodev,noexec,relatime,blkio)
cgroup on /sys/fs/cgroup/devices type cgroup (rw,nosuid,nodev,noexec,relatime,devices)
cgroup on /sys/fs/cgroup/perf_event type cgroup (rw,nosuid,nodev,noexec,relatime,perf_event)

可以看到，在 /sys/fs/cgroup 下面有很多诸如 cpuset、cpu、 memory 这样的子目录，也叫子系统。这些是可以被 Cgroups 进行限制的资源种类。

[root@master ~]# ll /sys/fs/cgroup/
total 0
drwxr-xr-x 5 root root  0 May 18 15:09 blkio
lrwxrwxrwx 1 root root 11 May 18 15:09 cpu -> cpu,cpuacct
lrwxrwxrwx 1 root root 11 May 18 15:09 cpuacct -> cpu,cpuacct
drwxr-xr-x 5 root root  0 May 18 15:09 cpu,cpuacct
drwxr-xr-x 3 root root  0 May 18 15:09 cpuset
drwxr-xr-x 5 root root  0 May 18 15:09 devices
drwxr-xr-x 3 root root  0 May 18 15:09 freezer
drwxr-xr-x 3 root root  0 May 18 15:09 hugetlb
drwxr-xr-x 5 root root  0 May 18 15:09 memory
lrwxrwxrwx 1 root root 16 May 18 15:09 net_cls -> net_cls,net_prio
drwxr-xr-x 3 root root  0 May 18 15:09 net_cls,net_prio
lrwxrwxrwx 1 root root 16 May 18 15:09 net_prio -> net_cls,net_prio
drwxr-xr-x 3 root root  0 May 18 15:09 perf_event
drwxr-xr-x 5 root root  0 May 18 15:09 pids
drwxr-xr-x 5 root root  0 May 18 15:09 systemd

在子系统对应的资源种类下，你就可以看到该类资源具体可以被限制的方法。

  • cpu.cfs_period_us ：限制进程在某一段时间内
  • cpu.cfs_quota_us ：只能被分配到总量为某一段 CPU 时间
[root@master ~]# ls /sys/fs/cgroup/cpu,cpuacct/
cgroup.clone_children  cpuacct.stat          cpu.cfs_quota_us   cpu.stat           system.slice
cgroup.event_control   cpuacct.usage         cpu.rt_period_us   kubepods.slice     tasks
cgroup.procs           cpuacct.usage_percpu  cpu.rt_runtime_us  notify_on_release  user.slice
cgroup.sane_behavior   cpu.cfs_period_us     cpu.shares         release_agent

使用 Cgroups 子系统配置文件

- 前提知识

我们在 /sys/fs/cgroup/cpu 目录下创建一个 container 目录，这个目录被称为“控制组”，操作系统会在你新创建的 container 目录下，自动生成该子系统对应的资源限制文件。

$ cd /sys/fs/cgroup/cpu
$ mkdir container

#自动生成该子系统对应的资源限制文件。
$ ls container/
cgroup.clone_children  cpuacct.usage         cpu.rt_period_us   notify_on_release
cgroup.event_control   cpuacct.usage_percpu  cpu.rt_runtime_us  tasks
cgroup.procs           cpu.cfs_period_us     cpu.shares
cpuacct.stat           cpu.cfs_quota_us      cpu.stat

后台运行 while 死循环，并返回改进程号（PID）是 98158，也可以使用 jobs 命令查看后台进程号（PID）是多少

$ while : ; do : ; done &
[1] 98158

$ jobs -l
[1]+ 98158 Running                 while :; do
    :;
done &

使用 top 命令，可以看到 CPU 利用率，可以把我 2核 CPU 占用了 50%

$ top
%Cpu(s): 50.0 us,  3.1 sy,  0.0 ni, 46.9 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st

现在我们查看 container 目录下的 cpu.cfs_quota_us 文件默认内容是 -1 表示没有任何限制， cpu.cfs_period_us 文件默认内容是 100000 us（100ms）

[root@test_2 cpu]# cat /sys/fs/cgroup/cpu/container/cpu.cfs_quota_us
-1
[root@test_2 cpu]# cat /sys/fs/cgroup/cpu/container/cpu.cfs_period_us
100000

- 限制

我们可以通过修改上诉两个文件内容，来限制某个进程 cpu 利用率

向 container 组里的 cpu.cfs_quota_us 文件写入 10000 us （10ms），这意味着每 100 ms 的时间里，被改控制组限制的进程只能使用 10 ms 的 CPU 时间，也就是说只能使用到 10% 的 CPU 带宽。

[root@test_2 cpu]# echo 10000 > /sys/fs/cgroup/cpu/container/cpu.cfs_quota_us

我们把限制的进程 PID 写入 container 组里的 tasks 文件，这样能对该进程进行限制了

$ echo 98158 > /sys/fs/cgroup/cpu/container/tasks

可以看到之前的 CPU 使用率为 50%，现在为 5.2%，在 50%的基础上，使用率只要 10% 了，也就是 5%

$ top
%Cpu(s):  5.2 us,  0.5 sy,  0.0 ni, 94.3 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st

对于容器来说，它在 system.slice 子系统下面，为每个容器创建以 docker-容器id.scope 命名为规则的目录，容器启动进程之后，把这个进程的 PID 填写到对于的控制组的 tasks 文件即可。

$ docker run -dit --cpu-period=100000 --cpu-quota=20000 --name=qyl_centos  centos
e2a823c812f71c594990308a06c5c4c805a2285851c0418ab086e366ef8006c5

$ ls /sys/fs/cgroup/cpu,cpuacct/system.slice/docker-e2a823c812f71c594990308a06c5c4c805a2285851c0418ab086e366ef8006c5.scope
cgroup.clone_children  cpuacct.stat          cpu.cfs_period_us  cpu.rt_runtime_us  notify_on_release
cgroup.event_control   cpuacct.usage         cpu.cfs_quota_us   cpu.shares         tasks
cgroup.procs           cpuacct.usage_percpu  cpu.rt_period_us   cpu.stat

查看 qyl_centos 容器的 PID 是多少，这里可以看到是 1822

[root@master01 ~]# docker top qyl_centos
UID                 PID                 PPID                C                   STIME               TTY                 TIME                CMD
root                1822                1801                0                   15:54               pts/0               00:00:00            /bin/bash

查看 tasks 文件中进程 PID，可以看到是 1822，与上述 qyl_centos 容器 PID 一致

$ cat /sys/fs/cgroup/cpu,cpuacct/system.slice/docker-e2a823c812f71c594990308a06c5c4c805a2285851c0418ab086e366ef8006c5.scope/tasks
1822

也可以看 cpu.cfs_period_us 和 cpu.cfs_quota_us 是和 docker run 运行容器时限制一致

$ cat /sys/fs/cgroup/cpu,cpuacct/system.slice/docker-e2a823c812f71c594990308a06c5c4c805a2285851c0418ab086e366ef8006c5.scope/cpu.cfs_period_us
100000

$ cat /sys/fs/cgroup/cpu,cpuacct/system.slice/docker-e2a823c812f71c594990308a06c5c4c805a2285851c0418ab086e366ef8006c5.scope/cpu.cfs_quota_us
20000

✊ 最后

👏 我是秋意零，欢迎大家一键三连、加入云社区

👋 我们下期再见(⊙o⊙)！！！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/541466.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

一文理解RocketMQ

一文理解RocketMQ

概述 RocketMQ是阿里开发的基于JMS的分布式消息中间件，是由纯JAVA实现的。放弃了比较重量级的Zookeeper作为注册中心，使用自研的NameServer实现元数据的管理，支持事务消息，顺序消息，批量消息，定时消息以及消…
阅读更多...
软件体系结构复习题

软件体系结构复习题

2020 论述题 统一软件过程RUP：用例驱动、以架构为中心的迭代增量开发 一个用例可能需要多个功能来实现，一个功能也可能被用于多个用例 边界类、控制类、实体类 顺序图、通信图、定时图、交互概述图 扩展关系《extend》、包含关系《include》、…
阅读更多...
python将图片批量排版插入Word文档

python将图片批量排版插入Word文档

今天分享一个将图片批量插入word文档的小脚本，本脚本可以实现 jpg\png图片，可以混合在一起！ 首先 我们需要设置每页word文档的排版需求，如：每页6张图片，一共是3行2列 pics_per_page 6，这是每页…
阅读更多...
解说天下之操作系统

解说天下之操作系统

解说天下之操作系统 本文由桌案drawon (https://www.drawon.cn)，云晶（https://www.yunjingxz.com）创始人根据多年从业经验， 从操作系统的起源，应用分类， 设计分类，以及资源使用角度对操作系统进…
阅读更多...
leetcode 数据库题 175~185

leetcode 数据库题 175~185

leetcode 数据库题 175. 组合两个表176. 第二高的薪水177. 第N高的薪水178. 分数排名180. 连续出现的数字181. 超过经理收入的员工182. 查找重复的电子邮箱183. 从不订购的客户184. 部门工资最高的员工185. 部门工资前三高的所有员工小结 嗯。。。数据库题目就不贴原题内容了&…
阅读更多...
00后是真卷不过，工作没两年，跳槽到我们公司起薪20K都快接近我了

00后是真卷不过，工作没两年，跳槽到我们公司起薪20K都快接近我了

在程序员职场上，什么样的人最让人反感呢? 是技术不好的人吗?并不是。技术不好的同事，我们可以帮他。 是技术太强的人吗?也不是。技术很强的同事，可遇不可求，向他学习还来不及呢。 真正让人反感的，是技术平平&…
阅读更多...
cocosCreator自动化打包工具

cocosCreator自动化打包工具

前言： 使用nodeJs脚本化Cocos Creator自动化构建、编译。 版本：cocosCreator2.4.5。 简述：使用自动化构建-编译工具前提，你终端上配置了相关的环境，比如JDK、NDK、SDK（对于原生平台）&#xff0c…
阅读更多...
Express实战个人订阅号实现网站登录

Express实战个人订阅号实现网站登录

今天我们来实现一个使用个人订阅号实现网站的功能，后端使用的是 express 。其它框架原理基本一致，只是定义路由或返回响应数据部分代码跟 express 有所出入。先来一波效果图： 1. 前言 20 年 3 月在掘金写过一篇文章，介绍了使用 e…
阅读更多...
使用cmake 构建构建新项目的时候，编译提示库找不到怎么办？

使用cmake 构建构建新项目的时候，编译提示库找不到怎么办？

昨天帮其他部门同事解决Linux下Qt编译找不到Qt 依赖库 core的问题。过程很有特征性，可以推广到Linux下使用cmake构建项目时找不到库文件的广泛性问题。 先上图，结合事情经过讲述： 事情经过： 这里给大家介绍第一个重点&#xff1…
阅读更多...
秘塔写作猫

秘塔写作猫

秘塔写作猫是集AI智能写作、多人协作、改写润色、文本校对等功能为一体的AI原生创作平台，可以帮助不同群体大幅提升写作效率和生产力。 接下来小编就带大家了解一下该软件具体的一些功能，不论你是学生、上班族还是自媒体从业者等，该工具绝对可…
阅读更多...
箭头函数与普通的函数有什么区别-M

箭头函数与普通的函数有什么区别-M

箭头函数与普通的函数有什么区别 1、写法不同 在 js 中，像命名式函数、函数表达式都称为普通函数。对于普通函数，需要用function关键字来声明。而箭头函数则不需要使用function关键字，在箭头前面的括号里面写参数，后面的大括号里…
阅读更多...
Linux 安装MySQL-5.7.30

Linux 安装MySQL-5.7.30

1.官网下载MySQL 进入官网https://www.mysql.com/ 从下载页面下载社区版本其中社区版本免费，免费的午餐不提供技术支持. 页面中MySQL Enterprise Edition是企业版，企业版收费但是会提供技术支持， 点击图中红框下载社区版本 选择Download Arc…
阅读更多...
AC,AP以及三阶段项目

AC,AP以及三阶段项目

特点：access：连接终端设备 只能通过1个vlan trunk：交换机与交换机相连 可以通过多个vlan 共同特点：交换机的端口收发数据的规则： 收：如果收到的数据，没有携带任何标签，则使用该端口…
阅读更多...
01SpringCloudRibbon负载均衡

01SpringCloudRibbon负载均衡

Ribbon负载均衡 Ribbon Eureka帮我们集成了负载均衡组件：Ribbon，简单修改代码即可使用。 什么是Ribbon：客户端负载均衡组件 开启负载均衡 1、Eureka中已经集成了Ribbon，所以我们无需引入新的依赖，直接修改代码。 2、…
阅读更多...
Redis的主从集群搭建与配置

Redis的主从集群搭建与配置

文章目录 Redis主从集群模式搭建过程分级管理容灾冷处理 Redis主从集群模式 Redis的集群模式 主从复制模式：利用主从复制原理，一主多从架构。读写分离，主节点可读可写，从节点只能提供读服务。哨兵模式：哨兵实现了自动化…
阅读更多...
Vue 3 + Element Plus 简单用法

Vue 3 + Element Plus 简单用法

Element Plus： A Desktop UI toolkit for Vue.js 即 Vue 桌面 UI 工具包 基于 Vue 2 的组件库和基于 Vue 3 的组件库安装方法不同，基于 Vue 3 的组件库叫做 Element Plus。 MDBootstrap 与 Element UI 区别： MD Bootstrap vs ElementUI: W…
阅读更多...
如何在金融企业推进故障演练？中国人寿分阶段实践总结

如何在金融企业推进故障演练？中国人寿分阶段实践总结

一分钟精华速览 越来越多企业正在通过故障注入和演练的方式提升系统可靠性，这其中金融行业的应用较为特殊。一方面其可靠性要求比非涉账类系统更高；另一方面金融行业有更加严格的监管要求，如客户、账目等信息都有严格约束。加之金融系统较其…
阅读更多...
ActiveMQ基础学习简单记录

ActiveMQ基础学习简单记录

ActiveMQ基础学习简单记录 JMS是什么JMS消息模型JMS Message Type Activemq安装概念强化JMS的跨平台性JMS通用接口JMS希望达到的目标是什么 Activemq发送消息的三种模式至少一次至多一次精确一次可重复确认模式小结 Activemq支持众多协议Activemq支持的定时消息,延迟消息,优先级…
阅读更多...
【C++技能树】类和对象的使用 --初始化列表,static,友元,内部类,匿名对象的理解与使用

【C++技能树】类和对象的使用 --初始化列表,static,友元,内部类,匿名对象的理解与使用

Halo，这里是Ppeua。平时主要更新C语言，C，数据结构算法…感兴趣就关注我bua！ 类和对象的使用 0. 初始化列表explicit关键字 1.Static静态成员变量2.友元2.1.友元函数2.2.友元类 3.内部类4.匿名对象4.匿名对象至此初始化列表,static…
阅读更多...
【Linux】2. Shell运行原理与Linux权限操作

【Linux】2. Shell运行原理与Linux权限操作

专栏导读 🍁作者简介：余悸，在读本科生一枚，致力于 C方向学习。 🍁收录于 C 专栏，本专栏主要内容为 C 初阶、 C 进阶、 STL 详解等，持续更新中！ 🍁相关专栏推荐&#xff1…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023