一、cgroup资源配置方法

1.cgroup概念

cgroup（control group控制族群）

（1）什么是cgroup

        和namespace类似，也是将进程进程分组，但是目的与namespace不一样，namespace是为了隔离进程组之前的资源，而cgroup是为了对一组进程进行统一的资源监控和限制。

（2）为什么要使用cgroup

        在Linux里，对进程进程分组，比如Session group、process group等，后来需要追踪一组进程的内存和IO使用情况，出现了cgroup，用来统一对进程进行分组，并在分组的基础上对进程进程监控和资源控制管理等。

（3）cgroup的作用

        cgroup（control group控制族群）是一个内核特性，用于限制、统计、隔离一组进程的资源（CPU、内存、磁盘、网络等），首字母不要大写。Docker通过cgroup来控制容器使用的资源配额,包括CPU、内存、磁盘三大方面,基本覆盖了常见的资源配额和使用量控制。

cgroup 主要功能包括：

• 资源限制：限制一组进程的可用资源阈值。
• 资源监控：监控 cgroup 级别的资源使用状态。
• 进程控制：控制（挂起 or 恢复）cgroup 中的所有进程。
• 优先级控制：控制不同 cgroup 的优先级，当资源不足时，优先满足优先级高的 cgroup。

        控制族群就是按照一组某种标准划分的进程。Cgroup中的资源控制都是以控制族群为单位实现。一个进程可以加入到某个控制族群，也可以从一个进程组迁移到另一个控制族群。一个进程组的进程可以使用cgroups以控制族群为单位分配资源，同时受到cgroups以控制族群为单位设定限制。

注意：

• 单数形式（cgroup）指所有特性，也可以作为“cgroup controllers”的修饰。
• 复数形式（cgroups）指多个 cgroup。

（4）docker利用cgroup隔离其命名空间

cgroup是一种资源控制手段,也是容器隔离的6个名称空间的一种实现手段

Docker 是一款常用的容器化管理工具，其中的命名空间是其重要特性之一。Docker 命名空间可以分为六种类型，每种类型都有其独特的作用和用途。下面一一介绍这六种命名空间：

1. Mount (mnt)

这种命名空间隔离的是挂载点。通过这个空间，我们可以在容器中挂载文件系统，而不会影响到主机系统的挂载点，实现了文件系统的隔离。

2. Process ID (pid)

这种命名空间隔离了进程 ID。使用这种空间可以将容器内部的进程 ID 隔离开来，从而避免与宿主机的进程 ID 冲突。

3. Network (net)

这种命名空间隔离的是网络配置。通过这个空间，我们可以自定义容器的网络配置，而不会影响到宿主机或其他容器的网络配置，实现了网络的隔离。

4. Interprocess Communication (ipc)

这种命名空间隔离的是进程间通信。使用这个空间，可以将容器内部的进程间通信隔离，避免与宿主机或其他容器的进程间通信冲突。

5. User ID (user)

这种命名空间隔离的是用户 ID。使用这种命名空间可以让容器内部的用户 ID 和宿主机上的用户 ID 隔离开来，从而避免权限问题。

6. UTS Namespace (uts)

这种命名空间隔离的是主机的主机名和域名。使用这种空间可以让容器内部有独立的主机名和域名，而不会影响到宿主机的主机名和域名。

当我们需要在 Docker 中进行资源隔离和管理时，这些命名空间 是非常有用的。通过这些命名空间，可以更好地隔离各个容器之间的资源，从而使容器的资源利用更加高效，保持容器的互相独立性。

每个容器相当于一个进程

进程相当于资源

（5）docker中的cgroup驱动器

对于cgroup的操作驱动，大多数linux发行版上，操作系统默认的驱动都为systemd。

docker支持的cgroup驱动器有两个：cgroupfs和systemcd

• cgroupfs是文件驱动修改，内核功能没有提供任何的系统调用接口，而是对 linux vfs 的一个实现，因此可以用类似文件系统的方式进行操作。
• systemd封装了 cgroups 的软件也能让你通过它们定义的接口控制 cgroups 的内容，因此是通过接口调用驱动修改。

docker默认的cgroup的驱动为cgroupfs,可通过启动参数native.cgroupdriver=systemd进行修改
Kubernetes的默认驱动和docker的驱动是一致的。
因为多数linux发行版的cgroup的驱动为systemd，所以当再选择cgroupfs作为驱动时，会致使操作系统中存在两个cgroup驱动，会带来不稳定的影响。所以在系统已经使用systemd的基础上，配置不推荐使用cgroupfs，直接使用systemd即可。

二、使用 Stress 工具测试 CPU 和内存

1.用 Stress 工具测试 CPU 和内存

[root@localhost ~]# docker pull centos:7 
[root@localhost ~]# cd /root/stress/

[root@localhost ~]# vim /root/stress/Dockerfile
FROM centos:7 
MAINTAINER 5CC 
RUN yum -y install wget 
RUN wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo 
RUN wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo 
RUN yum -y install stress 


[root@localhost ~]# cd /root/stress 
[root@localhost stress]# docker build -t centos:stress .


[root@localhost stress]# docker run -tid --name cpu100 --cpu-shares 100 centos:stress stress -c 10
[root@localhost ~]# docker exec -it cpu100 bash

备注：

stress是一个压力测试工具，用于测试cpu和内存的负载

cpu.shares。这个值是 CPU  cgroup 对于控制组之间的 CPU 分配比例，它的缺省值是 1024。

-c：运行10个stress进程

使用cpu share命令设置容器使用cpu的优先级

[root@localhost ~]# docker run -tid --name cpu512 --cpu-shares 512 centos:stress stress -c 10 

[root@localhost ~]# docker exec -it cpu512 bash
进入容器用top命令查看资源利用情况

设置cpu资源翻倍

[root@localhost~]#docker run -tid --name cpu1024 --cpu-shares 1024 centos:stress stress -c 10 
[root@localhost ~]# docker exec -it cpu1024 bash

进入容器用top命令查看资源利用情况

三个容器的对比（查看其中stress的进程数量）

备注：

测试完后删掉这三个容器

docker rm cpu100 -f

docker rm cpu512 -f

docker rm cpu1024 -f

2.CPU周期限制

[root@localhost ~]# docker run -tid --name mem --cpu-period 100000 --cpu-quota 200000 centos:stress 
[root@localhost ~]# docker exec -it mem bash
[root@738f9fc62048 /]# cat /sys/fs/cgroup/cpu/cpu.cfs_period_us 
[root@738f9fc62048 /]# cat /sys/fs/cgroup/cpu/cpu.cfs_quota_us

备注：

• --cpu-period 是用来指定容器对 CPU 的使用要在多长时间内做一次重新分配。
• --cpu-quota 是用来指定在这个周期内，最多可以有多少时间用来跑这个容器。
• cpu-period 和 cpu-quota 的单位为微秒（μs）

3.CPU Core 控制

[root@localhost ~]# docker run -tid --name cpu1 --cpuset-cpus 0-2 centos:stress

注意：docker主机需要更多的cpu内核，否则包含3个内核的容器无法创建，增加内核后重启一下docker主机

0-2表示0、1、2三个内核

[root@localhost ~]# docker exec -it cpu1 bash 
[root@5204fe18208e /]# cat /sys/fs/cgroup/cpuset/cpuset.cpus

4.CPU 配额控制参数的混合使用

[root@localhost ~]# docker run -tid --name cpu3 --cpuset-cpus 3 --cpu-shares 512 centos:stress stress -c 1 
[root@localhost ~]# docker exec -it cpu3 bash

进入容器用top命令查看资源利用情况

注意：

docker主机的cpu内核数量要大于等于满足配额数量

[root@localhost ~]# docker run -tid --name cpu4 --cpuset-cpus 3 --cpu-shares 1024 centos:stress stress -c 1
[root@localhost ~]# docker exec -it cpu4 bash

进入容器用top命令查看资源利用情况

对比两次的显示结果，重点查看%CPU这一列的值，应该为2:1的比例

stress -c 1 命令，将会给系统一个随机负载，产生 1 个进程

5.内存限额

允许该容器最多使用 200M 的内存和 300M 的 swap

[root@localhost ~]# docker run -it -m 200M --memory-swap=300M progrium/stress --vm 1 --vm-bytes 280M

备注：

--vm 1：启动 1 个内存工作线程

--vm-bytes 280M：每个线程分配 280M 内存

•  分配 280M 内存。
•  释放 280M 内存。
•  再分配 280M 内存。
•  再释放 280M 内存。
•  一直循环......

让工作线程分配的内存超过 300M，分配的内存超过限额，stress 线程报错，容器退出：

[root@localhost ~]# docker run -it -m 200M --memory-swap=300M progrium/stress --vm 1 --vm-bytes 310M

6.Block IO 的限制

默认情况下，所有容器能平等地读写磁盘，可以通过设置--blkio-weight 参数来改变容器block IO 的优先级。

--blkio-weight 与 --cpu-shares 类似，设置的是相对权重值，默认为 500。取值范围10--1000

在下面的例子中，容器 A 读写磁盘的带宽是容器 B 的两倍。

[root@localhost ~]# docker run -it --name container_A --blkio-weight 600 centos:stress 
[root@5e7093d94869 /]# cat /sys/fs/cgroup/blkio/blkio.weight 

[root@localhost ~]# docker run -it --name container_B --blkio-weight 300 centos:stress 
[root@39947b6517d4 /]# cat /sys/fs/cgroup/blkio/blkio.weight 
cat /sys/fs/cgroup/blkio/blkio.bfq.weight

注意：

kernel 5.10 或更高的版本不在适用

要使 –blkio-weight 生效，需要保证 IO 的调度算法为 CFQ。可以使用下面的方式查看：

root@localhost:~# cat /sys/block/sda/queue/scheduler

noop [deadline] cfq

7.bps 和 iops 的限制

限制容器写 /dev/sda 的速率为 5 MB/s

[root@localhost ~]# docker run -it --device-write-bps /dev/sda:5MB centos:stress 
[root@e3eb0e9ad6fc /]# dd if=/dev/zero of=test bs=1M count=1024 oflag=direct

不限速

[root@localhost ~]# docker run -it centos:stress 
[root@cb6691338f52 /]# dd if=/dev/zero of=test bs=1M count=1024 oflag=direct