Docker网络模式与cgroup资源控制

前言

在 Docker 中，网络模式和 cgroup 资源控制作为关键功能，对于容器的性能优化和资源管理起着至关重要的作用。本文将介绍 Docker 的网络模式和cgroup资源控制，探讨不同网络模式的特点以及如何利用 cgroup 资源控制机制来有效管理容器的资源利用。

一、Docker 网络

1. 概述

2. Docker 网络实现原理

2.1 创建容器生成端口

2.2 浏览器访问，并查看日志

3. Docker 网络模式

3.1 概述

3.2 查看 docker 网络列表

3.3 指定容器的网络模式

3.4 网络模式详解

二、资源控制

1. cgroups 概述

2. cgroups 功能

3. CPU 资源控制

3.1 设置 CPU 使用率上限

3.2 设置CPU资源占用比（设置多个容器时才有效）

4. 设置容器绑定指定的 CPU

5. 对内存使用的限制

6. 对磁盘IO配额控制（blkio）的限制

7. 清理 docker 占用的磁盘空间

8. 故障示例

一、Docker 网络

1. 概述

Docke r网络是指在 Docker 容器之间以及容器与外部世界之间进行通信和连接的网络设置。Docker 提供了多种网络模式和选项，以满足不同场景下的网络需求。通过合理选择和配置网络模式，可以实现容器之间的通信、与外部网络的连接以及网络安全等方面的管理。

2. Docker 网络实现原理

Docker 使用 Linux 桥接，在宿主机虚拟一个 Docker 容器网桥(docker0)，Docker 启动一个容器时会根据 Docker 网桥的网段分配给容器一个IP地址，称为 Container-IP，同时 Docker 网桥是每个容器的默认网关。因为在同一宿主机内的容器都接入同一个网桥，这样容器之间就能够通过容器的 Container-IP 直接通信。

Docker 网桥是宿主机虚拟出来的，并不是真实存在的网络设备，外部网络是无法寻址到的，这也意味着外部网络无法直接通过 Container-IP 访问到容器。如果容器希望外部访问能够访问到，可以通过映射容器端口到宿主主机（端口映射），即 docker run 创建容器时候通过 -p 或 -P 参数来启用，访问容器的时候就通过[宿主机IP]:[容器端口]访问容器。

2.1 创建容器生成端口

[root@localhost ~]# docker run -d --name t1 -P nginx:latest
# 随机映射端口（从32768开始）
93282cc5d5b8e2c1ff5a9471bd35d6b716476b9c976e504ee4e04fea57c9ebf8
[root@localhost ~]# docker run -d --name t2 -p 10000:80 nginx
# -p 10000:80: 将主机的端口 10000 映射到容器的端口 80
17ba1cf9743f2f1c1cf2b2deb8c102c83fe6bdbe573d38c5780b5c66aed38bbb
[root@localhost ~]# docker ps
CONTAINER ID   IMAGE          COMMAND                   CREATED         STATUS         PORTS                                     NAMES
17ba1cf9743f   nginx          "/docker-entrypoint.…"   3 seconds ago   Up 2 seconds   0.0.0.0:10000->80/tcp, :::10000->80/tcp   t2
93282cc5d5b8   nginx:latest   "/docker-entrypoint.…"   5 minutes ago   Up 5 minutes   0.0.0.0:32768->80/tcp, :::32768->80/tcp   t1

2.2 浏览器访问，并查看日志

192.168.190.107:10000、192.168.190.107:32768

查看容器的输出和日志信息：
格式：docker logs 容器的ID/名称
示例：
[root@localhost ~]# docker logs 93282cc5d5b8
192.168.190.1 - - [24/Apr/2024:07:19:36 +0000] "GET / HTTP/1.1" 200 615 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36 Edg/124.0.0.0" "-"
2024/04/24 07:19:36 [error] 30#30: *1 open() "/usr/share/nginx/html/favicon.ico" failed (2: No such file or directory), client: 192.168.190.1, server: localhost, request: "GET /favicon.ico HTTP/1.1", host: "192.168.190.107:32768", referrer: "http://192.168.190.107:32768/"
192.168.190.1 - - [24/Apr/2024:07:19:36 +0000] "GET /favicon.ico HTTP/1.1" 404 555 "http://192.168.190.107:32768/" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36 Edg/124.0.0.0" "-"

3. Docker 网络模式

3.1 概述

① Host：容器使用宿主机的网络直接公开服务。这意味着如果你在容器中运行一个 web 服务，那么它就直接绑定到主机的网络接口上，而不是通过 dockr 进行任何网络转发。

② Container：这种模式允许容器去共享另一个容器网络命名空间，这说明两个容器可以有相同的网络接口和IP地址，他们共享的是同一网络命名空间，但是容器端口号不一样。

③ None：最简单的网络模式。表示该容器拥有自己的网络命名空间，但不会进行任何网络配置，这实际给了用户完全的自主权来给自己配置容器的网络。

④ Bridge：默认的网络模式。每个新创建的容器都将该网络分配一个 ip 地址，此网络模式允许所有 docker 容器之间以及 docker 宿主机之间进行互相通信。

⑤ user-defined network：自定义网络。docker 允许用户创建自己定义的网络，用户可以定义的网络范围、子网、路由等参数。这种类型网络使用用户可以更好的对容器网络进行控制和隔离。

3.2 查看 docker 网络列表

[root@localhost ~]# docker network ls    # 或者docker network list
NETWORK ID     NAME      DRIVER    SCOPE
d982b2a0b242   bridge    bridge    local
cfc2c11f63fd   host      host      local
cd8a1d95a0df   none      null      local
# 安装Docker时，它会自动创建三个网络，bridge（创建容器默认连接到此网络）、 none 、host

3.3 指定容器的网络模式

使用 docker run 创建 Docker 容器时，可以用 --net 或 --network 选项指定容器的网络模式，格式如下：

host模式：     使用 --net=host 指定
none模式：     使用 --net=none 指定
container模式：使用 --net=container:NAME_or_ID 指定
bridge模式：   使用 --net=bridge 指定，默认设置，可省略

3.4 网络模式详解

① host 模式

相当于 Vmware 中的桥接模式，与宿主机在同一个网络中，但没有独立 IP 地址；但如果启动容器的时候使用 host 模式，那么这个容器将不会获得一个独立的 Network Namespace，而是和宿主机共用一个 Network Namespace。容器将不会虚拟出自己的网卡、配置自己的 IP 等，而是使用宿主机的IP和端口。

[root@localhost ~]# docker run -d --name n1 --network host nginx:latest 
d4fd35b7c201036441e333827286335085dea16ffb43500b2f041899b990c72a
[root@localhost ~]# docker ps
CONTAINER ID   IMAGE          COMMAND                   CREATED         STATUS         PORTS     NAMES
d4fd35b7c201   nginx:latest   "/docker-entrypoint.…"   9 seconds ago   Up 8 seconds             n1
[root@localhost ~]# docker inspect d4fd35b7c201 | grep \"IPAddress\"
            "IPAddress": "",
                    "IPAddress": "",    # IP为空
[root@localhost ~]# docker ps --filter "network=host"  # 查看网络模式
CONTAINER ID   IMAGE          COMMAND                   CREATED         STATUS         PORTS     NAMES
d4fd35b7c201   nginx:latest   "/docker-entrypoint.…"   9 minutes ago   Up 9 minutes             n1

② container 模式

这个模式指定新创建的容器和已经存在的一个容器共享一个Network Namespace，而不是和宿主机共享。新创建的容器不会创建自己的网卡，配置自己的IP，而是和一个指定的容器共享IP、端口范围等。同样，两个容器除了网络方面，其他的如文件系统、进程列表等还是隔离的。两个容器的进程可以通过lo网卡设备通信。

[root@localhost ~]# docker run -itd --name n1 centos:7 /bin/bash
0c52c9dedf33d95fe55d787d342c74477f6d7fced0fe9a11a2e43b3efb6b072d
[root@localhost ~]# docker ps
CONTAINER ID   IMAGE      COMMAND       CREATED         STATUS         PORTS     NAMES
0c52c9dedf33   centos:7   "/bin/bash"   5 seconds ago   Up 4 seconds             n1
[root@localhost ~]# docker inspect -f '{{.State.Pid}}' 0c52c9dedf33
10495
[root@localhost ~]# ll /proc/10495/ns | grep net
lrwxrwxrwx. 1 root root 0 4月  24 16:44 net -> net:[4026532626]
[root@localhost ~]# docker run -itd --name n2 --net=container:0c52c9dedf33 centos:7 /bin/bash
895fe71c6247c0aec31c7c00f56d8b30646064f56e8f8933c238a32603cf350a
[root@localhost ~]# docker ps
CONTAINER ID   IMAGE      COMMAND       CREATED              STATUS              PORTS     NAMES
895fe71c6247   centos:7   "/bin/bash"   5 seconds ago        Up 4 seconds                  n2
0c52c9dedf33   centos:7   "/bin/bash"   About a minute ago   Up About a minute             n1
[root@localhost ~]# docker inspect -f '{{.State.Pid}}' 895fe71c6247
10740
[root@localhost ~]# ll /proc/10740/ns | grep net
lrwxrwxrwx. 1 root root 0 4月  24 16:46 net -> net:[4026532626]
# /proc/[pid]/ns 目录包含了进程的各种命名空间符号链接，用于提供进程的命名空间信息
# net:[4026532626] 是一个命名空间标识符，它表示进程的网络命名空间
# 由此可见容器n1、n2共享一个Network Namespace
[root@localhost ~]# docker inspect 895fe71c6247 | grep -i networkmode
            "NetworkMode": "container:0c52c9dedf33d95fe55d787d342c74477f6d7fced0fe9a11a2e43b3efb6b072d",
# 表示容器 895fe71c6247 使用了另一个容器 0c52c9dedf33d95fe55d787d342c74477f6d7fced0fe9a11a2e43b3efb6b072d 的网络命名空间作为自己的网络命名空间

③ none 模式

使用 none 模式，Docker 容器拥有自己的 Network Namespace，但是，并不为 Docker 容器进行任何网络配置。也就是说，这个 Docker 容器没有网卡、IP、路由等信息。这种网络模式下容器只有 lo 回环网络，没有其他网卡。这种类型的网络没有办法联网，封闭的网络能很好的保证容器的安全性。

[root@localhost ~]# docker run -itd --name n3 --net=none centos:7 /bin/bash
da8f4e83dc86a028e49bb10d6cd2b2c44637a90bb4cc43537feb964de75fe152
[root@localhost ~]# docker ps -a
CONTAINER ID   IMAGE      COMMAND       CREATED             STATUS             PORTS     NAMES
da8f4e83dc86   centos:7   "/bin/bash"   43 seconds ago      Up 42 seconds                n3
895fe71c6247   centos:7   "/bin/bash"   58 minutes ago      Up 58 minutes                n2
0c52c9dedf33   centos:7   "/bin/bash"   About an hour ago   Up About an hour             n1
[root@localhost ~]# docker inspect da8f4e83dc86 | grep -i networkmode
            "NetworkMode": "none",

④ bridge 模式

bridge 模式是 docker 的默认网络模式，不用 --net 参数，即 bridge 模式。相当于 Vmware 中的 nat 模式，容器使用独立 network Namespace，并连接到 docker0 虚拟网卡。通过 docker0 网桥以及 iptables nat 表配置与宿主机通信，此模式会为每一个容器分配 Network Namespace、设置 IP 等，并将一个主机上的 Docker 容器连接到一个虚拟网桥上。

① 当Docker 进程启动时，会在主机上创建一个名为 docker0 的虚拟网桥，此主机上启动的 Docker 容器会连接到这个虚拟网桥上。虚拟网桥的工作方式和物理交换机类似，这样主机上的所有容器就通过交换机连在了一个二层网络中。

② 从docker0子网中分配一个IP给容器使用，并设置docker0的IP地址为容器的默认网关。在主机上创建一对虚拟网卡veth pair设备。veth设备总是成对出现的，它们组成了一个数据的通道，数据从一个设备进入，就会从另一个设备出来。因此，veth设备常用来连接两个网络设备。

③ Docker将 veth pair 设备的一端放在新创建的容器中，并命名为 eth0（容器的网卡），另一端放在主机中，以 * 这样类似的名字命名，并将这个网络设备加入到 docker0 网桥中。可以通过 brctl show 命令查看。veth

④ 使用 docker run -p 时，docker 实际是在 iptables 做了 DNAT 规则，实现端口转发功能。可以使用 iptables -t nat -vnL 查看。

⑤ 自定义网络

docker 允许用户创建自己的定义的网络，用户可以定义的网络范围、子网、路由等参数这种类型网络使用用户可以更好地对容器网络进行控住和隔离。

先自定义网络，再使用指定IP运行docker：
[root@localhost ~]# docker network create --subnet=172.18.0.0/16 --opt "com.docker.network.bridge.name"="docker1"  mynetwork
# docker network create: 这是创建 Docker 网络的命令。
# --subnet=172.18.0.0/16: 这个选项指定了网络的子网。在这个例子中，子网被设置为 172.18.0.0/16，表示网络范围是从 172.18.0.0 到 172.18.255.255。
# --opt "com.docker.network.bridge.name"="docker1": 这个选项用于指定网络的桥接名称。在这里，我们指定了桥接名称为 "docker1"。
# --opt 参数指定此名称主要是为了ifconfig -a方便查看
# mynetwork: 这是要创建的自定义网络的名称。

查看docker网络列表:
[root@localhost ~]# docker network list
NETWORK ID     NAME        DRIVER    SCOPE
d982b2a0b242   bridge      bridge    local
cfc2c11f63fd   host        host      local
bb0c06f6bc31   mynetwork   bridge    local   # 自定义网络模式
cd8a1d95a0df   none        null      local

创建运行：
[root@localhost ~]# docker run -itd --name n4 --net mynetwork --ip 172.18.0.10 centos:7 /bin/bash
# --net mynetwork: 这个选项指定了容器连接的网络为名为 "mynetwork" 的自定义网络
# --ip 172.18.0.10: 这个选项指定了容器的IP地址为 172.18.0.10

显示网桥bridge信息：
[root@localhost ~]# brctl show
bridge name	bridge id		STP enabled	interfaces
docker0		8000.02425ab40930	no		vethee93a7a
docker1		8000.02421d2bebfe	no		vethde11084   # 自定义网桥
virbr0		8000.525400b427d4	yes		virbr0-nic
[root@localhost ~]# docker inspect n4
"Gateway": "172.18.0.1",
"IPAddress": "172.18.0.10",

二、资源控制

1. cgroups 概述

是一个非常强大的 linux 内核工具，他不仅可以限制被 namespace 隔离起来的资源，还可以为资源设置权重、计算使用量、操控进程启停等等。所以 cgroups（Control groups）实现了对资源的配额和度量。

2. cgroups 功能

① 资源限制：可以对任务使用的资源总额进行限制

② 优先级分配：通过分配的cpu时间片数量以及磁盘IO带宽大小，实际上相当于控制了任务运行优先级

③ 资源统计：可以统计系统的资源使用量，如cpu时长，内存用量等

④ 任务控制：cgroup可以对任务执行挂起、恢复等操作

3. CPU 资源控制

3.1 设置 CPU 使用率上限

Linux 通过CFS（Completely Fair Scheduler，完全公平调度器）来调度各个进程对 CPU 的使用。 CFS 默认的调度周期是 100ms。我们可以设置每个容器进程的调度周期，以及在这个周期内各个容器最多能使用多少 CPU 时间。

使用 --cpu-period 即可设置调度周期
使用 --cpu-quota 即可设置在每个周期内容器能使用的CPU时间

CFS 周期的有效范围是 1ms~1s，对应的 --cpu-period 的数值范围是 1000~1000000。周期100毫秒；而容器的 CPU 配额必须不小于 1ms，即 --cpu-quota 的值必须 >= 1000。Linux操作系统单位是以微秒为单位。

1s=1000ms
1ms(毫秒)=1000微秒
1000毫秒(ms)=1000000 微秒

① 创建启动容器，查看周期和 cpu 使用时间

[root@localhost ~]# docker run -itd --name n5 centos:7 /bin/bash
1134614fe84c8ed65b80432fbfc70db253e84ac5bff746eb4f90e7e104c013d6
[root@localhost ~]# docker ps -a | grep n5
1134614fe84c   centos:7   "/bin/bash"   38 seconds ago   Up 38 seconds             n5
[root@localhost ~]# cd /sys/fs/cgroup/cpu/docker/1134614fe84c8ed65b80432fbfc70db253e84ac5bff746eb4f90e7e104c013d6/
[root@localhost 1134614fe84c8ed65b80432fbfc70db253e84ac5bff746eb4f90e7e104c013d6]# ls
cgroup.clone_children  cpuacct.stat          cpu.cfs_period_us  cpu.rt_runtime_us  notify_on_release
cgroup.event_control   cpuacct.usage         cpu.cfs_quota_us   cpu.shares         tasks
cgroup.procs           cpuacct.usage_percpu  cpu.rt_period_us   cpu.stat
[root@localhost 1134614fe84c8ed65b80432fbfc70db253e84ac5bff746eb4f90e7e104c013d6]# cat cpu.cfs_quota_us
-1
[root@localhost 1134614fe84c8ed65b80432fbfc70db253e84ac5bff746eb4f90e7e104c013d6]# cat cpu.cfs_period_us
100000
# cpu.cfs_period_us：cpu分配的周期(微秒，所以文件名中用 us 表示），默认为100000微秒，0.1秒。
# cpu.cfs_quota_us：表示该cgroups限制占用的时间（微秒），默认为-1，表示不限制。 如果设为50000，表示占用50000/100000=50%的CPU。

② 进行 CPU 压力测试

[root@localhost ~]# docker exec -it n5 /bin/bash
[root@1134614fe84c /]# vi /cpu.sh
#!/bin/bash
i=0
while true
do
let i++
done
# 不断地将变量i的值递增，实现一个简单的计数器功能。由于循环条件是true，因此这个脚本会一直执行下去，直到被手动中断

[root@localhost ~]# top
   PID USER      PR  NI    VIRT    RES    SHR S  %CPU %MEM     TIME+ COMMAND 
 13880 root      20   0   11688   1096    916 R 100.0  0.1   0:48.04 cpu.sh 
# 可以看到这个脚本占了很多的cpu资源

③ 设置50%的比例分配 CPU 使用时间上限

设置50%的比例分配CPU使用时间上限，重新创建一个容器并设置限额：
[root@localhost ~]# docker run -itd --name n6 --cpu-quota 50000 centos:7 /bin/bash
92e6367c457c92e7dfe21b01682b91fc17632f633298190d8b7e5f2e6cbbdbb7
[root@localhost ~]# docker ps | grep n6
92e6367c457c   centos:7   "/bin/bash"   33 seconds ago   Up 32 seconds             n6
或者：
[root@localhost ~]# cd /sys/fs/cgroup/cpu/docker/92e6367c457c92e7dfe21b01682b91fc17632f633298190d8b7e5f2e6cbbdbb7/
[root@localhost 92e6367c457c92e7dfe21b01682b91fc17632f633298190d8b7e5f2e6cbbdbb7]# echo 50000 > cpu.cfs_quota_us

[root@localhost ~]# docker exec -it n6 /bin/bash
[root@92e6367c457c /]# vi /cpu.sh
[root@92e6367c457c /]# chmod +x /cpu.sh
[root@92e6367c457c /]# ./cpu.sh

[root@localhost ~]# top
   PID USER      PR  NI    VIRT    RES    SHR S  %CPU %MEM     TIME+ COMMAND
 14124 root      20   0   11688   1096    916 R  50.2  0.1   0:19.11 cpu.sh  
# 可以看到cpu占用率接近50%，cgroups对cpu的控制起了效果

3.2 设置CPU资源占用比（设置多个容器时才有效）

Docker 通过 --cpu-shares 指定 CPU 份额，默认值为1024，值为1024的倍数。

创建两个容器为a1和a2，若只有这两个容器，设置容器的权重，使得a1和a2的CPU资源占比为1/3和2/3:
[root@localhost ~]# docker run -itd --name a1 --cpu-shares 512 centos:7 /bin/bash
e1f41f2a70820d6649ed2187c5d11a970a3ce1ab64be00b540eb52c7fb0e273e
[root@localhost ~]# docker run -itd --name a2 --cpu-shares 1024 centos:7 /bin/bash
fa34145015fbb724517b4e5656a85826a358f54dd6638cc98cef6a06f901cd5b
[root@localhost ~]# docker ps
CONTAINER ID   IMAGE      COMMAND       CREATED         STATUS         PORTS     NAMES
fa34145015fb   centos:7   "/bin/bash"   3 seconds ago   Up 2 seconds             a2
e1f41f2a7082   centos:7   "/bin/bash"   6 seconds ago   Up 6 seconds             a1

[root@localhost ~]# docker exec -it a1 /bin/bash
[root@localhost ~]# docker exec -it a2 /bin/bash  # 分别进入容器
[root@e1f41f2a7082 /]# yum install -y epel-release
[root@e1f41f2a7082 /]# yum install -y stress
[root@e1f41f2a7082 /]# stress -c 4                # 分别产生四个进程，每个进程都反复不停的计算随机数的平方根

[root@localhost ~]# docker stats # 查看容器占用资源信息
CONTAINER ID   NAME      CPU %     MEM USAGE / LIMIT     MEM %     NET I/O          BLOCK I/O         PIDS
fa34145015fb   a2        135.80%   216.7MiB / 1.781GiB   11.88%    43.5MB / 552kB   52.6MB / 50.5MB   7
e1f41f2a7082   a1        67.69%    155.1MiB / 1.781GiB   8.50%     43.5MB / 520kB   27.2MB / 49.8MB   7

4. 设置容器绑定指定的 CPU

[root@localhost ~]# docker run -itd --name n7 --cpuset-cpus 1 centos:7 /bin/bash
# 限制了容器可以使用的 CPU 核心为核心1
[root@localhost ~]# docker exec -it n7 /bin/bash
[root@8d06de43f767 /]# yum install -y epel-release
[root@8d06de43f767 /]# yum install stress -y
[root@8d06de43f767 /]# stress -c 4

[root@localhost ~]# top
%Cpu0  :  0.0 us,  0.3 sy,  0.0 ni, 99.7 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
%Cpu1  :100.0 us,  0.0 sy,  0.0 ni,  0.0 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st

5. 对内存使用的限制

① -m（--memory=）选项用于限制容器可以使用的最大内存。

示例：限制容器 a2 最大内存为 256M

[root@localhost ~]# docker run -itd --name a1 centos:7 /bin/bash
1b10a47020bb91b2d863342c5b2951225d821894da42adebfcdd0e4dad3fdf79
[root@localhost ~]# docker run -itd --name a2 -m 256m centos:7 /bin/bash
cf590c97aaa7c6d262374d11deefe465d811dab7e51070db4fa21399ea9efa38
[root@localhost ~]# docker stats
# 动态查看容器的资源运行状态
CONTAINER ID   NAME      CPU %     MEM USAGE / LIMIT   MEM %     NET I/O     BLOCK I/O   PIDS
cf590c97aaa7   a2        0.00%     408KiB / 256MiB     0.16%     508B / 0B   0B / 0B     1
1b10a47020bb   a1        0.00%     404KiB / 1.781GiB   0.02%     648B / 0B   0B / 0B     1
# LIMIT通常指代容器能够使用的最大内存限制

② 限制可用的 swap 大小， --memory-swap，注意 --memory-swap 必须要与 --memory 一起使用。正常情况下，--memory-swap 的值包含容器可用内存和可用 swap。所以 -m 300m --memory-swap=1g 的含义为：容器可以使用 300M 的物理内存，并且可以使用 700M（1G - 300）的 swap。

如果 --memory-swap 设置为 0 或者不设置，则容器可以使用的 swap 大小为 -m 值的两倍。
如果 --memory-swap 的值和 -m 值相同，则容器不能使用 swap。
如果 --memory-swap 值为 -1，它表示容器程序使用的内存受限，而可以使用的 swap 空间使用不受限制（宿主机有多少 swap 容器就可以使用多少）

示例：启动一个 nginx 工作线程，每个线程分配100M

[root@localhost ~]# docker run -itd --name a3 -m 200m --memory-swap=1g nginx:latest --vm 1 --vm-bypes 100m /bin/bash
# 容器指定了内存限制为200MB，并设置了swap空间为800M
# --vm 1启动一个内存工作线程
# --vm-bypes 100m 每个线程分配100M

6. 对磁盘IO配额控制（blkio）的限制

环境准备：安装 docker-ce-20.10.17

sudo yum install -y yum-utils device-mapper-persistent-data lvm2
# 安装所需的依赖
sudo yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
# 添加Docker官方仓库
sudo yum makecache fast
# 更新Yum缓存
sudo yum install docker-ce-20.10.17 docker-ce-cli-20.10.17 containerd.io
# 安装Docker CE 20.10.17
sudo systemctl start docker
sudo systemctl enable docker
# 启动并启用Docker服务
docker --version
# 验证安装

① --device-read-bps：限制某个设备上的读速度bps（数据量），单位可以是kb、mb(M)或者gb。

示例：创建一个名为io1的Docker容器，基于centos:7镜像，限制对/dev/sda设备的读取速率，并以/bin/bash作为启动命令

[root@localhost ~]# docker run -itd --name io1 --device-read-bps /dev/sda:1M  centos:7 /bin/bash
[root@localhost ~]# docker ps
CONTAINER ID   IMAGE      COMMAND       CREATED              STATUS              PORTS     NAMES
dc9dc40eefff   centos:7   "/bin/bash"   About a minute ago   Up About a minute             io1

② --device-write-bps ：限制某个设备上的写速度bps（数据量），单位可以是kb、mb(M)或者gb。

在较新的 Docker 版本中，--device-write-bps 这样的选项可能已经不再适用了，这里用 docker-ce-20.10.17 演示。

示例：创建一个名为 io2 的 Docker 容器，基于 centos:7 镜像，限制对 /dev/sda 设备的写入速率为1M/s

创建容器，并限制写速度:
[root@localhost ~]# docker run -itd --name io2 --device-write-bps /dev/sda:1m centos:7 /bin/bash
通过dd来验证写速度:
[root@localhost ~]# docker exec -it io2 /bin/bash
[root@253fd90621df /]# dd if=/dev/zero of=test bs=1M count=10 oflag=direct
10+0 records in
10+0 records out
10485760 bytes (10 MB) copied, 10.0052 s, 1.0 MB/s
# oflag=direct: 指示 dd 命令使用直接 I/O 模式，跳过系统缓存，直接读写磁盘。

③ 读写次数

--device-read-iops ：限制读某个设备的iops（次数）
--device-write-iops ：限制写入某个设备的iops（次数）

7. 清理 docker 占用的磁盘空间

docker system prune -a
# 清理Docker系统中的未使用镜像、容器和数据卷；-a 标志表示清理所有未使用的镜像，而不仅仅是中间镜像
这个命令会删除以下内容：
所有未被使用的镜像
所有停止状态的容器
所有未被使用的数据卷
所有网络不再被使用的网络

8. 故障示例

由于 docker 容器故障导致大量日志集满，会造成磁盘空间满。解决方案如下：

① 清除日志

模拟占满某个docker：
[root@localhost ~]# docker run -itd centos:7 /usr/bin/bash -c "while true;do echo hello;done"

查看docker占用空间：
[root@localhost ~]# cd /var/lib/docker/containers
[root@localhost containers]# du -sh *
2.0G	a268a74005192023b8874217c3c94a7345e275d7003908c6ee8f8bc71432adec

添加清理脚本：
[root@localhost ~]# docker exec -it a3 /bin/bash
[root@580f2a3389bc /]# vi qingli.sh
#!/bin/bash
logs=$(find /var/lib/docker/containers/ -name *-json.log*)
for log in $logs
do
cat /dev/null > $log
done
# 遍历指定目录下的 Docker 容器日志文件，并将这些日志文件清空

再次查看docker占用空间：
[root@localhost containers]# du -sh *
24K	a268a74005192023b8874217c3c94a7345e275d7003908c6ee8f8bc71432adec

② 设置 docker 日志文件数量及每个日志大小

vim /etc/docker/daemon.json
{
"registry-mirrors": ["http://f613ce8f.m.daocloud.io"]，
"log-driver": "json-file",                             # 日志格式
"log-opts": { "max-size" : "500m", "max-file" : "3"}   # 日志的参数最大500M   我最大容器中有三个日志文件 每个日志文件大小是500M
}