docker
核心原理
docker的核心原理其实就是cgroup+namespace+unionfs 组合实现的隔离机制,资源控制等。
隔离机制
- 在容器进程启动之前重新挂载它的整个根⽬录“/”,⽤来为容器提供隔离后的执⾏环境⽂件系统
- 通过Linux Namespace 创建隔离,决定进程能够看到和使⽤哪些东⻄。
- 通过control groups 技术来约束进程对资源的使⽤
unionfs
首先看rootfs,rootfs 是Docker 容器在启动时内部进程可⻅的⽂件系统,即Docker容器的根⽬录。rootfs通常包含⼀个操作系统运⾏所需的⽂件系统,例如可能包含经典的类Unix操作系统中的⽬录系统,如/dev、/proc、/bin、/etc、/lib、/usr、/tmp及运⾏Docker容器所需的配置⽂件、⼯具等。
在传统的linux操作系统内核启动时,⾸先挂载⼀个只读(read-only)的rootfs,当系统检测器完整性之后,再将其切换为读写(read-write)模式。⽽在Docker架构中,当Docker daemon 为Docker容器挂载rootfs时,沿⽤的Linux内核启动时的⽅法,即将rootfs设为只读模式。在挂载完毕之后,利⽤联合挂载(union mount)技术在已有的只读rootfs上再挂载⼀个读写层。这样,可读写层处于Docker容docker器⽂件系统的最顶层,其下可能联合挂载了多个只读层,只有在Docker容器运⾏过程中⽂件系统发⽣变化是,才会把变化的⽂件内容写到可读写层,并且隐藏只读层中的⽼版本⽂件。
如图所示,还可以在rootfs之上继续挂载读写层,也可以挂载只读层(可以用于共享)。上层的修改不会影响到下层的只读层。而只读层的修改会同步到上层可写层
有了容器镜像“打包操作系统”的能⼒,这个最基础的依赖环境也终于变成了应⽤沙盒的⼀部分。这就赋予了容器所谓的⼀致性:⽆论在本地、云端,还是在⼀台任何地⽅的机器上,⽤户只需要解压打包好的容器镜像,那么这个应⽤运⾏所需要的完整的执⾏环境就被重现出来了
namespace
概念
是一种资源隔离技术,可以和c++里的namespace类比
-
namespace 是 Linux 内核⽤来隔离内核资源的⽅式。通过 namespace 可以让⼀些进程只能看到与⾃⼰相关的⼀部分资源,⽽另外⼀些进程也只能看到与它们⾃⼰相关的资源,这两拨进程根本就感觉不到对⽅的存在。具体的实现⽅式是把⼀个或多个进程的相关资源指定在同⼀个 namespace 中。
-
Linux namespaces 是对全局系统资源的⼀种封装隔离,使得处于不同 namespace 的进程拥有独⽴的全局系统资源,改变⼀个 namespace 中的系统资源只会影响当前 namespace ⾥的进程,对其他namespace 中的进程没有影响。
namespace解决了什么问题呢?
Linux 内核实现 namespace 的⼀个主要⽬的就是实现轻量级虚拟化(容器)服务。在同⼀个namespace 下的进程可以感知彼此的变化,⽽对外界的进程⼀⽆所知。这样就可以让容器中的进程产⽣错觉,认为⾃⼰置身于⼀个独⽴的系统中,从⽽达到隔离的⽬的。也就是说 linux 内核提供的namespace 技术为 docker 等容器技术的出现和发展提供了基础条件。
有哪些namespace
- Mount Namespace隔离了⼀组进程所看到的⽂件系统挂载点的集合,因此,在不同MountNamespace的进程看到的⽂件系统层次结构也不同
- UTS Namespace隔离了uname()系统调⽤返回的两个系统标示符nodename和domainname,在容器的上下⽂中,UTS Namespace允许每个容器拥有⾃⼰的hostname和NIS domain name,这对于初始化和配置脚本是很有⽤的,这些脚本根据这些名称来定制它们的操作
- IPC Namespace隔离了某些IPC资源(interprocess community,进程间通信)使划分到不同IPC Namespace的进程组通信上隔离,⽆法通过消息队列、共享内存、信号量⽅式通信
- PID Namespace隔离了进程ID号空间,不同的PID Namespace中的进程可以拥有相同的PID。PID Namespace的好处之⼀是,容器可以在主机之间迁移,同时容器内的进程保持相同的进程ID。PID命名空间还允许每个容器拥有⾃⼰的init(PID 1),它是 “所有进程的祖先”,负责管理各种系统初始化任务,并在⼦进程终⽌时收割孤⼉进程
- Network Namespace提供了⽹络相关系统资源的隔离,因此,每个Network Namespace都有⾃⼰的⽹络设备、IP地址、IP路由表、/proc/net⽬录、端⼝号等。
- User Namespace隔离了⽤户和组ID号空间,⼀个进程的⽤户和组ID在⽤户命名空间内外可以是不同的,⼀个进程可以在⽤户命名空间外拥有⼀个正常的⽆权限⽤户ID,同时在命名空间内拥有⼀个(root权限)的⽤户ID
命名空间查看
ls /proc/{PID}/ns
cgroup
cgroup全称是control groups被整合在了linux内核当中,把进程(tasks)放到组⾥⾯,对组设置权限,对进程进⾏控制。可以理解为⽤户和组的概念,⽤户会继承它所在组的权限。cgroups是linux内核中的机制,这种机制可以根据特定的⾏为把⼀系列的任务,⼦任务整合或者分离,按照资源划分的等级的不同,从⽽实现资源统⼀控制的框架,cgroup可以控制、限制、隔离进程所需要的物理资源,包括cpu、内存、IO,为容器虚拟化提供了最基本的保证,是构建docker⼀系列虚拟化的管理⼯具
解决如下问题
- 资源控制:cgroup通过进程组对资源总额进⾏限制。如:程序使⽤内存时,要为程序设定可以使⽤主机的多少内存,也叫作限额
- 优先级分配:使⽤硬件的权重值。当两个程序都需要进程读取cpu,哪个先哪个后,通过优先级来进⾏控制
- 资源统计:可以统计硬件资源的⽤量,如:cpu、内存…使⽤了多⻓时间
- 进程控制:可以对进程组实现挂起/恢复的操作,
cgroup设计到许多子系统,每种子系统可以进行不同的资源调控
1. cpu⼦系统:该⼦系统为每个进程组设置⼀个使⽤CPU的权重值,以此来管理进程对cpu的访
问。
2. cpuset⼦系统:对于多核cpu,该⼦系统可以设置进程组只能在指定的核上运⾏,并且还可以
设置进程组在指定的内存节点上申请内存。
3. cpuacct⼦系统:该⼦系统只⽤于⽣成当前进程组内的进程对cpu的使⽤报告
4. memory⼦系统:该⼦系统提供了以⻚⾯为单位对内存的访问,⽐如对进程组设置内存使⽤上
限等,同时可以⽣成内存资源报告
5. blkio⼦系统:该⼦系统⽤于限制每个块设备的输⼊输出。⾸先,与CPU⼦系统类似,该系统
通过为每个进程组设置权重来控制块设备对其的I/O时间;其次,该⼦系统也可以限制进程组
的I/O带宽以及IOPS
6. devices⼦系统:通过该⼦系统可以限制进程组对设备的访问,即该允许或禁⽌进程组对某设
备的访问
7. freezer⼦系统:该⼦系统可以使得进程组中的所有进程挂起
8. net-cls⼦系统:该⼦系统提供对⽹络带宽的访问限制,⽐如对发送带宽和接收带宽进程限制
运⾏⼀个docker容器,查看容器的cgroup 和 linux namespace
docker pull nginx
docker run -p 80:80 -d nginx
cd /sys/fs/cgroup //查看cgroup ⼦系统变化 并找到其对应的PID
cd /proc/{PID}/ns //查看命名空间
ps -ef | grep nginx
例如ps -ef |grep nginx
可以看到有哪些nginx进程
[root@localhost cpu]# ps -ef| grep nginx
root 14976 14953 0 13:59 ? 00:00:00 nginx: master process nginx -g daemon off;
101 15010 14976 0 13:59 ? 00:00:00 nginx: worker process
101 15011 14976 0 13:59 ? 00:00:00 nginx: worker process
可以看到worker由master fork出来,那么看master是父进程是哪个,其实就是docker containerd shim 进程。
docker containerd shim 进程在宿主机中进程树大概是下面这样。属于docker进程组
现在可以查看docker containerd shim 和 nginx master 和worker 的命名空间
#docker containerd shim 进程的ns
ll /proc/14953/ns
lrwxrwxrwx. 1 root root 0 Dec 12 14:10 cgroup -> cgroup:[4026531835]
lrwxrwxrwx. 1 root root 0 Dec 12 14:10 ipc -> ipc:[4026531839]
lrwxrwxrwx. 1 root root 0 Dec 12 14:10 mnt -> mnt:[4026531840]
lrwxrwxrwx. 1 root root 0 Dec 12 14:10 net -> net:[4026531992]
lrwxrwxrwx. 1 root root 0 Dec 12 14:10 pid -> pid:[4026531836]
lrwxrwxrwx. 1 root root 0 Dec 12 14:10 pid_for_children -> pid:[4026531836]
lrwxrwxrwx. 1 root root 0 Dec 12 14:10 time -> time:[4026531834]
lrwxrwxrwx. 1 root root 0 Dec 12 14:10 time_for_children -> time:[4026531834]
lrwxrwxrwx. 1 root root 0 Dec 12 14:10 user -> user:[4026531837]
lrwxrwxrwx. 1 root root 0 Dec 12 14:10 uts -> uts:[4026531838]
ll /proc/14976/ns
#nginx master进程
lrwxrwxrwx. 1 root root 0 Dec 12 14:12 cgroup -> cgroup:[4026531835]
lrwxrwxrwx. 1 root root 0 Dec 12 14:12 ipc -> ipc:[4026532397]
lrwxrwxrwx. 1 root root 0 Dec 12 13:59 mnt -> mnt:[4026532395]
lrwxrwxrwx. 1 root root 0 Dec 12 13:59 net -> net:[4026532400]
lrwxrwxrwx. 1 root root 0 Dec 12 14:12 pid -> pid:[4026532398]
lrwxrwxrwx. 1 root root 0 Dec 12 14:12 pid_for_children -> pid:[4026532398]
lrwxrwxrwx. 1 root root 0 Dec 12 14:12 time -> time:[4026531834]
lrwxrwxrwx. 1 root root 0 Dec 12 14:12 time_for_children -> time:[4026531834]
lrwxrwxrwx. 1 root root 0 Dec 12 14:12 user -> user:[4026531837]
lrwxrwxrwx. 1 root root 0 Dec 12 14:12 uts -> uts:[4026532396]
#nginx worker进程
ll /proc/15010/ns
lrwxrwxrwx. 1 101 101 0 Dec 12 14:12 cgroup -> cgroup:[4026531835]
lrwxrwxrwx. 1 101 101 0 Dec 12 14:12 ipc -> ipc:[4026532397]
lrwxrwxrwx. 1 101 101 0 Dec 12 14:12 mnt -> mnt:[4026532395]
lrwxrwxrwx. 1 101 101 0 Dec 12 14:12 net -> net:[4026532400]
lrwxrwxrwx. 1 101 101 0 Dec 12 14:12 pid -> pid:[4026532398]
lrwxrwxrwx. 1 101 101 0 Dec 12 14:12 pid_for_children -> pid:[4026532398]
lrwxrwxrwx. 1 101 101 0 Dec 12 14:12 time -> time:[4026531834]
lrwxrwxrwx. 1 101 101 0 Dec 12 14:12 time_for_children -> time:[4026531834]
lrwxrwxrwx. 1 101 101 0 Dec 12 14:12 user -> user:[4026531837]
lrwxrwxrwx. 1 101 101 0 Dec 12 14:12 uts -> uts:[4026532396]
不难发现,worker和master的ns是一样的,而与docker containerd shim 进程 ns是不一样的。虽然都在宿主机中运行,但是由于ns不同,他们两个是隔离的。
同时可以在子系统下,根据对应pid查看其资源分配情况。不过docker需要手动限制,或者docker run启动的时候限制
docker run --memory 64m -p 80:80 -d nginx
# 查看对应资源分配
sudo cat /sys/fs/cgroup/memory/docker/<container_id or container_name>/memory.limit_in_bytes
不过笔者的cgroup下却没有docker目录,这个暂时还不知道为啥。查了一下可能是Docker 配置使用了不同的 cgroup 驱动程序。所以路径也有所不同。
查看容器详细信息,在里面也没发现cgroup路径,无奈只能进容器里看了。
docker inspect b5ce5ac1e4ae
#
docker exec -it b5ce5ac1e4ae bash
cat /proc/self/cgroup
13:hugetlb:/system.slice/docker-b5ce5ac1e4ae9b644fc8950eb8293077878a47b198c3a468738062d425fee312.scope
12:cpuset:/system.slice/docker-b5ce5ac1e4ae9b644fc8950eb8293077878a47b198c3a468738062d425fee312.scope
11:memory:/system.slice/docker-b5ce5ac1e4ae9b644fc8950eb8293077878a47b198c3a468738062d425fee312.scope
10:freezer:/system.slice/docker-b5ce5ac1e4ae9b644fc8950eb8293077878a47b198c3a468738062d425fee312.scope
9:blkio:/system.slice/docker-b5ce5ac1e4ae9b644fc8950eb8293077878a47b198c3a468738062d425fee312.scope
8:devices:/system.slice/docker-b5ce5ac1e4ae9b644fc8950eb8293077878a47b198c3a468738062d425fee312.scope
7:rdma:/
6:cpu,cpuacct:/system.slice/docker-b5ce5ac1e4ae9b644fc8950eb8293077878a47b198c3a468738062d425fee312.scope
5:pids:/system.slice/docker-b5ce5ac1e4ae9b644fc8950eb8293077878a47b198c3a468738062d425fee312.scope
4:misc:/
3:net_cls,net_prio:/system.slice/docker-b5ce5ac1e4ae9b644fc8950eb8293077878a47b198c3a468738062d425fee312.scope
2:perf_event:/system.slice/docker-b5ce5ac1e4ae9b644fc8950eb8293077878a47b198c3a468738062d425fee312.scope
# 这里就可以看到挂载了哪些进来。 这些地方是读写层,那么可以在对应宿主机(只读层)去查看即可,或者直接在docker里查看
# 退出来
cd /sys/fs/cgroup/memory/system.slice/docker-b5ce5ac1e4ae9b644fc8950eb8293077878a47b198c3a468738062d425fee312.scope
[root@localhost docker-b5ce5ac1e4ae9b644fc8950eb8293077878a47b198c3a468738062d425fee312.scope]# ls
cgroup.clone_children memory.kmem.failcnt memory.kmem.tcp.limit_in_bytes memory.max_usage_in_bytes memory.move_charge_at_immigrate memory.stat tasks
cgroup.event_control memory.kmem.limit_in_bytes memory.kmem.tcp.max_usage_in_bytes memory.memsw.failcnt memory.numa_stat memory.swappiness
cgroup.procs memory.kmem.max_usage_in_bytes memory.kmem.tcp.usage_in_bytes memory.memsw.limit_in_bytes memory.oom_control memory.usage_in_bytes
memory.failcnt memory.kmem.slabinfo memory.kmem.usage_in_bytes memory.memsw.max_usage_in_bytes memory.pressure_level memory.use_hierarchy
memory.force_empty memory.kmem.tcp.failcnt memory.limit_in_bytes memory.memsw.usage_in_bytes memory.soft_limit_in_bytes notify_on_release
[root@localhost docker-b5ce5ac1e4ae9b644fc8950eb8293077878a47b198c3a468738062d425fee312.scope]# cat memory.max_usage_in_bytes
14090240
[root@localhost docker-b5ce5ac1e4ae9b644fc8950eb8293077878a47b198c3a468738062d425fee312.scope]# cat memory.limit_in_bytes
67108864
正好是64m