Docker学习笔记14

容器镜像在Docker host的存储位置：

最上面的层（layer）为读写层，也就是容器。下面的其他的层都是只读层的镜像层。并且除了最下面的一层外，其他的层都有一个指针指向自己下面的一层镜像（联合文件系统）。

联合文件系统对用户来说只是一个文件系统。但是这些层并不是不能看到的，如果需要查看的话，可以进入运行Docker的机器上进行查看，从这些层中可以看到Docker内部实现的一些细节。

Docker容器镜像和容器的数据都存放在服务器的/var/lib/docker/的这个路径下。不同的linux发行版本存储方式上有差别。CentOS发行版本上的存储方式为Overlay或Overlay2。

docker info

Dislay system-wide information

[root@vm1 ~]# docker info
Client: Docker Engine - Community
 Version:    24.0.2
 Context:    default
 Debug Mode: false
 Plugins:
  buildx: Docker Buildx (Docker Inc.)
    Version:  v0.10.5
    Path:     /usr/libexec/docker/cli-plugins/docker-buildx
  compose: Docker Compose (Docker Inc.)
    Version:  v2.18.1
    Path:     /usr/libexec/docker/cli-plugins/docker-compose

Server:
 Containers: 15
  Running: 2
  Paused: 0
  Stopped: 13
 Images: 6
 Server Version: 24.0.2
 Storage Driver: overlay2
  Backing Filesystem: xfs
  Supports d_type: true
  Using metacopy: false
  Native Overlay Diff: true
  userxattr: false
 Logging Driver: json-file
 Cgroup Driver: cgroupfs
 Cgroup Version: 1
 Plugins:
  Volume: local
  Network: bridge host ipvlan macvlan null overlay
  Log: awslogs fluentd gcplogs gelf journald json-file local logentries splunk syslog
 Swarm: inactive
 Runtimes: io.containerd.runc.v2 runc
 Default Runtime: runc
 Init Binary: docker-init
 containerd version: 3dce8eb055cbb6872793272b4f20ed16117344f8
 runc version: v1.1.7-0-g860f061
 init version: de40ad0
 Security Options:
  seccomp
   Profile: builtin
 Kernel Version: 3.10.0-1160.90.1.el7.x86_64
 Operating System: CentOS Linux 7 (Core)
 OSType: linux
 Architecture: x86_64
 CPUs: 2
 Total Memory: 1.777GiB
 Name: vm1
 ID: a00730c7-0264-4797-b3fc-62b65f0650a8
 Docker Root Dir: /var/lib/docker
 Debug Mode: false
 Experimental: false
 Insecure Registries:
  192.168.17.9:5000
  127.0.0.0/8
 Live Restore Enabled: false

WARNING: API is accessible on http://0.0.0.0:2375 without encryption.
         Access to the remote API is equivalent to root access on the host. Refer
         to the 'Docker daemon attack surface' section in the documentation for
         more information: https://docs.docker.com/go/attack-surface/
[root@vm1 ~]#

其中，我们看到有容器的数量信息、镜像的信息、还有Storage Driver为overlay2的相关信息。

cgroup Driver：cgroupfs的信息。Backing Filesystem：xfs：容器本身文件系统的类型。

centos系统docker默认使用的存储驱动是devicemapper，而这种存储驱动有两种模式loop-lvm和direct-lvm，不巧默认又使用了比较低效的loop_lvm。

OverlayFS是一个类似AUFS的现代联合文件系统，更快实现简单。

OverlayFS是内核提供的文件系统，overlay和overlay2是docker的存储驱动。

[root@vm1 ~]# cd /var/lib/docker
[root@vm1 docker]# ll
total 20
drwx--x--x  5 root root  149 Jun 28 21:34 buildkit
drwx--x--- 17 root root 4096 Jun 29 20:42 containers
-rw-------  1 root root   36 Jun 25 20:47 engine-id
drwx------  3 root root   22 Jun 25 20:47 image
drwxr-x---  3 root root   19 Jun 25 20:47 network
drwx--x--- 59 root root 8192 Jun 29 20:42 overlay2
drwx------  4 root root   32 Jun 25 20:47 plugins
drwx------  2 root root    6 Jun 29 16:45 runtimes
drwx------  2 root root    6 Jun 25 20:47 swarm
drwx------  2 root root    6 Jun 29 20:39 tmp
drwx-----x  2 root root   50 Jun 29 16:45 volumes
[root@vm1 docker]#

其中有一个overlay2，里面就是保存的容器和镜像的数据。

docker pull下载一个镜像，然后再检查overlay2，我们可以看到目录中多了一个长数字名称的文件夹名称，里面有diff和l文件夹。

diff文件夹中是一个文件系统。

l文件夹中里面是一个软链接。短名称可以方便挂载。

启动容器后，检查mount |grep overlay2

Overlay及Overlay2的工作原理：

OverlayFS是将单个Linux主机上的两个目录合并成一个目录。这些目录被称为层，统一过程被称为联合挂载。

OverlayFS底层目录称为lowerdir，高层目录称为upperdir，合并统一视图称为merged。

当需要修改一个文件的时候，使用CoW（写时复制）将文件从只读的Lower复制到可写的Upper进行修改，结果也保存在Upper层。在Docker中，底下的只读层就是image，可写层就是Container。

overlay2是overlay的改进版，只支持4.0以上内核添加了Multiple lower layers in overlayfs的特性，所以overlay2可以直接造成multiple lower layer不用像overlay一样通过硬链接的方式（最大128层）。所以消耗更少的inode。

本质区别是镜像层之间共享数据的方法不同。

overlay共享数据方式是通过硬链接，只挂载一层，其他层通过最高层通过硬链接形式共享（增加了磁盘的inode的负担）。

而overlay2是通过每层的lower文件。

Linux的磁盘满与不满，跟磁盘空间有关，还跟inode号。

[root@vm1 ~]# df -i
Filesystem      Inodes IUsed   IFree IUse% Mounted on
devtmpfs        230177   382  229795    1% /dev
tmpfs           232852     1  232851    1% /dev/shm
tmpfs           232852   771  232081    1% /run
tmpfs           232852    16  232836    1% /sys/fs/cgroup
/dev/sda5      8130560 88973 8041587    2% /
/dev/sda2       256000   341  255659    1% /boot
overlay        8130560 88973 8041587    2% /var/lib/docker/overlay2/8b35c660b5b6c108f46d4ed0eac2caf5c9e247ad5faf74afb537197914a42daf/merged
tmpfs           232852     1  232851    1% /run/user/0
overlay        8130560 88973 8041587    2% /var/lib/docker/overlay2/2a5b4c6c3c5ac9995f16cc08e64bcb50913a1264130d93fcb0bc7f3f84684c6b/merged
[root@vm1 ~]#

如果upperdir和lowerdir文件名相同，则使用upperdir中的文件。

image layer是只读层。

Container layer是读写层。在容器层进行更改保存。

Container mount是联合挂载，merged（合并）。

/var/lib/docker/overlay2路径下的信息在不同的阶段会有变化，了解这几个阶段中新增的数据以及容器和镜像的存储结构的变化，非常有利于我们对Docker容器以及Docker镜像的理解。

Docker运行前、Docker运行后，下载镜像后，运行容器后四个阶段中Docker存储的变化。

Docker运行前：

没有启动Docker daemon之前不会在/var/lib目录中增加docker目录。

Docker启动后：

就能看到docker目录。其中overlay2目录是空的，里面只有backingFsBlockDev和l两个目录存在。

下载容器镜像以后：

然后我们可以看到有镜像存在，是一串长字符串的目录，里面有diff和link两个文件夹，diff目录中是容器中的文件系统目录结构。

centos镜像只有一层。

l目录中包含了很多软链接，使用的是短名称指向其他层，短名称用于避免mount参数时候达到页面大小的限制。

启动容器后，就看到在overlay2文件夹中多了两个文件夹，其中有个末尾是init文件名的文件夹。

在文件夹中有diff、link、lower、merged、work文件夹。

diff：记录每一层自己内容的数据；

link：记录该层链接目录（实际是l目录下到层的链接），比如在容器中创建目录或在diff新增该目录。

lower：底层镜像：是挂载的那一层底层centos的镜像。

merged：底层镜像和容器层合并在一起。这就是容器当中所使用的目录。创建容器时将lower-id指向的镜像层目录以及upper目录联合挂载到merged目录；

work：用来完成如copy-on-write的操作。

容器为什么不能数据持久化，因为我们会删容器。

容器启动后，可以在docker host中查看mount情况：

[root@vm1 ~]# mount |grep overlay
overlay on /var/lib/docker/overlay2/8b35c660b5b6c108f46d4ed0eac2caf5c9e247ad5faf74afb537197914a42daf/merged type overlay (rw,relatime,lowerdir=/var/lib/docker/overlay2/l/M4VPDQ5FHKDLN6OIJ2LWFEH3K2:/var/lib/docker/overlay2/l/4S7OYV5CW5SH6U33B65NVKTNCT:/var/lib/docker/overlay2/l/TXPV5HR7JK3L6TC6XD665LACSQ:/var/lib/docker/overlay2/l/QUKGQQ4UJYER63JNQINCZWYKS6:/var/lib/docker/overlay2/l/OCHI2IOPGUGHPIYETI7BGSVLJM:/var/lib/docker/overlay2/l/S3QUEFLNJWSEC6JAZTFURK3UFB,upperdir=/var/lib/docker/overlay2/8b35c660b5b6c108f46d4ed0eac2caf5c9e247ad5faf74afb537197914a42daf/diff,workdir=/var/lib/docker/overlay2/8b35c660b5b6c108f46d4ed0eac2caf5c9e247ad5faf74afb537197914a42daf/work)
overlay on /var/lib/docker/overlay2/2a5b4c6c3c5ac9995f16cc08e64bcb50913a1264130d93fcb0bc7f3f84684c6b/merged type overlay (rw,relatime,lowerdir=/var/lib/docker/overlay2/l/FEC3OVNUCJ7VKX6FHZKUAD6N22:/var/lib/docker/overlay2/l/L4ORWWKZ2CT6WMPJNXU2GRATZR:/var/lib/docker/overlay2/l/34X2UKWUTBBUZNXWDM62JQ54WG:/var/lib/docker/overlay2/l/PWFI7ZJXZQL5PFFKNCTYJKIGZ2:/var/lib/docker/overlay2/l/KDQCSU7LTWHKS5Q4CSZVJ5VZ5A:/var/lib/docker/overlay2/l/W7UBFRAJFAVE2KDIQNLG2LDGBB:/var/lib/docker/overlay2/l/CKDZAUJCARXIALNBKTE34WXAAZ:/var/lib/docker/overlay2/l/LPJXJJYHWNWR2TGU6DI2GALJZB:/var/lib/docker/overlay2/l/FDQX22BNWOZGK64W4RAYHSXNJ5:/var/lib/docker/overlay2/l/75VQYCQU7QSMR4IBFTUFMZCUQL,upperdir=/var/lib/docker/overlay2/2a5b4c6c3c5ac9995f16cc08e64bcb50913a1264130d93fcb0bc7f3f84684c6b/diff,workdir=/var/lib/docker/overlay2/2a5b4c6c3c5ac9995f16cc08e64bcb50913a1264130d93fcb0bc7f3f84684c6b/work)
[root@vm1 ~]#