全网讲的最详细的Docker镜像分层存储原理

news2025/1/13 8:01:02

先说结论，容器镜像分层存储图示
在这里插入图片描述
欢迎关注
在这里插入图片描述

实验环境准备

当前实验docker版本24.0.7如下，当前docker版本使用overlay2机制存储镜像

Client: Docker Engine - Community
 Version:           24.0.7
 API version:       1.43
 Go version:        go1.20.10
 Git commit:        afdd53b
 Built:             Thu Oct 26 09:07:41 2023
 OS/Arch:           linux/amd64
 Context:           default

Server: Docker Engine - Community
 Engine:
  Version:          24.0.7
  API version:      1.43 (minimum version 1.12)
  Go version:       go1.20.10
  Git commit:       311b9ff
  Built:            Thu Oct 26 09:07:41 2023
  OS/Arch:          linux/amd64
  Experimental:     false
 containerd:
  Version:          1.6.25
  GitCommit:        d8f198a4ed8892c764191ef7b3b06d8a2eeb5c7f
 runc:
  Version:          1.1.10
  GitCommit:        v1.1.10-0-g18a0cb0
 docker-init:
  Version:          0.19.0
  GitCommit:        de40ad0

$ sudo docker pull httpd
Using default tag: latest
latest: Pulling from library/httpd
1f7ce2fa46ab: Pull complete 
424de2a10000: Pull complete 
6d9a0131505f: Pull complete 
5728e491734b: Pull complete 
20d3235e84ad: Pull complete 
Digest: sha256:04551bc91cc03314eaab20d23609339aebe2ae694fc2e337d0afad429ec22c5a
Status: Downloaded newer image for httpd:latest
docker.io/library/httpd:latest

# sudo docker image inspect httpd
		"Id": "sha256:a6ca7b52a41549f13f7de6aeac4ab6ffebd41585fbf2273f00fd6e82bb721949",
        "RepoTags": [
            "httpd:latest"
        ],
        "RepoDigests": [
            "httpd@sha256:04551bc91cc03314eaab20d23609339aebe2ae694fc2e337d0afad429ec22c5a"
        ],
		"GraphDriver": {
            "Data": {
                "LowerDir": "/var/lib/docker/overlay2/766833b310bfa8245d270ce831a9e73ab27e5e0f61525d108ef519e4868f9cfb/diff:/var/lib/docker/overlay2/76c5547a9f06e06ba12ae92f54211a9c4397bc6c002e3a81aa4a4d7903f451c2/diff:/var/lib/docker/overlay2/aab89c771d1be31e61bce7d83df529043b1b0cd4283ed1d9275a97617c114743/diff:/var/lib/docker/overlay2/32b5b0acbd61d9bbfb362d26d450e6412bfa6749677acf0694f32930e82432b2/diff",
                "MergedDir": "/var/lib/docker/overlay2/88aaff0c6f4e196d1a79386b30b9460a2603824b6ebb9efacdfd1fd11000477f/merged",
                "UpperDir": "/var/lib/docker/overlay2/88aaff0c6f4e196d1a79386b30b9460a2603824b6ebb9efacdfd1fd11000477f/diff",
                "WorkDir": "/var/lib/docker/overlay2/88aaff0c6f4e196d1a79386b30b9460a2603824b6ebb9efacdfd1fd11000477f/work"
            },
            "Name": "overlay2"
        },
        "RootFS": {
            "Type": "layers",
            "Layers": [
                "sha256:92770f546e065c4942829b1f0d7d1f02c2eb1e6acf0d1bc08ef0bf6be4972839",
                "sha256:fad7e2250d8fefbd8524054837403921b468448b6bae1ee439bb793e254b6725",
                "sha256:27496babc700a08c0a14777dd4bb818273e8cc9f77d526fcb4554043cff291d9",
                "sha256:28f18e7dc61c56a068f00ec92dde62cf9de21cbce0eb9a8395c6617e2fef9463",
                "sha256:b9bf93af811f6900f445158ab648fd4868b69b770908142b897772e6bb8c2a2f"
            ]
        }

overlay2文件系统

overlayfs通过三个目录来实现：lower目录、upper目录、以及work目录。三种目录合并出来的目录称为merged目录

  • lower目录：可以是多个，是处于最底层的目录，作为只读层
  • upper目录：只有一个，作为读写层
  • work目录：为工作基础目录，挂载后内容会被清空，且在使用过程中其内容用户不可见
  • merged目录：为最后联合挂载完成给用户呈现的统一视图，也就是说merged目录里面本身并没有任何实体文件，给我们展示的只是参与联合挂载的目录里面文件而已，真正的文件还是在lower和upper中。所以，在merged目录下编辑文件，或者直接编辑lower或upper目录里面的文件都会影响到merged里面的视图展示。

docker image inspect httpd的结果中LowerDir的值是实际存储文件系统数据的目录

MergedDir,UpperDir,WorkDir也都是放在/var/lib/docker/overlay2/目录下

上面inspect命令结果中"Id": "sha256:a6ca7b52a41549f13f7de6aeac4ab6ffebd41585fbf2273f00fd6e82bb721949",，这一部分其实就是repository元数据，用于找到镜像image元数据/var/lib/docker/image/overlay2/imagedb/content/sha256(Id值)/

上面inspect命令结果中RootFS的Layers是layer元数据，其中的每个sha256的值就是diff_id

docker镜像分层存储原理

docker镜像的元数据分为repository,image,layer三部分

由于docker镜像分层存储，所以repository和image没有对应的物理镜像文件，而每个layer元数据都有具体的物理镜像层文件与之对应，

并且layer元数据和镜像文件分开存储，二者基于内容寻址(即基于文件内容索引镜像和镜像层)存储机制进行关联

repository元数据

repository是某个镜像所有迭代版本的集合，它在本地的持久化信息就存储在/var/lib/docker/image/overlay2/repositories.json中，其中记录了所有repository的名字以及每个repository中所有版本镜像的名字。

这里的sh256的值和docker pull时的sha256值一样

root@ubuntu20:/var/lib/docker/image/overlay2# cat repositories.json 
{"Repositories":{
    "httpd":{
        "httpd:latest":"sha256:a6ca7b52a41549f13f7de6aeac4ab6ffebd41585fbf2273f00fd6e82bb721949",
        "httpd@sha256:04551bc91cc03314eaab20d23609339aebe2ae694fc2e337d0afad429ec22c5a":"sha256:a6ca7b52a41549f13f7de6aeac4ab6ffebd41585fbf2273f00fd6e82bb721949"
    }
}}

image元数据

image元数据的本地文件位于/var/lib/docker/image/overlay2/imagedb/content/sha256/，包括以下信息：镜像架构、操作系统、镜像配置、Docker版本和镜像层信息rootfs。

其中rootfs包含该镜像所有镜像层的id，即diff_id。其中的diff_ids从上到下依次为nginx镜像底层到顶层的diff_id。

镜像层的id为diff_id

# cat /var/lib/docker/image/overlay2/imagedb/content/sha256/a6ca7b52a41549f13f7de6aeac4ab6ffebd41585fbf2273f00fd6e82bb721949
.....
"rootfs":{
    "type":"layers","diff_ids":[
        "sha256:92770f546e065c4942829b1f0d7d1f02c2eb1e6acf0d1bc08ef0bf6be4972839",
        "sha256:fad7e2250d8fefbd8524054837403921b468448b6bae1ee439bb793e254b6725",
        "sha256:27496babc700a08c0a14777dd4bb818273e8cc9f77d526fcb4554043cff291d9",
        "sha256:28f18e7dc61c56a068f00ec92dde62cf9de21cbce0eb9a8395c6617e2fef9463",
        "sha256:b9bf93af811f6900f445158ab648fd4868b69b770908142b897772e6bb8c2a2f"
    ]
}

layer元数据

用户拉取了某个镜像层后，Docker会基于该镜像层的文件和image元数据生成layer元数据，

主要包括该镜像层的diff_id(diff)，如果该镜像层没有父镜像层，那么该层的diff_id就是chain_id

父镜像层的chain_id（parent)、

该镜像层的大小（size）、

镜像层文件的索引（cache-id）等，

这些元数据存储在 /var/lib/docker/image/overlay2/layerdb/sha256/路径下

root@ubuntu20:/var/lib/docker/image/overlay2/layerdb/sha256# tree -L 2
.   
├── 16d494768121f45ba050ad50a669400818478131cb930bb0c8b5d2f908057142
│   ├── cache-id
│   ├── diff
│   ├── parent
│   ├── size
│   └── tar-split.json.gz
├── 29b181ca372e770053cc03410789236d7a96171f1f77110741d0f3f068a29c67
│   ├── cache-id
│   ├── diff
│   ├── parent
│   ├── size
│   └── tar-split.json.gz
├── 92770f546e065c4942829b1f0d7d1f02c2eb1e6acf0d1bc08ef0bf6be4972839
│   ├── cache-id
│   ├── diff
│   ├── size
│   └── tar-split.json.gz
├── cdfabdae5172d05eb5141bb77aaa300a195570b0befd780b6e2fc7bd20ea2cd5
│   ├── cache-id
│   ├── diff
│   ├── parent
│   ├── size
│   └── tar-split.json.gz
└── e8254408730a345e2ccf863e19c850e7ee78b59dfd9e4aa265b0107dd4301be5
    ├── cache-id
    ├── diff
    ├── parent
    ├── size
    └── tar-split.json.gz

cache-id是Docker随机生成的UUID，用于标识和索引具体的镜像文件；

chainID是image元数据与layer元数据关联的索引ID，根据当前层的diffID和父镜像层的chainID得来，具体计算方法如下：

  • 如果该镜像层是最底层(没有父镜像层)，该层的 diff_id 便是 chain_id。
  • 该镜像层的 chain_id 计算公式为 chainID=sha256(父层chain_id+" "+本层diff_id)，也就是根据父镜像层的 chain_id 加上一个空格和当前层的 diff_id，再计算 SHA256 校验码。

镜像文件存储目录

镜像层元数据与镜像层文件分开存储，并通过cache-id(overlay2目录下的文件夹的名字)进行关联。具体的镜像层文件存储在/var/lib/docker/overlay2文件夹下

root@ubuntu20:/var/lib/docker/overlay2# tree -L 2
.
├── 32b5b0acbd61d9bbfb362d26d450e6412bfa6749677acf0694f32930e82432b2
│   ├── committed
│   ├── diff
│   └── link
├── 766833b310bfa8245d270ce831a9e73ab27e5e0f61525d108ef519e4868f9cfb
│   ├── committed
│   ├── diff
│   ├── link
│   ├── lower
│   └── work
├── 76c5547a9f06e06ba12ae92f54211a9c4397bc6c002e3a81aa4a4d7903f451c2
│   ├── committed
│   ├── diff
│   ├── link
│   ├── lower
│   └── work
├── 88aaff0c6f4e196d1a79386b30b9460a2603824b6ebb9efacdfd1fd11000477f
│   ├── diff
│   ├── link
│   ├── lower
│   └── work
├── aab89c771d1be31e61bce7d83df529043b1b0cd4283ed1d9275a97617c114743
│   ├── committed
│   ├── diff
│   ├── link
│   ├── lower
│   └── work
└── l
    ├── J6BYBF6ADSYX4HKH65NQSXLNAD -> ../76c5547a9f06e06ba12ae92f54211a9c4397bc6c002e3a81aa4a4d7903f451c2/diff
    ├── L2DROY4Y7V2ZGUIOFOLSARZO3T -> ../aab89c771d1be31e61bce7d83df529043b1b0cd4283ed1d9275a97617c114743/diff
    ├── U2HWCDVI7VIS6QKAUANBZSIC4L -> ../32b5b0acbd61d9bbfb362d26d450e6412bfa6749677acf0694f32930e82432b2/diff
    ├── V2RW2JJO2BYNGIFOMQJ74TF5C3 -> ../766833b310bfa8245d270ce831a9e73ab27e5e0f61525d108ef519e4868f9cfb/diff
    └── WUF77DAMALFDYBOPZYWKS7WOIG -> ../88aaff0c6f4e196d1a79386b30b9460a2603824b6ebb9efacdfd1fd11000477f/diff

子目录l记录了很多长26位的软连接，指向本地缓存目录下的diff目录。(容器运行时会用到，具体参见文章开头的链接)

其他7个子目录是镜像层的目录，代表Nginx镜像共有7个镜像层，每个镜像层目录都由一串UUID命名，这个UUID即layer元数据部分介绍的cache-id，用于将镜像元数据和镜像文件关联起来。

其中diff目录保存了镜像层的实际内容；

link保存了当前镜像层的短ID，与 l目录互为引用；

lower目录保存了当前镜像层的所有父镜像层的短ID集合，用于挂载时直接读取；

work目录为overlay2驱动的写时复制目录。

镜像索引关系

repositories.json文件存储了repository元数据，其中包括imageID；

由imageID可以索引到image元数据，其中包括该镜像每层的 ID，即 diff_id；

根据当前层diff_id和父镜像层的chainID可以计算出当前层的chainID，就可以索引到当前层的layer元数据；

当前层的layer元数据文件夹下包括cacheID，从而索引到存储在/var/lib/docker/overlay2路径下的镜像文件存储数据。

/var/lib/docker/
				/overlay2/	# 存放实际的镜像或容器文件
 			/image/overlay2/
     						distribution/
         					imagedb/		# image元数据
             						content/sha256/	# image元数据
                 					metadata/	
             				layerdb/		# layer元数据
                 					mounts/	# 运行的容器的挂载元数据
                     				sha256/	# layer元数据
                 			repositories.json	# repository元数据

在这里插入图片描述

容器启动

⼀个容器完整的层应由三个部分组成

  • 镜像层：也称为rootfs，提供容器启动的⽂件系统。镜像层属于roLayer
  • init层：⽤于修改容器中⼀些⽂件如/etc/hostname，/etc/hosts，/etc/resolv.conf等。init层属于mountedLayer
  • 容器层：使⽤联合挂载统⼀给⽤⼾提供的可读写⽬录。容器层属于mountedLayer

启动容器时会在/var/lib/docker/image/overlay2/layerdb/mounts/下创建container_id文件夹，其中包括

  • mount-id：存储在/var/lib/docker/overlay2/(镜像文件存储目录)的⽬录名称。（容器层，联合挂载⽽来，mount到docker/overlay2/⽬录下）
  • init-id：initID是在mountID后加了⼀个-init，同时initID就是存储 在/var/lib/docker/overlay2/的⽬录名称。
  • parent：容器所基于的镜像的最上层的chain_id。

多架构下的镜像信息

可以使用 docker manifest inspect $image 命令来查看，manifest为docker的体验特性，在Linux系统下开启

最好的方式为开启docker daemon的特性，修改 /etc/docker/daemon.json 文件

{
  "experimental": true
}

配置镜像加速时配置阿里镜像地址也是通过这个文件来做的

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1691472.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

STM32电机驱动模块(L9110S)

STM32电机驱动模块(L9110S)

一、L9110S简介 L9110S是一种常用的双通道H桥电机驱动器集成电路，用于控制直流电机的方向和速度。它可以同时控制两个电机，每个通道最大可输出800mA的电流。L9110S具有高效的电源管理和过流保护功能，可以保护电路免受电机反冲电流的损害。它…
阅读更多...
springcloud第4季 springcloud-gateway网关predict案例场景

springcloud第4季 springcloud-gateway网关predict案例场景

一 predict案例场景 1.1 说明 本博客所有案例操作，都在上篇博客的基础上进行： springcloud第4季 springcloud-gateway网关的功能作用_cloud gateway干嘛的-CSDN博客 1.2 案例前提准备 1. 启动zipkin服务 2.启动consul服务 3.启动3个应用服务 二 …
阅读更多...
Python中别再用 ‘+‘ 拼接字符串了！

Python中别再用 ‘+‘ 拼接字符串了！

大家好，在 Python 编程中，我们常常需要对字符串进行拼接。你可能会自然地想到用 操作符将字符串连接起来，毕竟这看起来简单明了。 在 Python 中，字符串是不可变的数据类型，这意味着一旦字符串被创建，它就…
阅读更多...
【游戏引擎】Unity脚本基础 开启游戏开发之旅

【游戏引擎】Unity脚本基础 开启游戏开发之旅

持续更新。。。。。。。。。。。。。。。 【游戏引擎】Unity脚本基础 Unity脚本基础C#语言简介C#基础 Unity脚本基础创建和附加脚本MonoBehaviour生命周期生命周期方法 示例脚本 Unity特有的API常用Unity API 实践示例：制作一个简单的移动脚本步骤1：创建…
阅读更多...
完成商品SPU管理页面

完成商品SPU管理页面

文章目录 1.引入前端界面1.将前端界面放到commodity下2.创建菜单3.进入前端项目，使用npm添加依赖1.根目录下输入2.报错 chromedriver2.27.2的问题3.点击链接下载压缩包，然后使用下面的命令安装4.再次安装 pubsub-js 成功5.在main.js中引入这个组件 4.修改…
阅读更多...
海外媒体发稿的关键步骤和投稿策略：如何撰写高质量的新闻稿？国外软文发布平台有哪些？

海外媒体发稿的关键步骤和投稿策略：如何撰写高质量的新闻稿？国外软文发布平台有哪些？

发布国外新闻稿件是一个涉及多步骤的过程，旨在确保您的新闻稿能够有效覆盖目标受众。以下是一些关键步骤和实用的技巧，帮助你实现海外媒体发稿。 1. 明确目标和受众 首先，明确您发布新闻稿的目标，是为了增加品牌曝光、推出新产品…
阅读更多...
byzer sql 详细参考

byzer sql 详细参考

数据加载 load excel load excel.tmp/upload/exceltest.xls where header"true" as hello_world; load csv load csv.tmp/upload/taxi_tour_table_train_simple.csv where delimiter"," and header "true" as taxi_tour_table_train_simple…
阅读更多...
【JavaScript】文件下载

【JavaScript】文件下载

文件下载的消息格式 服务器只要在响应头中加入 Content-Disposition: attachment; filename"kxx" 即可触发浏览器的下载功能其中： attachment 表示附件，浏览器看到此字段，触发下载行为（不同的浏览器下载行为有所区别&…
阅读更多...
[Linux]服务管理

[Linux]服务管理

一.服务的概念，状态，查看系统服务 服务(service)本质就是进程 如(mysqld，sshd 防火墙等) 是运行在后台的，通常都会监听某个端口，等待其它程序的请求 -------比如mysqld，防火墙等，因此我们又称为…
阅读更多...
抖音运营_如何开抖店

抖音运营_如何开抖店

截止20年8月，抖音的日活跃数高达6亿。 20年6月，上线抖店 （抖音官方电商） 一 抖店的定位和特色 1 一站式经营 帮助商家进行 商品交易、店铺管理、客户服务 等全链路的生意经营 2 多渠道拓展 抖音、今日头条、西瓜、抖音火山版…
阅读更多...
Python爬取B站视频：封装一下

Python爬取B站视频：封装一下

📚博客主页：knighthood2001 ✨公众号：认知up吧 （目前正在带领大家一起提升认知，感兴趣可以来围观一下） 🎃知识星球：【认知up吧|成长|副业】介绍 ❤️如遇文章付费，可先看…
阅读更多...
【Python】—— lambda表达式

【Python】—— lambda表达式

目录 （一）应用场景 （二）lambda 语法 （三）示例分析 （四）lambda参数形式 4.1 无参数 4.2 一个参数 4.3 默认参数 4.4 可变参数 ：*args 4.5 可变参数 ：…
阅读更多...
保存商品信息功能（VO）

保存商品信息功能（VO）

文章目录 1.分析前端保存商品发布信息的json数据1.分析commoditylaunch.vue的submitSkus1.将后面的都注销，只保留查看数据的部分2.填写基本信息3.保存信息，得到json4.使用工具格式化一下 2.使用工具将json转为model3.根据业务修改vo，放到vo包…
阅读更多...
Python怎样定位并删除Sql语句中不确定的查询条件

Python怎样定位并删除Sql语句中不确定的查询条件

1.问题场景描述: 在sql语句中经常会有查询条件是:查找多个订单签订日期范围的数据,但具体的日期范围是不确定,我们如何来查找定位 例如:查询条件语句的部分如下图: 目标是: 1)定位字符串:t_contract_order.sign_date 2)最终得到结果: 解决问题思路: 1)定位要找的字符串起始位置…
阅读更多...
vue2-computed，vue3+watch 前端实现列表搜索，结合filter+some+indexOf

vue2-computed，vue3+watch 前端实现列表搜索，结合filter+some+indexOf

vue2 computed实现 computed: {FBAAddressListComputed () {if (!this.fbaInput) return this.FBAAddressListconst lowerCaseInput this.fbaInput.toLowerCase()return this.FBAAddressList.filter((item) > {return [item.fbaCode, item.zipCode, item.countryCode, ite…
阅读更多...
Cisco Nexus Leaf上线注册到APIC，并配置带外管理IP操作方法

Cisco Nexus Leaf上线注册到APIC，并配置带外管理IP操作方法

现场2台Nexus93108交换机需要注册到APIC上，成为Leaf交换机。 在ACI的架构中，所有Leaf节点交换机要连接到SPINE交换机上，我们的spine交换机型号为Nexus 9364 Leaf N93108TC-EX长这样, 前面是48个万兆电口，后面6个端口支持40G或100…
阅读更多...
视觉与数据的和谐：数字孪生技术在UI设计中的艺术

视觉与数据的和谐：数字孪生技术在UI设计中的艺术

视觉与数据的和谐：数字孪生技术在UI设计中的艺术 引言 在UI设计的世界里，视觉艺术与数据科学似乎相隔甚远，然而随着数字孪生技术的出现，这两者之间的界限变得模糊。数字孪生技术不仅是一种技术革新，更是一种艺术形式…
阅读更多...
基于Matlab卷积神经网络人脸识别

基于Matlab卷积神经网络人脸识别

欢迎大家点赞、收藏、关注、评论啦 ，由于篇幅有限，只展示了部分核心代码。 文章目录 一项目简介 二、功能三、系统四. 总结 一项目简介 一、项目背景与意义 人脸识别作为计算机视觉领域的关键技术之一，具有广泛的应用前景，如安全…
阅读更多...
网络安全知识核心20要点

网络安全知识核心20要点

1、什么是SQL注入攻击 概述 攻击者在 HTTP 请求中注入恶意的 SQL 代码，服务器使用参数构建数据库 SQL 命令时，恶意SQL 被一起构造，并在数据库中执行。 注入方法 用户登录，输入用户名 lianggzone，密码‘ or ‘1’’…
阅读更多...
YashanDB与慧点科技完成兼容互认证

YashanDB与慧点科技完成兼容互认证

近日，深圳计算科学研究院崖山数据库系统YashanDB与慧点科技顺利完成兼容性互认证。经严格测试，双方产品完全兼容，稳定运行，共同支撑政府、企业、金融等办公应用场景下的数字化转型升级，为企业的信息技术应用创新提供坚…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023