容器技术基础

news2024/11/15 11:55:50

1. Linux Namespace和Cgroups

对于 Docker 等大多数 Linux 容器来说，Cgroups 技术是用来制造约束的主要手段，而 Namespace 技术则是用来修改进程视图的主要方法。

1.1 PID Namespace

//Linux 系统正常创建线程
int pid = clone(main_function, stack_size, SIGCHLD, NULL);

//添加CLONE_NEWPID参数，创建线程，返回一个新的PID
int pid = clone(main_function, stack_size, CLONE_NEWPID | SIGCHLD, NULL);

新创建的这个进程将会“看到”一个全新的进程空间，在这个进程空间里，它的 PID 是 1。之所以说“看到”，是因为这只是一个“障眼法”，在宿主机真实的进程空间里，这个进程的 PID 还是真实的数值，比如 100。

当然，我们还可以多次执行上面的 clone() 调用，这样就会创建多个 PID Namespace，而每个 Namespace 里的应用进程，都会认为自己是当前容器里的第 1 号进程，它们既看不到宿主机里真正的进程空间，也看不到其他 PID Namespace 里的具体情况。

除了我们刚刚用到的 PID Namespace，Linux 操作系统还提供了 Mount、UTS、IPC、Network 和 User 这些 Namespace，用来对各种不同的进程上下文进行“障眼法”操作。比如，Mount Namespace，用于让被隔离进程只看到当前 Namespace 里的挂载点信息；Network Namespace，用于让被隔离进程看到当前 Namespace 里的网络设备和配置。

用户的应用进程实际上就是容器里 PID=1 的进程，也是其他后续创建的所有进程的父进程。这就意味着，在一个容器中，你没办法同时运行两个不同的应用，除非你能事先找到一个公共的 PID=1 的程序来充当两个不同应用的父进程，这也是为什么很多人都会用 systemd 或者 supervisord 这样的软件来代替应用本身作为容器的启动进程。

1.2 Cgroups

Linux Cgroups（Linux Control Group），它最主要的作用，就是限制一个进程能够使用的资源上限，包括 CPU、内存、磁盘、网络带宽等等。

在 Linux 中，Cgroups 给用户暴露出来的操作接口是文件系统，即它以文件和目录的方式组织在操作系统的 /sys/fs/cgroup 路径下。

在 /sys/fs/cgroup 下面有很多诸如 cpuset、cpu、 memory 这样的子目录，也叫子系统。在子系统对应的资源种类下，你就可以看到该类资源具体可以被限制的方法。比如，对 CPU 子系统来说，我们就可以看到如下几个配置文件，这个指令是：

$ ls /sys/fs/cgroup/cpu
cgroup.clone_children cpu.cfs_period_us cpu.rt_period_us cpu.shares 
notify_on_releasecgroup.procs cpu.cfs_quota_us cpu.rt_runtime_us 
cpu.stat tasks

比如cfs_period 和 cfs_quota 两个参数组合使用，可以用来限制进程在长度为 cfs_period 的一段时间内，只能被分配到总量为 cfs_quota 的 CPU 时间。

除 CPU 子系统外，Cgroups 的每一项子系统都有其独有的资源限制能力，比如：

  • blkio，为​​​块​​​设​​​备​​​设​​​定​​​I/O 限​​​制，一般用于磁盘等设备；
  • cpuset，为进程分配单独的CPU 核和对应的内存节点；
  • memory，为进程设定内存使用的限制。

Linux Cgroups 就是一个子系统目录加上一组资源限制文件的组合。而对于 Docker 等 Linux 容器项目来说，它们只需要在每个子系统下面，为每个容器创建一个控制组（即创建一个新目录），然后在启动容器进程之后，把这个进程的 PID 填写到对应控制组的 tasks 文件中就可以了。

而至于在这些控制组下面的资源文件里填上什么值，就靠用户执行 docker run 时的参数指定了，比如这样一条命令：

$ docker run -it --cpu-period=100000 --cpu-quota=20000 ubuntu /bin/bash

2. docker image

2.1 rootfs解决的问题

对于通过 clone() 系统调用创建了一个新的子进程 container_main，其文件系统都继承于宿主机的文件系统，怎么才能对其文件系统进行隔离呢？

在 Linux 操作系统里，有一个名为 chroot 的命令可以帮助你在 shell 中方便地完成这个工作。顾名思义，它的作用就是帮你“change root file system”，即改变进程的根目录到你指定的位置。它的用法也非常简单。

而这个挂载在容器根目录上、用来为容器进程提供隔离后执行环境的文件系统，就是所谓的“容器镜像”。它还有一个更为专业的名字，叫作：rootfs（根文件系统）。

一个最常见的 rootfs，或者说容器镜像，会包括如下所示的一些目录和文件，比如 /bin，/etc，/proc 等等：

$ ls /bin dev etc home lib lib64 mnt opt proc root run sbin sys tmp usr var

对 Docker 项目来说，它最核心的原理实际上就是为待创建的用户进程：

  • 启用 Linux Namespace 配置；
  • 设置指定的 Cgroups 参数；
  • 切换进程的根目录（Change Root）

rootfs 只是一个操作系统所包含的文件、配置和目录，并不包括操作系统内核。在 Linux 操作系统中，这两部分是分开存放的，操作系统只有在开机启动时才会加载指定版本的内核镜像。

实际上，同一台机器上的所有容器，都共享宿主机操作系统的内核。由于 rootfs 里打包的不只是应用，而是整个操作系统的文件和目录，也就意味着，应用以及它运行所需要的所有依赖，都被封装在了一起。

2.2 image 的layer

docker 在镜像的设计中，引入了层（layer）的概念。也就是说，用户制作镜像的每一步操作，都会生成一个层，也就是一个增量 rootfs。这种分层是通过联合文件系统（Union File System）来实现的。

Union File System 也叫 UnionFS，最主要的功能是将多个不同位置的目录联合挂载（union mount）到同一个目录下，比如有A、B两个文件

//原结构
$ tree
.
├── A
│   ├── a
│   └── x
└── B 
    ├── b 
    └── x
//联合挂载    
$ mkdir C
$ mount -t aufs -o dirs=./A:./B none ./C

//联合挂载后
$ tree ./C
./C
├── a
├── b
└── x

从这个结构可以看出来，这个容器的 rootfs 由如下图所示的三部分组成：
在这里插入图片描述

  • 只读层
    它们的挂载方式都是只读的（ro+wh，即 readonly+whiteout），这些层都是 操 作系统的一部分。
    如果删除只读层的文件，AuFS 会在可读写层创建一个 whiteout 文件，在联合挂载时，把只读层里的文件“遮挡”起来。如果要是修改只读层的文件，使用copy-on-write来操作，将该文件复制到可读写层进行修改，修改的结果会作用到下层文件。

  • 可读写层
    它的挂载方式为：rw，即 read write。在没有写入文件之前，这个目录是空的。而一旦在容器里做了写操作，你修改产生的内容就会以增量的方式出现在这个层中。

  • Init 层
    一个以“-init”结尾的层，夹在只读层和读写层之间。Init 层是 Docker 项目单独生成的一个内部层，专门用来存放 /etc/hosts、/etc/resolv.conf 等信息。

需要这样一层的原因是，这些文件本来属于只读的镜像的一部分，但是用户往往需要在启动容器时写入一些指定的值比如 hostname，所以就需要在可读写层对它们进行修改。

可是，这些修改往往只对当前的容器有效，我们并不希望执行 docker commit 时，把这些信息连同可读写层一起提交掉。

所以，Docker 做法是，在修改了这些文件之后，以一个单独的层挂载了出来。而用户执行 docker commit 只会提交可读写层，所以是不包含这些内容的。

2.3 graph driver

Docker的graph driver主要用于管理和维护镜像，包括把镜像从仓库下载下来，到运行时把镜像挂载起来可以被容器访问等，都是graph driver做的。

目前docker支持的graph driver有：

  • Overlay2
  • Aufs
  • Devicemapper
  • Btrfs
  • Zfs
  • Vfs

以上2.2 描述的是aufs的实现，目前我们使用的是overlay2，也是一种ufs技术

3. docker log

在这里插入图片描述
假设 application 是 Docker 容器内部运行的应用，那么对于应用的第一部分标准输出（stdout）日志，Docker Daemon 在运行这个容器时就会创建一个协程（goroutine），负责标准输出日志。

由于此 goroutine 绑定了整个容器内所有进程的标准输出文件描述符，因此容器内应用的所有标准输出日志，都会被 goroutine 接收。goroutine 接收到容器的标准输出内容时，立即将这部分内容，写入与此容器一一对应的日志文件中，日志文件位于 /var/lib/docker/containers/<container_id> ，文件名为 <container_id>-json.log 。

至此，关于容器内应用的所有标准输出日志信息，已经全部被 Docker Daemon 接管，并重定向到与容器一一对应的日志文件中。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1119680.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

网络编程-java基础

网络编程-java基础

两台电脑之间的通信形成了网络 最小的网络&#xff1a;局域网 校园网(局域网) 城域网(一个市) 广域网(全球) 为什么我发QQ你能收到&#xff0c;这是因为我发的消息实际上是发给了QQ服务器&#xff0c;并不是直接发给你的&#xff0c; 我是与QQ服务器进行通信的&#xff0c…
阅读更多...
【C++】格式与实例化操作——[模板]详解（7）

【C++】格式与实例化操作——[模板]详解（7）

前言 大家好吖&#xff0c;欢迎来到 YY 滴C系列 &#xff0c;热烈欢迎&#xff01; 本章主要内容面向接触过C的老铁 主要内容含&#xff1a; 欢迎订阅 YY滴C专栏&#xff01;更多干货持续更新&#xff01;以下是传送门&#xff01; 目录 一. 模板参数与模板参数列表1)模板参数…
阅读更多...
JS学习-CryptoJS加密库

JS学习-CryptoJS加密库

CryptoJS加密库 安装库 npm install crypto-js如下例子 对称加密 const CryptoJS require(crypto-js); //引入加密库 var str"123456" //md5加密 console.log(CryptoJS.MD5(str).toString()) var str2 CryptoJS.enc.Utf8.parse(str); //可以把字符串转成UTF-…
阅读更多...
数据结构数组 Array 手写实现，扩容原理

数据结构数组 Array 手写实现，扩容原理

数组数据结构 数组&#xff08;Array&#xff09;是一种线性表数据结构。它用一组连续的内存空间&#xff0c;来存储一组具有相同类型数据的集合。 数组的特点&#xff1a; 数组是相同数据类型的元素集合&#xff08;int 不能存放 double&#xff09;数组中各元素的存储是有先…
阅读更多...
Xcode14创建github远程仓库Token

Xcode14创建github远程仓库Token

1.点击Create a Token on GitHub 2.在打开的网页中,登陆GitHub 3.点击生成Token 这是不能为空 4.Token创建成功如下: 5.复制Token到Xcode然后点击Sign In登陆 正在创建远程我仓库 正在将本地仓库代码推入远程仓库 创建成功
阅读更多...
method.isAnnotationPresent(Xxx.class)一直为null

method.isAnnotationPresent(Xxx.class)一直为null

​​​​package com.dj.springtest.aspect;import com.dj.springtest.annotation.RequireRoles; import lombok.extern.slf4j.Slf4j; import org.junit.Test; import org.junit.runner.RunWith; import org.springframework.beans.factory.annotation.Autowired; import org.s…
阅读更多...
Linux中的shell编程

Linux中的shell编程

shell编程 重定向 cat >temp 输入内容到temp文件中&#xff0c;如果存在temp则覆盖&#xff0c;没有则新建 cat >>temp 追加内容 cat temp1>>temp2 将temp1中的内容追加到temp 命令执行控制符号 ; 一个命令行执行多条语句 命令替换符 1.双引号&#…
阅读更多...
【软考】12.1 范围管理/进度管理

【软考】12.1 范围管理/进度管理

《范围管理》 项目需求的范围边界工作分解结构&#xff08;WBS&#xff09;&#xff1a;自上而下的分解结构 产品范围和项目范围 产品范围&#xff1a; a. 产品或服务应包含的功能 ——> 产品要求的描述 b. 判断是否完成&#xff1a;是否满足产品描述 项目范围&#xff1a;…
阅读更多...
Hadoop3教程（三十二）：（生产调优篇）NameNode故障恢复与集群的安全模式

Hadoop3教程（三十二）：（生产调优篇）NameNode故障恢复与集群的安全模式

文章目录 &#xff08;159&#xff09;NameNode故障处理&#xff08;160&#xff09;集群安全模式&磁盘修复集群安全模式磁盘修复等待安全模式 参考文献 &#xff08;159&#xff09;NameNode故障处理 如果NameNode进程挂了并且存储的数据也丢失了&#xff0c;如何恢复Nam…
阅读更多...
基于nodejs+vue 中小学课程辅导系统

基于nodejs+vue 中小学课程辅导系统

目 录 摘 要 I ABSTRACT II 目 录 II 第1章 绪论 1 1.1背景及意义 1 1.2 国内外研究概况 1 1.3 研究的内容 1 第2章 相关技术 3 2.1 nodejs简介 4 2.2 express框架介绍 6 2.4 MySQL数据库 4 第3章 系统分析 5 3.1 需求分析 5 3.2 系统可行性分析 5 3.2.1技术可行性&#xff1a;…
阅读更多...
浏览器的渲染机制

浏览器的渲染机制

渲染机制 浏览器的渲染机制一般分为以下几个步骤 处理 HTML 并构建 DOM 树。处理 CSS 构建 CSSOM 树。将 DOM 与 CSSOM 合并成一个渲染树。根据渲染树来布局&#xff0c;计算每个节点的位置。调用 GPU 绘制&#xff0c;合成图层&#xff0c;显示在屏幕上。 在构建 CSSOM 树时…
阅读更多...
【模型推理优化学习笔记】张量并行和流水线并行简介

【模型推理优化学习笔记】张量并行和流水线并行简介

张量并行 当每个张量被分成多个块时&#xff0c;就会发生张量并行性&#xff0c;并且张量的每个块都可以放置在单独的 GPU 上。在计算过程中&#xff0c;每个块在不同的 GPU 上单独并行处理&#xff0c;并且可以通过组合来自多个 GPU 的结果来计算结果&#xff08;最终张量&am…
阅读更多...
React环境初始化

React环境初始化

环境初始化 学习目标&#xff1a; 能够独立使用React脚手架创建一个React项目 1.使用脚手架创建项目 官方文档&#xff1a;(https://create-react-app.bootcss.com/)    - 打开命令行窗口    - 执行命令      npx create-react-app projectName    说明&#xff1a…
阅读更多...
Linux：权限是什么

Linux：权限是什么

本篇文章来简单介绍一下Linux操作系统中权限的基本概念和一些操作方法&#xff0c;对Linux权限有一个基本的了解&#xff0c;希望对大家学习Linux有所帮助。 目录 1.权限的概念 2.Linux权限管理 2.1 文件访问者的分类 2.2 文件类型与访问权限&#xff08;事物属性&#xff…
阅读更多...
（未完待续）【Netty专题】Netty实战与核心组件详解

（未完待续）【Netty专题】Netty实战与核心组件详解

目录 前言阅读对象阅读导航前置知识课程内容一、Netty简介1.1 Netty是什么1.2 Netty有什么优势 二、第一个Netty程序2.1 Netty简单使用示例2.2 代码解读2.3 Netty的特性2.3.1 Netty的事件 2.4 Netty线程模型 三、Netty核心组件详解&#xff08;未完待续&#xff09;3.1 EventLo…
阅读更多...
learn C++ NO.11——string类模拟实现

learn C++ NO.11——string类模拟实现

前言 本篇文章主要是讲string类的模拟实现&#xff0c;模拟实现的是string类的常用接口以及成员函数。让读者对string类有更深的理解。适当的“造轮子”&#xff0c;有助于我们的语言学习。 简单描述string类 string类其实就是一个管理字符数组的线性表&#xff0c;我们可以…
阅读更多...
常见面试题-Redis专栏（二）

常见面试题-Redis专栏（二）

theme: cyanosis typora-copy-images-to: imgsRedisson 分布式锁&#xff1f;在项目中哪里使用&#xff1f;多久会进行释放&#xff1f;如何加强一个分布式锁&#xff1f; 答&#xff1a; 首先入门级别的分布式锁是通过 setnx 进行实现&#xff0c;使用 setnx 实现有四个注意…
阅读更多...
6.MySQL内置函数

6.MySQL内置函数

个人主页&#xff1a;Lei宝啊 愿所有美好如期而遇 日期函数 current_date() 当前日期 select 可以做表达式和函数的计算。 current_time() 当前时间 current_timestamp() 当前日期加时间 注意&#xff1a;值得说明的是这三个函数底层调用的都是同一个函数&#xff0c;只不…
阅读更多...
C语言关键字

C语言关键字

关键字作用 关键字是 C 语言中预先保留的单词 C语言关键字 注意&#xff1a;在定义变量或者常量的时候&#xff0c;不要使用关键字
阅读更多...
设计模式：组合模式（C#、JAVA、JavaScript、C++、Python、Go、PHP）

设计模式：组合模式（C#、JAVA、JavaScript、C++、Python、Go、PHP）

简介&#xff1a; 组合模式&#xff0c;它是一种用于处理树形结构、表示“部分-整体”层次结构的设计模式。它允许你将对象组合成树形结构&#xff0c;以表示部分和整体的关系。这种模式的主要目的是简化客户端代码&#xff0c;并使客户端以一致的方式处理单个对象和组合对象。…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023