Docker Overlay2 空间优化

news2024/10/11 21:56:01

docker_logo


目录

    • 分析
    • 优化
      • 数据路径规划
      • 日志大小限制
      • overlay2 大小限制
      • 清理冗余数据
    • 总结


分析

overlay2 目录占用磁盘空间较大的原因通常与 Docker 容器和镜像的存储机制以及它们的长期累积相关,其实我之前在 Docker 原理那里已经提到过了。

通常时以下几种原因导致:

  • 大量的镜像和容器层

    每次运行一个 Docker 容器时,它都会从镜像中创建一个新的写层(之前提到的写时复制机制),这个层存储了容器运行时的所有文件修改。如果有很多容器运行或停止,但未被删除,overlay2 目录中的层(例如 diffmerged 目录)会占用大量空间。

    注意的是:每次启动或停止容器,Docker 会创建新的层,这些层没有被清理会长期占用空间,即使容器不再运行,其数据层依然占据磁盘空间。

  • 未删除的旧镜像

    Docker 会将所有拉取的镜像保存在本地,如果没有及时删除不再使用的镜像,这些镜像的层也会持续占用空间。因为每个 Docker 镜像都由多个层组成,每一层都会占用磁盘空间,且这些层存储在 overlay2 目录下。

  • 容器内文件的增多

    容器内的写操作(例如应用日志、临时文件等)都会写入 overlay2diff 层。如果某些容器产生了大量文件(例如日志文件、缓存等),这些文件会导致存储层膨胀。

  • 日志文件过大

    如果 Docker 容器产生了大量日志,特别是在没有对日志大小进行限制的情况下,日志文件会持续增长,占用大量空间。

  • 未清理的缓存和未使用的镜像层

    Docker 在构建镜像或运行容器时,会生成大量的缓存数据。这些数据在 overlay2 中存储,如果没有定期清理,长期累积会占用大量磁盘空间。

  • 挂载卷中的数据未清理

    容器运行时,挂载到容器中的数据卷可能存储了大量的数据,特别是当某些服务(如数据库、文件处理应用)生成大量数据时。

优化

数据路径规划

我们可在 Docker 配置文件中进行指定:

vim /etc/docker/daemon.json
{
    ...
    "data-root": "/data/docker",
    "log-driver": "json-file",
	...
}
systemctl daemon-reload
systemctl restart docker.service

配置后,重启 Docker 服务即可生效。

日志大小限制

有时,对于频繁产生大量日志的应用程序来说,如果你 Docker 服务没有对容器日志做限制,那必将会占用宿主机磁盘容量。

我们可在 Docker 配置文件中进行限制:

vim /etc/docker/daemon.json
{
    ...
    "log-opts": {
        "max-size": "60m",
        "max-file": "3"
    },
	...
}
systemctl daemon-reload
systemctl restart docker.service

配置后,重启 Docker 服务即可生效。

overlay2 大小限制

verlay2 是 Docker 默认的存储驱动之一,它将文件系统的多个层叠加在一起,并使用写时复制 (CoW) 来实现容器文件系统的管理。

查找 overlay2 目录中占用空间最多的文件:

du -sh /data/docker/overlay2/* | sort -h

image-20241011170044140

这样可以通过 overlay2 ID 匹配对应的容器 ID,就可以找出产生大数据的容器,进行快速定位:

docker inspect --format='{{.GraphDriver.Data.MergedDir}} {{.ID}}' $(docker ps -aq)

image-20241011173944396

此时就可以找出这个容器了:

docker ps

image-20241011174524496

但要注意的是,overlay2 目录下的数据不能轻易手动删除,否则容器异常。虽然 overlay2 本身并没有直接的大小限制,但由于它依赖于底层文件系统(通常是 ext4xfs),存储大小的限制通常由底层文件系统决定。

可以通过 storage-opts 配置来限制每个容器的写层大小。这样可以防止容器无限制地增长,占用所有的磁盘空间。

{
    ...
    "storage-opts": [
        "overlay2.override_kernel_check=true",
        "overlay2.size=10G"
    ]
	...
}

这个配置会为每个容器的写层分配 10GB 的空间。当容器超过此限制时,会出现磁盘已满的错误。

注意,overlay2.size 仅在 Docker 使用 xfs 文件系统并启用 d_type 支持时有效。但是不建议通过此方法限制 overlay2 大小,而是部署服务前就应该做好了服务器磁盘容量规划,并实时监控服务器健康状态。

清理冗余数据

1、查看 docker 整体数据容量

du -sh /data/docker

image-20241008110407239

2、查看镜像、容器、数据卷和构建缓存大小

docker system df

image-20241008110533916

a. 可释放 15.63GB 未使用的容器镜像空间

docker image prune

如果想删除所有未使用的镜像(包括无标签的 dangling 镜像),可以使用:

docker image prune -a

b. 停止并删除未使用的容器

docker container prune

c. 清理未使用的网络

docker network prune

d. 清理系统缓存(移除未使用的网络、卷和构建缓存)

docker system prune -a

总结

一切的优化均基于理论+实践。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2205976.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Java:数据结构-LinkedList与链表(1)

一 链表 1.. ArrayList的缺陷(LinkedList的优点) 在ArrayList任意位置插入或者删除元素时,就需要将后序元素整体往前或者往后 搬移,时间复杂度为O(n),效率比较低,因此ArrayList不适合做任意位置插入和删除…

【AI知识点】残差网络(ResNet,Residual Networks)

AI知识点总结:【AI知识点】 AI论文精读、项目、思考:【AI修炼之路】 残差网络(ResNet,Residual Networks) 是由微软研究院的何凯明等人在 2015 年提出的一种深度神经网络架构,在深度学习领域取得了巨大的成…

Vue3封装消息提示框-基于element-plus

Vue3封装消息提示框-基于element-plus 图片示例 封装代码 创建modal.js文件 import {ElMessage,ElMessageBox,ElNotification,ElLoading, } from "element-plus";let loadingInstance;export default {// 消息提示msg(content) {ElMessage.info(content);},// 错误…

手机移动终端的土壤检测

手机OTG转USB串口,读取土壤检测设备信息,在APP展示。 总结一下 1. 用了MAUI框架,这东西感觉比xamarin好用,特别是contentpage和单例模式,数据绑定也很OK。 2. 串口驱动不好孤岛,废了不少功夫专门做这个。 3…

Lory: 推进大型语言模型训练的新篇章

人工智能咨询培训老师叶梓 转载标明出处 随着模型规模的增长,如何有效训练并利用这些模型成为了一个挑战。陈丹琦团队一项新的研究提出了一种创新的预训练方法——Lory,旨在解决大模型在混合专家(MoE)架构中的可微分性和计算效率…

开关打开输入框才能输入文字,否则为禁用状态

页面开关默认为关闭状态&#xff0c;输入框为禁用状态。 当点击开关&#xff0c;打开开关后&#xff0c;输入框禁用状态解除&#xff0c;才可以在输入框内输入。 html结构: <div class"page_top"><!-- 第一行 --><div class"top_first">…

使用three.js 实现一个 马赛克得 shader

使用three.js 实现一个 马赛克得 shader 源链接&#xff1a;https://threehub.cn/#/codeMirror?navigationThreeJS&classifyshader&idmosaicShader 国内站点预览&#xff1a;http://threehub.cn github地址: https://github.com/z2586300277/three-cesium-example…

HTML的介绍

HTML HTML是一种超文本标记语言,超文本是指,除了文本之外,还可能包含图片,音频,或者评注等的 文本形式,比文本强大,通过链接和交互方式来组织和呈现信息.标记语言是指,由标签构成的语言.HTML定义了多种不同的标签,用来表示不同的内容. 标签的介绍: 1.<h3> 三级 </h3&…

增强AI查询:使用Rewrite Retrieve Read框架优化RAG

增强AI查询&#xff1a;使用Rewrite Retrieve Read框架优化RAG 引言 在大规模语言模型&#xff08;LLM&#xff09;中&#xff0c;通过查询重写来提升检索增强生成&#xff08;RAG&#xff09;的性能是一个热门研究领域。本文将介绍如何使用rewrite_retrieve_read模板来优化R…

基于SpringBoot的图书推荐系统的设计与实现(论文+源码)_kaic

摘 要 网络信息技术的高速发展&#xff0c;使得高校图书馆的服务空间日益扩大&#xff0c;依据个人特点的针对性服务逐渐成为新服务模式的主导趋势。对于大多数用户而言&#xff0c;很难在大量的学术图书馆中快速找到他们想要的材料。另外&#xff0c;随着时代的不断发展&am…

Mysql的LSN是什么?

LSN的含义 ​ LSN全称为 Log Sequence Number&#xff0c;即日志序列号。它是一个不断递增的数字&#xff0c;用来标识事务日志中的每个操作或事件。LSN是一个64位的数字&#xff0c;每一个LSN值都是唯一的&#xff0c;并且随时间线性增加。 ​ 通过SHOW ENGINE INNODB STATUS;…

GADBench Revisiting and Benchmarking Supervised Graph Anomaly Detection

Neurips 23 推荐指数&#xff1a; #paper/⭐⭐⭐ 领域&#xff1a;图异常检测 胡言乱语&#xff1a; neurips 的benchmark模块的文章总能给人一些启发性的理解&#xff0c;这篇的insight真有意思。个人感兴趣的地方会加粗。此外&#xff0c;这篇文章和腾讯AIlab合作&#xff…

嵌入式基本知识

文章目录 调试接口仿真器MCU实际的调试接口 调试接口 调试接口用于对MCU进行编程和调试&#xff0c;这里的编程指将源代码编译后的.hex文件写入MCU闪存特定地址中&#xff0c;调试指MCU运行代码debug的过程。 不同的接口协议有不同的接口类型。SWD协议调试接口的引脚主要有&a…

卡码网C++基础课 |20. 排队取奶茶

目录 前言 一、题目描述 二、解题思路 1.队列 2.队列的操作 三、完整代码 总结 前言 仅个人记录所用 源自卡码网的C基础课 “这门C基础课 帮助 编程零基础学员快速学习刷算法题所需要的基础语法知识&#xff0c;学完之后&#xff0c;再来刷代码随想录&#xff0c;或者自己去…

CentOS 7.9 局域网配置指定同步时间服务器

在 CentOS 7.9 中&#xff0c;默认的时间同步工具是 chrony。以下是如何配置 NTP 服务器地址并使用 chrony 进行时间同步的步骤&#xff1a; 1. 安装 chrony&#xff08;通常已经预装可忽略&#xff09; 通过systemctl status chronyd检查是否已经安装启动 如果没网可以直接…

npm安装依赖报错npm ERR! Unexpected token ‘.

电脑是windows的&#xff0c;因为有多个项目做开发&#xff0c;每个项目需要的node版本不一样&#xff0c;所以使用了nvm做node管理。 电脑的nvm是1.1.7版本的。 新项目在安装依赖时突然报错如下&#xff1a; npm ERR! Unexpected token .在网上查了很多都说是nvm版本太低了&…

【MLP-Mixer】核心方法解读

abstract&#xff1a; 我们提出MLP-Mixer架构(或简称“Mixer”)&#xff0c;这是一个具有竞争力但在概念和技术上都很简单的替代方案&#xff0c;它不使用卷积或自关注。相反&#xff0c;Mixer的架构完全基于多层感知器(mlp)&#xff0c;这些感知器可以在空间位置或特征通道上…

渗透测试 之 域渗透手法【域内用户枚举】手法 Kerbrute msf pyKerbrute 工具使用详解

说明一下: 域内用户枚举工具使用说说&#xff1a; Kerbrute pyKerbrute MSF模块的使用 域内用户名枚举原理分析&#xff1a; 域内用户枚举攻击防御&#xff1a; 流量检测&#xff1a; 日志层面&#xff1a; 说明一下: 域环境或者内网环境下&#xff0c;可以在没有域环…

深入理解Transformer的笔记记录(精简版本)---- ELMO->GPT->BERT

1、ELMO word embedding无法区分多义词的不同语义,其本质上是个静态的方式,所谓静态指的是训练好之后每个单词的表达就固定住了,以后使用的时候,不论新句子上下文单词是什么,这个单词的Word Embedding不会跟着上下文场景的变化而改变 ELMO根据当前上下文对Word Embed…

有趣的python库:用 difflib 实现文本差异的可视化

一&#xff0c;介绍 difflib 模块是Python标准库的一部分&#xff0c;提供了一系列用于比较序列的类和函数&#xff0c;特别适用于文本比较任务。这个模块可以帮助用户发现两个文本文件或字符串序列之间的差异&#xff0c;并以多种格式展示这些差异&#xff0c;比如这样&#…