hdfs删除后空间不是释放,trash回收机制

news2024/11/22 18:45:18

一、现象
hdfs删除后,3天了还不删除,故排查排查问题
二、排查过程及原理
Trash机制,叫做回收站或者垃圾桶,默认情况下是不开启的。启用 Trash 功能后,从 HDFS 中删除某些内容时,文件或目录不会立即被清除,它们将被移动到回收站Current目录中(/user/{username}/.Trash/current)。
Trash Checkpoint检查点仅仅是用户回收站下的一个目录,用于
存储在创建检查点之前删除的所有文件或目录。如果你想查看回收站目录,可以在
/user/{username}/.Trash/{timestamp_of_checkpoint_creation}处看到:
最近删除的文件被移动到回收站 Current 目录,并且在fs.trash.interva时间间隔内,HDFS 会为在 Current 回收站目录下的文件创建检查点
/user/{username}/.Trash/<日期>,并在过期时删除旧的检查点。
在core-site.xml配置文件中存在相关配置

<property>
<name>fs.trash.interval</name>
<value>4320</value>
</property>
#fs.trash.interval:分钟数,当超过这个分钟数后检查点会被删除。如果为零,Trash 回收站功能将被禁用。
<property>
<name>fs.trash.checkpoint.interval</name>
<value>0</value>
</property>
#fs.trash.checkpoint.interval:检查点创建的时间间隔(单位为分钟)。其值应该小于或等于fs.trash.interval。如果为零,则将该值设置为fs.trash.interval的值。每次运行检查点时,它都会从当前版本中创建一个新的检查点,并删除在数分钟之前创建的检查点。

请添加图片描述
在2023-06-19删除完的文件后,将删除的文件移动到/user/hadoop/.Trash/current文件夹下,3天后2023-06-22检查点生成机制运行,将回收站中的数据移动到/user/hadoop/.Trash/20230622080017,此时也会删除当前时间三天前过期的检查点数据,在2023-06-25检查点生成后,没有把/user/hadoop/.Trash/20230622080017的原因,因为回收站数据量比较大,时间戳时间稍晚20230622080017无法被正常删除。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/703551.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【独家揭秘】微信可以自动加好友自动打招呼啦!

最近客户好友做某书内容爆了&#xff0c;每天都引流很多人来加他的微信&#xff0c;基本每天都需要花大量时间去通过好友&#xff0c;导致没有时间去做后续的维护发展客户&#xff0c;于是找到我大吐苦水&#xff0c;问我有什么办法可以解决&#xff1f; 嘿&#xff0c;这不巧了…

Python 基本数据类型(七)

文章目录 每日一句正能量Set&#xff08;集合&#xff09;Dictionary&#xff08;字典&#xff09;结语 每日一句正能量 生活里的累&#xff0c;一半源于生活本身&#xff0c;一半源于我们对待生活的态度。当我们感觉疲惫的时候&#xff0c;记得提醒自己保持一种幸福感&#xf…

二叉树OJ题:LeetCode--144.二叉树的前序遍历

朋友们、伙计们&#xff0c;我们又见面了&#xff0c;本期来给大家解读一下LeetCode中第144道二叉树OJ题&#xff0c;如果看完之后对你有一定的启发&#xff0c;那么请留下你的三连&#xff0c;祝大家心想事成&#xff01; 数据结构与算法专栏&#xff1a;数据结构与算法 个 人…

考完啦,回归!

暑假加训&#xff01;&#xff01;&#xff01; 不能到时候被学弟比下去了!!! 冲冲冲&#xff01;&#xff01;&#xff01;

SpringBoot整合人大金仓(kingbase8)

因客户要求使用人大金仓数据库&#xff0c;因此最近在java适配人大金仓数据库&#xff0c;在此做下笔记&#xff0c;此为第三步&#xff0c;SpringBoot整合人大金仓&#xff08;kingbase8&#xff09; 1.创建与模式对应用户&#xff0c;如我所用模式为hhh-system&#xff0c;则…

RS-FAIRFRS: COMMUNICATION EFFICIENT FAIR FEDERATED RECOMMENDER SYSTEM

RS-FAIRFRS: COMMUNICATION EFFICIENT FAIR FEDERATED RECOMMENDER SYSTEM Anonymous authors Paper under double-blind review communication efficient fair federated recommender system ICLR 2023 1. What does literature study? 结合随机抽样和确定每轮通信中要抽样…

vmware总结

1、CD/DVD设置 如果设备状态没有勾选已连接&#xff0c;那么当挂载镜像的时候&#xff0c;就会提示找不到设备。

有没有好用的ai图片处理器?这几款软件都能实现ai图片处理

朋友们&#xff0c;我今天要和你们聊一聊一个非常有趣的话题——ai图片网站&#xff01;没错&#xff0c;你没听错&#xff0c;就是那种可以让你在瞬间找到想要的图片的神奇网站。想象一下&#xff0c;你需要一张火爆的表情包&#xff0c;或者一幅令人心旷神怡的风景图&#xf…

为什么高并发这么难?非停事故频频发生?一天宕机三次?【B站、唯品会也难幸免】我们该怎么做?

宕机事件 原因解析&#xff1a; 1、一方面故障是不可避免的&#xff0c;有人为的故障&#xff08;是人就容易出错的&#xff09;和非人为的故障&#xff08;机器 Failure&#xff09;。这些是无法避免的停机&#xff0c;还有有计划的停机&#xff0c;如发布新系统、升级维护、更…

PHP 的 Logo 为什么是大象?

因为大象是世界上最好的动物。 当然&#xff0c;这只是开玩笑&#xff0c;那么为什么PHP的LOGO是大象呢&#xff1f;还有哪些关于PHP的LOGO的有趣的事情呢&#xff1f; 吉祥物-大象 ElePHPant 是一款可爱的 PHP 吉祥物&#xff0c;其设计中有一头大象。 最初的LOGO 1998 年…

golang,OpenGL,计算机图形学(一)

开发环境与依赖 github.com/go-gl/gl/v4.1-core/gl github.com/go-gl/glfw/v3.2/glfw OpenGL只提供了绘图功能&#xff0c;创建窗口是需要自己完成的。这就需要学习相应操作系统的创建窗口方法&#xff0c;比较复杂&#xff0c;并且每个操作系统都不同。为简化创建窗口的过程…

JavaScript ,16种常用数组方法

前言 &#x1f4d7;众所周知&#xff0c;向后端请求数据&#xff0c;处理数据是前端工程师必备的技能&#xff0c;从后端请求回来的数据往往是数组的形式返回到前端&#xff0c;因此数组处理方法的重要性可想而知&#xff1b;每次在处理对应数据都需要查阅一下因此记录一下使用…

MVVM框架代码逻辑整合

文章目录 逻辑总结为什么要将业务和视图分开为了解耦数据不同数据层数据冗余视图层非业务数据业务数据再处理 保证各层数据的封闭性 逻辑总结 将前端分为视图层&#xff0c;中间层&#xff0c;业务层。 视图层负责页面渲染业务层负责数据处理中间层负责业务层和视图层的关系 …

Mariadb读写分离

zzhttps://mp.csdn.net/mp_blog/creation/editor/131087599https://mp.csdn.net/mp_blog/creation/editor/131087599准本环境 systemctl stop firewalld setenforce 0 #关闭防火墙 iptables -F 192.168.1.2 #主库服务器 192.168.1.3 #从库服…

【Flutter】Flutter 使用 json_serializable 进行 JSON 序列化

文章目录 一、前言二、 json_serializable 简介三、如何在 Flutter 中安装和配置 json_serializable四、json_serializable 的基本使用五、一个实际的 Flutter 应用示例六、版本信息七、总结 一、前言 嗯啊&#xff0c;你好呀&#xff01;欢迎来到我的博客。 今天我们要聊聊的…

基于安卓的初中英语语法APP设计与实现(源码+文档+PPT)

智能手机的普及使移动学习成为一种全新的学习方式,越来越受到研究者与学习者的关注。调查显示,移动学习对英语学习特别是应用英语的学习有良好的效果。基于Android设计开发的英语语法APP包含“练习题册”、“语法分析”、“搜索语法”三大功能模块,能够帮助学生利用碎片时间学习…

HBase(11):shell管理操作

1 status 例如:显示服务器状态 2 whoami 显示HBase当前用户,例如: 3 list 显示当前所有的表 4 count 统计指定表的记录数,例如: 5 describe 展示表结构信息 6 exists 检查表是否存在,适用于表量特别多的情况

nginxWebUI 远程命令执行漏洞

漏洞介绍 nginxWebUI是一款图形化管理nginx配置的工具&#xff0c;能通过网页快速配置nginx的各种功能&#xff0c;包括HTTP和TCP协议转发、反向代理、负载均衡、静态HTML服务器以及SSL证书的自动申请、续签和配置&#xff0c;配置完成后可以一键生成nginx.conf文件&#xff0c…

Adobe中修改注释签名

控制面板-> 系统和安全-> 管理工具-> 计算机管理-> 打开“计算机管理”对话框-> 在左边栏的系统工具下选择本地用户和组-> 点击“用户”->选择要改的用户名->右键重命名 打开Adobe Acrobat->点击"编辑"->首选项->注释 ->把 “登…

vue实现复制文本格式化

vue全局方法 实现复制文本格式化,方法简单实用易懂,100%成功 先上效果图 实现步骤 第一步 ,在main.js 插入以下代码 Vue.prototype.copys = function copys(text) {var isRTL = document.documentElement.getAttribute(dir) === rtl;var element = document.createElemen…