clickhouse日志表占用大量磁盘空间

news2024/11/23 19:50:31

clickhouse日志表占用大量磁盘空间

sql:
SELECT
sum(rows) AS 总行数,
formatReadableSize(sum(data_uncompressed_bytes)) AS 原始大小,
formatReadableSize(sum(data_compressed_bytes)) AS 压缩大小,
round((sum(data_compressed_bytes) / sum(data_uncompressed_bytes)) * 100, 0) AS 压缩率,
table AS 表名
FROM system.parts where database = ‘system’ group by table;

在这里插入图片描述
query_log也占用了200多个G已经删过了。现在开始删除query_thread_log然后做下记录。
通过一下sql确认下query_thread_log的分区:
SELECT * FROM system.parts where database = ‘system’ and table= ‘query_thread_log’;
可以看到分区也是年月
可以看到query_thread_log表的分区也是年月格式的。
然后使用下面sql使用删除分区的方式开始删除数据

alter table system.query_thread_log drop partition ‘202303’;

ps通过删除分区的方式删除数据的效率会高一点,然后问题来了当我删去耨个分区的数据的时候报错了
在这里插入图片描述
这个分区的数据超过50G,ck处于保护机制,是禁止这样删除大数据的表格的。

然后在clickhouse所在的服务器上执行下面的命令:
sudo touch /home/clickhouse/flags/force_drop_table && sudo chmod 666 /home/clickhouse/flags/force_drop_table
注意此处的目录是使用错误提示的这个目录,因为我更改了clickhouse的默认数据存储目录,所以可能跟你提示的不一样
然后再中alart删除语句。

ps:然后有一个恶心的地方就是每需要删除一个大数据的分区的时候都需要执行一遍上述的linux命令 恶心~

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/714849.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

<DB2> 《IBM DB2 备份恢复实用文档》(第一部分)

[TOC](《IBM DB2 备份恢复实用文档》(第一部分)) 1 理论 1.1 关于备份恢复说明 a、DB2数据库备份和恢复的数据都是已经提交落地在磁盘的数据 。 b、DB2数据库备份和恢复使用的日志都是归档日志。 c、只有开启归档日志,才能进行在线全备、在线增备。否则只能进行离…

基于单片机智能手环心率老人防跌倒心率体温 步数里程

功能介绍 以STM32单片机作为主控系统; OLED液晶显示心率体温步数等信息;通过按键设置心率、体温上限设置;当心率或者体温超过按键设置上限蜂鸣器进行声光报警提醒;通过wifi模块esp8266把数据发送到手机端进行显整个电路以5v供电&a…

Three.js卡通材质实现简明教程

继 Harry Alisavakis 令人惊叹的汤着色器之后,我想使用 Three.js 重新创建类似的卡通着色效果。 我从 Roystan 的卡通着色器教程开始,它是为 Unity 编写的。 在这篇文章中,我将把 Roystan 教程中概述的原则翻译成 Three.js。 下面描述的着色器…

mysql索引之Hash

在存储引擎中Memory引擎是支持Hash索引的,Hash索引跟java中的HashMap很像,有很多槽,存的也是键值对,键值为索引列,值为这条数据的行指针,通过指针就可以找到数据。 但是Hash索引应用的并不多,原…

一篇文章解释清楚IOC和DI

背景 众所周知我们要学习Spring,必不可少的就是IOC和AOP,那就让我们了解一下什么是IOC,开启下面的学习吧。 过程 什么是IOC? Ioc—Inversion of Control,即“控制反转”,不是什么技术,而是一…

VSCode 2019 “对COM组件的调用返回了错误HRESULT E_FAIL” 的解决

问题: VSCode使用 “MFC应用”模板创建项目时,出现:文件夹打不开,并弹出 “对COM组件的调用返回了错误HRESULT E_FAIL” 错误 解决方案: 1. 以管理员身份打开Developer Command Prompt for VS 2019(vs2…

敏捷开发发展和优缺点

目录 1 概述1.1 四种开发模式1.1.1 瀑布式开发1.1.2 螺旋模型1.1.3 迭代式开发1.1.4 敏捷开发 1.2 开发模式对比 2 敏捷开发2.1 敏捷宣言2.1.1 敏捷宣言解读2.1.2 敏捷宣言价值观 2.2 敏捷准则2.2.1 目的:是客户满意2.2.2 态度:欢迎需求变更2.2.3 关注&a…

加油,也可以更智慧

摘要:智慧加油站及油库管理系统的应用引擎是结合了华为云Roma Exchange能力,提升应用开发、部署和升级效率,支撑应用快速开发、远程部署。 停车、加油、驶离…… 从开车进场到离场,2分钟内即可完成“即加即走”的无感加油支付有没…

如何自动批量查询手机号归属地?

我们在工作生活中可能会收集到很多用户的手机号,我们如果想获取手机号归属地,只能一个个人工查询。如果数据量较多的情况就会比较耗费时间。有没有什么方法可以自动查询手机号归属地呢?当然可以,并且这个方法还是免费的。 首先&a…

qt-线程竞争共享资源和读写锁--QReadWriteLock

目录 一、线程竞争的概念2、什么是线程竞争2、什么是线程竞争共享资源? 二、读写锁1、读写锁的概念2、读写锁的工作原理如下:3、使用读写锁的示例(QReadWriteLock) 三、总结: 一、线程竞争的概念 2、什么是线程竞争 …

网络安全进阶学习第五课——文件上传漏洞

文章目录 一、常见文件上传点二、任意文件上传漏洞三、任意文件上传危害四、webshell五、上传木马所需条件六、木马上传流程七、上传绕过1、绕过JS验证1)Burpsuite剔除响应JS。2)浏览器审计工具剔除JS 2、绕过MIME-Type验证1)利用抓包工具&am…

Session 反序列化漏洞

将$_SESSION中保存的所有数据序列化存储到PHPSESSID对应的文件中有三种存取格式: (1)默认使用php:键名|键值(经过序列化函数处理的值) name|s:6:"1FonlY"; (2)php_seri…

Multi-level Wavelet-CNN for Image Restoration论文总结

论文:Multi-level Wavelet-CNN for Image Restoration 源码:GitHub - lpj0/MWCNN: Multi-level Wavelet-CNN for Image Restoration 目录 一、背景和出发点 二、创新点 三、MWCNN具体实现 四、DWT与池化运算和膨胀卷积相关性证明 五、DWT、IWT代码实…

阿里云服务器白嫖教程

阿里云服务器白嫖教程 第一步:打开百度第二步:进入阿里云官方,注册登录账号第三步:点击免费试用第四步:点击立即试用第五步:选择操作系统第五步:选择到期释放设置![在这里插入图片描述](https://img-blog.csdnimg.cn/d02f4582dd5943319441df9ccbae60f0.png)第六步:同意协议,并立…

3D深度视觉与myCobot 320机械臂无序抓取

今天我记录使用myCobot320 M5跟FS820-E1深度相机进行一个无序抓取物体的分享。 为什么会选择深度相机和机械臂做一个案例呢? 2D相机(最常见使用的相机)可以捕捉二维图像,也就是在水平和垂直方向上的像素值。它们通常用于拍摄静态…

F#奇妙游(5):计算π的值

F#到底有什么用? 奇妙游写到第五篇,前面的几篇都是开场白: 一个用F#编写WinForm的例子donet命令行工具,也就是F#的开发环境关于函数和函数式编程的碎碎念函数式编程的核心概念:值 下面,我们开始正式来搞…

数据库左、右、内、逗号、全连接(mysql不包含全连接)方式

1、准备数据 学生有归属班级 学生表 班级表 2、执行查询语句 2.1执行左关联 select * from student stu left join class cla on (stu.class_idcla.class_id); 结果如下 2.2执行右关联 2.3、执行内连接 2.4执行逗号分隔表的连接方式 和内连接的查询结果是一样的

实训笔记7.3

实训笔记7.3 7.3一、座右铭二、单例模式三、IDEA集成开发环境的安装和基本使用四、Debug断点调试4.1 作用有两个4.2 用法:4.3 IDEA设置step into进入JDK源码4.4 step over4.5 step into 五、Java中的网络编程5.1 网络编程的三个核心要素5.2 通过Java实现网络编程 7.…

第三章 搜索与图论(二)——最短路问题

文章目录 单源最短路朴素Dijkstra堆优化版DijkstraBellman Ford算法SPFASPFA求负环 多源汇最短路Floyd 最短路练习题849. Dijkstra求最短路 I850. Dijkstra求最短路 II853. 有边数限制的最短路851. spfa求最短路852. spfa判断负环854. Floyd求最短路 源点表示起点,汇…

Linux系统远程挂载Mac OS系统目录方法

打开mac文件共享功能 开启共享服务 进入系统偏好设置中的共享选项。勾中文件共享(如下图),之后右边的文件共享的绿灯会点亮,并显示“文件共享:打开”。 添加共享目录 点击在文件共享界面(如下图&#x…