clickhouse跳表索引最佳实践--minmax索引+Set索引

news2024/9/24 23:31:43

背景

我们知道对于clickhouse这种列式存储数据库来说,它虽然也提供了与mysql的btree的二级索引类似的跳表索引的功能,但是其实跳表索引和btree的二级索引有根本上的不同,比如mysql的二级索引一般来说应用于高基数的列的效果是最佳的,但是对于各种类型的跳表索引来说,高基数的列很不适合用来构建跳表索引

跳表索引

我们先大概改下几种不同类型的跳表索引的数据结构:
在这里插入图片描述
下面我们就来介绍下每种不同类型的跳表索引:
1.minmax跳表索引类型:这是保存每个索引块(8192gradularities条记录)中最大值和最小值的元祖构成的索引类型,主要用途用于根据范围值查找记录(比如 val > 100 and val < 200)等,因为他可以根据100和200判断出来某个索引块是否包含要查找的记录,这样就可以过滤掉那些不满足条件的索引块
2.Set索引类型:这是保存每个索引块(8192
gradularities条记录)中不重复的值的索引类型,主要用途比如保存类似于日志级别的列,大部分索引块中保存的日志级别都是INFO级别,所以当查找WARN或者ERROR级别的日志时就可以跳过大部分的INFO级别的索引块,对查找WARN或者ERROR级别的日志性能极好,不过如果你查找INFO级别的列的话,这个跳表索引由于大部分都是INFO的索引块,所以查找性能不好,比全列扫描都差。 备注: Set索引类型里面有一个max_size参数,表示如果某个索引块中唯一的value的数量大于max_size,那么这个索引块就不保存对应的8192gradularities条记录中唯一值,到时候查找的时候对于这些(8192gradularities条记录)的数据块就只能都读取到内存中查找了

其实无论是minmax索引还是Set索引,我们从这个索引的存储结构中得到如下的结论:gradularities个数据块内的记录如果聚在一起,比如对于minmax索引来说,这几个数据块内的数值范围比较接近,而对于Set索引来说,这几个数据块内的元素值只有少数的几个唯一值的话,跳数索引是可以过滤更多的其他索引块的记录的,而这个数据块的数据记录如何排列又和我们的主键/排序键的定义有关.所以选择不同的主键/排序键会影响跳数索引的效率

参考文献:
https://clickhouse.com/docs/en/engines/table-engines/mergetree-family/mergetree#functions-support

https://clickhouse.com/docs/en/optimize/sparse-primary-indexes#related-content

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/430752.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

SpringMVC入门以及工作流程详解

什么是MVC MVC是一种分层方法&#xff0c;其三层分别是模型&#xff08;Model&#xff09;&#xff0c;视图&#xff08;View&#xff09;和控制器&#xff08;Controller&#xff09;。是一种软件设计规范。MVC可以将软件的逻辑、数据和业务相分离&#xff0c;其主要作用是消除…

SpringCloud-Alibaba学习笔记03——nacos管理界面详细介绍和注册中心配置详解

一、nacos管理界面详细介绍 nacos服务管理界面如图所示&#xff1a; 1、创建服务和隐藏空服务 我们可以看到在界面上有个隐藏空服务的按钮&#xff0c;我们打开该按钮之后&#xff0c;服务列表并没有发生变化&#xff0c;这个按钮有啥用呢&#xff1f; 该按钮的作用就是隐藏…

St link V2驱动安装方法

前言 st-link v2又便宜又好用&#xff0c;是ARM单片机开发的必备神器。本文面向初学者介绍如何给windows安装stlink 驱动&#xff0c;并在keil v5进行配置。 操作系统&#xff1a;windows11&#xff0c; Keil版本&#xff1a;keil v5 mdk5.37. st-link驱动云盘共享地址&#x…

OSS下载中文名编码错误

最近工作中有个需求&#xff0c;是将客户支付的银行回执单上按照客户姓名上传到oss&#xff0c;然后将oss地址反显到pc后台&#xff0c;供客户自己查看下载。 开始的时候感觉很简单&#xff0c;设计思路是根据客户支付单单号&#xff0c;查询数据库中是否存在该支付单的回执单&…

Java生成二维码之Graphics2D自定义码眼形状

Java 2D API 提供了几个类来定义常见的几何对象&#xff0c;例如点、直线、曲线和矩形。这些几何类是 java.awt.geom包的一部分。通过熟练使用Graphics2D类&#xff0c;可以绘制出任意类型的图形。 官网教程地址&#xff1a;https://docs.oracle.com/javase/tutorial/2d/geome…

【虹科案例】固态量子发射器——虹科数字化仪用于控制钻石色心中的脉冲序列

前言 钻石的色心是晶格中的缺陷&#xff0c;其中碳原子被不同种类的原子取代&#xff0c;相邻的晶格位置是空的。由于其明亮的单光子发射和光学可访问的自旋&#xff0c;色心可以成为未来量子信息处理和量子网络的有前途的固态量子发射器。 实现自旋量子比特和相干光子纠缠的两…

基于RK3568的Linux驱动开发—— GPIO知识点(二)

authordaisy.skye的博客_CSDN博客-嵌入式,Qt,Linux领域博主系列基于RK3568的Linux驱动开发——GPIO知识点&#xff08;一&#xff09;_daisy.skye的博客-CSDN博客 查看goio使用情况 cat /sys/kernel/debug/gpio 1|rk3568_r:# cat /sys/kernel/debug/gpio gpiochip0: GPIOs 0-3…

English Learning - L2-14 英音地道语音语调 重音技巧 2023.04.10 周一

English Learning - L2-14 英音地道语音语调 重音技巧 2023.04.10 周一课前热身重音日常表达节奏单词全部重读的句子间隔时间非重读单词代词和缩约词助动词声临其境语调预习课前热身 学习目标 重音 重弱突出&#xff0c;重音突出核心表达的意思 重音是落在重读单词上&#x…

Vue3简介

1.Vue3简介 2020年9月18日&#xff0c;Vue.js发布3.0版本&#xff0c;代号&#xff1a;One Piece&#xff08;海贼王&#xff09;耗时2年多、[2600次提交](https://github.com/vuejs/vue-next/graphs/commit-activity)、[30个RFC](https://github.com/vuejs/rfcs/tree/master/…

机器学习 | 实验四:正则化

⭐对应笔记&#xff1a;正则化 &#x1f4da;描述 在这个练习中&#xff0c;你将实现正则化的线性回归和正则化的逻辑回归。 &#x1f4da;数据 这个数据包包含两组数据&#xff0c;一组用于线性回归&#xff0c;另一个用于逻辑回归。还包含一个名为"map_feature"…

Win11快速打开便签和使用技巧分享

Win11快速打开便签和使用技巧分享。Win11系统中为用户提供了一个非常实用的系统组件&#xff0c;就是便签功能&#xff0c;使用这个功能可以帮助我们便捷的进行一些重要内容的记录。那么如何去开启开启这个程序来使用呢&#xff1f;来看看以下的详情分享吧。 详细分享&#xff…

docker介绍与安装

目录 Docker docker概述 容器化优点 虚拟化架构 docker与虚拟机区别 docker三大核心概念 docker运行的原理 Docker安装 查看 docker 版本信息 docker 信息查看 Docker docker概述 Docker是一个开源的应用容器引擎&#xff0c;基于go语言开发并遵循了apache2.0协议开…

Perceiver Perceiver IO: 人工智能的多功能工具

如今人工智能系统使用的大多数架构都是专业的。2D 残差网络可能是处理图像的一个很好的选择&#xff0c;但它最多只能用于其他类型的数据&#xff0c;比如自动驾驶汽车中使用的激光雷达信号或机器人中使用的 torques。此外&#xff0c;标准架构在设计时通常只考虑一项任务&…

Seal AppManager发布:基于平台工程理念的全新应用部署管理体验

4月12日&#xff0c;数澈软件Seal&#xff08;以下简称“Seal”&#xff09;宣布推出新一代应用统一部署管理平台 Seal AppManager&#xff0c;采用平台工程的理念&#xff0c;降低基础设施操作的复杂度为研发和运维团队提供易用、一致的应用管理和部署体验&#xff0c;进而提升…

SpringMVC使用介绍-快速入门

文章目录SpringMVCSpringMVC快速入门bean加载控制SpringMVC SpringMVC快速入门 SpringMVC是一种基于Java实现MVC模型的轻量级Web框架 优点 使用简单&#xff0c;开发便捷&#xff08;相比于Servlet&#xff09; 灵活性强 使用SpringMVC技术开发web程序流程: 1.创建web工程&a…

[牛客复盘] 牛客小白月赛70 20230407

[牛客复盘] 牛客小白月赛70 20230407 一、本周周赛总结A、 小d和答案修改2. 思路分析3. 代码实现B、小d和图片压缩1. 题目描述2. 思路分析3. 代码实现C、小d和超级泡泡堂1. 题目描述2. 思路分析3. 代码实现D、小d和孤独的区间1. 题目描述2. 思路分析3. 代码实现E、小d的博弈1. …

C语言内存函数介绍以及实现

目录 前言 一:内存拷贝函数 (1)memcpy( )函数 (2)memove( )函数 二:内存比较函数 三:内存设置函数 前言 本文介绍的函数的函数声明都在头文件string.h中。 一:内存拷贝函数 (1)memcpy( )函数 函数声明&#xff1a;void* memcpy(void* dest,const void* src,size_t num) 作用…

【python】制作一个简单的界面,有手就行的界面~

目录前言准备工作试手小案例开始我们今天的案例教学尾语 &#x1f49d;前言 嗨喽~大家好呀&#xff0c;这里是魔王呐 ❤ ~! ttkbootstrap 是一个基于 tkinter 的界面美化库&#xff0c; 使用这个工具可以开发出类似前端 bootstrap 风格的 tkinter 桌面程序。 ttkbootstrap 不…

8:00面试,8:05就出来了 ,问的实在是太变态了···

从外包出来&#xff0c;没想到算法死在另一家厂子。 自从加入这家公司&#xff0c;每天都在加班&#xff0c;钱倒是给的不少&#xff0c;所以也就忍了。没想到12月一纸通知&#xff0c;所有人不许加班&#xff0c;薪资直降30%&#xff0c;顿时有吃不起饭的赶脚。 好在有个兄弟…

Yolov5_DeepSort_Pytorch:基于 Yolov5 + Deep Sort 的实时多目标跟踪器

Yolov5_DeepSort_Pytorch&#xff1a;基于 Yolov5 Deep Sort 的实时多目标跟踪器 原创 视界君 Python视界 昨天 Python视界分享 原文地址&#xff1a;Yolov5_DeepSort_Pytorch&#xff1a;基于 Yolov5 Deep Sort 的实时多目标跟踪器 简介 该存储库包含一个两阶段跟踪器。…