ClickHouse面向列的数据库管理系统(原理简略理解)

news2025/1/11 9:48:13

目录

官网

什么是Clickhouse

什么是OLAP

面向列的数据库与面向行的数据库

特点

为什么面向列的数据库在OLAP场景中工作得更好

为什么ClickHouse这么快

真实的处理分析查询

OLAP场景的关键属性

引擎作用

ClickHouse引擎

输入/输出

CPU

官网

https://clickhouse.com/

什么是Clickhouse

ClickHouse®是一个高性能、面向列的SQL数据库管理系统（DBMS），用于在线分析处理（OLAP）。它可以作为开源软件和云服务提供。

什么是OLAP

OLAP方案要求在大型数据集上实时响应，以满足具有以下特征的复杂分析查询：

  • 数据集可以是巨大的-数十亿或数万亿行
  • 数据是在包含许多列的表中组织的
  • 仅选择少数几列来回答任何特定查询
  • 结果必须以毫秒或秒为单位返回

面向列的数据库与面向行的数据库

在面向行的DBMS中，数据存储在行中，与行相关的所有值物理上彼此相邻地存储。

在面向列的DBMS中，数据存储在列中，来自相同列的值存储在一起。

特点

1、列式存储：

行式存储的好处：

想查找某个人所有的属性时，可以通过一次磁盘查找加顺序读取就可以；但是当想查所有人的年龄时，需要不停的查找，或者全表扫描才行，遍历的很多数据都是不需要的。

列式存储的好处

  • 对于列的聚合、计数、求和等统计操作优于行式存储
  • 由于某一列的数据类型都是相同的，针对于数据存储更容易进行数据压缩，每一列选择更优的数据压缩算法，大大提高了数据的压缩比重
  • 数据压缩比更好，一方面节省了磁盘空间，另一方面对于cache也有了更大的发挥空间
  • 列式存储不支持事务

2、DBMS功能：几乎覆盖了标准 SQL 的大部分语法，包括 DDL 和 DML、，以及配套的各种函数；用户管理及权限管理、数据的备份与恢复

3、多样化引擎：目前包括合并树、日志、接口和其他四大类20多种引擎。

4、高吞吐写入能力：

ClickHouse采用类LSM Tree的结构，数据写入后定期在后台Compaction。通过类 LSM tree的结构， ClickHouse在数据导入时全部是顺序append写，写入后数据段不可更改，在后台compaction时也是多个段merge sort后顺序写回磁盘。顺序写的特性，充分利用了磁盘的吞吐能力。

5、数据分区与线程及并行：

ClickHouse将数据划分为多个partition，每个partition再进一步划分为多个index granularity(索引粒度)，然后通过多个CPU核心分别处理其中的一部分来实现并行数据处理。在这种设计下， 单条 Query 就能利用整机所有 CPU。 极致的并行处理能力，极大的降低了查询延时。

所以， ClickHouse 即使对于大量数据的查询也能够化整为零平行处理。但是有一个弊端就是对于单条查询使用多cpu，就不利于同时并发多条查询。所以对于高 qps 的查询业务并不是强项。

6、ClickHouse 像很多 OLAP 数据库一样，单表查询速度优于关联查询，而且 ClickHouse的两者差距更为明显。

关联查询：clickhouse会将右表加载到内存。

为什么面向列的数据库在OLAP场景中工作得更好

面向列的数据库更适合OLAP场景：它们在处理大多数查询时至少快100倍。下面详细解释了原因，但事实更容易直观地展示：

面向行的DBMS

面向列的DBMS

看到区别了吗？

本文的其余部分将解释为什么面向列的数据库在这些场景中工作得很好，以及为什么ClickHouse在这一类别中表现得特别好。

为什么ClickHouse这么快

ClickHouse充分利用所有可用的系统资源，尽可能快地处理每个分析查询。这是由于分析能力和关注实现最快OLAP数据库所需的低级细节的独特组合而成为可能。

  • C++可以利用硬件优势
  • 摒弃了hadoop生态
  • 数据底层以列式存储
  • 利用单节点的多核并行处理
  • 为数据建立索引一级、二级、稀疏索引
  • 使用大量的算法处理数据
  • 支持向量化处理
  • 预先设计运算模型-预先计算
  • 分布式处理数据

真实的处理分析查询

在面向行的DBMS中，数据按以下顺序存储：

RowWatchIDJavaEnableTitleGoodEventEventTime
#0893543506621Investor Relations12016-05-18 05:19:20
#1903295099580Contact us12016-05-18 08:10:20
#2899537060541Mission12016-05-18 07:38:00
#N……………

换句话说，与行相关的所有值在物理上彼此相邻地存储。

面向行的DBMS的示例是MySQL、Postgres和MS SQL Server。

在面向列的DBMS中，数据是这样存储的：

Row:#0#1#2#N
WatchID:893543506629032950995889953706054…
JavaEnable:101…
Title:Investor RelationsContact usMission…
GoodEvent:111…
EventTime:2016-05-18 05:19:202016-05-18 08:10:202016-05-18 07:38:00…

这些示例仅显示数据的排列顺序。不同列中的值单独存储，而同一列中的数据存储在一起。

列式DBMS示例：Vertica、Paraccel（Actian Matrix和Amazon Redshift）、Sybase IQ、Exasol、Infobright、InfiniDB、MonetDB（VectorWise和Actian Vector）、LucidDB、SAP HANA、Google Dremel、Google PowerDrill、Druid和kdb+。

存储数据的不同顺序更适合不同的场景。数据访问场景指的是进行什么查询、多久查询一次、占多大比例;每种类型查询读取的数据量-行、列和字节;阅读和更新数据之间的关系;数据的工作大小以及如何在本地使用它;是否使用事务，以及它们的隔离程度;数据复制和逻辑完整性要求;对于每种类型的查询的等待时间和吞吐量的要求，等等。

系统上的负载越高，定制系统设置以匹配使用场景的需求就越重要，并且这种定制变得越细粒度。没有一个系统同样适合于显著不同的场景。如果一个系统适用于一组广泛的场景，在高负载下，该系统将同样糟糕地处理所有场景，或者将仅对一个或几个可能的场景工作良好。

OLAP场景的关键属性

  • 表是“宽”的，这意味着它们包含大量的列。
  • 数据集很大，查询在处理单个查询时需要高吞吐量（每个服务器每秒高达数十亿行）。
  • 列值相当小：数字和短字符串（例如，每个URL 60个字节）。
  • 查询提取大量的行，但只提取列的一小部分。
  • 对于简单查询，允许大约50ms的延迟。
  • 每个查询有一个大表;所有的桌子都很小，除了一个。
  • 查询结果明显小于源数据。换句话说，数据被过滤或聚合，因此结果适合单个服务器的RAM。
  • 查询相对较少（通常每台服务器有数百个查询或每秒更少）。
  • 插入是以相当大的批量（1000行）进行的，而不是以单行进行的。
  • 交易是不必要的。

很容易看出，OLAP场景与其他流行场景（如OLTP或键值访问）有很大不同。因此，如果您想获得良好的性能，那么尝试使用OLTP或键值数据库来处理分析查询是没有意义的。例如，如果您尝试使用MongoDB或Redis进行分析，与OLAP数据库相比，您将获得非常差的性能。

引擎作用

表引擎是 ClickHouse 的一大特色。可以说， 表引擎决定了如何存储表的数据。包括：

  • 数据的存储方式和位置
  • 支持哪些查询以及如何支持
  • 并发数据访问
  • 索引的使用
  • 是否可以执行多线性请求
  • 数据复制参数

ClickHouse引擎

引擎决定了数据的存储位置、存储结构、表的特征（是否修改操作DDL、DDL、是否支持并发操作）

1、数据库引擎：数据库引擎 | ClickHouse文档

目前支持的数据库引擎有5种：

  • Ordinary：默认引擎，在绝大多数情况下我们都会使用默认引擎，使用时无须刻意声明。在此数据库下可以使用任意类型的表引擎。
  • Dictionary：字典引擎，此类数据库会自动为所有数据字典创建它们的数据表
  • Memory：内存引擎，用于存放临时数据。此类数据库下的数据表只会停留在内存中，不会涉及任何磁盘操作，当服务重启后数据会被清除
  • Lazy：日志引擎，此类数据库下只能使用Log系列的表引擎
  • MySQL：MySQL引擎，将远程的MySQL服务器中的表映射到ClickHouse中,常用语数据的合并。
  • MaterializeMySQL：MySQL数据同步；将MySQL数据全量或增量方式同步到clickhouse中，解决mysql服务并发访问压力过大的问题

2、表引擎：表引擎 | ClickHouse文档

 

输入/输出

  1. 对于分析查询，只需要读取少量的表列。在面向列的数据库中，可以只读取所需的数据。例如，如果您需要100列中的5列，则可以预期I/O减少20倍。
  2. 由于数据是以包的形式读取的，因此更容易压缩。列中的数据也更容易压缩。这进一步减少了I/O量。
  3. 由于减少了I/O，系统缓存中可以容纳更多数据。

例如，查询“统计每个广告平台的记录数”需要阅读一个“广告平台ID”列，该列未压缩时占用1个字节。如果大部分流量不是来自广告平台，那么您可以预期此列的压缩至少为10倍。当使用快速压缩算法时，数据解压缩可以以每秒至少几千兆字节的未压缩数据的速度进行。换句话说，在单个服务器上可以以每秒大约几十亿行的速度处理该查询。这个速度在实践中实际上是可以实现的。

CPU

由于执行查询需要处理大量的行，因此将所有操作分派给整个向量而不是单独的行，或者实现查询引擎，以便几乎没有分派成本。如果不这样做，那么对于任何不太好的磁盘子系统，查询解释器都不可避免地会使CPU停止工作。将数据存储在列中并在可能的情况下按列处理数据是有意义的。

有两种方法可以做到这一点：

  1. 矢量引擎。所有操作都是针对向量而不是针对单独的值编写的。这意味着您不需要经常调用操作，并且调度成本可以忽略不计。操作代码包含优化的内部循环。

  2. 代码生成。为查询生成的代码中包含所有间接调用。

这在面向行的数据库中是不可能的，因为在运行简单查询时这是没有意义的。然而，也有例外。例如，MemSQL使用代码生成来减少处理SQL查询时的延迟。(For相比之下，分析型DBMS需要优化吞吐量，而不是延迟。）

请注意，为了提高CPU效率，查询语言必须是声明性的（SQL或MDX），或者至少是向量（J，K）。查询应该只包含隐式循环，以便进行优化。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1030566.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

python实现命令tree的效果

python实现命令tree的效果

把所有的文档都传到了git上,但是内容过多找起来不方便,突发奇想如果能在readme中,递归列出所有文件同时添加上对应的地址,这样只需要搜索到对应的文件点击就能跳转过去了… 列出文件总得有个显示格式,所以就按照tree的来了… 用python实现命令tree的效果 首先,这是tree的效果…
阅读更多...
JS 手写call、apply和bind方法

JS 手写call、apply和bind方法

手写call、apply和bind方法 一、方法介绍1.1 call 方法1.2 apply 方法1.3 bind 二、方法的实现2.1 call 方法2.2 apply 方法2.3 bind 方法 一、方法介绍 apply、call和bind都是系统提供给我们的内置方法，每个函数都可以使用这三种方法，是因为apply、call…
阅读更多...
Unity中关于多线程的一些事

Unity中关于多线程的一些事

一.线程中不允许调用unity组件api 解决方法：可以使用bool值变化并且在update中监测bool值变化来调用关于unity组件的API. 二.打印并且将信息输出到list列表中 多线程可能同时输出多条信息。输出字符串可以放入Queue队列中。队列可以被多线程插入。 三.启用socke…
阅读更多...
计算机基础协议/概念：推送数据— —WebSocket与SSE；前端Blob/URL下载文件

计算机基础协议/概念：推送数据— —WebSocket与SSE；前端Blob/URL下载文件

计算机基础协议/概念：推送数据— —WebSocket与SSE 1 WebSocket：双向通信 1.1 概念：通信过程 ①Upgrade：浏览器告知服务器升级为WebSocket协议 ②Switch：服务器升级成功后会返回101状态码 ③Communicate&#xff1…
阅读更多...
SQL注入脚本编写

SQL注入脚本编写

文章目录 布尔盲注脚本延时注入脚本 安装xampp，在conf目录下修改它的http配置文件，如下，找到配置文件： 修改配置文件中的默认主页，让xampp能访问phpstudy的www目录，因为xampp的响应速度比phpstudy快得多&am…
阅读更多...
使用EasyExcel后端导出excel

使用EasyExcel后端导出excel

官方文档：关于Easyexcel | Easy Excel 这里进行简单记录，方便确定是不是适用此方式： 零：实体类中注解用法 一：读excel /*** 强制读取第三个 这里不建议 index 和 name 同时用，要么一个对象只用index&…
阅读更多...
代码随想录算法训练营第二天(C) | 977.有序数组的平方 209.长度最小的子数组 59.螺旋矩阵

代码随想录算法训练营第二天(C) | 977.有序数组的平方 209.长度最小的子数组 59.螺旋矩阵

文章目录 前言一、977.有序数组的平方二、209.长度最小的子数组三、59.螺旋矩阵总结 前言 java版： 代码随想录算法训练营第二天 | 977.有序数组的平方 ，209.长度最小的子数组 ，59.螺旋矩阵_愚者__的博客-CSDN博客 一、977.有序数组的平方 …
阅读更多...
Python环境配置及基础用法Pycharm库安装与背景设置及避免Venv文件夹

Python环境配置及基础用法Pycharm库安装与背景设置及避免Venv文件夹

目录 一、Python环境部署及简单使用 1、Python下载安装 2、环境变量配置 3、检查是否安装成功 4、Python的两种模式（编辑模式&交互模式） 二、Pycharm库安装与背景设置 1、Python库安装 2、Pycharm自定义背景 三、如何避免Venv文件夹 一、P…
阅读更多...
【Java 基础篇】Java TCP通信详解

【Java 基础篇】Java TCP通信详解

TCP（Transmission Control Protocol）是一种面向连接的、可靠的网络传输协议，它提供了端到端的数据传输和可靠性保证。TCP通信适用于对数据传输的可靠性和完整性要求较高的场景，如文件传输、网页浏览等。本文将详细介绍Java中如何使…
阅读更多...
搜索二叉树【C++】

搜索二叉树【C++】

文章目录 二叉搜索树二叉搜索树的模拟实现构造函数拷贝构造函数赋值运算符重载函数析构函数Insert循环递归 Erase循环递归 Find循环递归 二叉搜索树的应用K模型KV模型 完整代码普通版本递归版本 二叉搜索树 二叉搜索树又称为二叉排序树，它或者是一棵空树&#xff0…
阅读更多...
Spring Security 的身份验证绕过漏洞CVE-2023-34035

Spring Security 的身份验证绕过漏洞CVE-2023-34035

文章目录 0.前言漏洞漏洞介绍描述 1.参考文档2.基础介绍2.1 组件简介：2.2 漏洞简介： 3.解决方案3.1. 升级版本 0.前言 背景：公司收到关于 Spring Security 的一个身份验证绕过漏洞的通知，该漏洞被标识为 CVE-2023-34035 漏洞 高 …
阅读更多...
滴滴可观测平台 Metrics 指标实时计算如何实现了又准又省？

滴滴可观测平台 Metrics 指标实时计算如何实现了又准又省？

在滴滴，可观测平台的 Metrics 数据有一些实时计算的需求，承载这些实时计算需求的是一套又一套的 Flink 任务。之所以会有多套 Flink 任务，是因为每个服务按照其业务观测需要不同的指标计算，也就对应了不同数据处理拓扑。我们尽力抽…
阅读更多...
ruoyi-vue-pro yudao 项目商城 mall 模块启用及相关SQL脚本

ruoyi-vue-pro yudao 项目商城 mall 模块启用及相关SQL脚本

目前ruoyi-vue-pro 项目虽然开源，但是商城 mall 模块被屏蔽了，查看文档却要收费 199元（知识星球），价格有点太高了吧。 分享下如何启用 mall 模块，顺便贴上sql相关脚本。 一、启用模块 修改根目录 pom.xm…
阅读更多...
时序预测 | MATLAB实现POA-CNN-GRU鹈鹕算法优化卷积门控循环单元时间序列预测

时序预测 | MATLAB实现POA-CNN-GRU鹈鹕算法优化卷积门控循环单元时间序列预测

时序预测 | MATLAB实现POA-CNN-GRU鹈鹕算法优化卷积门控循环单元时间序列预测 目录 时序预测 | MATLAB实现POA-CNN-GRU鹈鹕算法优化卷积门控循环单元时间序列预测预测效果基本介绍程序设计参考资料 预测效果 基本介绍 MATLAB实现POA-CNN-GRU鹈鹕算法优化卷积门控循环单元时间序…
阅读更多...
工具篇 | Gradle入门与使用指南

工具篇 | Gradle入门与使用指南

介绍 1.1 什么是Gradle？ Gradle是一个开源构建自动化工具，专为大型项目设计。它基于DSL（领域特定语言）编写，该语言是用Groovy编写的，使得构建脚本更加简洁和强大。Gradle不仅可以构建Java应用程序&#x…
阅读更多...
亚马逊攀岩绳ASTM F2116 测试报告 EN892测试办理

亚马逊攀岩绳ASTM F2116 测试报告 EN892测试办理

攀岩绳是与攀岩安全带和锚点相连的一种装备，用于保护攀岩者，使其不会从高处跌落。攀岩绳由承重内芯和围绕内芯编织的护套组成。 亚马逊关于攀岩绳的政策 根据亚马逊的要求，所有攀岩绳均应经过检测，并且符合下列特定法规或标准要求…
阅读更多...
使用GSAP创建惊艳的动画效果(一)

使用GSAP创建惊艳的动画效果(一)

目录 GSAP简介GSAP的语法方法目标变量transform(变换)其它属性 vue中使用GSAP安装GSAP引用GSAP使用GSAP GSAP简介 GSAP是一个非常流行的js动画库，被广泛用于创建跨浏览器和跨平台的高性能动画。它的主要特点包括： 提供丰富的属性和方法，可用…
阅读更多...
vue2中年份季度选择器（需要安装element）

vue2中年份季度选择器（需要安装element）

调用 <!--父组件调用--><QuarterCom v-model"quart" clearable default-current/> 组件代码 <template><div><span style"margin-right: 10px">{{ label }}</span><markstyle"position:fixed;top:0;bottom:0…
阅读更多...
人工智能安全-2-非平衡数据处理(2)

人工智能安全-2-非平衡数据处理(2)

5 算法层面 代价敏感&#xff1a;设置损失函数的权重&#xff0c;使得少数类判别错误的损失大于多数类判别错误的损失&#xff1b; 单类分类器方法&#xff1a;仅对少数类进行训练&#xff0c;例如运用SVM算法&#xff1b; 集成学习方法&#xff1a;即多个分类器&#xff0c;然…
阅读更多...
【Java 基础篇】Java网络编程实时数据流处理

【Java 基础篇】Java网络编程实时数据流处理

在现代计算机应用程序中&#xff0c;处理实时数据流是一项关键任务。这种数据流可以是来自传感器、网络、文件或其他源头的数据&#xff0c;需要即时处理并做出相应的决策。Java提供了强大的网络编程工具和库&#xff0c;可以用于处理实时数据流。本文将详细介绍如何使用Java进…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023