大数据-143 - ClickHouse 集群 SQL 超详细实践记录！

news2024/11/16 4:16:37

点一下关注吧！！！非常感谢！！持续更新！！！

目前已经更新到了：

  • Hadoop（已更完）
  • HDFS（已更完）
  • MapReduce（已更完）
  • Hive（已更完）
  • Flume（已更完）
  • Sqoop（已更完）
  • Zookeeper（已更完）
  • HBase（已更完）
  • Redis （已更完）
  • Kafka（已更完）
  • Spark（已更完）
  • Flink（已更完）
  • ClickHouse（正在更新···）

章节内容

上节我们完成了如下的内容：

  • 副本和分片
  • Distributed 部分
  • 编码实际案例测试

在这里插入图片描述

基本介绍

ClickHouse 是一种用于 OLAP（在线分析处理）的列式数据库，因其高速数据处理能力在大数据分析中备受青睐。ClickHouse 的 SQL 语法与标准 SQL 类似，但由于其专注于分析场景，有一些特殊的扩展。ClickHouse 默认不支持直接 DELETE 或 UPDATE 操作，但可以通过分区管理和合并机制间接清理数据。ClickHouse 提供了很多专门为高效分析而设计的功能。ClickHouse 提供了丰富的聚合函数，如 sum()、avg()、min()、max()、count()。

基本 SQL 语法

ClickHouse 的 SQL 语法与标准 SQL 类似，但由于其专注于分析场景，有一些特殊的扩展。
创建表的时候：

CREATE TABLE table_name (
    column1 DataType,
    column2 DataType,
    ...
) ENGINE = MergeTree()
ORDER BY (primary_key_columns);
  • ENGINE：表引擎，最常用的是 MergeTree 系列。
  • ORDER BY：必须指定排序键，支持对大数据集高效查询。
  • PARTITION BY：按列进行分区（可选）。
  • SAMPLE BY：用于大数据量下的采样查询（可选）。

删除或清理表数据的时候：
ClickHouse 默认不支持直接 DELETE 或 UPDATE 操作，但可以通过分区管理和合并机制间接清理数据。

ALTER TABLE table_name DROP PARTITION partition_expr;

特殊功能

聚合函数

ClickHouse 提供了丰富的聚合函数，如 sum()、avg()、min()、max()、count()。此外，还有以下特殊聚合函数：

SELECT uniqExact(column) FROM table_name; -- 精确去重计数
SELECT quantiles(0.5, 0.9)(column) FROM table_name; -- 分位数计算

窗口函数

ClickHouse 支持窗口函数，但语法略有不同。常见窗口函数有 row_number()、rank() 等：

SELECT column, rowNumber() OVER (PARTITION BY partition_column ORDER BY sort_column) 
FROM table_name;

数组和嵌套类型

ClickHouse 支持数组和嵌套类型，适合处理复杂的数据结构：

SELECT arrayJoin(array) FROM table_name;
  • arrayJoin：将数组展开为多行

MergeTree 引擎

MergeTree 是 ClickHouse 最常用的引擎之一，具备排序、索引和分区的特性，能够高效处理海量数据。

  • ORDER BY：定义主键，数据按照该字段排序。
  • PRIMARY KEY：可以和 ORDER BY 一致，用于快速定位。
  • PARTITION BY：用于数据按逻辑分片，减少查询范围。
  • TTL：设置数据过期时间，自动清理历史数据。

基本状况

目前我是ClickHouse的集群环境：

  • h121.wzk.icu
  • h122.wzk.icu
  • h123.wzk.icu

建立连接

我们随机找一台建立链接

clickhouse-client -m --host h121.wzk.icu --port 9001 --user default --password clickhouse@wzk.icu

新建库

CREATE DATABASE mydatabase;

执行结果如下图所示：
在这里插入图片描述

可以看到对应的路径如下所示：

cd /var/lib/clickhouse/data
ls

执行结果如下图，可以看到我们刚才创建的数据库：
在这里插入图片描述

查看数据库

SHOW DATABASES;

运行结果如下图：
在这里插入图片描述

新建表

# 方式1
CREATE TABLE my_table(
  title String,
  url String,
  eventTime DateTime
) ENGINE = Memory;

# 方式2
CREATE TABLE mydatabase.my_table(
  title String,
  url String,
  eventTime DateTime
) ENGINE = Memory;

# 方式3
CREATE TABLE mydatabase.my_table_2(
  title String,
  url String,
  eventTime DateTime
) ENGINE = Memory AS SELECT * FROM mydatabase.my_table;

执行结果如下图所示：
在这里插入图片描述

查表结构

DESC my_table;

执行结果如下图：
在这里插入图片描述

插入数据

INSERT INTO my_table VALUES ('wzk', '123', now());

执行的结果如下所示：
在这里插入图片描述

临时表

CREATE TABLE tmp_v1 (
  title String,
  create_time DateTime
) ENGINE = Memory;

如果临时表与正常表名字相同，临时表优先。
临时表的引擎只能是Memory，数据是临时的，断点数据就没了。
更多的是在ClickHouse内部，是数据在集群间传播度的载体。

分区表

创建新表

CREATE TABLE partition_v1 (
  `id` String,
  `url` String,
  `eventTime` Date
) ENGINE = MergeTree()
PARTITION BY toYYYYMM(eventTime)
ORDER BY id;

执行结果如下所示：
在这里插入图片描述

只有合并树（MergeTree）家族的表引擎支持分区表，可以利用分区表，做定位查询，缩小查询范围。分区字段不易设置的太小。

插入数据

INSERT INTO partition_v1 (id, url, eventTime) VALUES
('1', 'http://example.com/page1', '2024-01-01'),
('2', 'http://example.com/page2', '2024-01-15'),
('3', 'http://example.com/page3', '2024-02-01'),
('4', 'http://example.com/page4', '2024-02-15'),
('5', 'http://example.com/page5', '2024-03-01'),
('6', 'http://example.com/page6', '2024-03-15');

执行结果如下图所示：
在这里插入图片描述

查询数据

SELECT * FROM partition_v1;

执行结果如下所示：
在这里插入图片描述

查看分区

SELECT table, partition, path FROM system.parts WHERE table = 'partition_v1';

执行结果如下图所示：
在这里插入图片描述

视图表

  • 普通视图：不保存数据，只是一层单纯的SELECT查询映射，起着简化查询的作用
  • 物化视图：保存数据，源表被写入数据，物化视图也会同步更新
  • POPULATE修饰符：决定在创建物化视图的过程中是否将源表的数据同步到物化视图。

表基本操作

只有 MergeTree、Merge、Distribution这三类表引擎支持ALTER操作！！！

追加字段

ALTER TABLE partition_v1 ADD COLUMN os String default 'mac';
ALTER TABLE partition_v1 ADD COLUMN ip String after id;
DESC partition_v1;

执行结果如下：
在这里插入图片描述

修改类型

注意：类型需要互相兼容

ALTER TABLE partition_v1 modify column ip IPv4;
DESC partition_v1;

执行结果如下图所示：
在这里插入图片描述

修改备注

ALTER TABLE partition_v1 COMMENT COLUMN id '主键ID';
DESC partition_v1;

执行结果如下图所示：
在这里插入图片描述

删除字段

ALTER TABLE partition_v1 DROP COLUMN url;
DESC partition_v1;

注意，删除字段会把该字段下的数据一起删除：
在这里插入图片描述

移动表

rename TABLE default.partition_v1 to mydatabase.partition_v1;
USE mydatabase;
SHOW TABLES;

执行结果如下图所示：
在这里插入图片描述

分区操作

查看分区

SELECT partition_id, name, table, database FROM system.parts where table = 'partition_v1';

执行结果如下所示：
在这里插入图片描述

删除分区

ALTER TABLE partition_v1 DROP PARTITION 202401;
SELECT partition_id, name, table, database FROM system.parts where table = 'partition_v1';

执行结果如下图所示：
在这里插入图片描述

复制分区

ALTER TABLE partition_v2 replace partition 202402 FROM partition_v1;

重置分区

ALTER TABLE partition_v1 CLEAR COLUMN ip in partition  202402;
  • 将 ip 列的值清空（设置为默认值）。
  • 清空操作不会删除记录，而是将指定列的值设置为默认值（如 0 或 NULL，具体取决于列的默认设置）。

执行结果如下图所示：
在这里插入图片描述

卸载分区

ALTER TABLE partition_v1 DETACH partition 202402;
SELECT partition_id, name, table, database FROM system.parts where table = 'partition_v1';

执行结果如下图所示：
在这里插入图片描述

转载分区

ALTER TABLE partition_v1 ATTACH partition 202402;
SELECT partition_id, name, table, database FROM system.parts where table = 'partition_v1';

执行结果如下图所示：
在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2154469.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

代码编辑器 —— Notepad++ 实用技巧

代码编辑器 —— Notepad++ 实用技巧

目 录 NotePad常用技巧一、查找二、标记三、插件四、自动补全 NotePad常用技巧 Notepad 的吉祥物是一只变色龙。它广泛应用于编程、网页开发、文本处理、脚本编写、文档编辑等领域。 一起看看它有哪些功能和特点： 1、对众多编程语言提供语法高亮显示 2、可折叠函数…
阅读更多...
redis简单使用与安装

redis简单使用与安装

redis redis 是什么 Redis 是一个开源的，使用 C 语言编写的,支持网络交互的,内存中的Key-Value 数据结构存储系统，支持多种语言,它可以用作数据库、缓存和消息中间件。 一、存储系统特性 内存存储与持久化 Redis 主要将数据存储在内存中，这…
阅读更多...
某省公共资源交易中心爬虫逆向分析

某省公共资源交易中心爬虫逆向分析

目标网站 aHR0cHM6Ly95Z3AuZ2R6d2Z3Lmdvdi5jbi8jLzQ0L3NjenQteHEvP3VzZXJJZD02NzM4OTg2MzkyNjA3NzAzMDQmcm93SWQ9NTI1MDYyMDI2ODg0NzE2NTQ0JnRpbWU9MjAwOC0xMS0yNiZjZXJ0aWZpY2F0ZU5vPTkxNDQwOTA0NjgyNDI2MzU4QyZjZXJ0aWZpY2F0ZVR5cGU9Mjg 一、抓包分析 请求头参数加密 二、…
阅读更多...
【C语言-数据结构】单链表的定义

【C语言-数据结构】单链表的定义

单链表的定义（实现） 比较顺序表和单链表的物理存储结构就能够清楚地发现二者的区别 用代码定义一个单链表 typedef struct LNode{ElemType data; //每个结点存放一个数据元素struct LNode* next; //指针指向下一个结点 }LNode, *LinkList;//要表示一个…
阅读更多...
微信CRM系统适合什么企业？

微信CRM系统适合什么企业？

CRM（客户关系管理）系统适合多种行业和企业，包括但不限于：传统制造业、互联网行业、电商行业、医疗行业、教育行业、交通运输行业、汽车行业、房地产行业、金融行业、银行 CRM的功能覆盖了与客户接触的各个阶段，包括售…
阅读更多...
python --PyAibote自动化

python --PyAibote自动化

官文: https://www.pyaibote.com/ 下载安卓集成环境: 可以看到开发的一些信息
阅读更多...
【AI视频】AI虚拟主播制作网站推荐

【AI视频】AI虚拟主播制作网站推荐

一、什么是AI虚拟主播？ AI虚拟主播是一种利用人工智能技术打造的虚拟主持人，也被称为数字虚拟主持人。它们通常是由人工智能技术和三维建模技术结合而成，可以在各种平台上进行主持工作，如新闻报道、电商直播、综艺娱乐等。 AI虚…
阅读更多...
华润电力最新校招社招润择认知能力测评：逻辑推理数字计算语言理解高分攻略

华润电力最新校招社招润择认知能力测评：逻辑推理数字计算语言理解高分攻略

​ 尊敬的求职者们， 在您准备加入华润电力这个大家庭之前，了解其招聘测评的详细流程和要求是至关重要的。以下是我们为您整理的测评系统核心内容，希望对您的求职之旅有所帮助。 测评系统概览 华润电力的招聘测评系统旨在全面评估求职者的认…
阅读更多...
【全网最全】2024年华为杯研赛B题成品论文获取入口（后续会更新）

【全网最全】2024年华为杯研赛B题成品论文获取入口（后续会更新）

您的点赞收藏是我继续更新的最大动力！ 一定要点击如下的卡片，那是获取资料的入口！ 点击链接加入【2024华为杯研赛资料汇总】：https://qm.qq.com/q/hMgWngXvcQhttps://qm.qq.com/q/hMgWngXvcQ你是否在寻找数学建模比赛的突破点&a…
阅读更多...
二叉树（二）深度遍历和广度遍历

二叉树（二）深度遍历和广度遍历

一、层序遍历 广度优先搜索：使用队列，先进先出 模板： 1、定义返回的result和用于辅助的队列 2、队列初始化： root非空时进队 3、遍历整个队列：大循环while(!que.empty()) 记录每层的size以及装每层结果的变量&a…
阅读更多...
Linux基础命令以及常识

Linux基础命令以及常识

镜像站点服务器（相当于下载的网址）也可叫软件源 vim /etc/apt/sources.list 索引文件(网络服务器在本地的缓存) 服务器软件源在本地列出来一个清单，以便于主机进行查询操作 cd /var/lib/apt/lists/ 下载软件包默认存放路径 cd /var/cache/a…
阅读更多...
Linux_openEuler_24.03部署Oracle 19c部署安装实测验证（无图形桌面-RPM模式）

Linux_openEuler_24.03部署Oracle 19c部署安装实测验证（无图形桌面-RPM模式）

前言： 近期对openeuler有点兴趣，顺带在做个开发数据仓项目，那就正好安装个环境做个调测，做个记录放上来做个备录给到大家参考。 openEuler 24.03 LTS：四大升级， 首个AI原生开源操作系统正式发布 openEuler …
阅读更多...
【医疗大数据】基于 B2B 的医疗保健系统中大数据信息管理的安全和隐私问题分析

【医疗大数据】基于 B2B 的医疗保健系统中大数据信息管理的安全和隐私问题分析

基于 B2B 的医疗保健系统中大数据信息管理的安全和隐私问题分析 1、引言 1-1 医疗大数据的特点 10 V模型：在医疗领域，大数据的特点被描述为10 V，包括价值（Value）、体量（Volume）、速度&#xf…
阅读更多...
C语言-文件操作-一些我想到的、见到的奇怪的问题

C语言-文件操作-一些我想到的、见到的奇怪的问题

博客主页：【夜泉_ly】 本文专栏：【C语言】 欢迎点赞👍收藏⭐关注❤️ C语言-文件操作-一些我想到的、见到的奇怪的问题 前言1.在不关闭文件的情况下，连续多次调用 fopen() 打开同一个文件，会发生什么？1.1过…
阅读更多...
【linux-Day4】linux的基本指令＜下＞

【linux-Day4】linux的基本指令＜下＞

【linux-Day4】linux的基本指令<下> linux下的基本指令&#x1f4e2;date&#xff1a;显示时间&#x1f4e2;cal&#xff1a;显示公历日历&#x1f4e2;whereis &#xff1a; 查找指令->可执行文件/源代码/帮助手册所在的位置&#x1f4e2;find &#xff1a;在目录中搜…
阅读更多...
C++ | Leetcode C++题解之第424题替换后的最长重复字符

C++ | Leetcode C++题解之第424题替换后的最长重复字符

题目&#xff1a; 题解&#xff1a; class Solution { public:int characterReplacement(string s, int k) {vector<int> num(26);int n s.length();int maxn 0;int left 0, right 0;while (right < n) {num[s[right] - A];maxn max(maxn, num[s[right] - A]);i…
阅读更多...
色彩管理中的Gamma值的理解

色彩管理中的Gamma值的理解

目录 广义的Gamma值为什么要将输出和输入做Gamma运算&#xff1f;显示器的Gamma值什么是Gamma值为1.0线性响应?显示器的Gamma值标准是多少?为什么sRGB在Gamma0.45空间&#xff1f;打印机、印刷机Gamma值?印刷机Gamma与显示器的Gamma的比较参考文章 广义的Gamma值 Gamma值的…
阅读更多...
YOLOv8改进，YOLOv8替换主干网络为VanillaNet( CVPR 2023 华为提出的全新轻量化架构)，大幅度涨点

YOLOv8改进，YOLOv8替换主干网络为VanillaNet( CVPR 2023 华为提出的全新轻量化架构)，大幅度涨点

改进前训练结果： 改进后训练结果： 摘要 基础模型的核心理念是“更多即不同”，这一理念在计算机视觉和自然语言处理领域取得了惊人的成功。然而，变压器模型的优化挑战和固有复杂性呼唤一种向简化转变的范式。在本研究中，引入了VanillaNet，一种拥抱设计优雅的神经网络架构…
阅读更多...
Ansible部署与应用基础

Ansible部署与应用基础

由于互联网的快速发展导致产品更新换代速度逐步增长&#xff0c;运维人员每天都要进行大量的维护操作&#xff0c;按照传统方式进行维护使得工作效率低下。这时部署自动化运维就 可以尽可能安全、高效的完成这些工作。 一、Ansible概述 1.什么是Ansible Ansible 是基于 Pytho…
阅读更多...
Linux中使用cp命令的 -f 选项，但还是提醒覆盖的问题

Linux中使用cp命令的 -f 选项，但还是提醒覆盖的问题

问题&#xff1a; linux 在执行cp的命令的时候&#xff0c;就算是执行 cp -f 也还是会提醒是否要进行替换。 问题原因&#xff1a; 查看别名&#xff0c;alias命令&#xff0c;看到cp的别名为cp -i&#xff0c;那就是说cp本身就是自带覆盖提醒&#xff0c;就算我们加上-f 的…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023