尚硅谷大数据技术ClickHouse教程-笔记01【ClickHouse单机安装、数据类型】

news2024/11/26 12:14:37

视频地址:一套上手ClickHouse-OLAP分析引擎,囊括Prometheus与Grafana_哔哩哔哩_bilibili

  1. 01_尚硅谷大数据技术之ClickHouse入门V1.0
    1. 尚硅谷大数据技术ClickHouse教程-笔记01【ClickHouse单机安装、数据类型】
    2. 尚硅谷大数据技术ClickHouse教程-笔记02【表引擎、SQL操作】
    3. 尚硅谷大数据技术ClickHouse教程-笔记03【副本、分片集群
  2. 02_尚硅谷大数据技术之ClickHouse高级V1.0
    1. 尚硅谷大数据技术ClickHouse教程-笔记04【】
    2. 尚硅谷大数据技术ClickHouse教程-笔记05【】
    3. 尚硅谷大数据技术ClickHouse教程-笔记06【】
  3. 03_尚硅谷大数据技术之ClickHouse监控及备份V1.0
    1. 尚硅谷大数据技术ClickHouse教程-笔记07【】
    2. 尚硅谷大数据技术ClickHouse教程-笔记08【】
    3. 尚硅谷大数据技术ClickHouse教程-笔记09【】
  4. 他人笔记
    1. ClickHouse学习笔记(一):ClickHouse安装、数据类型、表引擎、SQL操作
    2. ClickHouse学习笔记(二):执行计划、建表优化、语法优化规则、查询优化、数据一致性

目录

课程介绍

P01【01_ClickHouse总体_课程介绍】13:19

第1章 ClickHouse入门

P02【02_ClickHouse入门_课程介绍】03:25

P03【03_ClickHouse入门_介绍&特点】24:52

第2章 ClickHouse的安装

P04【04_ClickHouse入门_安装_准备工作】18:37

P05【05_ClickHouse入门_安装_单机安装】25:13

第3章 数据类型

P06【06_ClickHouse入门_数据类型】21:39


课程介绍

P01【01_ClickHouse总体_课程介绍】13:19

课程介绍

一、课程重点内容
        1、入门:一学就会
        2、高级:
                explain 20.6版本之后才有
                优化:建表时优化、RB0优化规则、使用过程中做的优化(单表查询、多表关联)
                          参数配置优化:cpu、内存,建议值
                特性:物化视图、20.8之后的物化MySQL
                常见问题
        3、监控及备份

二、课程特色
        1、新        ClickHouse 21.3.7.14
        2、细        文档详细,复制粘贴
        3、全        几乎涵盖所有需要,一条龙搞定
        4、真        常见问题

三、资料获取方式
        1、关注微信公众号:尚硅谷教育,回复:大数据、java
        2、谷粒学院
        3、b站


四、技术基础要求
        sql基础 + zookeeper基础 + linux基础

第1章 ClickHouse入门

P02【02_ClickHouse入门_课程介绍】03:25

01_尚硅谷大数据技术之ClickHouse入门V1.0

  1. 第1章 ClickHouse入门
  2. 第2章 ClickHouse的安装
  3. 第3章 数据类型
  4. 第4章 表引擎
  5. 第5章 SQL操作
  6. 第6章 副本
  7. 第7章 分片集群

P03【03_ClickHouse入门_介绍&特点】24:52

ClickHouse 是俄罗斯的 Yandex 于 2016 年开源的列式存储数据库(DBMS),使用 C++ 语言编写,主要用于在线分析处理查询(OLAP),能够使用 SQL 查询实时生成分析数据报告。

第2章 ClickHouse的安装

P04【04_ClickHouse入门_安装_准备工作】18:37

soft:当前生效的。

hard:最大限制,代表上限。

soft <= hard

SELinux,security enforce Linux

P05【05_ClickHouse入门_安装_单机安装】25:13

clickhouse官网:Fast Open-Source OLAP DBMS - ClickHouse

[atguigu@node001 ~]$ sudo tail -111f /var/log/clickhouse-server/clickhouse-server.err.log

2024.06.20 20:46:51.774410 [ 76705 ] {} <Error> Application: DB::Exception: Listen [::]:9000 failed: Poco::Exception. Code: 1000, e.code() = 98, e.displayText() = Net Exception: Address already in use: [::]:9000 (version 20.4.5.36 (official build))
2024.06.20 20:47:23.085468 [ 81914 ] {} <Error> Application: DB::Exception: Listen [::]:9000 failed: Poco::Exception. Code: 1000, e.code() = 98, e.displayText() = Net Exception: Address already in use: [::]:9000 (version 20.4.5.36 (official build))
2024.06.20 20:47:54.584052 [ 87242 ] {} <Error> Application: DB::Exception: Listen [::]:9000 failed: Poco::Exception. Code: 1000, e.code() = 98, e.displayText() = Net Exception: Address already in use: [::]:9000 (version 20.4.5.36 (official build))
^C
[atguigu@node001 ~]$ netstat -anp |grep 9000
(No info could be read for "-p": geteuid()=1001 but you should be root.)
tcp        0      0 0.0.0.0:9000            0.0.0.0:*               LISTEN      -                   
tcp        0      0 172.17.0.1:59898        172.17.0.2:9000         ESTABLISHED -                   
tcp6       0      0 :::9000                 :::*                    LISTEN      -                   
tcp6       0      0 ::1:58926               ::1:9000                ESTABLISHED -                   
tcp6       0      0 ::1:9000                ::1:58926               ESTABLISHED -                   
[atguigu@node001 ~]$ 

[atguigu@node001 ~]$ sudo tail -111f /var/log/clickhouse-server/clickhouse-server.err.log

2024.06.20 20:46:51.774410 [ 76705 ] {} <Error> Application: DB::Exception: Listen [::]:9000 failed: Poco::Exception. Code: 1000, e.code() = 98, e.displayText() = Net Exception: Address already in use: [::]:9000 (version 20.4.5.36 (official build))
2024.06.20 20:47:23.085468 [ 81914 ] {} <Error> Application: DB::Exception: Listen [::]:9000 failed: Poco::Exception. Code: 1000, e.code() = 98, e.displayText() = Net Exception: Address already in use: [::]:9000 (version 20.4.5.36 (official build))
2024.06.20 20:47:54.584052 [ 87242 ] {} <Error> Application: DB::Exception: Listen [::]:9000 failed: Poco::Exception. Code: 1000, e.code() = 98, e.displayText() = Net Exception: Address already in use: [::]:9000 (version 20.4.5.36 (official build))
^C
[atguigu@node001 ~]$ netstat -anp |grep 9000
(No info could be read for "-p": geteuid()=1001 but you should be root.)
tcp        0      0 0.0.0.0:9000            0.0.0.0:*               LISTEN      -                   
tcp        0      0 172.17.0.1:59898        172.17.0.2:9000         ESTABLISHED -                   
tcp6       0      0 :::9000                 :::*                    LISTEN      -                   
tcp6       0      0 ::1:58926               ::1:9000                ESTABLISHED -                   
tcp6       0      0 ::1:9000                ::1:58926               ESTABLISHED -                   
[atguigu@node001 ~]$ sudo lsof -i :9000
COMMAND    PID USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
docker-pr 1728 root    4u  IPv4  34453      0t0  TCP *:cslistener (LISTEN)
docker-pr 1733 root    4u  IPv6  36317      0t0  TCP *:cslistener (LISTEN)
[atguigu@node001 ~]$ kill -9 1728
-bash: kill: (1728) - 不允许的操作
[atguigu@node001 ~]$ sudo kill -9 1728
[atguigu@node001 ~]$ clickhouse-client -m
ClickHouse client version 20.4.5.36 (official build).
Connecting to localhost:9000 as user default.
^C
[atguigu@node001 ~]$ sudo kill -9 1733
[atguigu@node001 ~]$ clickhouse-client -m
ClickHouse client version 20.4.5.36 (official build).
Connecting to localhost:9000 as user default.
Code: 210. DB::NetException: Connection refused (localhost:9000)

[atguigu@node001 ~]$ sudo systemctl start clickhouse-server
[atguigu@node001 ~]$ clickhouse-client -m
ClickHouse client version 20.4.5.36 (official build).
Connecting to localhost:9000 as user default.
Connected to ClickHouse server version 20.4.5 revision 54434.

node001 :) 
[atguigu@node001 ~]$ clickhouse-client -m
ClickHouse client version 20.4.5.36 (official build).
Connecting to localhost:9000 as user default.
Connected to ClickHouse server version 20.4.5 revision 54434.

node001 :) show databases;e = ReplacingMergeTree(ts) partition by toYYYYMMDD(stt) order by(stt, edt);
SHOW DATABASES

┌─name───────────────────────────┐
│ _temporary_and_external_tables │
│ default                        │
│ edu_realtime                   │
│ system                         │
└────────────────────────────────┘

4 rows in set. Elapsed: 0.013 sec. 

node001 :) use system;

USE system

Ok.

0 rows in set. Elapsed: 0.016 sec. 

node001 :) show tables;

SHOW TABLES

┌─name───────────────────────────┐
│ aggregate_function_combinators │
│ asynchronous_metrics           │
│ build_options                  │
│ clusters                       │
│ collations                     │
│ columns                        │
│ contributors                   │
│ data_type_families             │
│ databases                      │
│ detached_parts                 │
│ dictionaries                   │
│ disks                          │
│ events                         │
│ formats                        │
│ functions                      │
│ graphite_retentions            │
│ macros                         │
│ merge_tree_settings            │
│ merges                         │
│ metric_log                     │
│ metrics                        │
│ models                         │
│ mutations                      │
│ numbers                        │
│ numbers_mt                     │
│ one                            │
│ parts                          │
│ parts_columns                  │
│ processes                      │
│ quota_usage                    │
│ quotas                         │
│ replicas                       │
│ replication_queue              │
│ row_policies                   │
│ settings                       │
│ stack_trace                    │
│ storage_policies               │
│ table_engines                  │
│ table_functions                │
│ tables                         │
│ trace_log                      │
│ zeros                          │
│ zeros_mt                       │
└────────────────────────────────┘

43 rows in set. Elapsed: 0.018 sec. 

node001 :) ^C
node001 :) quit
:-] ;
Bye.
[atguigu@node001 ~]$ clickhouse-client --query "show databases;";
_temporary_and_external_tables
default
edu_realtime
system
[atguigu@node001 ~]$ 

第3章 数据类型

P06【06_ClickHouse入门_数据类型】21:39

单机不需要启动zookeeper,集群需要启动zookeeper,集群需要中间协调者,clickhouse依赖于zookeeper,元数据、副本表这些东西需要依赖于zookeeper。

[atguigu@node001 ~]$ clickhouse-client -m
ClickHouse client version 20.4.5.36 (official build).
Connecting to localhost:9000 as user default.
Code: 210. DB::NetException: Connection refused (localhost:9000)

[atguigu@node001 ~]$ sudo systemctl start clickhouse-server
[atguigu@node001 ~]$ clickhouse-client -m
ClickHouse client version 20.4.5.36 (official build).
Connecting to localhost:9000 as user default.
Connected to ClickHouse server version 20.4.5 revision 54434.

node001 :) create table t_enum (     x Enum8('hello' = 1,'world' = 2)
:-] ) engine = TinyLog;

CREATE TABLE t_enum
(
    `x` Enum8('hello' = 1, 'world' = 2)
)
ENGINE = TinyLog

Ok.

0 rows in set. Elapsed: 0.013 sec. 

node001 :) insert into t_enum values ('hello'),('world'),('hello');

INSERT INTO t_enum VALUES

Ok.

3 rows in set. Elapsed: 0.042 sec. 

node001 :) insert into t_enum values('a');

INSERT INTO t_enum VALUES


Exception on client:
Code: 36. DB::Exception: Unknown element 'a' for type Enum8('hello' = 1, 'world' = 2)

Connecting to localhost:9000 as user default.
Connected to ClickHouse server version 20.4.5 revision 54434.

node001 :) select cast(x,'Int8') from t_enum;

SELECT cast(x, 'Int8')
FROM t_enum

┌─cast(x, 'Int8')─┐
│               1 │
│               2 │
│               1 │
└─────────────────┘

3 rows in set. Elapsed: 0.022 sec. 

node001 :) SELECT currentDatabase();

SELECT currentDatabase()

┌─currentDatabase()─┐
│ default           │
└───────────────────┘

1 rows in set. Elapsed: 0.024 sec. 

node001 :) select * from t_enum;

SELECT *
FROM t_enum

┌─x─────┐
│ hello │
│ world │
│ hello │
└───────┘

3 rows in set. Elapsed: 0.006 sec. 

node001 :) insert into t_enum values('haha');

INSERT INTO t_enum VALUES


Exception on client:
Code: 36. DB::Exception: Unknown element 'haha' for type Enum8('hello' = 1, 'world' = 2)

Connecting to localhost:9000 as user default.
Connected to ClickHouse server version 20.4.5 revision 54434.

node001 :) select * from t_enum;

SELECT *
FROM t_enum

┌─x─────┐
│ hello │
│ world │
│ hello │
└───────┘

3 rows in set. Elapsed: 0.002 sec. 

node001 :) show tables;

SHOW TABLES

┌─name────────────────────────────────────────┐
│ dws_trade_cart_add_window                   │
│ dws_trade_course_order_window               │
│ dws_trade_order_window                      │
│ dws_traffic_source_keyword_page_view_window │
│ dws_user_register_window                    │
│ t_enum                                      │
└─────────────────────────────────────────────┘

6 rows in set. Elapsed: 0.017 sec. 

node001 :) 

数组的简单用法:

select array(1, 2) as x, toTypeName(x);

select [1, 2] as x, toTypeName(x);

node001 :) select array(1, 2) as x, toTypeName(x);

SELECT 
    [1, 2] AS x, 
    toTypeName(x)

┌─x─────┬─toTypeName([1, 2])─┐
│ [1,2] │ Array(UInt8)       │
└───────┴────────────────────┘

1 rows in set. Elapsed: 0.009 sec. 

node001 :) select [1, 2] as x, toTypeName(x);

SELECT 
    [1, 2] AS x, 
    toTypeName(x)

┌─x─────┬─toTypeName([1, 2])─┐
│ [1,2] │ Array(UInt8)       │
└───────┴────────────────────┘

1 rows in set. Elapsed: 0.005 sec. 

node001 :) 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1845565.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

前端基础操作1——利用nvm任意切换(管理)node版本

在实际前端项目开发过程中&#xff0c;同时开发多个项目或者切换新项目时&#xff0c;因为node版本问题造成项目无法运行的问题比比皆是&#xff0c;这时候通过nvm管理切换不同版本的node&#xff0c;就能很快进入开发模式&#xff0c;避免因为环境问题浪费大量精力&#xff0c…

太爱这种数据可视化效果,零售行业的都看过来

在当今数字化浪潮下&#xff0c;数据可视化已成为零售行业洞察市场趋势、优化运营决策的关键技术。奥威BI零售数据分析方案凭借其卓越的数据可视化效果&#xff0c;成为零售企业的得力助手。接下来就通过BI节假日分析报表来简单地感受一下。 注&#xff1a;该BI节假日分析报表…

ArcGIS消除碎图斑

​ 点击下方全系列课程学习 点击学习—>ArcGIS全系列实战视频教程——9个单一课程组合系列直播回放 点击学习——>遥感影像综合处理4大遥感软件ArcGISENVIErdaseCognition 这次是上次 我们经常在相交、标识、更新等操作后或者是栅格转矢量可能存在很多的细碎图斑&#…

反激开关电源输出整流二极管选型及计算

1、电压 输出整流二极管电压应力&#xff1a;VoutVin/n尖峰电压余量5373/14.22010&#xff08;选60V左右的二极管&#xff09; 通常为了降低电压尖峰&#xff0c;需要在二极管上加RC吸收&#xff0c;来降低尖峰 2、电流 整流二极管的电流也是需要根据变压器输出绕组的峰值电流来…

深度学习500问——Chapter12:网络搭建及训练(3)

文章目录 12.3.5 Caffe有哪些接口 12.4 网络搭建有什么原则 12.4.1 新手原则 12.4.2 深度优先原则 12.4.3 卷积核size一般为奇数 12.4.4 卷积核不是越大越好 12.5 有哪些经典的网络模型值得我们去学习的 12.6 网络训练有哪些技巧 12.6.1 合适的数据集 12.6.2 合适的预…

console.log日志展示

console.log日志展示 1.特定颜色打印 console.log("%caaa","color:#1e80ff") 解释&#xff1a;重点就是%c和color。

IDEA2023中使用run Dashboard面板?实现批量运行微服务

1、直接点击Add service--->Run Configuration Type---->Spring Boot 2、这样就出现了run Dashboard面板&#xff0c;可同时运行多个工程模块&#xff0c;shift选中所有启动类组命名&#xff08;Group Configurations&#xff09; 3、启动所有的项目

linux分区

挂载只改变数据存储的分区位置&#xff0c;不改变文件系统的目录结构&#xff0c;无论怎么挂载linux系统的分区仍然是/根分区和其子目录/opt、/etc、/home等等 临时挂载 添加新磁盘模拟新设备接入&#xff0c;无论使用什么虚拟机都可以 重启电脑reboot&#xff0c;执行lsblk&a…

RestTemple请求GET接口403

问题描述 使用oss接口获取资源的时候&#xff0c;通过浏览器可以直接下载&#xff0c;在代码中使用RestTemplate的get方式访问的时候&#xff0c;出现403错误 问题排查 因为返回状态码是403&#xff0c;就想着是不是授权问题&#xff0c;因为有的接口是有防抓取规则的&…

《Cloud Native Data Center Networking》(云原生数据中心网络设计)读书笔记 -- 02 Clos拓扑

本章回答以下问题&#xff1a; 什么是 Clos 拓扑&#xff0c;它与“接入 - 汇聚 - 核心”拓扑有何不同?Clos 拓扑的特征是什么?Clos 拓扑对数据中心网络的影响是什么? Clos拓扑 云原生数据中心基础设施的先行者们想要构建一种支持大规模水平扩展网络。 基本的Clos拓扑如图…

C++ #pragma pack(n)

一、#pragma简介 #pragma是预处理指令的一种&#xff0c;它的作用是设定编译器的状态、指定编译器完成特定任务。 &#xff08;预处理阶段&#xff1a;在编译阶段之前进行&#xff09; #pragma相当于是由各个厂商开发扩展的&#xff0c;因此可能因编译器或操作系统不同而有所差…

【论文阅读】-- TSR-TVD:时变数据分析和可视化的时间超分辨率

TSR-TVD: Temporal Super-Resolution for Time-Varying Data Analysis and Visualization 摘要1 引言2 相关工作3 我们的循环生成方法3.1 损失函数3.2 网络架构 4 结果与讨论4.1 数据集和网络训练4.2 结果4.3 讨论 5 结论和未来工作致谢参考文献附录1 训练算法及优化2 网络分析…

基于 Arm 虚拟硬件的心电图(ECG)疾病分类应用开发实战

基于 Arm 虚拟硬件的心电图(ECG)疾病分类应用开发实战 目录 文章目录 [toc] 一、实验背景1. 嵌入式软件开发的基本流程2. Arm 虚拟硬件镜像产品简介 二、实验目标三、实验步骤简介四、实验前准备1. 订阅使用 Arm 虚拟硬件镜像的百度智能云云服务器 BCC 实例1.1 百度智能云账号准…

win11家庭版使用自带的Linux子系统并安装docker【全网整合版】

1. 电脑配置项 开发者选项 设置->系统->开发者选项 启用或关闭windows功能 控制面板->卸载程序->启用或关闭windows功能 勾选适用于Linux的Windows子系统和虚拟机平台并重启电脑(首次勾选选项时电脑提示重启) Hyper-V 关键点&#xff1a;win11家庭版在启动…

如何开发一个海外仓系统?难度在哪,怎么选择高性价解决方案

作为海外仓管理的重要工具&#xff0c;海外仓系统的实际应用价值还是非常高的。为了让大家能更好的理解wms海外仓系统&#xff0c;今天会介绍海外仓系统开发的逻辑架构&#xff0c;以及作为海外仓企业要怎么确定高性价比的数字化管理解决方案。 1、开发海外仓系统要考虑的功能…

IDEA 学习之 打开一个 MAVEN 工程

目录 1. 单体工程2. 多 module 工程3. 多个多 module 工程3.1. 重复 1 步骤3.2. 添加其他多 module 工程 1. 单体工程 2. 多 module 工程 3. 多个多 module 工程 3.1. 重复 1 步骤 3.2. 添加其他多 module 工程

红酒——这片大地孕育的液体宝石,背后藏着怎样的风土与传奇?

红酒&#xff0c;不仅是液体中的宝石&#xff0c;更是承载着无数风土与传奇的诗意之物。每一滴红酒都蕴含着大自然的馈赠&#xff0c;每一瓶都讲述着属于它自己的故事。今天&#xff0c;就让我们一起探寻红酒背后的风土与传奇&#xff0c;感受雷盛红酒文化所承载的文化底蕴。 一…

光储系统怎么选?天合储能工商业储能系统Potentia蓝海2震撼来袭

重塑光储设计&#xff0c;颠覆智造想象&#xff0c;2024年6月12日&#xff0c;天合光能“工商储进化论”新品发布会于上海浦东隆重召开&#xff0c;行业首款AI仿生液冷工商业储能系统Potentia蓝海2重磅登场。秉持产品优化、技术创新、服务精进、场景拓展的四维升级理念&#xf…

WeiXin Live Broadcast 2024.06.21

WeiXin Live Broadcast 2024.06.21 微信直播流程 微信直播&#xff0c;如果需要展示主播以及现场画面&#xff0c;需要摄像头和电脑端的直播推流软件。 基础设备&#xff1a;1&#xff09;手机 2&#xff09;笔记本带摄像头 3&#xff09;手机数据线连接笔记本 4&#xff09…

Ollama深度探索:AI大模型本地部署的全面教程

目录 引言一、Ollama概述1、定义与定位2、核心功能3、技术优势4、应用场景 二、安装与配置1、系统要求2、安装方法3、配置指南4、启动Ollama服务 四、快速开始1、启动Ollama2、部署运行模型3、REEST API 五、自定义模型1、定制化的必要性2、使用Modelfile定制模型3、参数调整4、…