使用Ckman部署ClickHouse集群介绍

news2024/11/17 7:33:54

使用Ckman部署ClickHouse集群介绍

1. Ckman简介

ClickHouse Manager是一个为ClickHouse数据库量身定制的管理工具，它是由擎创科技数据库团队主导研发的一款用来管理和监控ClickHouse集群的可视化运维工具。目前该工具已在github上开源，开源地址为：github.com/housepower/ckman。它通过提供一个直观的图形用户界面(GUI)，极大地简化了数据库的管理和操作。这款工具支持多种功能，包括但不限于SQL查询编辑器、数据可视化、实时监控、性能分析、备份与恢复等。

用户可以通过ClickHouse Manager轻松执行复杂的SQL查询，同时工具内置的编辑器支持语法高亮和自动补全，提高了编写查询的效率。数据可视化功能使用户能够通过图表直观地理解数据趋势和模式。实时监控则允许用户跟踪数据库的性能指标，及时发现并解决潜在问题。

此外，ClickHouse Manager还提供了强大的性能分析工具，帮助用户识别查询瓶颈和优化数据库配置。备份与恢复功能确保了数据的安全性，即使在系统故障时也能快速恢复数据。总的来说，ClickHouse Manager是一个功能全面、操作简便的数据库管理工具，适合各种规模的ClickHouse用户使用。

2. 为什么要有ckman

摘取官方文档介绍如下：

我们不妨思考一下这样的场景：如果要部署一个ClickHouse集群，需要怎么做？

首先，我们需要在所有ClickHouse节点上安装ClickHouse的rpm包，然后，需要修改配置文件，包括但不限于config.xml、users.xml、metrika.xml。注意，是所有节点上都要修改，修改完成后需要依次启动各个节点。

当集群规模不大，这些操作手动去完成可能不觉得有什么，但是如果集群规模比较大，单个集群的节点达到了上百台甚至上千台，这时候要手工去每台机器上去操作，显然变得不太现实。

如果需要往集群增加一个节点呢？

我们需要在已有的节点上的metrika.xml配置文件中加上该节点，然后在新增节点上安装rpm包，修改metrika.xml，启动ClickHouse服务，最后还要同步其他节点上的schema表结构，至此才能完成。

删除节点亦如是。

如果要升级集群呢？我们不仅需要在每个节点上重新安装升级rpm包，还需要考虑一些其他的问题：需不需要停服务？如果升级失败了怎么办？

总之，ClickHouse的集群运维，如果靠人工去做，不仅繁琐，容易出现各种问题，当集群规模变大后，也变得不切实际。

这时候，ckman的出现，就可以完美解决上述的问题。ckman将这些运维操作都集成在管理界面中，用户只需要在web界面上通过简单的信息配置，点击鼠标，就可以完成所有的配置工作，而无需关注其他细节，也减少了出错的可能。

3. 主要功能

  1. 集群管理：

    • 安装和卸载ClickHouse集群。
    • 添加和删除集群节点。
    • 自动化配置和部署。

  2. 监控：

    • 集群状态监控。
    • 节点健康检查。
    • 性能指标监控。

  3. 运维工具：

    • 数据备份和恢复。
    • 数据库和表管理。
    • SQL查询执行和日志查看。

  4. 用户管理：

    • 创建和管理用户。
    • 设置用户权限和角色。

  5. 配置管理：

    • 统一管理ClickHouse配置文件。
    • 动态更新配置。

4. 优势

  • 简化管理：CKMan提供了简化的ClickHouse集群管理功能，减少了手动配置和运维的复杂度。
  • 监控和报警：集成了监控和报警功能，帮助运维人员及时发现和解决问题。
  • 用户友好：图形化界面和命令行工具兼备，满足不同用户的需求。

架构设计

5. 安装ckman

5-1. 下载ckman

ckman官方github项目下载地址：https://github.com/housepower/ckman/releases ，可以根据需求自行下载需要的版本即可，对于部署clickhouse没有严格要求必须使用某个版本ckman。

下载示例：

wget https://github.com/housepower/ckman/releases/download/v3.0.8/ckman-3.0.8.x86_64.rpm

5-2. 安装ckman

[root@ops01 clickhouse]# wget https://github.com/housepower/ckman/releases/download/v3.0.8/ckman-3.0.8.x86_64.rpm
[root@ops01 clickhouse]# rpm -ivh ckman-3.0.8.x86_64.rpm
Preparing...                          ################################# [100%]
Updating / installing...
   1:ckman-0:3.0.8-1                  ################################# [100%]

   
# 安装完毕后，相关的路径
[root@ops01 clickhouse]# whereis ckman
ckman: /usr/sbin/ckman /etc/ckman /usr/local/bin/ckman

# 配置相关路径
[root@ops01 clickhouse]# ll /etc/ckman/
total 12
drwxr-xr-x 2 ckman ckman 4096 Jul  2 16:23 conf
drwxr-xr-x 2 ckman ckman 4096 Jul  2 16:17 dbscript
drwxr-xr-x 2 ckman ckman 4096 Jul  2 16:17 package

# 可执行文件
[root@ops01 clickhouse]# ls -l /usr/local/bin/|grep ckman
-rwxr-xr-x 1 root root 118916632 May 27 16:11 ckman
-rwxr-xr-x 1 root root  23208233 May 27 16:11 ckmanpasswd

# 日志存储路径
[root@ops01 clickhouse]# ll /var/log/ckman/
total 72
-rw-r----- 1 ckman ckman  8866 Jul  2 17:00 ckman.err.log
-rw-r----- 1 ckman ckman 55478 Jul  2 17:00 ckman.log

5-3. ckman服务启停

# 启动服务：systemctl start ckman
[root@ops01 clickhouse]# systemctl start ckman

[root@ops01 clickhouse]# ps -ef | grep ckman | grep -v grep
ckman     3939     1  0 16:20 ?        00:00:00 /usr/local/bin/ckman -c=/etc/ckman/conf/ckman.hjson -p=/run/ckman/ckman.pid -l=/var/log/ckman/ckman.log -d

[root@ops01 clickhouse]# tail -15 /var/log/ckman/ckman.log 
  "Cron": {
    "Enabled": true,
    "sync_logic_schema": "0 * * * * ?",
    "watch_cluster_status": "0 */3 * * * ?",
    "sync_dist_schema": "30 */10 * * * ?"
  }
}
2024-07-02T16:20:39.119+0800	WARN	local/local.go:460	file [/etc/ckman/conf/clusters.json] is not exist
2024-07-02T16:20:39.119+0800	INFO	runner/runner.go:32	runner service starting...
2024-07-02T16:20:39.119+0800	INFO	ckman/main.go:138	start http server 192.170.0.150:8808 success

[root@ops01 clickhouse]# netstat -tnlpu|grep 8808
tcp6       0      0 :::8808                 :::*                    LISTEN      3939/ckman

服务状态查看 : systemctl status ckman

停止服务 : systemctl stop ckman

重启服务 : systemctl restart ckman

6. ckman安装部署clickhouse

6-1. 准备工作

  • 机器准备

本次部署采用了5台服务器进行集群部署，建议至少3台。

  • 配置集群免密
# 验证集群操作是否免密
[root@ops01 ~]# for i in ops01 ops02 ops03 ops04 ops04;do ssh $i "hostname && date" ;done
ops01
Tue Jul  2 18:39:33 CST 2024
ops02
Tue Jul  2 18:39:33 CST 2024
ops03
Tue Jul  2 18:39:33 CST 2024
ops04
Tue Jul  2 18:39:33 CST 2024
ops04
Tue Jul  2 18:39:33 CST 2024

ckman机器到各服务器时间无需密码访问

ssh-keygen -t rsa;

ssh-copy-id 192.168.1.1

  • 部署zookeeper服务

zookeeper服务搭建部署可参考文章：https://blog.csdn.net/wt334502157/article/details/115213645

  • 创建安装包存放目录并拷贝rpm安装包

安装包官方下载地址：https://packages.clickhouse.com/rpm/stable/

根据自己的需求进行搜索下载即可，注意底部有next下一页

本次采用了23.9.1版本

wget https://packages.clickhouse.com/rpm/stable/clickhouse-client-23.9.1.1854.x86_64.rpm
wget https://packages.clickhouse.com/rpm/stable/clickhouse-common-static-23.9.1.1854.x86_64.rpm
wget https://packages.clickhouse.com/rpm/stable/clickhouse-server-23.9.1.1854.x86_64.rpm
wget https://packages.clickhouse.com/rpm/stable/clickhouse-common-static-dbg-23.9.1.1854.x86_64.rpm

创建目录，把安装包放入指定目录内，路径是ckman探寻的目录地址，并非随意指定

[root@ops01 package]# mkdir -p /etc/ckman/package/clickhouse
[root@ops01 package]# chmod a+w /etc/ckman/package/clickhouse
[root@ops01 package]# cd /etc/ckman/package/clickhouse
[root@ops01 clickhouse]# cp /opt/software/clickhouse/clickhouse-*rpm .
[root@ops01 clickhouse]# ls
clickhouse-client-23.9.1.1854.x86_64.rpm         clickhouse-common-static-dbg-23.9.1.1854.x86_64.rpm
clickhouse-common-static-23.9.1.1854.x86_64.rpm  clickhouse-server-23.9.1.1854.x86_64.rpm
  • 所有服务器创建数据存放目录
[root@ops01 ~]# for i in ops01 ops02 ops03 ops04 ops04;do ssh $i "mkdir -p /data/clickhouse/data" ;done

也可逐个服务器登录创建 mkdir -p /data/clickhouse/data

6-2. 页面部署clickhouse集群

ckman功能虽然较多，但一般常用ckman部署clickhouse集群，内嵌的Prometheus监控或者nacos配置等等，可根据需求。生产情况经常会额外单独的监控体系来监控服务器和服务。这里不展开介绍监控等服务的集成。

页面访问方式：IP+8808端口

http://192.170.0.150:8808

ckman默认的登录用户为ckman，密码为Ckman123456!

  • 集群配置
  1. 集群基本信息配置

<注意>：左上角可以切换成中文界面；截图中的名称均可根据需求自定义

物理集群名： 集群的名字，注意不要和ckman已有的名字重合

安装包类型: 安装包类型，用来区分平台和架构，不需要自己填写，上传安装包后可通过下拉框选择；只要把rpm包cp到/etc/ckman/package/clickhouse路径下，即可自动识别出。在部署集群之前，需要先上传安装包。部署的集群版本是基于上传安装包的版本的。

如果选择的平台和架构不正确，如在arm的机器上部署x86的安装包，则不会成功。

ClickHouse版本: ck的版本，不需要自己填写，通过下拉列表选择，下拉列表中会列出ckman服务器中所有的安装包版本。

逻辑集群名：逻辑集群名字，可以指定，也可以不指定
TCP Port: clickhouse的TCP端口，默认是9000，当然也可以自己指定
ClickHouse Node List: clickhouse节点列表，支持简写

  1. 集群分片、副本配置

注意不是在一个分片中添加多个副本IP，是点击集群节点配置，添加多个分片

  • 如果开启了副本，默认是1个shard2个副本，如果节点是奇数，则最后一个 shard为1个副本。
  • 如果要增加节点的副本数，可通过增加节点完成，创建集群时最多只能指定2个副本
  • 如果没有开启副本，则有几个节点就有几个shard
  • 注意：集群是否支持副本在部署集群时就已经决定了，后续不可更改
  1. zookeeper相关信息配置

ckman并没有提供zookeeper集群搭建的功能，因此在部署集群之前，需要将zookeeper集群搭建好

  1. 部署连接以及存储相关配置

<注意>：数据存储路径中，结尾一定要/结尾

默认用户密码可自己更改

在clickhouse使用时，会有一个default用户，这里定义了默认密码，后续即可通过密码访问

示例：clickhouse-client --host=192.170.0.150 --port=9000 --user=default --password=bigdata

此处设置的密码即为client连接的password

系统账号名和系统账号密码，即搭建集群的用户信息，因为需要分发安装包并安装，还需要集群批量操作，认证基于此处配置。

配置以上信息后，点击创建，等待集群部署完毕，即clickhouse部署完成

  • 集群登录验证
[app@ops01 ~]$ clickhouse-client --host=192.170.0.150 --port=9000 --user=default --password=bigdata
ClickHouse client version 23.9.1.1854 (official build).
Connecting to 192.170.0.150:9000 as user default.
Connected to ClickHouse server version 23.9.1 revision 54466.

ops01 :) show databases;

SHOW DATABASES

Query id: d3fd4619-366b-4b54-911a-1bf2b373b116

┌─name───────────────┐
│ INFORMATION_SCHEMA │
│ default            │
│ information_schema │
│ system             │
└────────────────────┘

4 rows in set. Elapsed: 0.002 sec. 

ops01 :) use default;

USE default

Query id: 346e029f-c462-4732-9b04-4a713e420a36

Ok.

0 rows in set. Elapsed: 0.001 sec. 

ops01 :) show tables;

SHOW TABLES

Query id: 1c4e235f-10dd-46fc-b8cb-2888c89c0ff5

┌─name──────────┐
│ example_wangt │
└───────────────┘

1 row in set. Elapsed: 0.004 sec. 

ops01 :) select * from example_wangt;

SELECT *
FROM example_wangt

Query id: 6daf3b4c-111b-4756-8acc-e65504622f05

┌─id─┬─name────┬─age─┐
│  1 │ Alice   │  30 │
│  2 │ Bob     │  25 │
│  3 │ Charlie │  28 │
│  4 │ David   │  35 │
│  5 │ Eva     │  22 │
│  6 │ Frank   │  40 │
│  7 │ Grace   │  27 │
│  8 │ Hannah  │  33 │
│  9 │ Ivy     │  29 │
│ 10 │ Jack    │  31 │
└────┴─────────┴─────┘

10 rows in set. Elapsed: 0.004 sec.

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1891413.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

【基于R语言群体遗传学】-4-统计建模与算法（statistical tests and algorithm）

【基于R语言群体遗传学】-4-统计建模与算法（statistical tests and algorithm）

之前的三篇博客&#xff0c;我们对于哈代温伯格遗传比例有了一个全面的认识&#xff0c;没有看的朋友可以先看一下前面的博客&#xff1a; 群体遗传学_tRNA做科研的博客-CSDN博客 1.一些新名词 &#xff08;1&#xff09;Algorithm: A series of operations executed in a s…
阅读更多...
uni-app上传失败超出文件限制解决方法-分包处理-预加载

uni-app上传失败超出文件限制解决方法-分包处理-预加载

分包背景 当你的上传出现一下错误&#xff1a; Error: 系统错误&#xff0c;错误码&#xff1a;80051,source size 2089KB exceed max limit 2MB [20240703 10:53:06][wxbf93dfb6cb3eb8af] [1.06.2405010][win32-x64] 说明你主包太大需要处理了&#xff0c;一下两种方法可以…
阅读更多...
51单片机嵌入式开发：STC89C52操作8八段式数码管原理

51单片机嵌入式开发：STC89C52操作8八段式数码管原理

提示&#xff1a;文章写完后&#xff0c;目录可以自动生成&#xff0c;如何生成可参考右边的帮助文档 STC89C52操作8八段式数码管原理 1 8位数码管介绍1.1 8位数码管概述1.2 8位数码管原理1.3 应用场景 2 原理图图解2.1 74HC573原理2.2 74HC138原理2.3 数码管原理 3 数码管程序…
阅读更多...
QT_GUI

QT_GUI

1、QT安装 一个跨平台的应用程序和用户界面框架&#xff0c;用于开发图形用户界面&#xff08;GUI&#xff09;应用程序以及命令行工具。QT有商业版额免费开源版&#xff0c;一般使用免费开源版即可&#xff0c;下面安装的是QT5&#xff0c;因为出来较早&#xff0c;使用较多&…
阅读更多...
【前端CSS3】CSS引入方式总结（黑马程序员）

【前端CSS3】CSS引入方式总结（黑马程序员）

文章目录 一、前言&#x1f680;&#x1f680;&#x1f680;二、CSS引入方式&#xff1a;☀️☀️☀️2.1 内部样式表2.2 行内样式表 三、总结&#x1f680;&#x1f680;&#x1f680; 一、前言&#x1f680;&#x1f680;&#x1f680; ☀️ 回报不在行动之后&#xff0c;回报…
阅读更多...
ETL数据集成丨使用ETLCloud实现MySQL与Greenplum数据同步

ETL数据集成丨使用ETLCloud实现MySQL与Greenplum数据同步

我们在进行数据集成时&#xff0c;MySQL和Greenplum是比较常见的两个数据库&#xff0c;我们可以通过ETLCloud数据集成平台&#xff0c;可以快速实现MySQL数据库与数仓数据库&#xff08;Greenplum&#xff09;的数据同步。 MySQL数据库&#xff1a; 优点&#xff1a; 轻量级…
阅读更多...
Java实现电子围栏的小例子

Java实现电子围栏的小例子

主要需求是实现一个电子围栏判断的小例子其中包括前端和后端的demo代码 public class GeoFenceUtils {/** geometryFactory */private static final GeometryFactory geometryFactory new GeometryFactory();/*** 判断指定的GPS点是否在电子围栏内** param fencePointsList 包…
阅读更多...
上海小程序开发需要进行定制开发吗？

上海小程序开发需要进行定制开发吗？

随着互联网技术与移动设备的不断成熟&#xff0c;小程序也已普及到人们日常生活的方方面面。随着企业与互联网联结的愈发深入&#xff0c;小程序的开发可以为企业带来更高效的经营模式&#xff0c;降本增效。那么&#xff0c;上海小程序作为无需安装且开发门槛较低的应用&#…
阅读更多...
udp发送数据如果超过1个mtu时，抓包所遇到的问题记录说明

udp发送数据如果超过1个mtu时，抓包所遇到的问题记录说明

最近在测试Syslog udp发送相关功能&#xff0c;测试环境是centos udp头部的数据长度是2个字节&#xff0c;最大传输长度理论上是65535&#xff0c;除去头部这些字节&#xff0c;可以大概的说是64k。 写了一个超过64k的数据(随便用了一个7w字节的buffer)发送demo&#xff0c;打…
阅读更多...
Three.js机器人与星系动态场景（二）：强化三维空间认识

Three.js机器人与星系动态场景（二）：强化三维空间认识

在上篇博客中介绍了如何快速利用react搭建three.js平台&#xff0c;并实现3D模型的可视化。本文将在上一篇的基础上强化坐标系的概念。引入AxesHelper辅助工具&#xff0c;带你快速理解camer、坐标原点、可视区域。 Three.js机器人与星系动态场景&#xff1a;实现3D渲染与交互式…
阅读更多...
AMEYA360代理：海凌科60G客流量统计雷达模块 4T4R出入口绊数计数

AMEYA360代理：海凌科60G客流量统计雷达模块 4T4R出入口绊数计数

数字化时代&#xff0c;不管是大型商城还是各种连锁店&#xff0c;客流统计分析都可以帮助企业更加精准地了解顾客需求和消费行为。 海凌科推出一款专用于客流量统计的60G雷达模块&#xff0c;4T4R&#xff0c;可以实时进行固定范围内的人体运动轨迹检测&#xff0c;根据人体的…
阅读更多...
使用Python3和Selenium打造百度图片爬虫

使用Python3和Selenium打造百度图片爬虫

开篇 本文的目的在于实现一个用来爬取百度图片的爬虫程序,因该网站不需要登录&#xff0c;所以相对来说较为简单。下面的爬虫程序中我写了比较多的注释&#xff0c;以便于您的理解。 准备 请确保电脑上已经安装了与chrome浏览器版本匹配的chromeDriver&#xff0c;且电脑中已经…
阅读更多...
使用 HBuilder X 进行 uniapp 小程序开发遇到的问题合集

使用 HBuilder X 进行 uniapp 小程序开发遇到的问题合集

文章目录 背景介绍问题集锦1. 在 HBuilderX 点击浏览器运行时&#xff0c;报 uni-app vue3编译器下载失败 安装错误2.在 HBuilderX 点击微信小程序运行时&#xff0c;报 微信开发者工具打开项目失败&#xff0c;请参阅启动日志错误 背景介绍 HBuilder X 版本&#xff1a;HBui…
阅读更多...
NoSQL 之 Redis 集群部署

NoSQL 之 Redis 集群部署

前言&#xff1a; &#xff08;1&#xff09;主从复制&#xff1a;主从复制是高可用Redis的基础&#xff0c;哨兵和集群都是在主从复制基础上实现高可用 的。主从复制主要实现了数据的多机备份&#xff0c;以及对于读操作的负载均衡和简单的故障恢复。缺陷&#xff1a; 故障…
阅读更多...
Elasticsearch备份数据到本地，并导入到新的服务 es 服务中

Elasticsearch备份数据到本地，并导入到新的服务 es 服务中

文章目录 使用elasticsearch-dump工具备份安装node.js(二进制安装)解压设置环境变量安装elasticsearch-dump docker安装使用ES备份文件到本地 使用elasticsearch-dump工具备份 这个工具备份时间比较长 安装node.js(二进制安装) wget https://nodejs.org/dist/v16.18.0/node-…
阅读更多...
E1696 无法打开 源 文件 “point.h“

E1696 无法打开 源 文件 “point.h“

一段时间没碰vs2022突然导入一个项目就出现下面错误 在网上查了很多办法&#xff0c;都没什么有用。 试了试&#xff0c;相对路径可以解决。 但是每次都要用相对路径太麻烦了。 又试了试&#xff0c;发现还是硬件问题&#xff0c;就像摩托长期不开等到突然想开的时候就死活打…
阅读更多...
零障碍入门：SSH免密登录与Hadoop生态系统的完美搭档【实训Day02】

零障碍入门：SSH免密登录与Hadoop生态系统的完美搭档【实训Day02】

一、 SSH免密登录配置 1 生成公钥和秘钥(在hadoop101上) # su star # cd /home/star/.ssh # ssh-keygen -t rsa 2 公钥和私钥 公钥id_rsa.pub 私钥id_rsa 3 将公钥拷贝到目标机器上(在hadoop101上) # ssh-copy-id hadoop101 # ssh-copy-id hadoop102 # ssh-co…
阅读更多...
Hi3861 OpenHarmony嵌入式应用入门--TCP Client

Hi3861 OpenHarmony嵌入式应用入门--TCP Client

本篇使用的是lwip编写tcp客户端。需要提前准备好一个PARAM_HOTSPOT_SSID宏定义的热点&#xff0c;并且密码为PARAM_HOTSPOT_PSK。还需要准备一个tcp服务&#xff0c;服务ip为PARAM_SERVER_ADDR宏定义&#xff0c;端口为PARAM_SERVER_PORT宏定义。 修改网络参数 在Hi3861开发板…
阅读更多...
[C++][设计模式][访问器]详细讲解

[C++][设计模式][访问器]详细讲解

目录 1.动机2.模式定义3.要点总结4.代码感受1.代码一2.代码二 1.动机 在软件构件过程中&#xff0c;由于需求的变化&#xff0c;某些类层次结构中常常需要增加新的行为(方法)&#xff0c;如果直接在基类中做这样的更改&#xff0c; 将会给子类带来很繁重的变更负担&#xff0c…
阅读更多...
zabbix小白入门：从SNMP配置到图形展示——以IBM服务器为例

zabbix小白入门：从SNMP配置到图形展示——以IBM服务器为例

作者 乐维社区&#xff08;forum.lwops.cn&#xff09;许远 在运维实践中&#xff0c;Zabbix作为一款强大的开源监控工具&#xff0c;被广泛应用于服务器、网络设备和应用程序的监控&#xff0c;成为保障业务连续性和高效运行的关键。然而&#xff0c;对于Zabbix的初学者来说&a…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023