clickhouse集群部署指南

news2024/9/24 21:26:38

一、前言:

上篇文章介绍了clickhouse单机部署指南,本章重点介绍下集群部署指南,文章重在实战,相关知识请自行学习。

二、环境准备:

CentOS7 4核16G 3台(172.25.16.82、172.25.16.83、172.25.16.84)

三、安装包准备:

登录官网下载:https://packages.clickhouse.com/tgz/lts/

clickhouse-common-static-22.8.9.24-amd64.tgz
clickhouse-common-static-dbg-22.8.9.24-amd64.tgz
clickhouse-server-22.8.9.24-amd64.tgz
clickhouse-client-22.8.9.24-amd64.tgz

四、安装步骤说明:

1、依赖环境安装

参考文章(zookeeper集群安装指南_幽幽之心的博客-CSDN博客)完成zookeeper的集群安装部署

2、单机安装

参考文章(OLAP分析型数据库clickhouse的选型、安装与试用_幽幽之心的博客-CSDN博客)分别完成三台服务器的单机部署

3、集群配置(3分片+每分片1副本)

3个服务节点增加配置文件 【/etc/clickhouse-server/config.d】

vim /etc/clickhouse-server/config.d/metrika.xml

在metrika.xml中我们配置后期使用的clickhouse集群中创建分布式表时使用3个分片,每个分片有1个副本,配置如下:

<yandex>
    <remote_servers>
        <clickhouse_cluster_3shards_1replicas>
            <shard>
                <internal_replication>true</internal_replication>
                <replica>
                    <host>172.25.16.82</host>
                    <port>9000</port>
                </replica>
            </shard>
            <shard>
                <internal_replication>true</internal_replication>
                <replica>
                    <host>172.25.16.83</host>
                    <port>9000</port>
                </replica>
            </shard>
            <shard>
                <internal_replication>true</internal_replication>
                <replica>
                    <host>172.25.16.84</host>
                    <port>9000</port>
                </replica>
            </shard>
        </clickhouse_cluster_3shards_1replicas>
    </remote_servers>
   
    <zookeeper>
        <node index="1">
            <host>172.25.16.82</host>
            <port>2181</port>
        </node>
        <node index="2">
            <host>172.25.16.83</host>
            <port>2181</port>
        </node>
        <node index="3">
            <host>172.25.16.84</host>
            <port>2181</port>
        </node>
    </zookeeper>
    <macros>
        <shard>01</shard> 
        <replica>node1</replica>
    </macros>
    <networks>
        <ip>0.0.0.0/0</ip>
    </networks>
    <clickhouse_compression>
        <case>
            <min_part_size>10000000000</min_part_size>
            <min_part_size_ratio>0.01</min_part_size_ratio>
            <method>lz4</method>
        </case>
    </clickhouse_compression>
</yandex>

注意:需要在每台clickhouse节点上配置metrika.xml文件,并且修改每个节点的 macros配置名称。

 node2节点修改metrika.xml中的宏变量如下:

    <macros>
        <shard>02</replica> 
        <replica>node2</replica>
    </macros>

node3节点修改metrika.xml中的宏变量如下:

    <macros>
        <shard>03</replica> 
        <replica>node3</replica>
    </macros>

4、集群配置文件引用

修改config.xml配置(注意修改文件权限)

vim /etc/clickhouse-server/config.xml

添加内容:

<include_from>/etc/clickhouse-server/config.d/metrika.xml</include_from> <!--添加该参数-->

5、服务启动

分别登录三台机器切换至clickhouse用户,启动服务

# -- Start clickhouse-server with:
sudo clickhouse start

6、客户端访问验证

# -- Start clickhouse-client with:
clickhouse-client --password 123456

# -- 输入查询命令
SELECT * FROM system.clusters

效果如下:

参考文献资料:

 集群部署ClickHouse

 ClickHouse集群搭建部署_clickhouse集群部署_疯狂哈丘的博客-CSDN博客

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/505250.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

第三方ipad笔哪个牌子好用?ipad触控笔推荐平价

至于选择苹果原装的电容笔&#xff0c;还是平替的电容笔&#xff0c;要看个人的需求而定&#xff0c;比如画图用的&#xff0c;可以用Apple Pencil&#xff1b;比如学习记笔记用的&#xff0c;可以用平替电容笔&#xff0c;目前的平替电容笔无论是品质还是性能&#xff0c;都非…

【Linux】Linux环境下安装Jenkins(图文解说详细版)

文章目录 前言1、在根目录下创建文件夹2、下载linux jenkins3、 进入jenkins目录解压&#xff0c;解压命令&#xff1a;4、启动5、访问一下,浏览器访问&#xff1a;http://服务器IP:8080/ 前言 首先安装Jenkins之前&#xff0c;linux中必须安装好了JDK和Maven&#xff0c;如果…

MVI架构理解

回顾MVC MVP MVVM MVC MVC架构主要分为以下几部分&#xff1a; View层: 对应于xm布局文件和java代码动态view部分。 Controller层: 主要负责业务逻辑&#xff0c;在android中由Activity承担&#xff0c;但xml视图能力太弱&#xff0c;所以Activity既要负责视图的显示又要加入…

Node框架 【Koa】之 【静态资源管理、模板引擎、连接数据库】

文章目录 &#x1f31f;前言&#x1f31f;静态资源托管&#x1f31f;安装&#x1f31f;使用 &#x1f31f;Koa视图&#x1f31f;EJS模板引擎使用&#x1f31f;安装&#x1f31f;配置&#x1f31f;使用&#x1f31f;模板渲染方法&#x1f31f;使用案例 &#x1f31f;数据库&…

OBS直播时编码器、码率控制器、分辨率帧率是什么以及如何向第三方推流

内容摘要&#xff1a;OBS直播时编码器、码率控制器、分辨率、帧率到底是什么&#xff0c;以及OBS向第三方直播平推流时&#xff0c;要注意什么。 图&#xff1a;OBS直播时输出界面参数设定 OBS编码器 1. 软编&#xff1a;x264 使用CPU进行编码&#xff0c;占用CPU资源多&…

m3u8文件

#EXTM3U&#xff1a;m3u文件头&#xff0c;必须放在第一行&#xff0c;起标示作用&#xff1b; #EXT-X-VERSION&#xff1a;播放列表文件的兼容版本。若不存在此标记&#xff0c;则默认为协议的第一个版本&#xff1b; #EXT-X-MEDIA-SEQUENCE&#xff1a; 播放列表中的每个媒…

第1章计算机系统漫游之 “操作系统管理硬件“

7、操作系统管理硬件 回到 hello 程序的例子。当 shell 加载和运行 hello 程序时&#xff0c;当 hello 程序输出自己的消息时&#xff0c;程序没有直接访问键盘、显示器、磁盘或主存储器。取而代之的是&#xff0c;它们依靠操作系统提供的服务。 可以把操作系统看成是应用程序…

王琤:当数据治理遇上ChatGPT

以ChatGPT为代表的人工智能等技术正在“狂飙”&#xff0c;为全球带来一场翻天覆地的变革。4月27日在2023数据治理新实践峰会上&#xff0c;Datablau数语科技创始人&CEO王琤先生以《数据治理新实践与人工智能》为主题进行了分享&#xff0c;与参会同仁共同探索当数据治理遇…

APP开发的上线流程

APP的使用已经非常普及&#xff0c;对于企业来说通过APP可以加强和客户的沟通&#xff0c;展现最新的产品和服务。随着APP应用商店对用户隐私的重视&#xff0c;APP的上线规则比以前更加复杂&#xff0c;甚至出现APP需要反复修改数十次才能上架的问题&#xff0c;今天和大家分享…

移远通信参加2023中国移动5G发展大会 ,共探5G创新未来

5月6日&#xff0c;以“聚力5G创新&#xff0c;共铸百业绽放”为主题的中国移动5G发展大会在郑州国际会展中心召开。作为5G赋能千行百业的重要贡献者&#xff0c;移远通信应邀参加大会&#xff0c;并深度参与了大会的多个环节。 会上&#xff0c;中国移动系列创新成果发布&…

【Linux】Linux安装tomcat(图文解说详细版)

文章目录 1、安装前置条件2、下载所需压缩包&#xff0c;上传到服务器3、对资源进行解压4、给防火墙添加访问端口&#xff08;默认8080&#xff0c;在它的/conf/server.xml文件里面查看&#xff09;5、然后切换到bin目录下&#xff0c;启动&#xff08;成功效果如图&#xff09…

批量任务导致页面卡死解决方案

需求背景 需要基于高德地图展示海量点位&#xff08;大概几万个&#xff09;&#xff0c;点位样式要自定义&#xff08;创建DOM&#xff09;&#xff0c;虽然使用了聚合点&#xff0c;但初始化时仍需要将几万个点位的DOM结构都创建出来。 这里补充一句&#xff0c;高德地图在2.…

为什么剑桥出身的“AI教父”辛顿会担心?

剑桥很有意思&#xff01;在那儿呆过的人常常有这样一种感觉&#xff1a;剑&#xff0c;很锋利&#xff01;桥&#xff0c;很温柔&#xff01;剑桥的科技自不必说&#xff0c;牛顿、达尔文、麦克斯韦、爱丁顿......&#xff0c;剑桥的人文却也不让科技&#xff0c;拜伦、培根、…

使用asp.net core web api创建web后台,并连接和使用Sql Server数据库

前言&#xff1a;因为要写一个安卓端app&#xff0c;实现从服务器中获取电影数据&#xff0c;所以需要搭建服务端代码&#xff0c;之前学过C#&#xff0c;所以想用C#实现服务器段代码用于测试&#xff0c;本文使用C#语言&#xff0c;使用asp.net core web api组件搭建服务器端&…

【软考备战·希赛网每日一练】2023年5月9日

文章目录 一、今日成绩二、错题总结第一题三、知识查缺 题目及解析来源&#xff1a;2023年05月09日软件设计师每日一练 一、今日成绩 二、错题总结 第一题 解析&#xff1a; 有损、无损连接判断&#xff1a; (A1,A2)∩(A1,A3)A1 (A1,A2)-(A1,A3)A2 (A1,A3)-(A1,A2)A3 所以A1-&…

车载5G放量增长,哪些厂商抢跑

前装标配19.88万辆&#xff0c;同比上年同期增长724.89%&#xff0c;这是一季度中国市场乘用车5G搭载上车交付的成绩。高工智能汽车研究院监测数据显示&#xff0c;2022年全年5G交付搭载41.74万辆&#xff08;不含选装&#xff09;&#xff0c;前装搭载率为2.09%。 这意味着&a…

【Linux】GDB多进程调试

目录 GDB多进程调试 GDB多进程调试 演示父子进程如何进行gdb调试会用到hello.c文件 hello.c文件内容如下&#xff1a; #include <stdio.h> #include <unistd.h>int main() {printf("begin\n");if(fork() > 0) {printf("我是父进程&#xff1…

Baumer工业相机堡盟工业相机如何使用BGAPI SDK进行两个万兆网相机的同步采集

Baumer工业相机堡盟工业相机如何使用BGAPI SDK进行两个万兆网相机的同步采集 Baumer工业相机Baumer工业相机图像数据转为Bitmap的技术背景Baumer同步异常 &#xff1a;客户使用两个Baumer万兆网相机进行同步采集发现FrameID相同&#xff0c;但是图像不同步细节原因解决办法 Bau…

Windows下python中的pip换源

在Windows中更换pip数据源方法&#xff0c;提高Python相关包安装效率 1.在windows环境下&#xff0c;打开我的电脑&#xff0c;在"地址栏"输杰沫入: %APPDATA% 后回车 2.在打开的文件夹中新建 pip 文件夹&#xff08;打开的地址为下图所示&#xff09; 3.进入pip文…

在 Python 中将泊松分布拟合到不同的数据集

文章目录 在 Python 中将泊松分布拟合到不同的数据集在 Python 中拟合泊松分布的分箱最小二乘法程序的导入函数为泊松分布创建一个虚拟数据集并使用该数据集绘制直方图使用曲线拟合将曲线拟合到直方图 使用负二项式拟合过度分散的数据集上的泊松分布创建数据集使用数据集绘制直…