ClickHouse的分片和副本

news2024/11/19 20:20:18

1.副本

副本的目的主要是保障数据的高可用性，即使一台ClickHouse节点宕机，那么也可以从其他服务器获得相同的数据。

Data Replication | ClickHouse Docs

1.1 副本写入流程

1.2 配置步骤

（1）启动zookeeper集群

（2）在hadoop102的/etc/clickhouse-server/config.d目录下创建一个名为metrika.xml的配置文件,内容如下：

注：也可以不创建外部文件，直接在config.xml中指定<zookeeper>

<?xml version="1.0"?>

<yandex>

<zookeeper-servers>

    <node index="1">

        <host>hadoop102</host>

        <port>2181</port>

    </node>

    <node index="2">

        <host>hadoop103</host>

        <port>2181</port>

    </node>

    <node index="3">

        <host>hadoop104</host>

        <port>2181</port>

    </node>

</zookeeper-servers>

</yandex>

（3）同步到hadoop103和hadoop104上

sudo /home/atguigu/bin/xsync /etc/clickhouse-server/config.d/metrika.xml

（4）在 hadoop102的/etc/clickhouse-server/config.xml中增加

<zookeeper incl="zookeeper-servers" optional="true" />

<include_from>/etc/clickhouse-server/config.d/metrika.xml</include_from>

（5）同步到hadoop103和hadoop104上

sudo /home/atguigu/bin/xsync /etc/clickhouse-server/config.xml

分别在hadoop102和hadoop103上启动ClickHouse服务

注意：因为修改了配置文件，如果以前启动了服务需要重启

[atguigu@hadoop102|3 ~]$ sudo clickhouse restart

注意：我们演示副本操作只需要在hadoop102和hadoop103两台服务器即可，上面的操作，我们hadoop104可以你不用同步，我们这里为了保证集群中资源的一致性，做了同步。

（6）在hadoop102和hadoop103上分别建表

副本只能同步数据，不能同步表结构，所以我们需要在每台机器上自己手动建表

①hadoop102

create table t_order_rep2 (

    id UInt32,

    sku_id String,

    total_amount Decimal(16,2),

    create_time  Datetime

 ) engine =ReplicatedMergeTree('/clickhouse/table/01/t_order_rep','rep_102')

partition by toYYYYMMDD(create_time)

   primary key (id)

   order by (id,sku_id);

②hadoop103

create table t_order_rep2 (

    id UInt32,

    sku_id String,

    total_amount Decimal(16,2),

    create_time  Datetime

 ) engine =ReplicatedMergeTree('/clickhouse/table/01/t_order_rep','rep_103')

   partition by toYYYYMMDD(create_time)

   primary key (id)

   order by (id,sku_id);

③参数解释

ReplicatedMergeTree 中，

第一个参数是分片的zk_path一般按照： /clickhouse/table/{shard}/{table_name} 的格式写，如果只有一个分片就写01即可。

第二个参数是副本名称，相同的分片副本名称不能相同。

（7）在hadoop102上执行insert语句

insert into t_order_rep2 values

(101,'sku_001',1000.00,'2020-06-01 12:00:00'),

(102,'sku_002',2000.00,'2020-06-01 12:00:00'),

(103,'sku_004',2500.00,'2020-06-01 12:00:00'),

(104,'sku_002',2000.00,'2020-06-01 12:00:00'),

(105,'sku_003',600.00,'2020-06-02 12:00:00');

（8）在hadoop103上执行select，可以查询出结果，说明副本配置正确

2.分片集群

副本虽然能够提高数据的可用性，降低丢失风险，但是每台服务器实际上必须容纳全量数据，对数据的横向扩容没有解决。

要解决数据水平切分的问题，需要引入分片的概念。通过分片把一份完整的数据进行切分，不同的分片分布到不同的节点上，再通过Distributed表引擎把数据拼接起来一同使用。

Distributed表引擎本身不存储数据，有点类似于MyCat之于MySql，成为一种中间件，通过分布式逻辑表来写入、分发、路由来操作多台节点不同分片的分布式数据。

注意：ClickHouse的集群是表级别的，实际企业中，大部分做了高可用，但是没有用分片，避免降低查询性能以及操作集群的复杂性。

2.1 集群写入流程（3分片2副本共6个节点）

2.2 集群读取流程（3分片2副本共6个节点）

2.3 3分片2副本共6个节点集群配置（供参考）

配置的位置还是在之前的/etc/clickhouse-server/config.d/metrika.xml，内容如下

注：也可以不创建外部文件，直接在config.xml的<remote_servers>中指定

<yandex>

<remote_servers>

<gmall_cluster> <!-- 集群名称--> 

<shard>  <!--集群的第一个分片-->

<internal_replication>true</internal_replication>

<!--该分片的第一个副本-->

    <replica>    

        <host>hadoop101</host>

        <port>9000</port>

     </replica>

     <!--该分片的第二个副本-->

     <replica> 

        <host>hadoop102</host>

        <port>9000</port>

     </replica>

</shard>

  <shard>  <!--集群的第二个分片-->

     <internal_replication>true</internal_replication>

     <replica>    <!--该分片的第一个副本-->

        <host>hadoop103</host>

      <port>9000</port>

     </replica>

     <replica>    <!--该分片的第二个副本-->

        <host>hadoop104</host>

        <port>9000</port>

     </replica>

  </shard>

  <shard>  <!--集群的第三个分片-->

     <internal_replication>true</internal_replication>

     <replica>     <!--该分片的第一个副本-->

        <host>hadoop105</host>

        <port>9000</port>

     </replica>

     <replica>    <!--该分片的第二个副本-->

        <host>hadoop106</host>

        <port>9000</port>

     </replica>

  </shard>

</gmall_cluster>

</remote_servers>

</yandex>

2.4 配置三节点版本集群及副本

2.4.1 集群及副本规划（2个分片，只有第一个分片有副本）

hadoop102

hadoop103

hadoop104

<macros>

<shard>01</shard> 

<replica>rep_1_1</replica>

</macros>

<macros>

<shard>01</shard> 

<replica>rep_1_2</replica>

</macros>

<macros>

<shard>02</shard> 

<replica>rep_2_1</replica>

</macros>

2.4.2 配置步骤

1）在hadoop102的/etc/clickhouse-server/config.d目录下创建metrika-shard.xml文件

注：也可以不创建外部文件，直接在config.xml的<remote_servers>中指定

<?xml version="1.0"?>

<yandex>

<remote_servers>

<gmall_cluster> <!-- 集群名称--> 

<shard>         <!--集群的第一个分片-->

<internal_replication>true</internal_replication>

    <replica>    <!--该分片的第一个副本-->

        <host>hadoop102</host>

        <port>9000</port>

    </replica>

    <replica>    <!--该分片的第二个副本-->

        <host>hadoop103</host>

        <port>9000</port>

    </replica>

</shard>

<shard>  <!--集群的第二个分片-->

    <internal_replication>true</internal_replication>

    <replica>    <!--该分片的第一个副本-->

        <host>hadoop104</host>

        <port>9000</port>

    </replica>

</shard>

</gmall_cluster>

</remote_servers>

<zookeeper-servers>

<node index="1">

<host>hadoop102</host>

  <port>2181</port>

</node>

<node index="2">

  <host>hadoop103</host>

   <port>2181</port>

</node>

<node index="3">

   <host>hadoop104</host>

   <port>2181</port>

</node>

</zookeeper-servers>

<macros>

<shard>01</shard>   <!--不同机器放的分片数不一样-->

<replica>rep_1_1</replica>  <!--不同机器放的副本数不一样-->

</macros>

</yandex>

2）将hadoop102的metrika-shard.xml同步到103和104

sudo /home/atguigu/bin/xsync /etc/clickhouse-server/config.d/metrika-shard.xml

3）修改103和104中metrika-shard.xml宏的配置

（1）103

[atguigu@hadoop103 ~]$ sudo vim /etc/clickhouse-server/config.d/metrika-shard.xml

（2）104

[atguigu@hadoop104 ~]$ sudo vim /etc/clickhouse-server/config.d/metrika-shard.xml

4）在hadoop102上修改/etc/clickhouse-server/config.xml

5）同步/etc/clickhouse-server/config.xml到103和104

[atguigu@hadoop102 ~]$ sudo /home/atguigu/bin/xsync /etc/clickhouse-server/config.xml

6）重启三台服务器上的ClickHouse服务

[atguigu@hadoop102 clickhouse-server]$ sudo clickhouse restart

[atguigu@hadoop102 clickhouse-server]$ ps -ef |grep click

7）在hadoop102上执行建表语句

  • 会自动同步到hadoop103和hadoop104上
  • 集群名字要和配置文件中的一致
  • 分片和副本名称从配置文件的宏定义中获取

create table st_order_mt on cluster gmall_cluster (

    id UInt32,

    sku_id String,

    total_amount Decimal(16,2),

    create_time  Datetime

 ) engine =ReplicatedMergeTree('/clickhouse/tables/{shard}/st_order_mt','{replica}')

partition by toYYYYMMDD(create_time)

   primary key (id)

   order by (id,sku_id);

可以到hadoop103和hadoop104上查看表是否创建成功

8）在hadoop102上创建Distribute 分布式表

create table st_order_mt_all2 on cluster gmall_cluster

(

    id UInt32,

    sku_id String,

    total_amount Decimal(16,2),

    create_time  Datetime

)engine = Distributed(gmall_cluster,default, st_order_mt,hiveHash(sku_id));

参数含义：

Distributed（集群名称，库名，本地表名，分片键）

分片键必须是整型数字，所以用hiveHash函数转换，也可以rand()

9）在hadoop102上插入测试数据

insert into st_order_mt_all2 values

(201,'sku_001',1000.00,'2020-06-01 12:00:00') ,

(202,'sku_002',2000.00,'2020-06-01 12:00:00'),

(203,'sku_004',2500.00,'2020-06-01 12:00:00'),

(204,'sku_002',2000.00,'2020-06-01 12:00:00'),

(205,'sku_003',600.00,'2020-06-02 12:00:00');

10）通过查询分布式表和本地表观察输出结果

（1）分布式表

SELECT *  FROM st_order_mt_all;

（2）本地表

select * from st_order_mt;

（3）观察数据的分布

st_order_mt_all

hadoop102:

st_order_mt

hadoop103:

st_order_mt

hadoop104:

st_order_mt

2.5 项目为了节省资源，就使用单节点，不用集群

不需要求改文件引用，因为已经使用集群建表了，如果改为引用metrika-shard.xml的话，启动会报错。我们以后用的时候只启动102即可。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1221557.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

openfeign整合sentinel出现异常

openfeign整合sentinel出现异常

版本兼容的解决办法&#xff1a;在为userClient注入feign的接口类型时&#xff0c;添加Lazy注解。 Lazy注解是Spring Framework中的一个注解&#xff0c;它通常用于标记Bean的延迟初始化。当一个Bean被标记为Lazy时&#xff0c;Spring容器在启动时不会立即初始化这个Bean&…
阅读更多...
SpringMVC 进阶

SpringMVC 进阶

SpringMVC 进阶 一、拦截器 SpringMVC 中 Interceptor 拦截器的主要作⽤是拦截⽤⼾的请求并进⾏相应的处理。⽐如通过它来进⾏权限验证&#xff0c;或者是来判断⽤⼾是否登陆等操作。对于 SpringMVC 拦截器的定义⽅式有两种&#xff1a; 实现接⼝&#xff1a;org.springfram…
阅读更多...
无线物理层安全大作业

无线物理层安全大作业

这个标题很帅 Beamforming Optimization for Physical Layer Security in MISO Wireless NetworksProblem Stateme![在这里插入图片描述](https://img-blog.csdnimg.cn/58ebb0df787c4e23b0c7be4189ebc322.png) Beamforming Optimization for Physical Layer Security in MISO W…
阅读更多...
websocket详解

websocket详解

一、什么是Websocket WebSocket 是一种在单个 TCP 连接上进行 全双工 通信的协议&#xff0c;它可以让客户端和服务器之间进行实时的双向通信。 WebSocket 使用一个长连接&#xff0c;在客户端和服务器之间保持持久的连接&#xff0c;从而可以实时地发送和接收数据。 在 Web…
阅读更多...
【Mysql学习笔记】1 - Mysql入门

【Mysql学习笔记】1 - Mysql入门

一、Mysql5.7安装配置 下载后会得到zip 安装文件解压的路径最好不要有中文和空格这里我解压到 D:\hspmysql\mysql-5.7.19-winx64 目录下 【根据自己的情况来指定目录,尽量选择空间大的盘】 添加环境变量 : 电脑-属性-高级系统设置-环境变量&#xff0c;在Path 环境变量增加mysq…
阅读更多...
js-webApi笔记1

js-webApi笔记1

目录 前言 Web API的概念 什么是DOM DOM树 1、查找元素 2、其他查找元素方法 3、操作元素 4、操作元素属性 5、 操作元素样式 style 6、操作自定义属性 7、 操作表单元素属性 8、事件 9、事件绑定 10、常用鼠标事件 11、定时器 12、定时器案例 前言 Web API的概念…
阅读更多...
京东推出数据平台云海 API接口将达700个

京东推出数据平台云海 API接口将达700个

1月16日消息&#xff0c;继上周面对企业用户发布京东电商云解决方案后&#xff0c;日前&#xff0c;京东云平台又发布了全新的数据开放平台——“云海”&#xff0c;以开放商家、商品、点击流等相关数据。 在京东主办&#xff0c;思路网协办的京东开放云服务合作伙伴2014峰会&…
阅读更多...
leetcode刷题日志-151反转字符串中的单词

leetcode刷题日志-151反转字符串中的单词

给你一个字符串 s &#xff0c;请你反转字符串中 单词 的顺序。 单词 是由非空格字符组成的字符串。s 中使用至少一个空格将字符串中的 单词 分隔开。 返回 单词 顺序颠倒且 单词 之间用单个空格连接的结果字符串。 注意&#xff1a;输入字符串 s中可能会存在前导空格、尾随…
阅读更多...
加密数字货币：机遇与风险并存

加密数字货币：机遇与风险并存

随着区块链技术的发展和普及&#xff0c;加密数字货币逐渐走入人们的视线。作为一种以数字形式存在的资产&#xff0c;加密数字货币具有去中心化、匿名性和安全性高等特点&#xff0c;为人们提供了一种全新的支付方式和投资选择。然而&#xff0c;加密数字货币市场也存在着较高…
阅读更多...
实在智能携手中国电信翼支付，全球首款Agent智能体亮相2023数字科技生态大会

实在智能携手中国电信翼支付，全球首款Agent智能体亮相2023数字科技生态大会

11月10日-13日&#xff0c;中国电信与广东省人民政府联合主办的“2023数字科技生态大会”在广州隆重举行。本届大会以“数字科技焕新启航”为主题&#xff0c;邀请众多生态合作伙伴全方位展示数字科技新成果&#xff0c;包括数字新消费、产业数字化、智能电子、人工智能大模型等…
阅读更多...
Vite Vue3+Element Plus框架布局

Vite Vue3+Element Plus框架布局

App根组件&#xff1a;框架布局 <template><el-container class"layout-container-demo" style"height: 98vh"><!-- 菜单栏 --><el-aside width"200px"><el-scrollbar><!-- router:是否启用 vue-router 模式。…
阅读更多...
springcloud整合nacos实现服务注册

springcloud整合nacos实现服务注册

Nacos是一个开源的分布式系统服务和基础设施解决方案&#xff0c;用于实现动态服务发现、配置管理和服务治理。它可以帮助开发人员和运维团队更好地管理微服务架构中的服务实例、配置信息和服务调用。 Nacos提供了服务注册与发现、动态配置管理、服务路由和负载均衡等功能&…
阅读更多...
02-3解析BeautifulSoup

02-3解析BeautifulSoup

一、基本简介 BeautifulSoup简称&#xff1a;bs4什么是BeatifulSoup&#xff1f;  BeautifulSoup&#xff0c;和lxml一样&#xff0c;是一个html的解析器&#xff0c;主要功能也是解析和提取数据优缺点&#xff1f;  缺点&#xff1a;效率没有lxml的效率高  优点&#xff1…
阅读更多...
小游戏：贪吃蛇和俄罗斯方块（Java简单版）

小游戏：贪吃蛇和俄罗斯方块（Java简单版）

贪吃蛇 package z; import java.awt.Color; import java.awt.EventQueue; import java.awt.Font; import java.awt.Frame; import java.awt.Graphics; import java.awt.Image; import java.util.ArrayList; import java.util.List; import java.util.Random;import javax.swin…
阅读更多...
畅捷通+数环通iPaaS，实现无代码集成上千款应用

畅捷通+数环通iPaaS，实现无代码集成上千款应用

01 关于畅捷通 畅捷通信息化服务专家,为用户提供在线财务软件,云进销存管理软件,移动办公软件,帮助小微企业人、财、货、客的管理,全面服务小微企业并提供社交化、个性化、服务化、小量化的生意管理支持。 企业除了畅捷通&#xff0c;还有大大小小其他的系统&#xff0c;面临着…
阅读更多...
听GPT 讲Rust源代码--library/core/src(6)

听GPT 讲Rust源代码--library/core/src(6)

题目来自 A Gentle Introduction To Rust[1] File: rust/library/core/src/num/dec2flt/common.rs 在Rust源代码中&#xff0c;rust/library/core/src/num/dec2flt/common.rs的作用是定义了一些用于十进制到浮点数转化的共享逻辑。以下是对该文件内容的详细介绍&#xff1a; Bi…
阅读更多...
Linux磁盘分区快速上手（讲解详细）

Linux磁盘分区快速上手（讲解详细）

一、磁盘分区 在Linux中&#xff0c;磁盘是通过分区来使用的。分区是将一个硬盘划分成几个逻辑部分来使用&#xff0c;在每个分区中可以存储不同的文件系统。因此&#xff0c;在挂载磁盘之前&#xff0c;我们需要先对磁盘进行分区。磁盘分区的过程可以通过命令行工具或图形界面…
阅读更多...
国家药品价格查询官网-在线网站查询方法

国家药品价格查询官网-在线网站查询方法

查询药品上市价格对于个人和机构来说都是非常有必要的&#xff0c;对个人可以很好的验证该药品是否存在虚高的情况&#xff0c;对药企来说可以根据同类药品市场价格指导自产药品的定价&#xff0c;对其它机构来说了解药品价格可以帮助选择价格合理的药品供应商&#xff0c;降低…
阅读更多...
自费出国|药学研究人员赴澳大利亚墨尔本大学访学

自费出国|药学研究人员赴澳大利亚墨尔本大学访学

澳大利亚的创新药物研发在世界上一直处于领先地位&#xff0c;考虑到签证因素&#xff0c;专职药学研究的H老师将访学目标国家定位在澳大利亚。我们为其落实了墨尔本大学的职位&#xff0c;导师的研究课题与H老师的兴趣高度契合&#xff0c;最终顺利签证并如期出国。 H老师背景…
阅读更多...
测试人员如何提交一条高质量的bug

测试人员如何提交一条高质量的bug

测试人员在测试软件过程中&#xff0c;发现bug是必然的&#xff0c;那么发现bug后就要提交bug到缺陷管理系统中&#xff0c;如何提交一条高质量的bug&#xff0c;是每一个测试人员值得深思的问题&#xff0c;如果bug提交的不规范&#xff0c;不准确会导致开发人员理解错误&…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023