在本教程中，我们将学习如何使用 Docker Compose 部署一个带有三节点的 ClickHouse 集群，并使用 ZooKeeper 作为分布式协调服务。
前提条件
注意事项：
- 镜像版本号注意保持一致 [zookeeper:3.7, clickhouse/clickhouse-server:22.5.4]
- config里面的参数有些是必须的，日志报错缺少参数去官方文档里找 config.xm参数官网
在开始之前，请确保您的系统已经安装了以下工具：
- Docker
- Docker Compose
目录结构
首先，我们需要为 ClickHouse 集群创建目录结构来存放数据和配置文件。执行以下命令来创建目录：
mkdir -p clickhouse_cluster/{zkdata,zkdatalog,data/clickhouse01,data/clickhouse02,data/clickhouse03,config/clickhouse01,config/clickhouse02,config/clickhouse03}
第一步：编写 docker-compose.yml 文件
在 clickhouse_cluster 目录下创建 docker-compose.yml 文件，这个文件定义了 ZooKeeper 和三个 ClickHouse 节点。为了安全性，我们会替换敏感数据如密码。
version: '3.8'
services:
zookeeper:
image: zookeeper:3.7
container_name: zookeeper
restart: always
ports:
- "2181:2181"
environment:
ZOO_MY_ID: 1
volumes:
- ./zkdata:/data
- ./zkdatalog:/datalog
clickhouse01:
image: clickhouse/clickhouse-server:22.5.4
container_name: clickhouse01
restart: always
ports:
- "8123:8123" # HTTP 接口
- "9000:9000" # TCP 接口
- "9009:9009" # Internode 通信接口
volumes:
- ./data/clickhouse01:/var/lib/clickhouse
- ./config/clickhouse01:/etc/clickhouse-server
environment:
CLICKHOUSE_DB: default
CLICKHOUSE_PASSWORD: "your_secure_password"
depends_on:
- zookeeper
clickhouse02:
image: clickhouse/clickhouse-server:22.5.4
container_name: clickhouse02
restart: always
ports:
- "8124:8123" # HTTP 接口
- "9001:9000" # TCP 接口
- "9010:9009" # Internode 通信接口
volumes:
- ./data/clickhouse02:/var/lib/clickhouse
- ./config/clickhouse02:/etc/clickhouse-server
environment:
CLICKHOUSE_DB: default
CLICKHOUSE_PASSWORD: "your_secure_password"
depends_on:
- zookeeper
clickhouse03:
image: clickhouse/clickhouse-server:22.5.4
container_name: clickhouse03
restart: always
ports:
- "8125:8123" # HTTP 接口
- "9002:9000" # TCP 接口
- "9011:9009" # Internode 通信接口
volumes:
- ./data/clickhouse03:/var/lib/clickhouse
- ./config/clickhouse03:/etc/clickhouse-server
environment:
CLICKHOUSE_DB: default
CLICKHOUSE_PASSWORD: "your_secure_password"
depends_on:
- zookeeper
关键点说明：
- Zookeeper：Zookeeper 用于协调 ClickHouse 集群中的分布式事务。
- ClickHouse 节点：我们设置了三个 ClickHouse 节点（
clickhouse01、clickhouse02和clickhouse03），它们通过不同的端口进行通信。 - 密码：为了安全性，密码使用占位符
"your_secure_password"，请确保使用强密码替换。
第二步：编写 ClickHouse 配置文件
接下来，创建每个 ClickHouse 节点的配置文件。以 config/clickhouse01/config.xml 为例，其他节点的配置类似。我们将替换原始文件中的敏感信息。
在 clickhouse_cluster/config/clickhouse01 目录下创建 config.xml 文件：
<yandex>
<profiles>
<default>
<max_memory_usage>10000000000</max_memory_usage>
<readonly>0</readonly>
</default>
</profiles>
<path>/var/lib/clickhouse/</path>
<tmp_path>/var/lib/clickhouse/tmp/</tmp_path>
<user_files_path>/var/lib/clickhouse/user_files/</user_files_path>
<http_port>8123</http_port>
<logger>
<log>/var/log/clickhouse-server/clickhouse.log</log>
<errorlog>/var/log/clickhouse-server/clickhouse_error.log</errorlog>
</logger>
<format_schema_path>/var/lib/clickhouse/format_schemas/</format_schema_path>
<default_profile>default</default_profile>
<users_config>users.xml</users_config>
<mark_cache_size>5368709120</mark_cache_size>
<zookeeper>
<node>
<host>zookeeper</host>
<port>2181</port>
</node>
</zookeeper>
<tcp_port>9000</tcp_port>
<remote_servers>
<my_clickhouse_cluster>
<shard>
<replica>
<host>clickhouse01</host>
<port>9000</port>
</replica>
<replica>
<host>clickhouse02</host>
<port>9000</port>
</replica>
</shard>
<shard>
<replica>
<host>clickhouse03</host>
<port>9000</port>
</replica>
</shard>
</my_clickhouse_cluster>
</remote_servers>
<listen_host>::</listen_host>
<listen_host>0.0.0.0</listen_host>
</yandex>
关键配置说明：
- ZooKeeper：配置了 ClickHouse 连接 Zookeeper，使用
zookeeper:2181地址。 - 集群配置：
remote_servers配置了集群中的三个节点，分别对应clickhouse01、clickhouse02和clickhouse03。
第三步：编写 users.xml 文件
在 config/clickhouse01/ 目录下创建 users.xml 文件，用于定义用户及其权限。为了安全起见，密码将以占位符形式存在。
<?xml version="1.0"?>
<yandex>
<profiles>
<default>
<max_memory_usage>10000000000</max_memory_usage>
<use_uncompressed_cache>0</use_uncompressed_cache>
<load_balancing>random</load_balancing>
</default>
</profiles>
<users>
<default>
<password>your_secure_password</password>
<!-- Password could be specified in plaintext or in SHA256 (in hex format).
If you want to specify password in plaintext (not recommended), place it in 'password' element.
Example: <password>qwerty</password>.
Password could be empty.
If you want to specify SHA256, place it in 'password_sha256_hex' element.
Example: <password_sha256_hex>65e84be33532fb784c48129675f9eff3a682b27168c0ea744b2cf58ee02337c5</password_sha256_hex>
How to generate decent password:
Execute: PASSWORD=$(base64 < /dev/urandom | head -c8); echo "$PASSWORD"; echo -n "$PASSWORD" | sha256sum | tr -d '-'
In first line will be password and in second - corresponding SHA256.
也可以使用加密的密码，用上面的shell命令就可以生成
-->
<!-- <password_double_sha1_hex></password_double_sha1_hex> -->
<networks incl="networks" replace="replace">
<ip>::1</ip>
<ip>127.0.0.1</ip>
</networks>
<profile>default</profile>
<quota>default</quota>
</default>
<readonly_user>
<password>your_readonly_password</password>
<networks incl="networks" replace="replace">
<ip>::/0</ip>
</networks>
<profile>readonly</profile>
<quota>default</quota>
</readonly_user>
</users>
</yandex>
用户权限说明：
default用户具有默认的读写权限。readonly_user用户具有只读权限，并且可以从任意 IP 访问。
第四步：启动 ClickHouse 集群
在 clickhouse_cluster 目录下，运行以下命令来启动整个集群：
docker-compose up -d
docker-compose up -d 将启动所有服务，包括 ZooKeeper 和三个 ClickHouse 节点。
第五步：验证集群部署
-
1.运行以下命令查看容器状态：
docker-compose ps确保所有容器都处于 “Up” 状态。
-
2.通过 HTTP 接口访问任意 ClickHouse 节点，查看是否可以成功连接：
curl http://localhost:8123返回类似于
Ok.的响应即表示成功。 -
3.从单节点查询集群状态
docker exec -it clickhouse01 bash clickhouse-client select * from system.clusters; select * from system.zookeeper where path='/clickhouse';
六：文件夹结构
参考链接：
https://www.cnblogs.com/yoyo1216/p/13731225.html
https://www.cnblogs.com/syw20170419/p/16250500.html
https://clickhouse.com/docs/en/operations/server-configuration-parameters/settings
