一、环境
- 云服务器
- Ubuntu20.4
- Dokcer 24.0.2
二、步骤
目录结构是这样:
绿色的目录是用来存储容器中的文件,不需要我们手动创建,将路径配置在配置文件中即可。褐色的目录和文件需要自己手动创建。
我们一共创建7个容器:
redis1~redis6是集群节点,redis_cluster是用来搭建主从关系的一个容器,搭建完之后就关闭了。
1. 开放端口
端口记得开!端口记得开!端口记得开!端口记得开!端口记得开!端口记得开!端口记得开!端口记得开!端口记得开!端口记得开!端口记得开!端口记得开!端口记得开!端口记得开!端口记得开!端口记得开!端口记得开!端口记得开!
6379也要开!!!6379也要开!!!6379也要开!!!6379也要开!!!6379也要开!!!6379也要开!!!6379也要开!!!6379也要开!!!6379也要开!!!6379也要开!!!6379也要开!!!6379也要开!!!6379也要开!!!
redis1 | redis2 | redis3 | redis4 | redis5 | redis6 | |
---|---|---|---|---|---|---|
端口号 | 6378 | 6380 | 6381 | 6382 | 6383 | 6384 |
配置文件名 | redis1.conf | redis2.conf | redis3.conf | redis4.conf | redis5.conf | redis6.conf |
2. 准备为每个Redis节点准备配置文件
每个节点的配置文件为 redis[节点序号].conf。我是用线程的redis.conf文件改的,主要改下面几个参数,下面以redis1.conf为例:
port 6378
dir /data
requirepass 123456
masterauth 123456
protected-mode no
daemonize no
appendonly yes
cluster-enabled yes
cluster-config-file nodes6378.conf
cluster-node-timeout 15000
cluster-announce-ip [公网ip]
cluster-announce-port 6378
cluster-announce-bus-port 16378
3. 编写docker-compose.yml文件
一共有7个service,文件全文如下:之后再来解释为啥这么写
version: "3"
services:
redis1:
image: redis
volumes:
- /test/redis1/redis1.conf:/etc/redis/redis.conf
- /test/data/redis1:/data
network_mode: "host"
command: redis-server /etc/redis/redis.conf
redis2:
image: redis
volumes:
- /test/redis2/redis2.conf:/etc/redis/redis.conf
- /test/data/redis2:/data
network_mode: "host"
command: redis-server /etc/redis/redis.conf
redis3:
image: redis
volumes:
- /test/redis3/redis3.conf:/etc/redis/redis.conf
- /test/data/redis3:/data
network_mode: "host"
command: redis-server /etc/redis/redis.conf
redis3:
image: redis
volumes:
- /test/redis3/redis3.conf:/etc/redis/redis.conf
- /test/data/redis3:/data
network_mode: "host"
command: redis-server /etc/redis/redis.conf
redis4:
image: redis
volumes:
- /test/redis4/redis4.conf:/etc/redis/redis.conf
- /test/data/redis4:/data
network_mode: "host"
command: redis-server /etc/redis/redis.conf
redis5:
image: redis
volumes:
- /test/redis5/redis5.conf:/etc/redis/redis.conf
- /test/data/redis5:/data
network_mode: "host"
command: redis-server /etc/redis/redis.conf
redis6:
image: redis
volumes:
- /test/redis6/redis6.conf:/etc/redis/redis.conf
- /test/data/redis6:/data
network_mode: "host"
command: redis-server /etc/redis/redis.conf
redis-cluster:
image: redis
command: redis-cli -a 123456 --cluster create [内网IP]:6380 [内网IP]:6378 [内网IP]:6381 [内网IP]:6382 [内网IP]:6383 [内网IP]:6384 --cluster-replicas 1 --cluster-yes
network_mode: "host"
depends_on:
- redis1
- redis2
- redis3
- redis4
- redis5
- redis6
使用以下命令检查配置有没有什么语法上的错误,没有消息就是好消息。
dokcer-compose config -q
3.1 redis1服务
image 参数:使用最新的redis镜像
volumes 参数:数据卷映射,映射有两个一个是映射刚准备好的redis[节点序号].conf配置文件。
network_mode 参数:这里使用的是"host"模式。
也可以不选择这个模式转而这样配置:
ports:
- 6382:6382
- 16382:16382
networks:
- my_net
【注意1】如果采用了ports参数+networks参数的配置,就不能再使用network_mode参数了,二者是冲突的,并且对于redis-cluster服务就可以使用各个服务名来访问,像这样:
command: redis-cli -a 123456 --cluster create redis1:6380 redis2:6378 redis3:6381 redis4:6382 redis5:6383 redis6:6384 --cluster-replicas 1 --cluster-yes
【注意2】如果采用了ports参数+networks参数的配置,则每个节点都应该配置同一个neiworks,否则节点之间没法通信呀
【注意3】如果采用了ports参数+networks参数的配置,则不配置networks参数也可以,因为Docker Compose会根据这个文件的目录为我们配置一个响应的网络,节点们会在同一个网段下,使用如下命令就可以查看这些网络了,其中[test]_my_net是帮我们创建的网络,是bridge类型的:
没配置net_works的情况下,[test]_default是帮我们创建的网络:
直接使用network_mode: "host" 参数,则使用的就是宿主机的IP,Docker Compose就不会再配置新的网络了,至于端口我们在redis的配置文件中配置过了。
【注意4】为什么端口号开了两个?
一个是port,一个是port+10000.
【注意5】两种配置方式的区别在哪里。ports参数+networks参数的配置 是官网推荐的配置方法,这样在各个配置文件使用服务名(这里的服务就是每个redis节点)redis1、redis2……就可以在容器间通信了。但是我选择了network_mode="host"的模式,是因为我自己的个人电脑上还有java web的代码想访问redis集群,而我没有把这个web应用的 jar 包推送到服务器上作为一个微服务和redis节点们一起启动,共享网段,如果用ports参数+networks参数的配置就没办法访问redis集群。详情请见 Docker Compose的文档。
depends_on 参数:表示该服务依赖于哪些服务,很明显,我们需要先起6个redis服务,再在它们之间构建集群
command 参数:表示运行下面的命令,使用指定的redis.conf配置文件来启动redis服务端。
redis-server /etc/redis/redis.conf
3.2 redis-cluster服务
command:该服务会运行下面的命令来构建主从关系:
redis-cli -a 123456 --cluster create [内网IP]:6380 [内网IP]:6378 [内网IP]:6381 [内网IP]:6382 [内网IP]:6383 [内网IP]:6384 --cluster-replicas 1 --cluster-yes
4. 运行,测试
命令行运行:
后面那个-d参数可加可不加,我就打了个括号,我没加,因为还想看看实时的日志,就没有后台启动:
docker-compose up (-d)
看最后一行,用于构建主从关系的容器redis-cluster_1运行完命令构建主从关系的命令以后就退出了。
启动完之后使用docker ps -a命令可以看到,7个容器已经启动了,还有一个容器已经执行完毕并且退出了,而且当我们没有指定容器名称的时候,Docker Compose 会自动帮我们指定 [目录名]_服务名_1作为容器名。
随便进入一个容器,使用cluster nodes和cluster info命令看看集群状态,如果cluster_state:fail那就是节点没在集群里,排查一下哪边配置有问题。
最后最后,我在个人电脑上要连接这个集群,本地配置的是:
spring.data.redis.database=0
spring.data.redis.password=123456
spring.data.redis.cluster.nodes=[公网IP]:6385,[公网IP]:6380,[公网IP]:6381,[公网IP]:6382,[公网IP]:6383,[公网IP]:6384
三、小建议
3.1 怎么排错
报错的时候找找原因:
比如看看单个容器的日志
docker logs [容器IP/容器名]
3.2 使用脚本
一下子创建六个节点,难免手抖,写错,踩坑。建议一些重复的命令用脚本解决,虽然好像没帮上什么大忙,但是也能免得手忙脚乱的。
比如我总用这个脚本
#!/bin/bash
rm -rf ./data
docker rm -f test_redis1_1
docker rm -f test_redis2_1
docker rm -f test_redis3_1
docker rm -f test_redis4_1
docker rm -f test_redis5_1
docker rm -f test_redis6_1
docker-compose up
(报错=》一番处理 =》data目录有东西了再次启动失败了啊喂 =》删除data目录 =》容器名冲突了凸(艹皿艹 ) =》删除已经创建的容器 =》再次启动)
说多了都是泪。