Docker实战：从零构建高可用的MySQL主从集群与Redis集群

news2025/4/19 3:06:39

在分布式系统架构中，数据库集群是保障数据高可用和性能的关键组件。本文将通过Docker技术，手把手教你搭建MySQL主从集群和Redis Cluster，并分享独创的优化技巧与运维实战经验。

一、为什么选择Docker部署集群？

传统数据库集群搭建存在环境依赖复杂、配置繁琐、跨平台兼容性差等问题。使用Docker可带来三大核心优势：

环境标准化：通过Dockerfile固化镜像，彻底消除"在我机器能跑"的魔咒
快速部署：单节点部署从小时级压缩到分钟级，集群扩展只需修改Compose文件
资源隔离：容器化实现进程级隔离，避免多实例间的端口冲突

二、MySQL主从集群实战（GTID+半同步模式）

2.1 集群架构设计

采用一主两从架构，结合GTID全局事务标识和半同步复制，确保数据零丢失：

Master (可写可读)
  │
  ├──→ Slave1 (只读)
  └──→ Slave2 (只读)

2.2 Dockerfile优化技巧

# mysql/Dockerfile
FROM mysql:8.0.30
COPY my.cnf /etc/mysql/conf.d/
RUN chmod 644 /etc/mysql/conf.d/my.cnf
# 预置初始化脚本
COPY init_db.sql /docker-entrypoint-initdb.d/

2.3 核心配置解析（my.cnf）

[mysqld]
server-id=1                   # 节点唯一标识
gtid_mode=ON                  # 启用GTID
enforce_gtid_consistency=ON
rpl_semi_sync_master_enabled=1 # 半同步复制
log-bin=mysql-bin             # 二进制日志
binlog_format=ROW             # 行级复制

2.4 自动初始化脚本（init_db.sql）

-- 创建复制用户
CREATE USER 'repl'@'%' IDENTIFIED WITH mysql_native_password BY 'Repl@123';
GRANT REPLICATION SLAVE ON *.* TO 'repl'@'%';

-- 设置读写分离账号
CREATE USER 'app_user'@'%' IDENTIFIED WITH mysql_native_password BY 'App@123';
GRANT SELECT, INSERT, UPDATE ON app_db.* TO 'app_user'@'%';

2.5 Docker Compose编排

version: '3.8'
services:
  mysql-master:
    build: ./mysql
    ports: ["3306:3306"]
    environment:
      MYSQL_ROOT_PASSWORD: Root@123
      MYSQL_DATABASE: app_db
    volumes:
      - mysql_master_data:/var/lib/mysql

  mysql-slave1:
    build: ./mysql
    ports: ["3307:3306"]
    environment:
      MYSQL_ROOT_PASSWORD: Root@123
    volumes:
      - mysql_slave1_data:/var/lib/mysql
    depends_on:
      - mysql-master

volumes:
  mysql_master_data:
  mysql_slave1_data:

三、Redis Cluster智能部署方案

3.1 六节点集群拓扑

采用三主三从模式，通过哈希槽分配实现数据自动分片：

Master1 (5461) — Slave1 (6379)
Master2 (5462) — Slave2 (6380)
Master3 (5463) — Slave3 (6381)

3.2 自动故障转移配置

cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 5000
cluster-require-full-coverage no # 允许部分节点故障
appendonly yes                   # AOF持久化

3.3 独创的集群初始化脚本

#!/bin/bash
# 自动检测并修复集群状态
redis-cli --cluster check 127.0.0.1:6379
if [ $? -ne 0 ]; then
  echo "正在尝试自动修复集群..."
  redis-cli --cluster fix 127.0.0.1:6379 --user mypass
fi

3.4 性能监控仪表盘

使用Prometheus+Granfana构建监控体系，关键指标包括：

集群节点存活状态
内存碎片率
命令处理延迟
网络吞吐量

四、运维黑科技

4.1 MySQL在线DDL神器

-- 使用pt-online-schema-change实现无锁表结构变更
pt-online-schema-change --alter "ADD COLUMN new_col INT" D=app_db,t=users \
--user=root --password=Root@123 --execute

4.2 Redis内存优化策略

设置内存软限制：maxmemory 8gb + maxmemory-policy allkeys-lru
启用内存碎片整理：CONFIG SET activedefrag yes
监控大Key：使用redis-cli --bigkeys扫描异常数据

4.3 自动化备份方案

# 每天凌晨3点执行全量备份
0 3 * * * docker exec mysql-master mysqldump -u root -pRoot@123 app_db | gzip > /backups/mysql_$(date +\%Y\%m\%d).sql.gz

# 每小时增量备份binlog
0 * * * * rsync -avz /var/lib/docker/volumes/mysql_master_data/_data/mysql-bin.* /binlog_backups/