TiUP 是 TiDB 4.0 版本引入的集群运维工具,TiUP cluster 是 TiUP 提供的使用 Golang 编写的集群管理组件,通过 TiUP cluster 组件就可以进行日常的运维工作,包括部署、启动、关闭、销毁、弹性扩缩容、升级 TiDB 集群,以及管理 TiDB 集群参数。TiDB架构见:TiDB分布式数据库架构介绍
部署环境说明见下图:
1 添加数据盘 EXT4 文件系统
生产环境部署,建议使用 EXT4 类型文件系统的 NVME 类型的 SSD 磁盘存储 TiKV 数据文件。这个配置方案为最佳实施方案,其可靠性、安全性、稳定性已经在大量线上场景中得到证实。
使用 root 用户登录目标机器,将部署目标机器数据盘格式化成 ext4 文件系统,挂载时添加 nodelalloc 和 noatime 挂载参数。nodelalloc 是必选参数,否则 TiUP 安装时检测无法通过;noatime 是可选建议参数。
注意:
如果你的数据盘已经格式化成 ext4 并挂载了磁盘,可先执行 umount /dev/vdb 命令卸载,从编辑 /etc/fstab 文件步骤开始执行,添加挂载参数重新挂载即可。
1 查看数据盘
fdisk -l
2 创建分区
parted -s -a optimal /dev/nvme0n1 mklabel gpt -- mkpart primary ext4 1 -1
3 格式化文件系统
mkfs.ext4 /dev/vdb
4 使用 lsblk 命令查看分区的设备号及UUID:
lsblk -f
5 编辑 /etc/fstab 文件,添加 nodelalloc 挂载参数
vi /etc/fstab
UUID=957bb4c8-68f7-40df-ab37-1de7a4b5ee5e /data ext4 defaults,nodelalloc,noatime 0 2
6 创建数据目录并挂载磁盘
mkdir -p /data && mount -a
2 手动配置 SSH 互信及 sudo 免密码
(1) 以 root 用户依次登录到部署目标机器创建 tidb 用户并设置登录密码。
useradd tidb && passwd tidb
(2) 执行以下命令,将 tidb ALL=(ALL) NOPASSWD: ALL 添加到文件末尾,即配置好 sudo 免密码。
visudo
tidb ALL=(ALL) NOPASSWD: ALL
(3) 切换tidb用户
三台均需要进行如下操作
mkdir ~/.ssh
chmod 700 ~/.ssh
ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys
scp /home/tidb/.ssh/authorized_keys tidb@tidb1:/home/tidb/.ssh/
scp /home/tidb/.ssh/authorized_keys tidb@tidb2:/home/tidb/.ssh/
scp /home/tidb/.ssh/authorized_keys tidb@tidb3:/home/tidb/.ssh/
(4)以 tidb 用户登录中控机,通过 ssh 的方式登录目标机器 IP。如果不需要输入密码并登录成功,即表示 SSH 互信配置成功。
ssh 10.229.45.124
(5)以 tidb 用户登录到部署目标机器后,执行以下命令,不需要输入密码并切换到 root 用户,表示 tidb 用户 sudo 免密码配置成功。
sudo -su root
3 系统环境与工具设置
1 安装 numactl 工具
yum -y install numactl
2 调大 sshd 服务的连接数
vim /etc/ssh/sshd_config
MaxSessions = 20
重启 sshd 服务:
systemctl restart sshd.service
4 安装部署流程
1 下载离线版本 TiDB 社区版
2 解压
tar xzvf tidb-community-server-${version}-linux-amd64.tar.gz
cd tidb-community-server-${version}-linux-amd64
./local_install.sh
source /home/tidb/.bash_profile
source /home/tidb/.bash_profile
3 将 server 和 toolkit 两个离线镜像合并,执行以下命令合并离线组件到 server 目录下
tar xf tidb-community-toolkit-${version}-linux-amd64.tar.gz
ls -ld tidb-community-server-${version}-linux-amd64 tidb-community-toolkit-${version}-linux-amd64
cd tidb-community-server-${version}-linux-amd64/
cp -rp keys ~/.tiup/
tiup mirror merge ../tidb-community-toolkit-${version}-linux-amd64
4 设置配置文件
4.1 获取配置模板
tiup cluster template > topo.yaml
4.2 填写配置文件(根据自己的机器填写信息,以下是模板)
user: “tidb”:表示通过 tidb 系统用户(部署会自动创建)来做集群的内部管理,默认使用 22 端口通过 ssh 登录目标机器
deploy_dir/data_dir: 分别为集群组件安装目录和数据目录
replication.enable-placement-rules:设置这个 PD 参数来确保 TiFlash 正常运行
host:设置为本部署主机的 IP
# # Global variables are applied to all deployments and used as the default value of
# # the deployments if a specific deployment value is missing.
global:
user: "tidb"
ssh_port: 22
deploy_dir: "/tidb-deploy"
data_dir: "/tidb-data"
# # Monitored variables are applied to all the machines.
monitored:
node_exporter_port: 9100
blackbox_exporter_port: 9115
server_configs:
tidb:
log.slow-threshold: 300
tikv:
readpool.storage.use-unified-pool: false
readpool.coprocessor.use-unified-pool: true
pd:
replication.enable-placement-rules: true
replication.location-labels: ["host"]
tiflash:
logger.level: "info"
pd_servers:
- host: 10.0.1.1
tidb_servers:
- host: 10.0.1.1
tikv_servers:
- host: 10.0.1.1
port: 20160
status_port: 20180
config:
server.labels: { host: "logic-host-1" }
- host: 10.0.1.1
port: 20161
status_port: 20181
config:
server.labels: { host: "logic-host-2" }
- host: 10.0.1.1
port: 20162
status_port: 20182
config:
server.labels: { host: "logic-host-3" }
tiflash_servers:
- host: 10.0.1.1
monitoring_servers:
- host: 10.0.1.1
grafana_servers:
- host: 10.0.1.1
5 集群安装
命令: tiup cluster deploy ./topo.yaml --user root -p
参数 表示设置集群名称
参数 表示设置集群版本,可以通过 tiup list tidb 命令来查看当前支持部署的 TiDB 版本
参数 -p 表示在连接目标机器时使用密码登录
tiup cluster deploy tidbtest 6.5.0 ./topo.yaml --user root -p
按照引导,输入”y”及 root 密码,来完成部署:
Do you want to continue? [y/N]: y
Input SSH password:
成功安装会提示如下启动字样:
Cluster tidbtest deployed successfully, you can start it with command: `tiup cluster start tidbtest`
6 启动集群
tiup cluster start <cluster-name>
出现如下结果表明成功:
Started cluster tidbtest
successfully
The root password of TiDB database has been changed.
The new password is: ‘z1+5%vS9826As^#XHV’.
Copy and record it to somewhere safe, it is only displayed once, and will not be stored.
The generated password can NOT be get and shown again.
7 访问集群
安装 MySQL 客户端。如果已安装 MySQL 客户端则可跳过这一步骤。
yum -y install mysql
访问 TiDB 数据库,密码为空:
mysql -h 10.0.1.1 -P 4000 -u root -p
Enter password: z1+5%vS9826As^#XHV
后续便可进行创建databases/tables以及相关的增、删、改和查等操作,如果想进一步了解源码。可以结合gdb调试了解实现原理。
8 tiup 相关命令
1)tiup cluster list // 查看集群列表信息
2)tiup cluster display //执行以下命令查看集群的拓扑结构和状态:
3)tiup cluster start //启动集群
4)tiup cluster stop //关闭集群
5)tiup cluster restart //重启集群
6)tiup cluster destroy //删除/销毁集群
参考连接:PingCAP 部署本地测试集群