【TiDB原理与实战详解】5、BR 物理备份恢复与Binlog 数据同步～学不会? 不存在的！

news2024/9/29 11:37:30

BR 物理备份恢复

BR 全称为 Backup & Restore，是 TiDB 分布式备份恢复的命令行工具，用于对 TiDB 集群进行数据备份和恢复。

相比 dumpling，BR 更适合大数据量的场景。

BR 除了可以用来进行常规备份恢复外，也可以在保证兼容性前提下用来做大规模的数据迁移。

本文介绍了 BR 的工作原理、推荐部署配置、使用限制以及几种使用方式。

1、工作原理

BR 将备份或恢复操作命令下发到各个 TiKV 节点。TiKV 收到命令后执行相应的备份或恢复操作。

在一次备份或恢复中，各个 TiKV 节点都会有一个对应的备份路径，TiKV 备份时产生的备份文件将会保存在该路径下，恢复时也会从该路径读取相应的备份文件。

在这里插入图片描述

2、备份文件类型

备份路径下会生成以下两种类型文件：

  • SST 文件：存储 TiKV 备份下来的数据信息
  • backupmeta 文件：存储本次备份的元信息，包括备份文件数、备份文件的 Key 区间、备份文件大小和备份文件 Hash (sha256) 值
  • backup.lock 文件：用于防止多次备份到同一目录

SST 文件命名格式

SST 文件以 storeID_regionID_regionEpoch_keyHash_cf 的格式命名。格式名的解释如下：

  • storeID：TiKV 节点编号
  • regionID：Region 编号
  • regionEpoch：Region 版本号
  • keyHash：Range startKey 的 Hash (sha256) 值，确保唯一性
  • cf：RocksDB 的 ColumnFamily（默认为 default 或 write）****
3、部署BR工具

推荐部署配置

将BR工具部署在PD节点，然后在tikv节点挂载远程目录，使用万兆网卡，减少带宽瓶颈。

恢复数据时需要关闭TiCDC同步。

使用BR 5.3.0以上版本

备份和恢复 mysql 系统库下的表数据（实验特性)

备份系统表但是不能完全恢复到系统表中

BR最低配置

CPU内存硬盘类型网络
1 核4 GBHDD千兆网卡

一般场景下（备份恢复的表少于 1000 张），BR 在运行期间的 CPU 消耗不会超过 200%，内存消耗不会超过 4 GB。但在备份和恢复大量数据表时，BR 的内存消耗可能会上升到 4 GB 以上。在实际测试中，备份 24000 张表大概需要消耗 2.7 GB 内存，CPU 消耗维持在 100% 以下。

pd节点 下载BR工具

wget https://download.pingcap.org/tidb-toolkit-v5.3.0-linux-amd64.tar.gz
tar  xf tidb-toolkit-v5.3.0-linux-amd64.tar.gz
cd /root/tidb-toolkit-v5.3.0-linux-amd64/bin

命令和子命令

BR 由多层命令组成。目前，BR 包含 `backup`、`restore` 和 `version` 三个子命令：

br backup  用于备份 TiDB 集群
br restore 用于恢复 TiDB 集群

以上三个子命令可能还包含这些子命令：

full： 可用于备份或恢复全部数据。
db：   可用于备份或恢复集群中的指定数据库。
table：可用于备份或恢复集群指定数据库中的单张表。

常用选项

--pd：  用于连接的选项，表示 PD 服务地址，例如 "${PDIP}:2379"。
-h/--help： 获取所有命令和子命令的使用帮助。例如 br backup --help。
-V（或 --version）： 检查 BR 版本。
--ca：  指定 PEM 格式的受信任 CA 的证书文件路径。
--cert：指定 PEM 格式的 SSL 证书文件路径。
--key： 指定 PEM 格式的 SSL 证书密钥文件路径。
--status-addr：BR 向 Prometheus 提供统计数据的监听地址。
--ratelimit：线程数，越大速度越快，但是对生产环境影响越大。
4、全量备份恢复

备份

# 创建备份路径
mkdir  -p /data01/backup/
# 授权备份路径
chown -R tidb:tidb  /data01/backup
# 开始备份
/root/tidb-toolkit-v5.3.0-linux-amd64/bin/br backup full \
    --pd "10.10.8.107:2379" \
    --storage "local:///data01/backup" \
    --ratelimit 128 \  # 线程数
    --log-file backupfull.log

恢复

/root/tidb-toolkit-v5.3.0-linux-amd64/bin/br restore full \
    --pd "10.10.8.107:2379" \
    --storage "local:///data01/backup" \
    --ratelimit 128 \
    --log-file restorefull.log
5、单库备份恢复

备份

# 创建备份路径
mkdir  -p /data01/backup/a
# 授权备份路径
chown -R tidb:tidb  /data01/backup/a
# 开始备份    
/root/tidb-toolkit-v5.3.0-linux-amd64/bin/br backup db \
    --pd "10.10.8.107:2379" \
    --db a \
    --storage "local:///data01/backup/a" \
    --ratelimit 128 \
    --log-file backuptable.log

恢复

/root/tidb-toolkit-v5.3.0-linux-amd64/bin/br restore db \
    --pd "10.10.8.107:2379" \
    --db "a" \
    --ratelimit 128 \
    --storage "local:///data01/backup/a" \
    --log-file restorefull.log
6、单表备份恢复

备份

# 创建备份路径
mkdir  -p /data01/backup/a/t1
# 授权备份路径
chown -R tidb:tidb  /data01/backup/a/t1
# 开始备份  
/root/tidb-toolkit-v5.3.0-linux-amd64/bin/br backup table \
    --pd "10.10.8.107:2379" \
    --db a \
    --table t1 \
    --storage "local:///data01/backup/a/t1" \
    --ratelimit 128 \
    --log-file backuptable.log

恢复

/root/tidb-toolkit-v5.3.0-linux-amd64/bin/br  restore table \
    --pd "10.10.8.107:2379" \
    --db  "a" \
    --table "t1" \
    --ratelimit 128 \
    --storage "local:///data01/backup/a/t1" \
    --log-file restorefull.log
7、过滤备份恢复

正则过滤库表恢复

/root/tidb-toolkit-v5.3.0-linux-amd64/bin/br restore full \
    --pd "10.10.8.107:2379" \
    --filter 'a*.t*' \
    --storage "local:///data01/backup/a" \
    --log-file restorefull.log

指定过滤库表恢复 --filter指定多个表

/root/tidb-toolkit-v5.3.0-linux-amd64/bin/br restore full \
    --pd "10.10.8.107:2379" \
    --filter 'a.t1' \
    --filter 'a.t2' \  
    --storage "local:///data01/backup/a" \
    --log-file restorefull.log
8、增量备份恢复

可以进行做一个全量备份，多个增量备份。

如果需要多次增量备份需要调整tikv_gc_life_time参数，调整后需要先进行全备在进行增备，因为在你修改参数之前tikv可能已经GC过了，这会清理掉之前的数据版本信息，导致备份失败

修改tikv_gc_life_time参数默认时间(当你将tikv_gc_life_time参数修改为24小时后,如果你超过24小时没有进行增量备份将需要重新进行全量备份)

UPDATE mysql.tidb SET VARIABLE_VALUE = '24h' WHERE VARIABLE_NAME = 'tikv_gc_life_time';

先进行全量备份

# 创建备份路径
mkdir  -p /data01/backup/all
# 授权备份路径
chown -R tidb:tidb  /data01/backup/all
# 开始备份
/root/tidb-toolkit-v5.3.0-linux-amd64/bin/br backup full \
    --pd "10.10.8.107:2379" \
    --storage "local:///data01/backup/all" \
    --ratelimit 128 \
    --log-file backupfull.log

获取时间戳

/root/tidb-toolkit-v5.3.0-linux-amd64/bin/br  validate decode --field="end-version" -s "local:///data01/backup/all" | tail -n1

Detail BR log in /tmp/br.log.2022-02-14T12.03.02+0800 
431177486559608836  # 就是这个

指定时间戳进行增量备份

# 创建备份路径
mkdir  -p /data01/backup/inc0
# 授权备份路径
chown -R tidb:tidb  /data01/backup/inc0

/root/tidb-toolkit-v5.3.0-linux-amd64/bin/br backup full\
    --pd 10.10.8.107:2379 \
    --ratelimit 128 \
    -s "local:///data01/backup/inc0" \
    --lastbackupts 431177486559608836

必须按照备份的顺序进行增量的恢复

先指定全量备份路径进行恢复

/root/tidb-toolkit-v5.3.0-linux-amd64/bin/br restore full \
    --pd "10.10.8.107:2379" \
    --storage "local:///data01/backup/all" \
    --ratelimit 128 \
    --log-file restorefull.log

在指定增量备份路径进行恢复

/root/tidb-toolkit-v5.3.0-linux-amd64/bin/br restore full \
    --pd "10.10.8.107:2379" \
    --storage "local:///data01/backup/inc0" \
    --ratelimit 128 \
    --log-file restorefull.log

TiDB Binlog 数据同步工具

TiDB Binlog 是一个用于收集 TiDB 的 binlog，并提供准实时备份和同步功能的商业工具。

  • 数据同步：同步 TiDB 集群数据到其他数据库
  • 实时备份和恢复：备份 TiDB 集群数据，同时可以用于 TiDB 集群故障时恢复

在这里插入图片描述

1、tiup安装binlogctl工具
tiup ctl:v5.2.0 binlog
2、配置

查看是否开启binlog

show variables like "log_bin";# 0 代表关闭，1 代表开启

开启binlog

# 编辑配置文件
tiup cluster edit-config test

# server_configs标签添加如下内容
server_configs:
  tidb:
    log.slow-threshold: 300
    binlog.enable: true
    binlog.ignore-error: true

重载配置

# 查看集群节点信息
tiup  cluster display test

# 重载tidb节点
tiup cluster reload test -N 10.10.8.107:4000

查看是否开启binlog

show variables like "log_bin";# 0 代表关闭，1 代表开启

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2088055.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

centos 7部署nacos 2.4.1版本单点方式

centos 7部署nacos 2.4.1版本单点方式

文章目录 Nacos：微服务架构中的服务发现与配置管理利器官方网址引言Nacos简介Nacos的核心功能1. 服务发现和服务健康监测2. 动态配置服务3. 服务及其元数据管理 Nacos的工作原理Nacos的集群部署与高可用性Nacos的使用场景如何使用Nacos1. 安装Nacos2. 服务注册与发现…
阅读更多...
Linux---FTP文件服务器搭建及实战

Linux---FTP文件服务器搭建及实战

一、FTP简介 FTP: File Transfer Protocol文件传输协议 FTP是用于在网络上进行文件传输的一套标准协议，使用客户/服务器模式。它属于网络传输协议的应用层。文件传送(file transfer）和文件访问(file access）之间的区别在于：前者…
阅读更多...
紫金大数据平台架构之路（一）----大数据任务开发和调度平台架构设计

紫金大数据平台架构之路（一）----大数据任务开发和调度平台架构设计

一、总体设计 初来公司时，公司还没有大数据，我是作为大数据架构师招入的，结合公司的线上和线下业务，制定了如下的大数据架构路线图。 二、大数据任务开发和调度平台架构设计 在设计完总体架构后，并且搭建完hadoop/ya…
阅读更多...
ArkUI-布局（四）

ArkUI-布局（四）

ArkUI-布局 轮播部分属性及方法循环播放及自动轮播导航点样式页面切换方式轮播方向每页显示多个子页面自定义切换动画 选项卡使用方式部分属性及方法顶部导航和底部导航侧边导航限制导航栏的滑动固定导航栏和滚动导航栏自定义导航栏切换至指定页签 轮播 Swiper组件提供滑动轮播…
阅读更多...
大语言模型从零开始训练全面指南：预训练、Tokenizer训练、指令微调、奖励模型、强化学习

大语言模型从零开始训练全面指南：预训练、Tokenizer训练、指令微调、奖励模型、强化学习

在这篇文章中，我们将尽可能详细地梳理一个完整的 LLM 训练流程。包括模型预训练（Pretrain）、Tokenizer 训练、指令微调（Instruction Tuning）、奖励模型（Reward Model）和强化学习（RLH…
阅读更多...
SprinBoot+Vue线上教学平台的设计与实现

SprinBoot+Vue线上教学平台的设计与实现

目录 1 项目介绍2 项目截图3 核心代码3.1 Controller3.2 Service3.3 Dao3.4 application.yml3.5 SpringbootApplication3.5 Vue 4 数据库表设计5 文档参考6 计算机毕设选题推荐7 源码获取 1 项目介绍 博主个人介绍：CSDN认证博客专家，CSDN平台Java领域优质…
阅读更多...
基于yolov8的雾天行人车辆检测系统python源码+onnx模型+评估指标曲线+精美GUI界面

基于yolov8的雾天行人车辆检测系统python源码+onnx模型+评估指标曲线+精美GUI界面

【算法介绍】 基于YOLOv8的雾天行人车辆检测系统是一种高效且先进的解决方案，专门用于在恶劣的雾天条件下检测和识别道路上的行人和车辆。YOLOv8作为最新的YOLO系列模型，自2023年推出以来，在目标检测领域展现了卓越的性能。该系统利用YOLOv8…
阅读更多...
Java 入门指南：Java NIO —— Buffer（缓冲区）

Java 入门指南：Java NIO —— Buffer（缓冲区）

NIO 的引入 在传统的 Java I/O 模型（BIO）中，I/O 操作是以阻塞的方式进行的。当一个线程执行一个 I/O 操作时，它会被阻塞直到操作完成。这种阻塞模型在处理多个并发连接时可能会导致性能瓶颈，因为需要为每个连接创建一…
阅读更多...
Java-数据结构-时间和空间复杂度 (ಥ_ಥ)

Java-数据结构-时间和空间复杂度 (ಥ_ಥ)

目录： 一、算法效率： 1、我们如何衡量一个算法的好与坏： 2、算法效率： 二、时间复杂度： 1、概念： 2、大O的渐进表示法： 3、推导大O渐进方法： 4、时间复杂度的举例&#xff1…
阅读更多...
【推荐】Linux 推荐软件

【推荐】Linux 推荐软件

【推荐】Linux 推荐软件 星火应用商店 Spark-Store: 专注Linux应用适配的应用商店 专注Linux应用适配的应用商店 微信 基于wine工具;wine中的windows涉及很多DLL需要配置，可以借助winetricks、Q4wine，另外还需要一个windwos系统，用来复制其中…
阅读更多...
私人诊所|基于SprinBoot+vue的私人诊所管理系统(源码+数据库+文档)

私人诊所|基于SprinBoot+vue的私人诊所管理系统(源码+数据库+文档)

私人诊所管理系统 基于SprinBootvue的私人诊所管理系统 一、前言 二、系统设计 三、系统功能设计 系统功能实现 后台模块实现 管理员功能实现 患者功能实现 医生功能实现 四、数据库设计 五、核心代码 六、论文参考 七、最新计算机毕设选题推荐 八、源码获取&am…
阅读更多...
el-table自定义合并表格

el-table自定义合并表格

前沿 ： 为了更好的展示数据，很多地方用到表格合并，但是element文档里面没有好的合并方法，只能自定义合并表格来解决需求。于是乎，写了以下方法，方面以后拿来即用。 自定义合并表格 表格数据 tableData: [{i…
阅读更多...
图片怎么裁剪中间部分？这几种裁剪方法每个人都学的会！

图片怎么裁剪中间部分？这几种裁剪方法每个人都学的会！

图片怎么裁剪中间部分？在数字生活的广阔图景中，图片裁剪作为一项基本技能，其重要性日益凸显，这一操作不仅是对图像边界的精准界定，更是通往个性化表达与标准化应用的桥梁。从日常社交媒体的瞬间分享，到专业…
阅读更多...
多模态工业异常检测算法整理

多模态工业异常检测算法整理

本文统计了MVTec 3D-AD上的多个多模态异常检测算法，仅对比其I-AUROC指标。数据的来源为多模态工业异常检测Benchmark | Ziuch の Blog，这位博主经常分享很多工业异常检测的优秀博文，质量很高。 MVTec 3D-AD相关的异常检测算法包含3大类&#…
阅读更多...
智慧公厕系统，重塑公共卫生间新生态@卓振思众

智慧公厕系统，重塑公共卫生间新生态@卓振思众

在快节奏的现代生活中，公共卫生间作为城市基础设施的重要组成部分，其管理效率和使用体验直接关系到市民的生活质量。近年来，随着科技的飞速发展，智慧卫生间系统应运而生，以其智能化、便捷化的特点，正逐步改…
阅读更多...
低代码用户中心的构建与应用

低代码用户中心的构建与应用

引言 在现代软件开发中，低代码平台因其高效、灵活、用户友好的特性而逐渐受到青睐。特别是在用户中心的构建方面，低代码平台能够显著提升开发效率，降低开发成本。本文将探讨如何利用低代码平台构建一个高效的用户中心，并分享一些…
阅读更多...
树形dp + 位运算 + 差分，MC0362 异或

树形dp + 位运算 + 差分，MC0362 异或

目录 一、题目 1、题目描述 2、输入输出 2.1输入 2.2输出 3、原题链接 二、解题报告 1、思路分析 2、复杂度 3、代码详解 一、题目 1、题目描述 2、输入输出 2.1输入 2.2输出 3、原题链接 码题集OJ-异或 (matiji.net) 二、解题报告 1、思路分析 考虑每个结点u&a…
阅读更多...
工作 6 年，@Transactional 注解用的一塌糊涂

工作 6 年，@Transactional 注解用的一塌糊涂

接手新项目一言难尽，别的不说单单就一个 Transactional 注解用的一塌糊涂，五花八门的用法，很大部分还失效无法回滚。 有意识的在涉及事务相关方法上加Transactional注解，是个好习惯。不过，很多同学只是下意识地添加这个…
阅读更多...
Redis的ZSet底层数据结构

Redis的ZSet底层数据结构

一、ZSet底层数据结构 typedef struct zset{// 跳表zskiplist *zsl;// 字典dict *dic; }zset类型的底层数据结构是由压缩列表或跳表、**字典（哈希表）**实现的。 如果zset中元素个数小于128个，并且每个元素的值小于64字节时，redi…
阅读更多...
Prompt提示词如何写才能发挥大语言模型LLM的最大潜力

Prompt提示词如何写才能发挥大语言模型LLM的最大潜力

提示词 提示工程学是一门相对较新的学科，用于开发和优化提示，以便高效地利用语言模型（LM）来进行各种应用和研究主题。提示工程技能有助于更好地了解大型语言模型（LLM）的能力和限制。研究人员使用提示工程来…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023