Mysql主从数据恢复随笔

news2024/11/19 3:31:40

目录

1.使用pt-table-checksum插件安装方式如下

2.在主节点执行检查数据同步情况

3.同步检查出现的问题

3.1没有sock文件

3.2 Authentication plugin ‘sha256_password’ cannot be loaded: /usr/lib64/mysql/plugin/sha256_password.so: 无法打开共享对象文件: 没有那个文件或目录 at /usr/bin/pt-table-checksum line 1603.

4.从库执行同步命令


        如下内容来源于生产环境主从集群数据状态不一致情况下,做故障恢复时的随笔记录,希望可帮到小伙伴们

1.使用pt-table-checksum插件安装方式如下

安装之前,请确保自己的MHA集群状态是健康状态

wget https://downloads.percona.com/downloads/percona-toolkit/3.3.0/binary/redhat/7/x86_64/percona-toolkit-3.3.0-1.el7.x86_64.rpm
rpm -ivh percona-toolkit-2.1.8-1.noarch.rpm

2.在主节点执行检查数据同步情况

pt-table-checksum --user=manager --password=Root2020@ --nocheck-replication-filters --no-check-binlog-format --databases=gffp_om --replicate=gffp_om.checksums --create-replicate-table

参数说明:

--nocheck-replication-filters:不检查复制的过滤规则,比如replicate-ignore-db、replicate-wild-do-table。
--no-check-binlog-format:不检查复制的binlog模式,如果binlog模式是row模式,需要启用该参数。
--create-replicate-table:第一次进行checksum需要启用该参数,会进行checksum表的创建,用于存放结果。
--replicate=test.checksums:存放checksum结果的表。
--databases:表示要检查的库。
--tables(-t):表示要检查的表。
--replicate-check-only:表示只显示不同步的表。
--recursion-method:正常情况下工具会自动识别从库,如果识别失败,可以用该参数指定查找slave的方法,参数有四种,分别是processlist、hosts、dsn=DSN、no四种,用来决定查找slave的方式是通过show processlist、show slave hosts还是通过dsn=DSN的方式。(不同使用方式不一一实验了,生产环境)

创建DSN方式使用库

master执行需要同步的库xxx

CREATE TABLE xxx.dsns (
id int(11) NOT NULL AUTO_INCREMENT,
parent_id int(11) DEFAULT NULL,
dsn varchar(255) NOT NULL,
PRIMARY KEY (id)
);

insert into xxx.dsns select 1,1,'h=172.168.9.130,u=xxx,p=xxx,P=3306';

3.同步检查出现的问题

3.1没有sock文件

记一次mysql主从数据恢复同步的辛酸历程

不是啥大问题,查看从库同步状态,停止从库服务,在主库查看从库下线后,重启服务,修改tmp权限,详情查看记一次Mysql集群MHA恢复时遇到的坑点,恢复后建立软连接。

记一次mysql主从数据恢复同步的辛酸历程

3.2 Authentication plugin ‘sha256_password’ cannot be loaded: /usr/lib64/mysql/plugin/sha256_password.so: 无法打开共享对象文件: 没有那个文件或目录 at /usr/bin/pt-table-checksum line 1603.

记一次mysql主从数据恢复同步的辛酸历程

//换个用户,或者新建一个用户,mysql使用加密策略引起的问题
//查看用户
select host,user,authentication_string from mysql.user;
//创建用户授权,我用的是MHA用户
 grant select,insert,update,delete,create,drop,super,process,replication slave on *.* to 'syncuser'@'%' identified by 'Syncuser@123';
pt-table-checksum --user=xxx --password=xxx --host=172.168.9.xxx --nocheck-replication-filters --no-check-binlog-format --databases=gffp_om --replicate=gffp_om.checksums --create-replicate-table

//后台执行 
nohup pt-table-checksum --user=manager --password=Root2020@ --host=172.168.9.131 --nocheck-replication-filters --no-check-binlog-format --databases=gffp_om --replicate=gffp_om.checksums --recursion-method=dsn=D=gffp_om,t=dsns,h=172.168.9.131,P=3306,u=xxx,p=xxx --create-replicate-table &


xxx写自己的配置,翻个白眼给你看

4.从库执行同步命令

使用示例:

4.1. 在上面的例子中,我们已经通过pt-table-checksum检测出主从的不一致的表,接下来我们开始进行同步。下面的命令中指定了–replicate,并且未指定–sync-to-master,则-h代表主库。

pt-table-sync  h=36.30.39.117,P=3306,u=syncuser,p=Syncuser@123 --database=test --replicate='test.checksums' --execute

4.2. 同时指定–replicate和–sync-to-master,DSN只能有一个,且为从库。

pt-table-sync  h=36.30.39.176,P=3306,u=syncuser,p=Syncuser@123 --database=test --tables=t1 --replicate='test.checksums' --sync-to-master --execute

4.3. 如果只指定一个DSN,那么必须使用–replicate或者–sync-to-master中的一个,否则报错:At least one DSN is required, and at least two are required unless –sync-to-master or –replicate is specified。这里我们指定了–sync-to-master,那么DSN信息就代表了从库。

pt-table-sync h=36.30.39.176,u=syncuser,p=Syncuser@123,D=test,t=t1 --sync-to-master --execute

4.4. 当有多个DSN时,如果指定了–sync-to-master,那么所有的主机均为从库。否则报错:

Can’t determine master of D=test,h=…..,p=…,t=t1,u=syncuser at /usr/bin/pt-table-sync line 10020.

pt-table-sync h=36.30.39.176,u=syncuser,p=Syncuser@123,D=test,t=t1 h=36.30.39.213,u=syncuser,p=Syncuser@123,D=test,t=t1 --sync-to-master --execute

4.5. 多个DSN,不指定–sync-to-master和–replicate,如果需要修复从库的数据需要指定

–no-check-slave。

pt-table-sync h=36.30.39.117,u=syncuser,p=Syncuser@123,D=test,t=t1  h=36.30.39.176,u=syncuser,p=Syncuser@123 h=36.30.39.213,u=syncuser,p=Syncuser@123 --no-check-slave –execute

参数详解:

--ask-pass:连接MySQL时提示输入密码。 
--[no]bin-log:指定是否记录二进制日志,如果是--no-bin-log相当于执行了set sql_log_bin=0.
--[no]check-slave:检测目标服务器是否是从库。如果目标服务器是从库的话,直接对其变更是不安全的,但是有时候必须要这么做,所以此时需要指定参数--no-check-slave。
--chunk-size:指定表分块的chunk大小。
--dry-run:分析同步的过程,并打印出信息退出,并不实际执行。
--execute:指定工具执行变更操作,使表数据达成一致。
--print:打印出工具需要执行哪些语句来变更表。
--wait:如果存在主从延迟,从库可以等待多长时间追上主库,等待的时间由该参数设置,超时会终止退出。

DSN选项:

KEY MEANING
=== =============================================
A 指定字符集
D 同步的数据库
P 端口 S Socket文件
h 要连接的host
p 数据库密码
t 要同步的表
u 数据库用户
注意事项及建议
1. 当出现主从不一致时,我们需要判断哪个库的数据是正确的,大多数情况我们希望在主库执行变更并且同步到从库。
2. 建议要同步的表要有主键,避免出现数据重复的问题。
3. 执行变更命令前先通过--print或者--dry-run进行检查。
4. 使用多个DSN选项时,按照数据同步方向填写主机信息,如果有从库需要配合--no-check-slave参数使用。
5. 该工具在进行校验分析时会对表执行for update操作,避免在业务高峰期进行。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1039567.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

近年最受欢迎 5大软件开发项目管理工具有哪些?

时代进步,技术进步,汇总下近几年5大常用的软件开发项目管理工具。 1、微软项目管理软件 Microsoft Project(或MSP)是由微软开发销售的项目管理软件程序。软件设计目的在于协助项目经理制定发展计划、为任务分配资源、跟踪进度、管…

MS933NA适用于 1MP/60fps 摄像头、37.5MHz100MHz、10 位/12 位的串化器

MS933NA 是 10 位 /12 位串化器,支持 37.5MHz  100MHz 时钟, MS933NA 广泛应用于车载摄像、医疗设备、管道探测等领域。 主要特点 ◼ 支持输入 37.5MHz 到 100MHz 的图像时钟 ◼ 单个差分对互连 ◼ 可编程数据有效负载 10 位 /12 …

踩中AIGC 美图看清自己“工具”本职

日前,美图公司发布 2023 年中期业绩,实现总收入 12.61 亿元,同比增长 29.8%;实现经调整后归母净利润 1.51 亿元,同比增长 320.4%,利润增速是收入增速的十倍。同时,在 AIGC 的加持下,…

数据结构 | 树和二叉树

树 树是n(n>0)个结点的有限集。当n 0时,称为空树。在任意一棵非空树中应满足: 有且仅有一个特定的称为根的结点。当n>1时,其余节点可分为m(m>0)个互不相交的有限集T1,T2,…,Tm&#…

Leetcode 887. 鸡蛋掉落

文章目录 题目代码&#xff08;9.25 首刷看解析&#xff09; 题目 Leetcode 887. 鸡蛋掉落 代码&#xff08;9.25 首刷看解析&#xff09; class Solution { public:unordered_map<int, int> memo;int superEggDrop(int K, int N) {return dp(K, N);}int dp(int k, int…

【用MyEclipse2017创建一个Hibernate Web登录项目】

用MyEclipse2017创建一个Hibernate Web登录项目 靠手工实现JavaBean/JDBC的系统 Hibernate自动生成了所需的JavaBean&#xff0c;也取代了原JDBC的功能&#xff01;可简单形象地理解为&#xff1a;Hibernate&#xff1d;JavaBean&#xff0b;JDBC 1、创建一个Java EE Web项目…

【面试题】JS的14种去重方法,看看你知道多少(包含数组对象去重)

前端面试题库 &#xff08;面试必备&#xff09; 推荐&#xff1a;★★★★★ 地址&#xff1a;前端面试题库 表妹一键制作自己的五星红旗国庆头像&#xff0c;超好看 前言 JavaScript数组是一种特殊的对象&#xff0c;用于保存多个值在一个连续的内存空间中&…

Linux 进程层次分析

Linux 进程组 每个进程都有一个进程组号 (PGID) 进程组&#xff1a;一个或多个进程的集合 (集合中的进程并不孤立)进程组中的进程通常存在父子关系&#xff0c;兄弟关系&#xff0c;或功能相近 进程组可方便进程管理 (如&#xff1a;同时杀死多个进程&#xff0c;发送一个信…

第57篇-某手did滑块流程分析【2023-09-25】

声明:该专栏涉及的所有案例均为学习使用,严禁用于商业用途和非法用途,否则由此产生的一切后果均与作者无关!如有侵权,请私信联系本人删帖! 文章目录 一、前言二、滑块流程分析三、参数分析1.verifyParam参数分析2.c参数分析四、captchaToken激活五、流程整理一、前言 我…

vSAN数据恢复-vSAN架构下虚拟机磁盘组件出现问题的数据恢复案例

vsan数据恢复环境&#xff1a; 一套VMware vSAN超融合基础架构&#xff0c;全闪存&#xff0c;开启压缩重删。共11台服务器节点。每台服务器节点上配置1块PCIE固态硬盘和8-10块SSD固态硬盘。 每个服务器节点上创建1个磁盘组&#xff0c;每个磁盘组将1个PCIE固态硬盘识别为2个硬…

去重的数组模拟

输入&#xff1a; 10 20 40 32 67 40 20 89 300 400 15 输出&#xff1a; 8 15 20 32 40 67 89 300 400 #include<bits/stdc.h> using namespace std;typedef long long ll;const int N 2e55;int main(){int n;cin>>n;int a[N];for(int i1;i<n;i){cin>>a…

数据统计和分析怎么做?spss如何做好数据分析?

为什么要做数据分析?数据分析有什么意义&#xff1f;数据分析可以为企业和组织提供多方面的帮助&#xff0c;包括提高工作效率、优化业务流程、升职加薪、提高管理效率以及改进汇报效果等方面。 IBM SPSS Statistics 26是一款功能强大的统计分析软件&#xff0c;适用于Mac操作…

【办公自动化】使用Python一键往Word文档的表格中填写数据(文末送书)

&#x1f935;‍♂️ 个人主页&#xff1a;艾派森的个人主页 ✍&#x1f3fb;作者简介&#xff1a;Python学习者 &#x1f40b; 希望大家多多支持&#xff0c;我们一起进步&#xff01;&#x1f604; 如果文章对你有帮助的话&#xff0c; 欢迎评论 &#x1f4ac;点赞&#x1f4…

DirectX 12 学习笔记 -结构

上篇文章我们创建了一个窗口&#xff0c;看样子还不难&#xff0c;我们继续玩DX12 引用一些文件 头文件 #include <d3d12.h> #include <dxgi1_4.h> #include <wrl.h>还有一些库 #pragma comment(lib, "d3d12.lib") #pragma comment(lib, "…

【择校宝典】80所院校择校汇总更新!

截止目前为止&#xff0c;我已发布近。80所院校的择校分析&#xff0c;102所名校真题。139所重点勾画 哈喽大家好&#xff0c;之前答应大家&#xff0c;在报考之前汇总择校分析。告诉大家我发现的规律&#xff0c;辅助大家报考&#xff0c;绝不食言&#xff01; 千呼万唤始出…

【好玩的开源项目】Windows 12网页版的部署与使用体验

【好玩的开源项目】Windows 12网页版的部署与使用体验 一、Windows 12网页版介绍1.1 Windows 12网页版简介1.2 项目地址 二、本次实践介绍2.1 本地环境规划2.2 本次实践介绍 三、安装httpd软件3.1 检查yum仓库3.2 安装httpd软件3.3 启动httpd服务3.4 查看httpd服务3.5 防火墙和…

历史高频行情数据存储最佳实践:DolphinDB Array Vector 使用指南

越来越多的机构使用 L1/L2 的快照行情数据进行量化金融的研究。作为一个高性能时序数据库&#xff0c;DolphinDB 非常适合存储和处理海量的历史高频行情数据。针对快照数据包含多档位信息的特点&#xff0c;DolphinDB 研发了一种方便、灵活且高效的数据结构——Array Vector&am…

【李沐深度学习笔记】基础优化方法

课程地址和说明 基础优化方法p2 本系列文章是我学习李沐老师深度学习系列课程的学习笔记&#xff0c;可能会对李沐老师上课没讲到的进行补充。 基础优化方法 在讲具体的线性回归实现之前&#xff0c;要先讲一下基础的优化模型的方法 梯度下降 当模型没有显示解&#xff08…

比较身高-第15届蓝桥杯第一次STEMA测评Scratch真题精选

[导读]&#xff1a;超平老师的《Scratch蓝桥杯真题解析100讲》已经全部完成&#xff0c;后续会不定期解读蓝桥杯真题&#xff0c;这是Scratch蓝桥杯真题解析第153讲。 第15届蓝桥杯第1次STEMA测评已于2023年8月20日落下帷幕&#xff0c;编程题一共有6题&#xff0c;分别如下&a…

【HUAWEI】trunk和access两种链路模式实例

目录 &#x1f96e;0.写在前面 &#x1f363;基本操作命令 &#x1f363;常见视图命令 &#x1f96e;1、trunkaccess &#x1f363;1.1、拓扑图 &#x1f363;1.2、操作思路 &#x1f363;1.3、配置操作 &#x1f361;1.3.1、LSW1配置 &#x1f361;1.3.2、LSW2配置 &#x1f3…