mysql从传统模式切到GTID模式后启动主从,主从异常报错1236

news2025/1/21 12:18:55

一 前言
  MySQL 的主从复制作为一项高可用特性,用于将主库的数据同步到从库,在维护主从复制数据库集群的时候,作为专职的MySQL DBA,笔者相信大多数人都会遇到“Got fatal error 1236 from master when reading data from binary log” 这类的报错/报警。本文整理了常见的几种 error 1236 报错,并给出相应的解决方法,有所不足之处,当然也希望各位读者朋友指正。

二 常见的error 1236 报错
2.1 logevent超过max_allowed_packet 大小

Got fatal error 1236 from master when reading data from binary log: 'log event entry exceeded max_allowed_packet; Increase max_allowed_packet on master; the start event position from 'mysql-bin.006730' at 290066246, the last event was read from '/u01/my3309/log/mysql-bin.006730 

原因
   此类报错和max_allowed_packet相关。首先max_allowed_packet控制着主从复制过程中,一个语句产生的二进制binlog event大小,它的值必须是1024的倍数 。出现此类错误的常见原因是
 1 该参数在主备库的配置大小不一样,主库的配置值大于从库的配置值。 从主库传递到备库的binlog event大小超过了主库或者备库的max_allowed_packet大小。
 2 主库有大量数据写入时,比如在主库上执行 laod data,insert into .... select 语句,产生大事务。
当主库向从库传递一个比从库的max_allowed_packet 大的packet ,从库接收该packet失败,并报 “log event entry exceeded max_allowed_packet“。
如何解决
 需要确保主备配置一样,然后尝试调大该参数的值。

set global max_allowed_packet =1*1024*1024*1024; stop slave;start slave 


另外,5.6 版本中的 slave_max_allowed_packet_size 参数控制slave 可以接收的最大的packet 大小,该值通常大于而且可以覆盖 max_allowed_packet 的配置, 进而减少由于上面的问题导致主从复制中断。
2.2 slave 在主库找不到binlog文件 

Got fatal error 1236 from master when reading data from binary log: 


原因
 该错误发生在从库的io进程从主库拉取日志时,发现主库的mysql_bin.index文件中第一个文件不存在。出现此类报错可能是由于你的slave 由于某种原因停止了好长一段是时间,当你重启slave 复制的时候,在主库上找不到相应的binlog ,会报此类错误。或者是由于某些设置主库上的binlog被删除了,导致从库获取不到对应的binglog file。
如何解决
 1 为了避免数据丢失,需要重新搭建slave 。
 2 注意主库binlog的清理策略,选择基于时间过期的删除方式还是基于空间利用率的删除方式。
  不要使用rm -fr 命令删除binlog file,这样不会同步修改mysql_bin.index 记录的binlog 条目。在删除binlog的时候确保主库保留了从库 show slave status 的Relay_Master_Log_File对应的binlog file。

2.3 主库空间问题,日志被截断

Got fatal error 1236 from master when reading data from binary log: 'binlog truncated in the middle of event; consider out of disk space on master; the start event position from 'mysql-bin.006730' at 290066434, the last event was read from '/u01/my3309/log/mysql-bin.006730 

原因
 该错误和主库的空间问题和sync_binlog配置有关,当主库 sync_binlog=N不等于1且磁盘空间满时,MySQL每写N次binary log,系统才会同步到磁盘,但是由于存储日志的磁盘空间满而导致MySQL 没有将日志完全写入磁盘,binlog event被截断。slave 读取该binlog file时就会报错"binlog truncated in the middle of event;"
 当sync_binlog 的默认值是0,像操作系统刷其他文件的机制一样,MySQL不会同步到磁盘中去而是依赖操作系统来刷新binary log。
 当sync_binlog =N (N>0) ,MySQL 在每写 N次 二进制日志binary log时,会使用fdatasync()函数将它的写二进制日志binary log同步到磁盘中去。
如何解决
 在从库重新指向到主库下一个可用的binlog file 并且从binlog file初始化的位置开始

stop slave; change master to master_log_file='mysql-bin.006731', master_log_pos=4;start slave; 


2.4 主库异常断电,从库读取错误的position

120611 20:39:38 [ERROR] Error reading packet from server: Client requested master to start replication from impossible position ( server_errno=1236)  120611 20:39:38 [ERROR] Slave I/O: Got fatal error 1236 from master when reading data from binary log: 'Client requested master to start replication from impossible position', Error_code: 1236120611 20:39:38 [Note] Slave I/O thread exiting, read up to log 'mysql-bin.000143', position 664526789 

【原因】
 该问题也是和sync_binlog=N不等于1有关,多出现在主机异常crash ,比如磁盘损坏,raid 卡损坏,或者主机异常掉电导致binlog 未及时同步到磁盘。从库读取了主库binlog file中的不存在的binlog position ,一般比binlogfile 的end position 的值还要大。
如何解决
1 在从库重新指向到主库下一个可用的binlog file 并且从binlog file初始化的位置开始

stop slave; change master to master_log_file='mysql-bin.000144', master_log_pos=4;start slave; 

2 主备库设置 sync_binlog=1,但是设置为1的时候,会带来性能下降。 

方法一:

1、报错如下:

Got fatal error 1236 from master when reading data from binary log: 'The slave is connecting using CHANGE MASTER TO MASTER_AUTO_POSITION=1, but the master has purged binary logs containing GTIDs that the slave requires.'

2、问题解决:

  查看mastergtid_purged

 show global variables like '%gtid%';
 找到gtid_purged的值

3、从库执行:

mysql> stop slave;

mysql> reset slave;

mysql> reset master;

mysql>  set @@global.gtid_purged='你的GITD值';

mysql> change master to master_host='MASTER_IP',master_port=PORT,master_user='USERNAME',master_password='PASSWORD',master_auto_position=1;

mysql> start slave;

mysql> show slave status \G;

思考:
1、规范搭建主从,主库的数据与从库数据在初始化主从时候务必保持一致。
2、设置从库的super_read_only =on ;, read_only=on;,当主从切换时候在切换时候再把super_read_only =off, ,read_only=off;
3、限制mysql 应用用户权限只能对应用库对象进行增删改查。

方法二:

一、错误原因分析

错误信息如下:

Last_IO_Errno: 1236

                Last_IO_Error: Got fatal error 1236 from master when reading data from binary log: 'The slave is connecting using CHANGE MASTER TO MASTER_AUTO_POSITION = 1, but the master has purged binary logs containing GTIDs that the slave requires.'

wKiom1hTZoLgihvpAAAilkspyr0737.png

一般两种情况会出现以上现象

1.在主库上手动执行清除二进制日志文件

2.主库重启,重新同步时

二、解决方法:

1.在主库上执行以下命令,查询gtid_purged,记录下改值

mysql> show global variables like '%gtid%'\G

wKiom1hTZpKCU8WoAABPgzDyrTQ054.png

2.在从库上执行以下命令,查询已经执行过的gtid即gtid_executed,记录下主库的值,本机的不需要

wKioL1hTZp-DQZMvAAAspE0SKJ8150.png

3.在从库上执行以下命令停止同步线程及重置同步相关信息

mysql> stop slave;

mysql> reset slave;

mysql> reset master;

4.在从库上设置gtid_purged

该值有两个来源,一是在主库上查询的gtid_purged,二是在从库上查询的已经执行过的gtid_executed值(本机的就不需要,主库上gtid)

注意:一定记得加上从库上已经执行过的gtid,若只设置了主库上的gtid_purged,此时从库会重新拉取主库上所有的二进制日志文件,同步过程会出现其他错误,导致同步无法进行

mysql> set @@global.gtid_purged='4fa9ab33-3077-11e6-8ee6-fcaa14d0751b:1-18240458,6e41a42e-8529-11e6-b72e-fcaa14d07546:1-56604052:56604054-56605629:56605631-56871196,9850e381-b601-11e6-8e46-fcaa14d07546:1-3126210,c5cdcae2-9cb0-11e6-909c-fcaa14d0751b:1-1189,10a59961-c02d-11e6-a2de-fcaa14d07546:1-13381418';

注意:设置gtid_purged值时,gtid_executed值必须为空否则报错,该值清空的方法就是reset  master命令

执行完,再次查看相关信息

wKiom1hTZq6Byg8cAABpMAp-ufo118.png

5.重新开启同步

mysql> change master to master_host='192.168.1.15',master_port=3306,master_user='repl',master_password='xxx',master_auto_position=1;

mysql>  start slave;

当从库追赶上主库,此时测试主从数据是否一致,测试结果一切正常

mk-table-checksum h=192.168.1.15,u=root,p=xxx,P=3306 h=192.168.1.19,u=root,p=xxxx,P=3307 -d 6coursestudychoose_test | mk-checksum-filter

方法三:mysqlbinlog –no-defaults -v -v –base64-output=decode-rows /data/mysql/mysql-bin.000014 |grep -A 10 1708 > 1.log

Last_SQL_Errno: 1032(从库少数据,主库更新的时候,从库报错)

Last_SQL_Error: 
Could not execute Update_rows event on table test.t; Can’t find record 
in ‘t’, Error_code: 1032; handler error HA_ERR_KEY_NOT_FOUND; the 
event’s master log mysql-bin.000014, end_log_pos 1708

解决问题的办法:根据报错信息,我们可以获取到报错日志和position号,然后就能找到主库执行的哪条sql,导致的主从报错。

在主库执行:

/usr/local/mysql/bin/mysqlbinlog –no-defaults -v -v –base64-output=decode-rows /data/mysql/mysql-bin.000014 |grep -A 10 1708 > 1.log

cat 1.log

#170720 14:20:15 server id 3 end_log_pos 1708 CRC32 0x97b6bdec Update_rows: table id 113 flags: STMT_END_F 
### UPDATE `test`.`t` 
### WHERE 
### @1=4 /* INT meta=0 nullable=0 is_null=0 */ 
### @2=’dd’ /* VARSTRING(60) meta=60 nullable=1 is_null=0 */ 
### SET 
### @1=4 /* INT meta=0 nullable=0 is_null=0 */ 
### @2=’ddd’ /* VARSTRING(60) meta=60 nullable=1 is_null=0 */ 
# at 1708 
#170720 14:20:15 server id 3 end_log_pos 1739 CRC32 0xecaf1922 Xid = 654 
COMMIT/*!*/; 
DELIMITER ; 
# End of log file 
ROLLBACK /* added by mysqlbinlog */; 
/*!50003 SET COMPLETION_TYPE=@OLD_COMPLETION_TYPE*/; 
/*!50530 SET @@SESSION.PSEUDO_SLAVE_MODE=0*/;

获取到SQL语句之后,就可以在从库反向执行SQL语句。把从库缺少的SQL语句补全,解决报错信息。

在从库依次执行:

mysql> insert into t (b) values (‘ddd’); 
Query OK, 1 row affected (0.01 sec) 
mysql> stop slave; 
Query OK, 0 rows affected (0.00 sec) 
mysql> exit 
Bye 
[root@node4 bin]# ./pt-slave-restart -uroot -proot123 
2017-07-20T14:31:37 p=…,u=root node4-relay-bin.000005 283 1032

 方法四

MYSQL 报错 LAST_SQL_ERRNO: 1032

show slave status \G

MySQL 报错 Last_SQL_Errno: 1032

 
  1. Last_SQL_Errno: 1032

  2. Last_SQL_Error: Could not execute Update_rows event on table 35lq_db.dr_planstats_h; Can't find record in 'dr_planstats_h', Error_code: 1032; handler error HA_ERR_KEY_NOT_FOUND; the event's master log mysql-bin.000010, end_log_pos 317865

MySQL 报错 Last_SQL_Errno: 1032

end_log_pos 有了它,根据pos值,在主库上直接就能找到,找到那条数据,反做(变成insert)

/usr/local/mysql/bin/mysqlbinlog  -v --base64-output=DECODE-ROWS /data/mysql/binlog/mysql-bin.000010 | grep -A '10' 317865

MySQL 报错 Last_SQL_Errno: 1032

mysql> select * from 35lq_db.dr_planstats_h where id=39222;

MySQL 报错 Last_SQL_Errno: 1032

知道是那条数据就好办了,

我通过 Navicat for MySQL 把这个表导出,
选择SQL脚本文件
勾选 ‘包含列的标题’
点击‘开始’ 然后就可以看到导出的sql文件位置
使用notepad++ 打开导出的sql文件
找到sql语句,在slave上插入,启动slave。

MySQL 报错 Last_SQL_Errno: 1032

MySQL 报错 Last_SQL_Errno: 1032

MySQL 报错 Last_SQL_Errno: 1032

MySQL 报错 Last_SQL_Errno: 1032

使用NOTEPAD++ 打开导出的SQL文件

MySQL 报错 Last_SQL_Errno: 1032

INSERT INTO `dr_planstats_h` (`id`, `day`, `hours`, `uid`, `planid`, `money`, `adstypeid`, `ipnums`, `views`, `clicks`) VALUES (39222, '2018-7-18', 11, 35, 65, 651.5340, 2, 0, 0, 0);

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/895448.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

校园跑腿市场行情分析

随着社会的发展和人们生活节奏的加快,校园跑腿市场逐渐兴起并呈现出蓬勃发展的态势。在这个快节奏的时代,越来越多的学生需要在繁忙的学业之外完成各种任务,而校园跑腿服务正是应运而生,为他们提供了便利和时效。本文将从需求方面…

「追风少年」——迈克尔·詹姆斯·欧文要来中国啦!

亚运会前夕,8月23日~25日,世界著名球星迈克尔詹姆斯欧文(Michael James Owen)将来到杭州和球迷朋友们一起开展签售会以及举办他在中国的直播首秀,届时将有超头部主播加持,享誉世界的「追风少年」将在亚运会…

【vue】项目基础环境搭建、css样式重置与公用

nodejs环境 nodejs是当下前端工程化开发必不可少的环境, 使用 nodejs的 npm功能来管理依赖包 查看node 和 npm的版本 node -v #查看node版本npm -v #查看npm版本 git版本控制 git版本控制工具是目前最为流行的分布式版本管理工具,代码的**提交, 检出, 日志**, 都需要通过git完…

深度分析纳斯达克上市公司慧择的竞争优势和投资价值

来源:猛兽财经 作者:猛兽财经 一、保险行业的现状、竞争与机遇 在疫情期间,很多行业的经营理念与经营方式,甚至客户行为、客户需求都发生了变化,进而催生出新的机遇。保险行业亦是如此,受疫情影响&#xf…

opencv-python使用鼠标点击图片显示该点坐标和像素值IPM逆透视变换车道线二值化处理

OpenCV的鼠标操作 实现获取像素点的功能主要基于OpenCV的内置函数cv2.setMouseCallback(),即鼠标事件回调 setMouseCallback(winname, onMouse,userdata0) winname: 接收鼠标事件的窗口名称 onMouse: 处理鼠标事件的回调函数指针 userdata: 传给回调函数的用户数据…

Google API实战与操作

Google api实战与操作 一. Google API 权限配置二. 操作API2.1 引入依赖2.2 导入代码 Google官网 实现一套用java程序控制GoogleAPI实现自动生成监控日报等功能,具体能操作Gsheet及document 一. Google API 权限配置 打开上面官网,新建项目 启用API 搜索sheet及document …

解决umi.js或dva.js中effect函数发生错误dispatch失效的问题

问题背景 在项目的model文件中,通常在effect中进行网络请求等异步操作,当网络错误或者请求结果错误时,以及代码语法错误时,无论是否主动使用throw语句抛出错误,下一次再调用dispatch访问effect中的函数时,…

GRPC 学习记录

GRPC 安装 安装 grpcio、grpcio-tools、protobuf、 pip install grpcio -i https://pypi.tuna.tsinghua.edu.cn/simple pip install grpcio-tools -i https://pypi.tuna.tsinghua.edu.cn/simple pip install protobuf -i https://pypi.tuna.tsinghua.edu.cn/simple常用类型 p…

Spring系列篇 -- Bean的生命周期

目录 经典面试题目: 一,Bean的生命周期图 二,关于Bean的生命周期流程介绍: 三,Bean的单例与多例模式 总结: 前言:今天小编给大家带来的是关于Spring系列篇中的Bean的生命周期讲解。在了解B…

Wlan安全——认证与加密方式(WPA/WPA2)

目录 终端认证技术 WEP认证 PSK认证 802.1x认证与MAC认证 Portal认证 数据加密技术 WEP加密 TKIP加密 CCMP加密 TKIP和CCMP生成密钥所需要的密钥信息 802.11安全标准 WEP共享密钥认证、加密工作原理 WEP共享密钥认证 WEP加解密过程 PSK认证以及生成动态密钥的工…

allegro更新封装如何操作

1、打开brd文件,然后place->update symbols 2、找到要更新的器件

速卖通、阿里国际站需不需要测评?补单或许能带来意想不到的效果

今天和各位聊聊速卖通和阿里国际站,不管新卖家或者老买家都会遇到的各种问题。 首先聊一下新卖家,新卖家店铺刚开,产品先尽可能的去铺开,把店铺规划好,然后就是坐等开单,前期产品上传上去之后是不是感觉流…

比特币凌晨短线暴跌,17万多头爆仓近10亿美元!原因何在?

凌晨5:30AM左右,加密货币短线暴跌。比特币触及24715美元低点,随后回升至26000美元以上,日内跌幅一度扩大至7%以上。以太坊击穿1500美元,现已回调至1650以上,山寨币也出现集体下跌。 此次下跌使比特币市值自6月16日以来…

Linux系统之安装my-mind思维导图工具

Linux系统之安装my-mind思维导图工具 一、my-mind介绍二、本地环境介绍2.1 本地环境规划2.2 本次实践介绍 三、检查本地环境3.1 检查本地操作系统版本3.2 检查系统内核版本3.3 检查端口占用情况 四、安装httpd4.1 检查本地yum仓库4.2 安装httpd4.3 关闭防火墙和selinux4.4 创建…

C++之atomic_load与atomic_store原子操作实例(一百八十三)

简介: CSDN博客专家,专注Android/Linux系统,分享多mic语音方案、音视频、编解码等技术,与大家一起成长! 优质专栏:Audio工程师进阶系列【原创干货持续更新中……】🚀 人生格言: 人生…

4G电力摄像机如何通过AT指令对接到国网平台呢?

对于针对电网安全运行的迫切需求,”输电线路智能可视化监测系统”被研发并应用,通过视频监控和AI智能分析技术,实现了对输电线路远程视频在线监测、外力破坏智能分析,可实现对输电线路的全天候实时监测和预警,有效保障…

【新知测评实验室】解谜扫描全能王——“智能高清滤镜”黑科技

目录 一、“智能高清滤镜” 原理分析1.1、智能扫描引擎AI-Scan功能拆解1.1.1、**图像感知**1.1.2、场景化决策 1.2、版面还原与识别技术分析1.2.1、元素检测和识别1.2.2、元素聚合1.2.3、版面识别 二、深度测评——“智能高清滤镜”功能2.1、图像处理方面2.2、摩尔纹去除方面2.…

五分钟搭建生鲜蔬果小程序

如今,随着移动互联网的快速发展,小程序已经成为众多企业和商家推广产品和服务的重要工具。而生鲜蔬果行业作为一个常见的消费领域,也开始逐渐转向小程序商城来进行销售和服务。那么,如何从零开始搭建一个生鲜蔬果小程序商城呢&…

电力应用 | Intewell操作系统新疆特变项目应用案例

近日,科东软件Intewell操作系统在新疆特变项目成功应用,该方案保障了变电站的电力设备在高电压下稳定运行,实现变电站的智能化控制,极大程度上节省了人力、物力和财力资源;可实时监控电力设备的异常情况,及…

【MT32F006】MT32F006之PWM控制RGB背光灯

本文最后修改时间:2023年06月07日 一、本节简介 本文介绍如何使用MT32F006使用PWM控制RGB灯显示白光,再加上扩散膜、导光板、反光纸、遮光纸,即可作为LCD的背光。 二、实验平台 库版本:V1.0.0 编译软件:MDK5.37 硬…