【canal系】canal集群异常Could not find first log file name in binary log index file

news2025/4/16 7:48:40

这里先说明下这边使用的canal版本号为1.1.5

在描述这个问题之前，首先需要简单对于canal架构有个基本的了解

canal工作原理

  • canal 模拟 MySQL slave 的交互协议，伪装自己为 MySQL slave ，向 MySQL master 发送dump 协议
  • MySQL master 收到 dump 请求，开始推送 binary log 给 slave (即 canal )
  • canal 解析 binary log 对象(原始为 byte 流)

canal环境的几个组件

canal-server（canal-deploy）：直接监听MySQL的binlog，把自己伪装成MySQL的从库，只负责接收数据，并不做处理。

canal-adapter：相当于canal的客户端，会从canal-server中获取数据，然后对数据进行同步，可以同步到MySQL、Elasticsearch和HBase等存储中去。

canal-admin：为canal提供整体配置管理、节点运维等面向运维的功能，提供相对友好的WebUI操作界面，方便更多用户快速和安全的操作。

canal集群搭建架构

这里找了几篇

Canal Admin 高可用集群使用教程-腾讯云开发者社区-腾讯云

搭建canal集群环境

 相关集群搭建的文章，可以大致了解到对应集群环境，需要的组件以及作用

Could not find first log file name in binary log index file

2023-09-07 16:15:57.322 [destination = example , address = /192.168.6.168:3306 , EventParser] WARN  c.a.o.c.p.inbound.mysql.rds.RdsBinlogEventParserProxy - ---> find start position successfully, EntryPosition[included=false,journalName=mysql-bin.000192,position=270118817,serverId=101,gtid=,timestamp=1662998460000] cost : 394ms , the next step is binlog dump
2023-09-07 16:15:57.334 [destination = example , address = /192.168.6.168:3306 , EventParser] ERROR c.a.o.canal.parse.inbound.mysql.dbsync.DirectLogFetcher - I/O error while reading from client socket
java.io.IOException: Received error packet: errno = 1236, sqlstate = HY000 errmsg = Could not find first log file name in binary log index file
	at com.alibaba.otter.canal.parse.inbound.mysql.dbsync.DirectLogFetcher.fetch(DirectLogFetcher.java:102) ~[canal.parse-1.1.5.jar:na]
	at com.alibaba.otter.canal.parse.inbound.mysql.MysqlConnection.dump(MysqlConnection.java:238) [canal.parse-1.1.5.jar:na]
	at com.alibaba.otter.canal.parse.inbound.AbstractEventParser$1.run(AbstractEventParser.java:262) [canal.parse-1.1.5.jar:na]
	at java.lang.Thread.run(Thread.java:748) [na:1.8.0_181]
2023-09-07 16:15:57.335 [destination = example , address = /192.168.6.168:3306 , EventParser] ERROR c.a.o.c.p.inbound.mysql.rds.RdsBinlogEventParserProxy - dump address /192.168.6.168:3306 has an error, retrying. caused by 
java.io.IOException: Received error packet: errno = 1236, sqlstate = HY000 errmsg = Could not find first log file name in binary log index file
	at com.alibaba.otter.canal.parse.inbound.mysql.dbsync.DirectLogFetcher.fetch(DirectLogFetcher.java:102) ~[canal.parse-1.1.5.jar:na]
	at com.alibaba.otter.canal.parse.inbound.mysql.MysqlConnection.dump(MysqlConnection.java:238) ~[canal.parse-1.1.5.jar:na]
	at com.alibaba.otter.canal.parse.inbound.AbstractEventParser$1.run(AbstractEventParser.java:262) ~[canal.parse-1.1.5.jar:na]
	at java.lang.Thread.run(Thread.java:748) [na:1.8.0_181]
2023-09-07 16:15:57.336 [destination = example , address = /192.168.6.168:3306 , EventParser] ERROR com.alibaba.otter.canal.common.alarm.LogAlarmHandler - destination:example[java.io.IOException: Received error packet: errno = 1236, sqlstate = HY000 errmsg = Could not find first log file name in binary log index file
	at com.alibaba.otter.canal.parse.inbound.mysql.dbsync.DirectLogFetcher.fetch(DirectLogFetcher.java:102)
	at com.alibaba.otter.canal.parse.inbound.mysql.MysqlConnection.dump(MysqlConnection.java:238)
	at com.alibaba.otter.canal.parse.inbound.AbstractEventParser$1.run(AbstractEventParser.java:262)
	at java.lang.Thread.run(Thread.java:748)

因为集群中环境中，canal server会在zookeeper中记录下当前最后一次消费成功的binlog位点，所以我们需要删除zookeeper的节点信息，客户端连接zookeeper删除指定目录数据 

/otter/canal/destinations/{instance的名字}/1001/cursor

重新启动canal，验证下是否已经恢复表同步

我这边删除后，使用canal-admin工具查看Instance 实例，查看日志又出现了其他的错误

com.alibaba.otter.canal.parse.exception.CanalParseException: column size is not match for table

com.alibaba.otter.canal.parse.exception.CanalParseException: column size is not match for table

com.alibaba.otter.canal.parse.exception.CanalParseException: column size is not match for table出现这种错误，会导致解析线程被阻塞，也就是binlog事件不会再接收和解析 

Caused by: com.alibaba.otter.canal.parse.exception.CanalParseException: column size is not match for table:mx_oms.om_logistics_task_header,138 vs 132
2023-09-07 17:38:46.312 [destination = example , address = /192.168.6.168:3306 , EventParser] ERROR com.alibaba.otter.canal.common.alarm.LogAlarmHandler - destination:example[com.alibaba.otter.canal.parse.exception.CanalParseException: com.alibaba.otter.canal.parse.exception.CanalParseException: parse row data failed.
Caused by: com.alibaba.otter.canal.parse.exception.CanalParseException: parse row data failed.
Caused by: com.alibaba.otter.canal.parse.exception.CanalParseException: column size is not match for table:mx_oms.om_logistics_task_header,138 vs 132

 第一反应，感觉和我们的table 元数据内容相关，回想之前有个地方好像是有配置table元数据信息

登录canal-admin界面,可以看到有个H2的开源的轻量级数据库存储了和表结构相关的数据

这个也是为了解决canal上一版本存在的表结构一致性的问题

当然，这里需要插一嘴，如果是搭建canal 集群，这里使用tsdb来支持ddl表结构变更一致性，我们一定需要使用mysql来存储。因为我排查的这边集群竟然是关闭了该配置

比如使用下面的tsdb配置

canal.instance.tsdb.enable=true
canal.instance.tsdb.url=jdbc:mysql://192.168.6.168:3306/canal_manager
canal.instance.tsdb.dbUsername=xxxxx
canal.instance.tsdb.dbPassword=xxxxx
canal.instance.tsdb.spring.xml = classpath:spring/tsdb/mysql-tsdb.xml

进入canal-server的安装目录，docker容器的话进入/home/admin/canal-server/conf/example 这个目录下面

删除里面h2.开头的文件，然后再重启下canal-server

再测试了一把表同步，果然终于数据同步成功了

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/990755.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

const的值可不可以被更改

const的值可不可以被更改

总结： 当const定义的常量是基本数据类型的时候不可以被更改 当const定义的常量是基本数据类型的时候不可以被更改 const定义的常量实际上是栈内存地址中的保存的值，const常量的值不可以被更改就是栈内存中保存的数据不可以被更改。基本数据类型直接存储在…
阅读更多...
ARM+Codesys runtime核心板+底板解决方案

ARM+Codesys runtime核心板+底板解决方案

产品特点： 丰富的通讯接口，满足多种场合控制和通讯需求 四核工业级处理器，高性能，低功耗，高可靠性 机身无风扇设计，外壳小巧 搭载内核 100% 自主化大型实时操作系统 SylixOS，支持 POSIX …
阅读更多...
如何在 Ubuntu 上安装 Nagios？

如何在 Ubuntu 上安装 Nagios？

Nagios 的功能 Nagios 的一些关键功能包括： 主机和服务监控： Nagios 允许您使用提供实时状态数据的插件来监控主机（可以是物理机或虚拟机）以及 HTTP、SSH 和 SMTP 等服务。此功能使您能够全面了解整个基础设施的运行状况和可用性…
阅读更多...
Mac版本破解Typora，解决Mac安装软件的“已损坏，无法打开。 您应该将它移到废纸篓”问题

Mac版本破解Typora，解决Mac安装软件的“已损坏，无法打开。 您应该将它移到废纸篓”问题

一、修改配置文件 首先去官网选择mac版本下载安装 typora下载 然后打开typora包内容找到 /Applications/Typora.app/Contents/Resources/TypeMark/ 编辑器打开上面文件夹，这里我拉到vscode 找到page-dist/static/js/Licen..如下图 输入 hasActivated"…
阅读更多...
Main()函数的前世今生

Main()函数的前世今生

在开始分析程序之前，我们第一个要解决的问题，就是如何定位到main函数，想要从二进制逆向的角度分析出main函数，就必须要了解正向的代码下main函数的所有的细节和特 征。毕竟逆向的本质就是正向。 调用main()堆栈 样例代码 #incl…
阅读更多...
【云原生】Kubeadmin安装k8s集群

【云原生】Kubeadmin安装k8s集群

目录 前言： 一 环境部署 1.1 服务器部署功能 1.2 环境准备（所有节点） 二 安装docker（所有节点） 三 所有节点安装kubeadm，kubelet和kubectl 3.1 定义kubernetes源 3.2 开机自启kubelet 四 部署K8S集…
阅读更多...
ipad协议最新版

ipad协议最新版

个人微信号的二次开发可以包括但不限于以下方面： 自定义菜单：根据个人需求设置自定义，方便快速访问常用功能或链接。 消息管理：通过开发接口，实现消息的自动回复、关键词匹配等功能，提供更好的用户体验。…
阅读更多...
国产SSD的0e可靠性问题如何解决？

国产SSD的0e可靠性问题如何解决？

最近有粉丝在后台私信询问过程NAND的0e问题，觉得有必要跟大家聊聊小编的一些看法和SSD选购相关的注意事项。 说实话，小编看到0e这个词还一时间还有点恍惚了，0e是啥，我还搜索了一下，发现还挺多的。主要是长江存储和三星的词条。 点开才发现，原来0e是Media Error啊，恕我孤…
阅读更多...
软件测试：黑盒测试用例的四种设计方法

软件测试：黑盒测试用例的四种设计方法

一、输入域测试用例设计方法 输入域测试法是一种综合考虑了等价类划分、边界值分析等方法的综合方法，针对输入域测试法中可能出现的各种情况，输入域测试法主要考虑三个方面：　 (1)极端测试(ExtremalTesting)，要求在输入域中选择测…
阅读更多...
【计算机基础知识10】解析黑窗口CMD：认识CMD及常见命令

【计算机基础知识10】解析黑窗口CMD：认识CMD及常见命令

目录 一、前言 二、CMD的基本知识 三、CMD常见命令分类 1. 文件和目录管理命令 1.1 列出文件和目录：dir 1.2 创建目录：mkdir 1.3 删除目录：rmdir 1.4 复制文件或目录：copy 1.5 移动文件或目录：move 2. 系统信…
阅读更多...
容器编排学习（七）控制器介绍与使用

容器编排学习（七）控制器介绍与使用

一 控制器 控制器是 k8s内置的管理工具。可以帮助用户实现 Pod的自动部署、自维护、扩容、滚动更新等功能的自动化程序。 为什么要使用控制器? 有大量的 Pod需要维护管理需要维护 Pod的健康状态控制器可以像机器人一样可以替用户完成维护管理的工作 二 Deployment 1 概…
阅读更多...
爬虫逆向实战(31)-某花顺行情中心(cookie、补环境)

爬虫逆向实战(31)-某花顺行情中心(cookie、补环境)

一、数据接口分析 主页地址：某花顺 1、抓包 通过抓包可以发现数据接口是/page/2/ajax/1/ 2、判断是否有加密参数 请求参数是否加密？ 无请求头是否加密？ 通过查看“标头”可以发现有一个Hexin-V加密参数，但是这个参数的值与c…
阅读更多...
搭建自己的OCR服务，第二步：PaddleOCR环境安装

搭建自己的OCR服务，第二步：PaddleOCR环境安装

PaddleOCR环境安装，遇到了很多问题，根据系统不同问题也不同，不要盲目看别人的教程，有的教程也过时了，根据实际情况自己调整。 我这边目前是使用windows 10系统CPU python 3.7 搭建。 熟悉OCR的人应该知道&#xff0…
阅读更多...
PostgresSQL----基于Kubernetes部署PostgresSQL

PostgresSQL----基于Kubernetes部署PostgresSQL

【PostgresSQL----基于Kubernetes部署PostgresSQL】 文章目录 一、创建SC、PV和PVC存储对象1.1 准备一个nfs服务器1.2 编写SC、PV、PVC等存储资源文件1.3 编写部署PostgresSQL数据库的资源声明文件 二、部署PostgresSQL2.1 部署 PV、PVC等存储对象2.2 部署PostgresSQL数据库2.3…
阅读更多...
SpringMVC之前端增删改查实现

SpringMVC之前端增删改查实现

SpringMVC是一个基于MVC架构的框架&#xff0c;它可以帮助我们实现前后端的分离&#xff0c;同时也能很好地支持前端的增删改查操作。 配置 Cloudjun <?xml version"1.0" encoding"UTF-8" ?><taglib xmlns"http://java.sun.com/xml/ns/j…
阅读更多...
Spring 家族框架常用注解

Spring 家族框架常用注解

反射相关 Target Spring核心注解&#xff0c;指定自定义注解MyAnno可以应用到的java类型,从而提供编译时的类型检查和错误检测 指定类型时用枚举类ElementType下的具体枚举值&#xff0c;包括&#xff1a;ElementType.TYPE&#xff1a;表示MyAnno适用于类、接口、枚举。Eleme…
阅读更多...
Java多线程（一）多线程概要

Java多线程（一）多线程概要

多线程概要 多线程概要 什么是进程&#xff1f; 进程的特点&#xff1a; 什么是多线程 多线程编程&#xff1a; 创建线程 1.继承 Thread 类 2.实现 Runnable 接口 多线程的优势 中断问题&#xff1a; 1. 通过共享的标记来进行沟通 2. 调用 interrupt() 方法来通知 …
阅读更多...
flutter开发实战-实现自定义bottomNavigationBar样式awesome_bottom_bar

flutter开发实战-实现自定义bottomNavigationBar样式awesome_bottom_bar

flutter开发实战-实现自定义bottomNavigationBar样式awesome_bottom_bar 在开发过程中&#xff0c;需要自定义bottomNavigationBar样式&#xff0c;可以自定义实现&#xff0c;这里使用的是awesome_bottom_bar库 一、awesome_bottom_bar 在pubspec.yaml中引入awesome_bottom_…
阅读更多...
滑动谜题 -- BFS

滑动谜题 -- BFS

滑动谜题 输入&#xff1a;board [[4,1,2],[5,0,3]] 输出&#xff1a;5 解释&#xff1a; 最少完成谜板的最少移动次数是 5 &#xff0c; 一种移动路径: 尚未移动: [[4,1,2],[5,0,3]] 移动 1 次: [[4,1,2],[0,5,3]] 移动 2 次: [[0,1,2],[4,5,3]] 移动 3 次: [[1,0,2],[4,5,3]…
阅读更多...
前端实现展开收起的效果 (react)

前端实现展开收起的效果 (react)

需求背景&#xff1a;需要实现文本的展开收起效果&#xff0c;文本是一行一行的&#xff0c;数据格式是数组结构。 如图所示&#xff08;图片已脱敏&#xff09; 简单实现&#xff1a;使用一个变量控制展开收起效果。 展开收起逻辑部分&#xff08;react&#xff09; const […
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023