canal实战问题汇总分析

news2025/1/16 2:55:28

canal在实战过程经常会遇到这样或者那样的问题,今天我们专门用一篇文章来列举分析一下,比如、JDK版meta.dat 中保存的位点信息和数据库的位点信息不一致本不匹配、bin-log信息消费失败等问题,下面我们开始一一分析:

1、数据库数据改变了,但是canal 客户端没有监听到,比如:

 服务器连接正常,服务端、客户端配置也正常,那问题出在哪啊?有一个细节需要注意到:

数据库点位:

 由于我们在测试验证过程就有meta.dat文件,而且File(mysql-bin.000001)名称中间也换过,因此导致meta.dat 中保存的位点信息和数据库的位点信息不一致,导致canal抓取不到数据库的bin-log数据。

日志验证:

日志报错信息:

 核心日志:

com.alibaba.otter.canal.parse.exception.PositionNotFoundException: can't find start position for promotion
2022-12-26 12:05:27.763 [destination = promotion , address = /127.0.0.1:3306 , EventParser] ERROR com.alibaba.otter.canal.common.alarm.LogAlarmHandler - destination:promotion[com.alibaba.otter.canal.parse.exception.PositionNotFoundException: can't find start position for promotion
]

 解决方案:删除meta.dat文件,重启canal,问题解决;

 2、JDK版本过高问题:

我用canal 版本是1.1.6,JDK是11版本,服务端和客户端启动都会报一种错误:

 canal客户端服务启动也会报类似的错误,发现我的JDK版本是11,有点高了;

解决方案:换成JDK1.8就行了。

3、全量数据同步问题:

有时候我们的需求包含把历史数据也同步过去,这样怎么处理呢?首先我们确保以前的历史数据也开启了bin-log日志,即历史数据的bin-log日志存在,这样我们就可以通过设置点位,即偏移量来处理全量数据了,设置如下:修改instance.properties配置文件

 # mysql日志文件
 canal.instance.master.journal.name=mysql-bin.000001
 # 获取日志的起始位置
 canal.instance.master.position=0
 # 获取日志的起始时间戳
 # canal.instance.master.timestamp=1632881068

同时将同级目录的meta.dat删除,因为这个文件记录canal已经消费的位置等信息,删除后从零开始全量同步数据。

4、

5、

6、

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/117461.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

数据可视化软件有哪些?

随着大数据概念的普及与业务数据的爆炸式增长,越来越多的企业已经不满足于Excel的常规操作。 因为相较于以往PPT/Word/Excel数据汇报的形式而言,数据可视化平台包含了丰富的图表、组件信息,仅用一张屏幕就能够囊括诸多讯息,画面色…

2022全年度休闲食品(零食)十大热门品牌销量榜单

随着经济的发展及人们消费水平的提高,休闲食品作为居家出游的快消品,逐渐成为了人们生活中必不可少的一部分,同时,消费者对于休闲食品的数量和品质的需求也正不断增长。并且,在休闲食品的消费群体中,年轻群…

Eclipse插件之Tomcat Plugin 介绍、安装与使用

Tomcat Plugin 介绍 Eclipse Tomcat 插件为开发Java Web应用程序提供了Tomcat容器的简单集成。所谓的集成其实主要是以下功能: 在Eclispe中启动和关闭Tomcat启动后的应用可以很容易的打断点进行调试, 这一点应该是该插件最大的优势。 Tomcat 插件是Ec…

MySQL性能优化一 底层数据结构与算法

一 索引 索引 MySQL官网解释:索引是帮助MySQL高效获取数据的排好序的数据结构 索引数据结构: 二叉树红黑树Hash表B-Tree 案例:有一张两列七行的一个表t 假如我们的查找sql语句是: select * from t where t.col289;正常情况下…

Mysql process 问题,kill不用的process

这个一般会出现在连接池中,导致连接池数量不够然后连接失败,所以要kill 我们kill的都是sleep的,就是没有释放但是不用的链接 前言 sql中的show full processlist是查看线程,实际就是查这个表 select * from information_schema.…

16S全长测序解密转基因玉米根瘤菌群落组成

论文题目: Deciphering the rhizobacterial assemblages under the influence of genetically engineered maize carrying mcry genes 期刊: Environmental Science and Pollution Research 研究背景 玉米是我国的重要粮食作物,但虫害和草…

2023大厂招聘岗位数预测!明年哪些公司可以去?

winter is coming!这一年C端要见顶、K12被团灭、阿里被监管,滴滴被处罚、华为都在力求在寒气中活下来,连大厂都深陷泥沼,更别说中小企业。 太多因素导致大批裁员,前不久,互联网er最后的梦乡虾皮大量裁员&am…

智能车|直流电机、编码器与驱动器

智能车|直流电机、编码器与驱动器直流电机直流电机原理减速器编码器编码器简介编码器的工作原理四倍频采集编码器采集程序实现驱动器TB6612FNG 电机驱动器TB6612FNG 的主要参数引脚说明电机整体接线直流电机 直流电机(direct current machine)是指能将直…

JDK19都出来了~是时候梳理清楚JDK的各个版本的特性了【JDK18特性讲解】

JDK各个版本特性讲解-JDK18特性 一、JAVA18概述 Java 18 在 2022 年 3 月 22 日正式发布,Java 18 不是一个长期支持版本,这次更新共带来 9 个新功能。 https://openjdk.org/projects/jdk/18/ 二、具体新特性 1. 默认UTF-8字符编码 JDK 一直都是支持 UT…

SAP ABAP——SAP简介(四)【SAP GUI】

💂作者简介: THUNDER王,一名热爱财税和SAP ABAP编程以及热爱分享的博主。目前于江西师范大学会计学专业大二本科在读,同时任汉硕云(广东)科技有限公司ABAP开发顾问。在学习工作中,我通常使用偏后…

Docker学习笔记——收藏

Docker 命令;Docker进程相关命令;Docker 镜像相关命令;Docker 容器数据卷;Docker 应用部署案例;Dockerfile;Docker 私有仓库搭建;笔记 目录 初始Docker 安装Docker Docker 架构 Docker 命令 …

圣诞也要撸代码 |【消息中间件MQ系列】Spring整合kafka并设置多套kafka配置

1、前言 圣诞节的到来,程序员不会收到圣诞老人的🎁,但可以自己满足一下自己,所以,趁着有时间,就记录一下这会儿撸了些什么代码吧!!! 因为业务原因,需要在系统…

事务日志undo log

事务日志undo log 1 Undo日志的作用 作用1:回滚数据 逻辑上恢复,之前插入了一条数据,已经开辟了物理空间,回滚只是将该数据删除,物理空间还存在。 作用2:MVCC 2 Undo存储结构 mysql> show variables …

java生成SSL证书并添加信任,tomcat配置https访问并解决扫描漏洞问题

一、java生成keystore密钥对 1、打开jdk的bin目录,使用keytool工具生成keystore密钥对 Keytool 是一个 Java 数据证书的管理工具 ,Keytool 将密钥(key)和证书(certificates)存储于一个称为 keystore 的密…

某车企用户数据泄露,新能源汽车信息安全问题不容忽视

某车企:公司核心数据被窃取 12月20日,国内某新能源汽车发布相关声明称,2022年12月11日,其收到外部邮件,声称拥有该车企内部数据,并以泄露数据勒索225万美元等额比特币(约合1570.5万元人民币&am…

FFmpeg学习笔记--Ubuntu20.04编译安装FFmpeg、FFplay和FFprobe

目录 1--下载FFmpeg 2--编译FFmpeg 3--设置环境变量 4--测试 1--下载FFmpeg ① 下载 5.1 版本的 ffmpeg wget http://www.ffmpeg.org/releases/ffmpeg-5.1.tar.gz ② 解压下载的压缩包 tar -zxvf ffmpeg-5.1.tar.gz 2--编译FFmpeg ① 进入解压后的文件夹 cd ffmpeg-5…

基于JAVA Spring Boot高颜值的教学管理平台(含小程序),提供权限管理、考试、问卷、练习、在线学习等功能

Welcome to sg-exam-next 👋 硕果云,基于Spring Boot搭建的方便易用、高颜值的教学管理平台,提供权限管理、考试、问卷、练习等功能 主要功能为在线学习、考试、练习 课程内容支持图文、视频,考试类型支持考试、练习、问卷 题型支…

Android插件化技术——【class学习】

class 文件的定义 class 文件就是能够被 JVM 识别,加载并且执行的文件格式。从定义来看,class 文件没有想象中的那么神秘,和其他格式如 txt,mp4 一样,只是一种文件格式,它存储的是我们应用程序。 不止 Ja…

matlab/simulink中关于如何使得信号FFT和IFFT前后功率保持一致

快速傅里叶变换FFT其实是一种对离散傅里叶变换DFT的快速算法 为了便于公式推导和理解,本文从DFT的公式出发进行解释,在帕萨瓦尔定律的条件下,探究如何保证FFT/IFFT前后信号功率保持一致。 目录模型假设FFT前后功率保持一致IFFT前后功率保持一…

Bluetooth LE相关学习笔记

The Bluetooth LE Specifications The Bluetooth Core Specification 核心规范适用于 Bluetooth LE和Bluetooth Classic,它定义了蓝牙的体系结构及其层次,描述和定义了蓝牙的关键特性,定义了设备在协议栈的特定层上进行重要操作的方法和通信…