MySQL Binlog实战应用之一

news2024/11/25 7:54:39

一、前言

开发业务系统尤其是与财务相关的系统,需要记录每一笔变更操作的日志,这一般有两种实现方案。

1、代码中通过AOP实现,提供注解跟踪记录日志,这种方案能够比较清晰地以业务角度记录操作日志,但记录变更前的旧值会比较困难。

2、对接Binlog日志解析数据生成日志数据,这种方案可以记录字段变更前旧值以及变更后的值,但日志不够清晰,主要是记录谁什么时间对哪张表哪个字段做了变更,变更前数据是什么,变更后数据是什么。

这两种方式我们项目中都有应用,Binlog这一系列文章主要围绕方案二讲解实施过程一些技术知识点。

二、MySQL Binlog 介绍

1、BinLog是什么

BinLog记录数据库所有表结构变更(create alter table)以及表数据修改(insert、update、delete)的二进制日志,它不会记录select这种对数据没有变更的操作。

最开始了解到BinLog是在2007年左右,当时公司会员数据库是1主3从架构,主从复制其实是依赖于binlog,印象比较深的就是主从复制延迟的问题。后来在做对接Vsearch时,数据增量当时有考虑通过BinLog完成同步,不过后来还是通过代码来实现增量数据同步到Vsearch中,具体原因现在想不起来了。

2、开启BinLog

安装的MySQL默认是没有开启BinLog的,可以用命令进行确认

最简单配置只要一行代码,在/etc/my.cnf配置文件[mysqld]下面加上一条语句

log-bin=mysql-bin即可开启binlog。

注:如果是5.7以上版本,需要设置server-id.如果是单机随便指定一个值如果是集群不要重复。

expire_logs_days:不指定时默认为0,binlog不会自动清理,可以根据实际情况修改这个值,超过天数就自动清理掉。

max_binlog_size:日志文件超过这个限定值并且是另一个事务写入时,会新建一个mysql-bin.00000X日志文件。

然后重启MySQL,log_bin变量的值变成ON就说明配置生效了。

3、三种模式

  • ROW

    记录的方式是行,即如果批量修改数据,记录的不是批量修改的SQL语句事件,而是每条记录被更改的SQL语句。

  • Statement

    记录每一条修改数据的SQL语句(批量修改时,记录的不是单条SQL语句,而是批量修改的SQL语句事件)

  • Mixed

    前两种模式的结合。在Mixed模式下,MySQL会根据执行的每一条具体的sql语句来区分对待记录的日志形式,也就是在Statement和Row之间选择一种.

三、MySQLBinLog

BinLog是二进制文件,无法直接打开,可以使用MySQL自带的MySQLBinLog以查看文件内容。

往user表写入一条数据,然后update,然后执行如下命令。

mysqlbinlog -v --base64-output=DECODE-ROWS mysql-bin.000002

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1161505.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

uniapp黑马优购

配置tabbar 使用 npm install escook/request-miniprogram 进行http请求 挂载到 uni.$http 上 uniapp小程序分包 访问的时候 携带分包目录 /subpkg/goods_detail/goods_detail git分支使用 # 创建并使用分支 git checkout -b home git commit # 推送到远程的home分支…

“2024中国电子信息展会“百年历史展会,4月深圳,7月成都,11月上海

2024年中国电子信息博览会,将如一位游历全国的使者,跨越千山万水,让人们见证中国电子信息产业的辉煌成就。它的足迹将遍布全国多个地区,4月走进繁花似锦的深圳,7月拥抱历史悠久的成都,11月则落脚国际化的上…

什么是NPM(Node Package Manager)?它的作用是什么?

聚沙成塔每天进步一点点 ⭐ 专栏简介 前端入门之旅:探索Web开发的奇妙世界 欢迎来到前端入门之旅!感兴趣的可以订阅本专栏哦!这个专栏是为那些对Web开发感兴趣、刚刚踏入前端领域的朋友们量身打造的。无论你是完全的新手还是有一些基础的开发…

IBM LSF 作业负载管理

了解 LSF 作业生命周期。 使用 bsub 将作业提交到队列,并指定作业提交选项以修改默认作业行为。 提交的作业在队列中等待,直到将它们调度并分配到主机上来执行。 在作业分发时,LSF 会检查哪些主机有资格运行该作业。 一、作业生命周期 LSF …

5.5 TCP报文段的首部格式

思维导图: 5.5 TCP报文段的首部格式 基本概念 TCP报文段:包含首部和数据两部分,首部至少20字节。作用:首部字段定义了TCP的功能和行为。长度:首部长度可变,基础首部20字节,可添加选项。 首部…

初学编程教程视频教程,初学编程入门知识

初学编程教程视频教程,初学编程入门知识 给大家分享一款中文编程工具,零基础轻松学编程,不需英语基础,编程工具可下载。 这款工具不但可以连接部分硬件,而且可以开发大型的软件,向如图这个实例就是用这个…

零信任网络:一种全新的网络安全架构

随着网络技术的不断发展,网络安全问题日益凸显。传统的网络安全策略往往基于信任和验证,但这种信任策略存在一定的局限性。为了解决这一问题,零信任网络作为一种全新的网络安全架构,逐渐受到人们的关注。本文将对零信任网络的概念…

富士康“吃饭砸碗”,3年时间推动印度制造的iPhone翻倍增长

近期富士康备受关注,业界人士查找了富士康、印度制造的数据发现富士康为印度制造iPhone做出了“卓越”贡献,3年时间推动印度制造的iPhone翻倍增长,为印度制造立下了汗马功劳。 这几年苹果力推富士康、纬创、和硕等赴印设厂生产iPhone&#xf…

SpringCloud 微服务全栈体系(十一)

第十章 RabbitMQ 三、SpringAMQP SpringAMQP 是基于 RabbitMQ 封装的一套模板,并且还利用 SpringBoot 对其实现了自动装配,使用起来非常方便。 SpringAmqp 的官方地址:https://spring.io/projects/spring-amqp SpringAMQP 提供了三个功能&…

【protobuf】protobuf自定义数据格式,CMake编译C++文件读写自定义数据

protobuf自定义数据格式,CMake编译文件读写自定义数据 1.protobuf安装2.定义.proto文件3.编写main.cpp4.编写CMAkeLists配置文件5.运行 1.protobuf安装 protobuf库链接 2.定义.proto文件 新建一个Person.proto文件和一个Animal.proto文件,内容如下&…

在Node.js中,什么是模块(module)?如何导入和导出模块?

聚沙成塔每天进步一点点 ⭐ 专栏简介 前端入门之旅:探索Web开发的奇妙世界 欢迎来到前端入门之旅!感兴趣的可以订阅本专栏哦!这个专栏是为那些对Web开发感兴趣、刚刚踏入前端领域的朋友们量身打造的。无论你是完全的新手还是有一些基础的开发…

Oracle JDK 和OpenJDK两者有什么异同点

Oracle JDK 和 OpenJDK 是两种不同版本的 Java Development Kit(Java 开发工具包),它们都提供了用于开发 Java 程序的一系列工具和库。以下是它们之间的一些主要异同点: 相同点: 功能:在大多数情况下&…

VS2022 开发方式

使用 C# 在VS 2022 上开发时,发现有多种项目类型可以创建。这些类型放一起容易搞混,于是记录一下各种类型的区别。 这里主要介绍windows控制台程序、MFC程序、WPF程序、WinForm程序的特点。 创建哪种应用? 创建控制台应用 Windows控制台程序…

Postgresql批量按照顺序更新某一个字段

如批量更新采购订单行sequence字段,按照订单行id的顺序赋值1,2,3,4...: UPDATE purchase_order_line_copy1 SET sequence subquery.new_sequence FROM (SELECT id, ROW_NUMBER() OVER (ORDER BY id) AS new_sequence…

一种使用Windows10自带工具快速精准地调整图片文件的尺寸大小的方法

最近在做一个材料申报工作,需要将很多图片大小调整到200k以下。个人经过摸索,总结出一种Windows10自带工具快速精准地调整图片文件的尺寸大小的一个便捷方法,现分享如下。 一、所用工具 Windows10系统自带的照片工具 默认Windows10系统打开…

【Python学习笔记】SQLite报错Error: near “)“: syntax error的低级错误

【Python学习笔记】SQLite报错Error: near “)”: syntax error的低级错误 不说废话,典型错误,写建表语句的时候末尾多写了一个逗号。 之前为了解决这个错误还去问chatgpt,得到一堆官话答案。伤害性不高,侮辱性极强。 最后发现在…

【Proteus仿真】【51单片机】数控稳压可调电源设计

文章目录 一、功能简介二、软件设计三、实验现象联系作者 一、功能简介 本项目使用Proteus8仿真51单片机控制器,使用动态数码管、按键、PCF8591 AD/DAC、LM358放大电路模块等。 主要功能: 系统运行后,系统默认输出直流5V,数码管…

基于合成数据的文本定位实现【OpenCV】

数据是目前深度学习的主要限制因素。 好的数据很难获得。 收集和标记数据是一项艰苦的体力劳动。 这是昂贵、耗时且困难的。 AI获胜者并不是有最好算法的人,而是有最多数据的人。 -安德鲁吴 此问题的一个“次优”解决方案是以编程方式生成合成数据。 合成数据无疑不…

【腾讯云HAI域探秘】搭建一个永不宕机的本地SD文本生成图像应用--喂饭级高性能应用HAI部署stable diffusion webui 一键文生图

目录 一、高性能应用服务HAI产品 Stable Diffusion Webui部署思路二、一键启动Stable Diffusion WebUI 推理三、使用 HAI JupyterLab连接 进行 StableDiffusion API 的部署四、使用本地IDE实现私服Web端一键文生图五、使用腾讯云Cloud Studio 快速云上开发六、高性能应用服务H…

C++设计模式_23_Command 命令模式

我们将Command 和Visitor归为“行为变化”模式。 Command 命令模式与函数对象十分类似,但在C主流框架中,函数对象(function object)应用的更为广泛。 文章目录 1. “行为变化”模式1.1 典型模式 2. 动机( Motivation )3. 模式定义…