MYSQL 8.0 配置CDC(binlog)

news2024/11/25 10:31:31

CDC(Change Data Capture)即数据变更抓取,通过源端数据源开启CDC,ROMA Connect 可实现数据源的实时数据同步以及物理表的物理删除同步。这里介绍通过开启Binlog模式CDC功能。

注意:1、使用MYSQL8.0及以上版本。
2、不支持采集二进制类型的字段例如:TINYBLOB、BLOB、MEDIUMBLOB、LONGBLOB

一、登录数据库

需要用数据库管理员root账户进行CDC功能配置,登录root账户:

mysql -uroot -p

回车输入数据库密码。

二、查看数据库是否已经开启了Binlog

这里先查看是否开启了Binlog,因为如果数据库配置过双主或者主从库那么一般情况下是已经开启了,可以直接跳到第四步。
执行以下命令查看数据库是否开启了Binlog:

show variables like 'log_bin';

若变量log_bin的值为“ON”则说明Binlog已开启,执行以下SQL命令检查相关参数的配置是否符合要求:

show variables like '%binlog_format%';
show variables like '%binlog_row_image%';

变量binlog_format的值应该为“ROW”,变量binlog_row_image的值应该为“FULL” 则代表已经配置过Binlog无需重复配置,直接跳到第四步。
在这里插入图片描述

三、开启Binlog

如果上面经过 “show variables like ‘log_bin’; ”查询,结果为OFF 或者下面的条件查询不满足,建议直接重新配置Biglog

3.1 配置前先退出在命令窗口输入:quit 退出数据库

3.2 使用vi 命令编辑MYSQL配置文件(Linux)

这里以linux为例,windows server 系统配置文件在安装目录,my.ini

vi /etc/my.cnf

输入“i”进入修改模式,在配置文件中增加:

server-id = 123    # 应为大于1的整数,根据实际设置,注意在创建数据集成任务时设置的“Server Id”值需要此处设置的值不同
log_bin = mysql-bin   # 
binlog_format = row
binlog_row_image = full
expire_logs_days = 10   # Binlog日志文件保留时间,超过保留时间的Binlog日志会被自动删除,应保留至少10天的日志文件
gtid_mode = on   # MYSQL 版本大于5.6.5时添加,否则删除
enforce_gtid_consistency = on   # MYSQL 版本大于5.6.5时添加,否则删除

按Esc退出编辑模式,输入“:wq”保存并退出。

3.3重启数据库,并返回到第二步查询,验证设置是否生效

重启数据库:

service mysqld restart

返回第二步查询验证

四、创建ROMA Connect连接数据库的用户

4.1 重新使用root账户登录数据库(步骤略)

4.2 创建账户:

CREATE USER 'wyzx_data_train'@'%' IDENTIFIED BY 'password';

wyzx_data_train:是创建的用户名,自定义
% :是任意IP都可以登录
password : 账户密码,自定义

4.3 修改数据库连接用户的密码认证

mysql8.0版本 后都需要修改密码认证

ALTER USER wyzx_data_train IDENTIFIED WITH mysql_native_password BY 'password';
flush privileges;

wyzx_data_train: 上面创建的用户名
flush privileges; 最后刷新权限

4.3 为账户授权

grant select, replication slave, replication client on *.* to 'wyzx_data_train'@'%';

grant:用户权限管理命令,可以管理用户访问哪些库哪些表,管理用户对表的操作(SELECT、CREATE、DELETE、DELETE、ALTER等详见下),管理用户登录的ip和域名,限制用户自己的权限是否可以授权给别的用户等。

select, replication slave, replication client:等等是要授权的用户权限,可以使用全部权限 all privileges

on:表示这些权限对哪些数据库和表生效,格式:数据库名.表名,这里写“*”表示所有数据库,所有表。如果我要指定将权限应用到test库的user表中,可以这么写:test.user

to:将权限授予哪个用户。格式:”用户名”@”登录IP或域名”。%表示没有限制,在任何主机都可以登录。比如:”yangxin”@”192.168.0.%”,表示yangxin这个用户只能在192.168.0IP段登录
另外有with grant option:
with grant option:表示允许用户将自己的权限授权给其它用户

**注意:
1、可以使用GRANT给用户添加权限,权限会自动叠加,不会覆盖之前授予的权限,比如你先给用户添加一个SELECT权限,后来又给用户添加了一个INSERT权限,那么该用户就同时拥有了SELECT和INSERT权限。
2、如果on不是所有库的所有表模式,那么应该注意授权的权限,有些权限不能针对某个库某个表授权,会报错:“incorrect usage of db grant and global privileges”。 那么根据上面一条的叠加规则可以分开授权,例如:

grant select,  on my_db.* to 'wyzx_data_train'@'%';
grant  replication slave, replication client on my_db.* to 'wyzx_data_train'@'%';

**
授权附录:

PrivilegeColumnContext
ALL [PRIVILEGES]Synonym for “all privileges”Server administration
ALTERAlter_privTables
ALTER ROUTINEAlter_routine_privStored routines
CREATECreate_privDatabases, tables, or indexes
CREATE ROUTINECreate_routine_privStored routines
CREATE TABLESPACECreate_tablespace_privServer administration
CREATE TEMPORARY TABLESCreate_tmp_table_privTables
CREATE USERCreate_user_privServer administration
CREATE VIEWCreate_view_privViews
DELETEDelete_privTables
DROPDrop_privDatabases, tables, or views
EVENTEvent_privDatabases
EXECUTEExecute_privStored routines
FILEFile_privFile access on server host
GRANT OPTIONGrant_privDatabases, tables, or stored routines
INDEXIndex_privTables
INSERTInsert_privTables or columns
LOCK TABLESLock_tables_privDatabases
PROCESSProcess_privServer administration
PROXYSee proxies_priv tableServer administration
REFERENCESReferences_privDatabases or tables
RELOADReload_privServer administration
REPLICATION CLIENTRepl_client_privServer administration
REPLICATION SLAVERepl_slave_privServer administration
SELECTSelect_privTables or columns
SHOW DATABASESShow_db_privServer administration
SHOW VIEWShow_view_privViews
SHUTDOWNShutdown_privServer administration
SUPERSuper_privServer administration
TRIGGERTrigger_privTables
UPDATEUpdate_privTables or columns
USAGESynonym for “no privileges”Server administration

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1167632.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

快讯|2024 财年第一季度 Tubi 收益增长了 30%

2024 财年第一季度 Tubi 收益增长了 30%,月活跃用户达到了 7000 万 近日,在 2024 财年第一季度财务收益电话会议上,Fox 执行主席兼 CEO Lachlan Murdoch 对 Tubi 的增长表示赞赏:“Tubi 又多了一个令人羡慕的季度,收入…

电脑技巧:台式机噪音非常大的几个原因以及解决办法

目录 一、CPU风扇灰尘太厚、风扇轴承老化 二、电源风扇有灰尘或者老化 三、显卡风扇有灰尘或者老化 四、硬盘老化导致的电脑主机声音大 五、台式机CPU风扇声音过大 今天小编给大家分享台式机噪音非常大的几个原因以及解决办法,值得收藏! 一、CPU风…

Typecho V1.2.1 博客更换域名还原

网站老是到期或则要换服务器(IP地址),单独改IP老是有图片不能加载,出个完整的迁移教程: 系统环境:Ubuntu 2204 宝塔面板 8.0.3 Nginx1.22 PHP 8.1 MySQL 5.7 备份 进入宝塔将网站根目录直接压缩&#xff0…

如何调试 Dubbo 协议调用过程

微服务架构下的快速交付、灵活部署等优势使得 Dubbo 协议已成为了当今互联网基础建设里的一大热点。 Dubbo 协议是一款由阿里巴巴开发并开源的一款高性能 Java RPC 框架,凭借着高效的远程调用、服务注册与发现、灵活的配置等特点,在微服务后端开发场景中…

Excel自学三部曲_Part3:Excel工作场景实战(四)

文章目录 四、高级函数与数据连接1. 多窗口操作2. VLOOKUP函数3. XLOOKUP函数4. CSV数据格式 四、高级函数与数据连接 1. 多窗口操作 如何将两张子表数据(战区信息、城市信息)连接到主表数据(成交数据),增加主要数据的…

AI识别网关助力打造防溺水监测预警系统

防溺水监测预警系统的应用场景广泛,常见的诸如海边、河道、湖泊、泳池等多种场景,均可借助防溺水监测预警系统加强保障民众人身安全。随着科技水平不断提升,防溺水监测预警系统不断融合人工智能、视觉识别、物联网等先进技术,能够…

三季度业绩狂飙后,贝泰妮将开启集团化运营的“中场战事”?

双十一前夕,贝泰妮交出了一份亮眼的答卷。 得益于销售端和研发端的发展动能强劲,第三季度贝泰妮营收10.64亿元,同比增长25.77%;扣非净利润1.34亿元,同比增长39.88%。 如此亮眼的业绩,自然引得资本市场侧目…

【Python】多进程线程与CPU核数

多进程数量设置为CPU核数,或者略小于CPU核数;多线程数量,如果是CPU密集任务设为1;如果是IO密集设为合理的值;IO密集型:系统运作,大部分的状况是CPU 在等I/O (硬盘/内存)的…

单链表的建立(头插法、尾插法)(数据结构与算法)

如果要把很多个数据元素存到一个单链表中,如何操作? 1.初始化一个单链表 2. 每次取一个数据元素,插入到表尾/表头 1. 尾插法建立单链表 尾插法建立的单链表元素顺序与输入数据集合的顺序相同,即按照输入数据的顺序排列。 使用尾插…

【蓝桥杯选拔赛真题09】C++输出回文数 青少年组蓝桥杯C++选拔赛真题 STEMA比赛真题解析

目录 C/C++输出回文数 一、题目要求 1、编程实现 2、输入输出 二、算法分析

MySQL中表的增删改查

目录 一、CRUD 二、新增(Create) (1)语法 (2)单行数据全列插入 (3)多行数据指定列插入 三、查询(Retrieve) (1)语法 …

vue3 + vite 安装配置及项目创建

node 和 npm 安装就不讲了&#xff0c;需要注意的是 node 需要版本是 16 以上。 VUE官网&#xff1a; https://cn.vuejs.org/ 一. 安装vue vite 1. 安装vue 方法一&#xff1a;<script> 标签 CDN 引入方式 <script src"https://unpkg.com/vue3/dist/vue.glo…

小米11 安装面具magisk 实现root

为了在安卓上抓包chatgpt 只能root小米11 来安装抓包工具小黄鸟 才能安装根证书来解析https。 1.官方解锁 2.下载小米11 安卓12 的开发版本 venus_images_V13.0.6.1.15.DEV_20220308.0000.00_12.0_cn_cb6b0c891f.tgz 进入刷机fastboot 3.进系统开启usb调试模式&#xff0c;…

GraphPad Prism v10.0.0.3(医学统计分析绘图软件)

GraphPad Prism 是一款医学统计和绘图软件&#xff0c;主要用于生物医学研究、实验设计和数据分析。以下是 GraphPad Prism 的主要功能和特点&#xff1a; 数据导入和整理&#xff1a;GraphPad Prism 可以导入各种数据格式&#xff0c;并提供直观的界面用于整理、编辑和管理数据…

PY32F071单片机,主频最高72 M,带一路DAC,USB

PY32F071 系列微控制器采用高性能的 32 位 ARM Cortex-M0内核&#xff0c;宽电压工作范围的 MCU。嵌入高达128 Kbytes flash 和 16 Kbytes SRAM 存储器&#xff0c;最高工作频率 72 MHz。包含多种不同封装类型多款产品。芯片集成多路 I2C、SPI、USART 等通讯外设&#xff0c;1 …

linux中各种最新网卡2.5G网卡驱动,不同型号的网卡需要不同的驱动,整合各种网卡驱动,包括有线网卡、无线网卡、Wi-Fi热点

linux中各种最新网卡2.5G网卡驱动&#xff0c;不同型号的网卡需要不同的驱动&#xff0c;整合各种网卡驱动&#xff0c;包括有线网卡、无线网卡、自动安装Wi-Fi热点。 最近在做路由器二次开发&#xff0c;现在市面上卖的新设备&#xff0c;大多数都采用了2.5G网卡&#xff0c;…

flutter项目引入本地静态图片资源并展示

想要在flutter中引入静态资源&#xff0c;需要配置pubspec.yaml&#xff0c;将本地的静态资源添加到assets下面&#xff1a; 然后在flutter引入这些静态资源&#xff1a; Image.asset("images/squick.png") 就可以在app中看到这个图片了&#xff1a; 也可以使用网…

vue使用Web Speech API实现语音播报

SpeechSynthesisUtterance对象用于表示要播放的语音内容&#xff0c;SpeechSynthesis对象则用于控制语音的播放、暂停、停止等操作。 const synth window.speechSynthesis const msg new SpeechSynthesisUtterance() // 语音播放 const playVoice (text) > {synth.canc…

双热点机制结合。5+铜死亡+铁死亡相关基因生信思路

今天给同学们分享一篇结合铜死亡和铁死亡相关基因预测肿瘤预后、免疫和药敏的生信文章“A novel signature of combing cuproptosis- with ferroptosis-related genes for prediction of prognosis, immunologic therapy responses and drug sensitivity in hepatocellular car…

如何翻译SCI论文, 中译英哪里比较专业?

众所周知&#xff0c;SCI论文是被科学引文索引(SCI)收录的期刊上发表的论文。SCI论文是学术界内具有较高影响力和引用率的文章&#xff0c;通常被高度认可和重视。因此&#xff0c;SCI论文翻译对译员的要求很高。那么&#xff0c;如何翻译SCI论文&#xff0c; 中译英哪里比较专…