mac m1 docker本地部署canal 监听mysql的binglog日志

news2024/11/26 11:56:05

mac m1 docker本地部署canal监听mysql的binglog日志(虚拟机同理)

根据黑马视频部署

1.docker 部署mysql

1.docker拉取mysql 镜像

因为m1是arm架构.需要多加一条信息

正常拉取
docker pull mysql:tag

m1拉取 5.7的版本. tag需要自己指定版本
docker pull --platform linux/x86_64 mysql:tag(5.7)

2.数据挂载宿主机

为什么要挂载到宿主机.

​ 1.容器被删除.那么容器内的数据.就全部被删除了.

​ 2.修改数据. 可以直接在宿主机上直接修改.不需要直接进入到容器内部去修改.

1.先再宿主机上建立需要挂载的路径

配置文件
mkdir /Users/lin/dev/docker/vol/mysqlvol/conf

数据
mkdir /Users/lin/dev/docker/vol/mysqlvol/data

在这里插入图片描述

2.把修改配置文件放到/Users/lin/dev/docker/vol/mysqlvol/conf

my.cnf

实在不行就自己创建文件.把内容贴进去

[mysqld]
skip-name-resolve
character_set_server=utf8
datadir=/var/lib/mysql
server-id=1000
log-bin=/var/lib/mysql/mysql-bin
binlog-do-db=heima
binlog_format = ROW

编辑配置文件

vi /Users/lin/dev/docker/vol/mysqlvol/conf/my.cnf

新增两条命令

log-bin=/var/lib/mysql/mysql-bin
binlog-do-db=heima

在这里插入图片描述

配置解读：

  • log-bin=/var/lib/mysql/mysql-bin：设置binary log文件的存放地址和文件名，叫做mysql-bin
  • binlog-do-db=heima：指定对哪个database记录binary log events，这里记录heima这个库(监听heima这个库)

3.启动容器

创建一个docker 网络.

#创建一个叫 heima 的网络
docker network create heima

让你创建的mysql容器 ,加入到这个网络

docker network connect heima mysql

docker run -d --name mysql-1 --network heima -p 3309:3306 \
-v /Users/lin/dev/docker/vol/mysqlvol/conf/my.cnf:/etc/mysql/conf.d/hmy.cnf \
-v /Users/lin/dev/docker/vol/mysqlvol/data:/var/lib/mysql \
-e MYSQL_ROOT_PASSWORD=root mysql:5.7

解读:

启动用

  • docker run -d 后台启动
  • –name mysql-1 取名叫mysql-1 (这个根据自己随意启动.不和其他容器同名就好)
  • –network heima指定用 heima 这个网络 .可以不加
  • -p 3309:3306 端口映射. 宿主机 3309映射到容器内部的3306
  • -v /Users/lin/dev/docker/vol/mysqlvol/conf/my.cnf:/etc/mysql/conf.d/hmy.cnf 配置文件映射,宿主机/Users/lin/dev/docker/vol/mysqlvol/conf/my.cnf 映射容器的/etc/mysql/conf.d/hmy.cnf ,宿主机的根据自己具体路径更变.容器路径不变
  • -v /Users/lin/dev/docker/vol/mysqlvol/data:/var/lib/mysql 和上面不同. data 是存储数据的
  • -e MYSQL_ROOT_PASSWORD=root 账号为root 密码也为root .可以自己设置
  • mysql:5.7 mysql的版本

4.配置cannal 账号

设置canna 账号密码,添加一个仅用于数据同步的账户，出于安全考虑，这里仅提供对heima这个库的操作权限。

create user canal@'%' IDENTIFIED by 'canal';
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT,SUPER ON *.* TO 'canal'@'%' identified by 'canal';
FLUSH PRIVILEGES;

接下来添加一个仅用于数据同步的账户，出于安全考虑，这里仅提供对heima这个库的操作权限。

docker restart mysql

测试设置是否成功：在mysql控制台，或者Navicat中，输入命令：

show master status;

在这里插入图片描述

2.安装cannal

可参考官方文档部署

1.docker拉取cannal 镜像

#自动拉取最新的版本
docker pull cannal

2.启动cannal 容器

docker run -p 11111:11111 --name canal \
-e canal.destinations=heima \
-e canal.instance.master.address=mysql-1:3306  \
-e canal.instance.dbUsername=canal  \
-e canal.instance.dbPassword=canal  \
-e canal.instance.connectionCharset=UTF-8 \
-e canal.instance.tsdb.enable=true \
-e canal.instance.gtidon=false  \
-e canal.instance.filter.regex=heima\\..* \
--network heima \
-d canal/canal-server

解读

-e canal.destinations=heima \ 集群名叫heima

-e canal.instance.master.address=mysql-1:3306 \ 因为加入了同一个网桥. 所以ip直接就是加入网桥的容器名.docker network connect heima mysql-1 ->容器的端口3306(不是宿主机的,踩过坑)

-e canal.instance.dbUsername=canal
-e canal.instance.dbPassword=canal \ 之前mysql创建了一个canal的账号密码

-e canal.instance.filter.regex=heima\…* \ 监听heima这个库下面的所有表
–network heima \ 用heima 这个网络.之前创建过1.3

-d canal/canal-server后台启动canal

mysql 数据解析关注的表，Perl正则表达式.
多个正则之间以逗号(,)分隔，转义符需要双斜杠(\)
常见例子：

  1. 所有表：.* or .\…
  2. canal schema下所有表： canal\…*
  3. canal下的以canal打头的表：canal\.canal.*
  4. canal schema下的一张表：canal.test1
  5. 多个规则组合使用然后以逗号隔开：canal\…*,mysql.test1,mysql.test2

3.查看cannal是否正常启动和是否监听mysql正常

1.查看canal是否正常启动

2.查看canal是否正常启动

  1. docker exec -it canal bash

  2. 查看canal服务是否启动

    1. cat /home/admin/canal-server/logs/canal/canal.log
      在这里插入图片描述

3.查看canal是否监听mysql

​ cat /home/admin/canal-server/logs/heima/heima.log 在这里插入图片描述

3.集成到项目中

依赖

        <!--集成canal 起步依赖-->
        <dependency>
            <groupId>top.javatool</groupId>
            <artifactId>canal-spring-boot-starter</artifactId>
            <version>1.2.1-RELEASE</version>
        </dependency>

导入对应建表语句

create table tb_item
(
    id          bigint auto_increment comment '商品id'
        primary key,
    title       varchar(264)            not null comment '商品标题',
    name        varchar(128) default '' not null comment '商品名称',
    price       bigint                  not null comment '价格（分）',
    image       varchar(200)            null comment '商品图片',
    category    varchar(200)            null comment '类目名称',
    brand       varchar(100)            null comment '品牌名称',
    spec        varchar(200)            null comment '规格',
    status      int(1)       default 1  null comment '商品状态 1-正常，2-下架，3-删除',
    create_time datetime                null comment '创建时间',
    update_time datetime                null comment '更新时间'
)
    comment '商品表' row_format = COMPACT;

create index status
    on tb_item (status);

create index updated
    on tb_item (update_time);

INSERT INTO heima.tb_item (id, title, name, price, image, category, brand, spec, status, create_time, update_time) VALUES (10001, 'RIMOWA 21寸托运箱拉杆箱 SALSA AIR系列果绿色 820.70.36.4', 'SALSA AIR', 16900, 'https://m.360buyimg.com/mobilecms/s720x720_jfs/t6934/364/1195375010/84676/e9f2c55f/597ece38N0ddcbc77.jpg!q70.jpg.webp', '拉杆箱', 'RIMOWA', '{"颜色": "红色", "尺码": "26寸"}', 1, '2019-05-01 00:00:00', '2019-05-01 00:00:00');
INSERT INTO heima.tb_item (id, title, name, price, image, category, brand, spec, status, create_time, update_time) VALUES (10002, '安佳脱脂牛奶 新西兰进口轻欣脱脂250ml*24整箱装*2', '脱脂牛奶', 68600, 'https://m.360buyimg.com/mobilecms/s720x720_jfs/t25552/261/1180671662/383855/33da8faa/5b8cf792Neda8550c.jpg!q70.jpg.webp', '牛奶', '安佳', '{"数量": 24}', 1, '2019-05-01 00:00:00', '2019-05-01 00:00:00');
INSERT INTO heima.tb_item (id, title, name, price, image, category, brand, spec, status, create_time, update_time) VALUES (10003, '唐狮新品牛仔裤女学生韩版宽松裤子 A款/中牛仔蓝（无绒款） 26', '韩版牛仔裤', 84600, 'https://m.360buyimg.com/mobilecms/s720x720_jfs/t26989/116/124520860/644643/173643ea/5b860864N6bfd95db.jpg!q70.jpg.webp', '牛仔裤', '唐狮', '{"颜色": "蓝色", "尺码": "26"}', 1, '2019-05-01 00:00:00', '2019-05-01 00:00:00');
INSERT INTO heima.tb_item (id, title, name, price, image, category, brand, spec, status, create_time, update_time) VALUES (10004, '森马(senma)休闲鞋女2019春季新款韩版系带板鞋学生百搭平底女鞋 黄色 36', '休闲板鞋', 10400, 'https://m.360buyimg.com/mobilecms/s720x720_jfs/t1/29976/8/2947/65074/5c22dad6Ef54f0505/0b5fe8c5d9bf6c47.jpg!q70.jpg.webp', '休闲鞋', '森马', '{"颜色": "白色", "尺码": "36"}', 1, '2019-05-01 00:00:00', '2019-05-01 00:00:00');

实体类

package com.lin.user.entry;

import com.baomidou.mybatisplus.annotation.IdType;
import com.baomidou.mybatisplus.annotation.TableField;
import com.baomidou.mybatisplus.annotation.TableId;
import com.baomidou.mybatisplus.annotation.TableName;
import lombok.Data;


import javax.persistence.Column;
import javax.persistence.Id;
import javax.persistence.Transient;
import java.util.Date;

@Data
@TableName("tb_item")
public class Item {
    @TableId(type = IdType.AUTO)
    @Id
    private Long id;//商品id
    @Column(name = "name")
    private String name;//商品名称
    private String title;//商品标题
    private Long price;//价格（分）
    private String image;//商品图片
    private String category;//分类名称
    private String brand;//品牌名称
    private String spec;//规格
    private Integer status;//商品状态 1-正常，2-下架
    private Date createTime;//创建时间
    private Date updateTime;//更新时间
    @TableField(exist = false)
    @Transient
    private Integer stock;
    @TableField(exist = false)
    @Transient
    private Integer sold;
}

监听类

package com.lin.user.config;


import com.alibaba.fastjson.JSON;
import com.lin.user.entry.Item;
import lombok.extern.slf4j.Slf4j;
import org.springframework.stereotype.Component;
import top.javatool.canal.client.annotation.CanalTable;
import top.javatool.canal.client.handler.EntryHandler;
@Slf4j
@CanalTable("tb_item")
@Component
public class ItemHandler implements EntryHandler<Item> {


    @Override
    public void insert(Item item) {
        log.info("检查到数据有插入:{}", JSON.toJSONString(item));

    }

    @Override
    public void update(Item before, Item after) {
        log.info("检查到数据有修改->前:{}", JSON.toJSONString(before));
        log.info("检查到数据有修改->后:{}", JSON.toJSONString(after));

    }

    @Override
    public void delete(Item item) {

        log.info("检查到数据有删除:{}", JSON.toJSONString(item));


    }
}

验证

在数据库中增删改,控制要可以看到记录.

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2236319.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

C++之旅——入门

C++之旅——入门

Hello&#xff0c;各位小伙伴们&#xff0c;前几期我们学习了C语言和数据结构&#xff0c;有了一定的基础之后我们来挑战新的语言——C。 目录 一、初识C 1>C发展历史 2>C版本更新 3>C的热度 4>C的学习难度 5>C学习相关书籍 二、第一个C代码 三、C基础 …
阅读更多...
Flutter中文字体设置指南：打造个性化的应用体验

Flutter中文字体设置指南：打造个性化的应用体验

在使用Flutter进行开发时&#xff0c;可能会遇到中文字体显示不正常或者字体不符合设计需求的情况。Flutter默认的中文字体往往无法满足某些用户对个性化和美观的需求。今天&#xff0c;我们就来详细探讨如何在Flutter应用中设置中文字体&#xff0c;并结合不同场景提供相应的解…
阅读更多...
4.1 软件设计概要

4.1 软件设计概要

软件设计概要 1、 软件设计的概念和设计质量1.1 软件设计基本任务1.2 设计模型1.3 软件设计特点1.4 设计质量属性1.5 设计指导原则 2、 设计相关八大概念抽象体系结构设计模式模块化信息隐藏功能独立精化重构 3、 四类设计技术概要3.1 数据设计3.2 体系架构设计体系结构组织和细…
阅读更多...
MySQL表的增删改查(CRUD2)

MySQL表的增删改查(CRUD2)

美好的一天又开始了&#xff0c;大家今天有没有学习呢&#xff1f;没学的话&#xff0c;开始跟随和博主一起对MYSQL的学习吧&#xff01;&#xff01;&#xff01; 复习&#xff1a; CRUD新增1.新增 insert into 表名 [(列名[&#xff0c;列名,列名...])] values (值[,值,值.…
阅读更多...
用接地气的例子趣谈 WWDC 24 全新的 Swift Testing 入门（三）

用接地气的例子趣谈 WWDC 24 全新的 Swift Testing 入门（三）

概述 从 WWDC 24 开始&#xff0c;苹果推出了全新的测试机制&#xff1a;Swift Testing。利用它我们可以大幅度简化之前“老态龙钟”的 XCTest 编码范式&#xff0c;并且使得单元测试更加灵动自由&#xff0c;更符合 Swift 语言的优雅品味。 在这里我们会和大家一起初涉并领略…
阅读更多...
【案例】Excel使用宏来批量插入图片

【案例】Excel使用宏来批量插入图片

一、场景介绍 我有一个excel文件&#xff0c;需要通过一列的文件名称&#xff0c;按照规则给批量上传图片附件。 原始文件&#xff1a; 成功后文件&#xff1a; 二、实现方法 1. 使用【wps】工具打开Excel文件&#xff0c;将其保存为启用宏的文件。 2.找到编辑宏的【VB编辑器…
阅读更多...
Springboot项目报错记录

Springboot项目报错记录

SpringBoot测试报错&#xff1a;Unable to find a SpringBootConfiguration, you need to use Context 该测试类所在测试包test下的包名和类路径java下的包名不一致导致的 引发以下报错 java.lang.IllegalStateException: Unable to find a SpringBootConfiguration, you need…
阅读更多...
RabbitMQ 高级特性——消息分发

RabbitMQ 高级特性——消息分发

文章目录 前言消息分发RabbitMQ 分发机制的应用场景1. 限流2. 负载均衡 前言 当 RabbitMQ 的队列绑定了多个消费者的时候&#xff0c;队列会把消息分发给不同的消费者&#xff0c;每条消息只会发送给订阅列表的一个消费者&#xff0c;但是呢&#xff0c;RabbitMQ 默认是以轮询…
阅读更多...
深度学习：bert模型

深度学习：bert模型

multi-headed机制 1、通过不同的head得到多个特征表达&#xff0c;一般8个head 2、将所有特征拼接在一起 3、降维&#xff0c;将Z0~Z7连接一个FC全连接实现降维 多层堆叠 位置编码 如何实现位置编码&#xff1f; &#xff08;1&#xff09;为每个时间步添加一个0-1范围内的数…
阅读更多...
Vue实战学习(2)（Vue快速入门（快速构建一个局部Vue项目））

Vue实战学习(2)（Vue快速入门（快速构建一个局部Vue项目））

目录 一、Vue快速入门。 &#xff08;1&#xff09;快速入门的案例需求。 &#xff08;2&#xff09;原生js解决。 &#xff08;3&#xff09;使用Vue解决。 1、准备一个html页面。且该页面需要引入Vue模块。 2、创建Vue程序的应用实例。 3、准备html元素&#xff08;如div&…
阅读更多...
SpringMVC学习记录（三）之响应数据

SpringMVC学习记录（三）之响应数据

SpringMVC学习记录&#xff08;三&#xff09;之响应数据 一、页面跳转控制1、快速返回模板视图2、转发和重定向 二、返回JSON数据1、前置准备2、ResponseBody 三、返回静态资源1、静态资源概念2、访问静态资源 /*** TODO: 一个controller的方法是控制层的一个处理器,我们称为h…
阅读更多...
Spring WebFlux 核心原理(2-3)

Spring WebFlux 核心原理(2-3)

1、Project Reactor 高级 1.1、响应式流的生命周期 要理解多线程的工作原理以及 Reactor 中实现的各种内部优化&#xff0c;首先必须了解 Reactor 中响应式类型的生命周期。 1.1.1、组装时 流生命周期的第一部分是组装时&#xff08;assembly-time&#xff09;。 Reactor 提供…
阅读更多...
Python爬虫与Web渗透测试入门指南——初学者防踩雷

Python爬虫与Web渗透测试入门指南——初学者防踩雷

目录 Python爬虫与Web渗透测试入门指南一、学习方向和基础知识Python爬虫学习方向Web渗透学习方向 二、具体知识点总结三、学习流程和典型案例案例1&#xff1a;Python爬虫 - 简单网页数据爬取案例2&#xff1a;Web渗透 - SQL注入漏洞检测与利用案例3&#xff1a;Python爬虫 - …
阅读更多...
apache-seata-2.1.0 AT模式使用篇(配置简单)

apache-seata-2.1.0 AT模式使用篇(配置简单)

最近在研究seata的AT模式&#xff0c;先在本地搭建了一个演示demo&#xff0c;看看seata是如何使用的。在网上搜的demo&#xff0c;配置相对来说都比较多。我最终搭建的版本&#xff0c;配置较少&#xff0c;所以写篇文章分享下&#xff0c;希望能帮到对seata感兴趣的小伙伴。先…
阅读更多...
Java代码与数据库纽带——JDBC

Java代码与数据库纽带——JDBC

ok&#xff0c;看了题目&#xff0c;就可以知道今天要分享的是JDBC 讲这个这之前&#xff0c;想讲讲之前的。 之前我们操作数据库基本都是通过MySQL客户端&#xff0c;进行编写sql语句来操作的。 但是我们在开发中一般都是通过代码来操控数据库的。 而且在我们日常开发中&a…
阅读更多...
navicat pg库安装mysql fdw 外表扩展

navicat pg库安装mysql fdw 外表扩展

在Windows上手动安装mysql_fdw&#xff08;MySQL Foreign Data Wrapper&#xff09;通常涉及一系列步骤&#xff0c;包括下载源码、编译、配置和测试。以下是一个详细的指南&#xff1a; 一、下载mysql_fdw源码 访问mysql_fdw的GitHub发布页面&#xff0c;选择最新版本的源码…
阅读更多...
智能提醒助理系列-jdk8升级到21，springboot2.3升级到3.3

智能提醒助理系列-jdk8升级到21，springboot2.3升级到3.3

本系列文章记录“智能提醒助理”产品建设历程&#xff0c;记录实践经验、巩固知识点、锻炼总结能力。 本篇介绍技术栈升级的过程&#xff0c;遇到的问题和解决方案。 一、需求出发点 智能提醒小程序 当前使用的是jdk8&#xff0c;springboot2.3,升级到jdk21和springboot3.3 学…
阅读更多...
雷军-2022.8小米创业思考-11-新零售：用电商思维做新零售，极致的效率+极致的体验。也有弯路，重回极致效率的轨道上。

雷军-2022.8小米创业思考-11-新零售：用电商思维做新零售，极致的效率+极致的体验。也有弯路，重回极致效率的轨道上。

第十一章 新零售 当我们说到小米模式的时候&#xff0c;其实我们说的是两件东西&#xff1a; 一是小米模式的本质&#xff0c;即高效率的商业模式&#xff1b; 另一件是小米这家公司具象的商业模式&#xff0c;这是小米在实践中摸索、建立的一整套业务模型。 从2015年到202…
阅读更多...
人工智能——小白学习指南

人工智能——小白学习指南

知孤云出岫 目录 1. **智能评测系统**2. **个性化学习路径推荐**3. **虚拟学习助手**4. **学习行为分析**5. **数据驱动的教学决策**6. **自动化课程推荐**7. **数据隐私与安全保护** 人工智能知识点的总结和学习路线&#xff0c;以数据表格形式呈现&#xff0c;并附带在教育行…
阅读更多...
【深度学习基础】常用图像卷积核类型

【深度学习基础】常用图像卷积核类型

&#x1f308; 个人主页&#xff1a;十二月的猫-CSDN博客 &#x1f525; 系列专栏&#xff1a; &#x1f3c0;深度学习_十二月的猫的博客-CSDN博客 &#x1f4aa;&#x1f3fb; 十二月的寒冬阻挡不了春天的脚步&#xff0c;十二点的黑夜遮蔽不住黎明的曙光 目录 1. 前言 2. 常…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023