maxwell 输出消息到 redis

news2024/9/20 12:14:33

文章目录

  • 1、maxwell 输出消息到 redis
    • 1.1、启动一个Maxwell容器，它会连接到指定的MySQL数据库，捕获变更事件，并将这些事件以Redis发布/订阅的形式发送到指定的Redis服务器
    • 1.2、在已运行的 Redis 容器中执行 Redis 命令行界面（CLI）工具
      • 解决方法
      • 示例
      • 完整命令示例
      • 注意事项
    • 1.3、tingshu_album 数据库中 新增数据
    • 1.4、tingshu_album 数据库中 更新数据
    • 1.5、tingshu_album 数据库中 删除数据
    • 1.6、总结

1、maxwell 输出消息到 redis

在这里插入图片描述
Reference - Maxwell’s Daemon：https://maxwells-daemon.io/config/
redis-producer：https://maxwells-daemon.io/config/#redis-producer
在这里插入图片描述

1.1、启动一个Maxwell容器，它会连接到指定的MySQL数据库，捕获变更事件，并将这些事件以Redis发布/订阅的形式发送到指定的Redis服务器

docker run -it --rm zendesk/maxwell bin/maxwell --user=$MYSQL_USERNAME \
    --password=$MYSQL_PASSWORD --host=$MYSQL_HOST --producer=stdout

docker run -it --rm zendesk/maxwell bin/maxwell --user=maxwell \
    --password=maxwell --host=192.168.74.148 --port=3306 --producer=redis \
    --redis_host=192.168.74.148 --redis_port=6379 --redis_auth=123456 --redis_type=pubsub --redis_key=maxwell

您提供的命令是一个Docker命令，用于运行Zendesk Maxwell这个容器化应用程序。Maxwell是一个变更数据捕获（CDC）工具，用于从MySQL数据库捕获变更事件并将它们发布到其他系统，如Redis、Kafka等。下面是对该命令的详细解释：

docker run -it --rm zendesk/maxwell bin/maxwell \
    --user=maxwell \
    --password=maxwell \
    --host=192.168.74.148 \
    --port=3306 \
    --producer=redis \
    --redis_host=192.168.74.148 \
    --redis_port=6379 \
    --redis_auth=123456 \
    --redis_type=pubsub \
    --redis_key=maxwell
  • docker run: 这是Docker用来创建和启动一个新的容器实例的命令。
  • -it: 这两个选项告诉Docker在前台运行容器，并且保持交互模式打开，使得可以在容器内部执行命令。
  • –rm: 这个选项指示Docker在容器退出后自动删除容器，有助于保持系统清洁。
  • zendesk/maxwell: 这是指定要运行的Docker镜像的名称，即Zendesk提供的Maxwell镜像。
  • bin/maxwell: 这是Maxwell可执行文件的路径，告诉Docker运行这个特定的二进制文件。
  • –user=maxwell: 指定连接到MySQL数据库的用户名。
  • –password=maxwell: 指定连接到MySQL数据库的密码。
  • –host=192.168.74.148: 指定MySQL数据库服务器的IP地址。
  • –port=3306: 指定MySQL数据库服务器的端口号。
  • –producer=redis: 指定Maxwell应该将变更事件发布到Redis。
  • –redishost=192.168.74.148: 指定Redis服务器的IP地址。
  • –redisport=6379: 指定Redis服务器的端口号。
  • –redisauth=123456: 指定连接到Redis服务器的认证密码。
  • –redistype=pubsub: 指定Redis的发布/订阅模式作为消息传递机制。Publish/Subscribe，即发布/订阅模式。
  • –rediskey=maxwell: 指定在Redis中使用的键名，Maxwell将变更事件发布到这个键对应的频道。
    执行这个命令会启动一个Maxwell容器，它会连接到指定的MySQL数据库，捕获变更事件，并将这些事件以Redis发布/订阅的形式发送到指定的Redis服务器。
[root@localhost ~]# docker run -it --rm zendesk/maxwell bin/maxwell \
>     --user=maxwell \
>     --password=maxwell \
>     --host=192.168.74.148 \
>     --port=3306 \
>     --producer=redis \
>     --redis_host=192.168.74.148 \
>     --redis_port=6379 \
>     --redis_auth=123456 \
>     --redis_type=pubsub \
>     --redis_key=maxwell
2024-09-19 10:13:40 INFO  Maxwell - Starting Maxwell. maxMemory: 1031798784 bufferMemoryUsage: 0.25
2024-09-19 10:13:40 INFO  Maxwell - Maxwell v1.41.2 is booting (MaxwellRedisProducer), starting at Position[BinlogPosition[spzxbinlog.000003:6061], lastHeartbeat=0]
2024-09-19 10:13:40 INFO  MysqlSavedSchema - Restoring schema id 1 (last modified at Position[BinlogPosition[spzxbinlog.000003:156], lastHeartbeat=0])
2024-09-19 10:13:41 INFO  BinlogConnectorReplicator - Setting initial binlog pos to: spzxbinlog.000003:6061
2024-09-19 10:13:41 INFO  BinaryLogClient - Connected to 192.168.74.148:3306 at spzxbinlog.000003/6061 (sid:6379, cid:43)
2024-09-19 10:13:41 INFO  BinlogConnectorReplicator - Binlog connected.

1.2、在已运行的 Redis 容器中执行 Redis 命令行界面（CLI）工具

[root@localhost ~]# docker exec -it spzx-redis redis-cli
127.0.0.1:6379> 

[root@localhost ~]# docker exec -it spzx-redis redis-cli
127.0.0.1:6379> SUBSCRIBE maxwell
Reading messages... (press Ctrl-C to quit)
(error) NOAUTH Authentication required.

当你尝试在 Redis 容器中使用 SUBSCRIBE 命令时收到 (error) NOAUTH Authentication required. 错误，这意味着 Redis 服务器需要认证才能执行命令。Redis 从版本 3.0 开始支持密码认证功能。

解决方法

要在 Redis 中执行需要认证的操作，你需要先使用 AUTH 命令提供正确的密码。以下是具体的步骤：

  1. 连接到 Redis:
    使用 docker exec -it spzx-redis redis-cli 连接到 Redis CLI。

  2. 提供认证:
    使用 AUTH 命令提供 Redis 服务器所需的密码。假设密码是 yourpassword，命令如下：

    AUTH yourpassword

  3. 执行订阅操作:
    成功认证后，你可以继续执行订阅命令：

    SUBSCRIBE maxwell

示例

假设 Redis 的密码是 maxwell，你可以按照以下步骤操作：

  1. 连接到 Redis CLI：

    docker exec -it spzx-redis redis-cli

  2. 提供认证：

    AUTH maxwell

  3. 执行订阅操作：

    SUBSCRIBE maxwell

完整命令示例

你可以在一次命令中完成认证和订阅：

docker exec -it spzx-redis redis-cli -n 0 << 'EOF'
AUTH maxwell
SUBSCRIBE maxwell
EOF

或者，你也可以在 Redis CLI 中逐条输入命令：

docker exec -it spzx-redis redis-cli
127.0.0.1:6379> AUTH maxwell
127.0.0.1:6379> SUBSCRIBE maxwell

注意事项

  • 密码安全:

    • 确保使用强密码，并且不要在命令行中明文显示密码。可以考虑使用环境变量或其他方式传递密码。

  • Redis 配置文件:

    • 确保 Redis 的配置文件（redis.conf）中设置了 requirepass 选项，并指定了正确的密码。

通过上述步骤，你应该能够成功地通过认证并执行 Redis 的订阅命令。如果仍然遇到问题，请检查 Redis 的配置和密码是否正确。

[root@localhost ~]# docker exec -it spzx-redis redis-cli
127.0.0.1:6379> SUBSCRIBE maxwell
Reading messages... (press Ctrl-C to quit)
(error) NOAUTH Authentication required.
127.0.0.1:6379> auth 123456
OK
127.0.0.1:6379> SUBSCRIBE maxwell
Reading messages... (press Ctrl-C to quit)
1) "subscribe"
2) "maxwell"
3) (integer) 1

1.3、tingshu_album 数据库中 新增数据

在这里插入图片描述

[root@localhost ~]# docker exec -it spzx-redis redis-cli
127.0.0.1:6379> SUBSCRIBE maxwell
Reading messages... (press Ctrl-C to quit)
(error) NOAUTH Authentication required.
127.0.0.1:6379> auth 123456
OK
127.0.0.1:6379> SUBSCRIBE maxwell
Reading messages... (press Ctrl-C to quit)
1) "subscribe"
2) "maxwell"
3) (integer) 1
1) "message"
2) "maxwell"
3) "{\"database\":\"tingshu_album\",\"table\":\"base_category1\",\"type\":\"insert\",\"ts\":1726741946,\"xid\":6478,\"commit\":true,\"data\":{\"id\":16,\"name\":\"maxwell\",\"order_num\":0,\"create_time\":\"2024-09-19 10:32:26\",\"update_time\":\"2024-09-19 10:32:26\",\"is_deleted\":0}}"

在这里插入图片描述

1.4、tingshu_album 数据库中 更新数据

在这里插入图片描述

[root@localhost ~]# docker exec -it spzx-redis redis-cli
127.0.0.1:6379> SUBSCRIBE maxwell
Reading messages... (press Ctrl-C to quit)
(error) NOAUTH Authentication required.
127.0.0.1:6379> auth 123456
OK
127.0.0.1:6379> SUBSCRIBE maxwell
Reading messages... (press Ctrl-C to quit)
1) "subscribe"
2) "maxwell"
3) (integer) 1
1) "message"
2) "maxwell"
3) "{\"database\":\"tingshu_album\",\"table\":\"base_category1\",\"type\":\"insert\",\"ts\":1726741946,\"xid\":6478,\"commit\":true,\"data\":{\"id\":16,\"name\":\"maxwell\",\"order_num\":0,\"create_time\":\"2024-09-19 10:32:26\",\"update_time\":\"2024-09-19 10:32:26\",\"is_deleted\":0}}"
1) "message"
2) "maxwell"
3) "{\"database\":\"tingshu_album\",\"table\":\"base_category1\",\"type\":\"update\",\"ts\":1726742253,\"xid\":7197,\"commit\":true,\"data\":{\"id\":16,\"name\":\"plus\",\"order_num\":0,\"create_time\":\"2024-09-19 10:32:26\",\"update_time\":\"2024-09-19 10:37:33\",\"is_deleted\":0},\"old\":{\"name\":\"maxwell\",\"update_time\":\"2024-09-19 10:32:26\"}}"

在这里插入图片描述

1.5、tingshu_album 数据库中 删除数据

在这里插入图片描述

[root@localhost ~]# docker exec -it spzx-redis redis-cli
127.0.0.1:6379> SUBSCRIBE maxwell
Reading messages... (press Ctrl-C to quit)
(error) NOAUTH Authentication required.
127.0.0.1:6379> auth 123456
OK
127.0.0.1:6379> SUBSCRIBE maxwell
Reading messages... (press Ctrl-C to quit)
1) "subscribe"
2) "maxwell"
3) (integer) 1
1) "message"
2) "maxwell"
3) "{\"database\":\"tingshu_album\",\"table\":\"base_category1\",\"type\":\"insert\",\"ts\":1726741946,\"xid\":6478,\"commit\":true,\"data\":{\"id\":16,\"name\":\"maxwell\",\"order_num\":0,\"create_time\":\"2024-09-19 10:32:26\",\"update_time\":\"2024-09-19 10:32:26\",\"is_deleted\":0}}"
1) "message"
2) "maxwell"
3) "{\"database\":\"tingshu_album\",\"table\":\"base_category1\",\"type\":\"update\",\"ts\":1726742253,\"xid\":7197,\"commit\":true,\"data\":{\"id\":16,\"name\":\"plus\",\"order_num\":0,\"create_time\":\"2024-09-19 10:32:26\",\"update_time\":\"2024-09-19 10:37:33\",\"is_deleted\":0},\"old\":{\"name\":\"maxwell\",\"update_time\":\"2024-09-19 10:32:26\"}}"
1) "message"
2) "maxwell"
3) "{\"database\":\"tingshu_album\",\"table\":\"base_category1\",\"type\":\"delete\",\"ts\":1726742435,\"xid\":7622,\"commit\":true,\"data\":{\"id\":16,\"name\":\"plus\",\"order_num\":0,\"create_time\":\"2024-09-19 10:32:26\",\"update_time\":\"2024-09-19 10:37:33\",\"is_deleted\":0}}"

在这里插入图片描述

1.6、总结

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2148861.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

【2023工业异常检测文献】SimpleNet

【2023工业异常检测文献】SimpleNet

SimpleNet:ASimpleNetworkforImageAnomalyDetectionandLocalization 1、Background 图像异常检测和定位主要任务是识别并定位图像中异常区域。 工业异常检测最大的难题在于异常样本少&#xff0c;一般采用无监督方法&#xff0c;在训练过程中只使用正常样本。 解决工业异常检…
阅读更多...
【uni-app】小兔鲜项目-基础架构-请求和上传文件拦截器

【uni-app】小兔鲜项目-基础架构-请求和上传文件拦截器

注意事项 uni.request 请求封装 请求和上传文件拦截器 uniapp 拦截器&#xff1a; uni.addInterceptor 接口说明&#xff1a;接口文档 实现需求 拼接基础地址设置超时时间添加请求头标识添加 token 参考代码 // src/utils/http.ts// 请求基地址 const baseURL https://pca…
阅读更多...
IM项目-----语音识别子服务

IM项目-----语音识别子服务

提示&#xff1a;文章写完后&#xff0c;目录可以自动生成&#xff0c;如何生成可参考右边的帮助文档 文章目录 前言一、搭建思想二、服务器搭建1.继承speechService类,重写业务代码2.编写语音识别服务器类3.建造者类编写 三.测试 前言 语音转换子服务&#xff0c;用于调用语音…
阅读更多...
字节跳动算法岗面试亲历：高效流程大公开，通关诀窍全掌握

字节跳动算法岗面试亲历：高效流程大公开，通关诀窍全掌握

最近这一两周看到不少互联网公司都已经开始秋招提前批了。 不同以往的是&#xff0c;当前职场环境已不再是那个双向奔赴时代了。求职者在变多&#xff0c;HC 在变少&#xff0c;岗位要求还更高了。 个人情况 985 本硕项目一个论文一篇无实习经历 时间节点 7.2 技术面一面 …
阅读更多...
探索Python的聊天机器人世界：errbot库的神秘面纱

探索Python的聊天机器人世界：errbot库的神秘面纱

文章目录 探索Python的聊天机器人世界&#xff1a;errbot库的神秘面纱背景&#xff1a;为何选择errbot&#xff1f;errbot是什么&#xff1f;如何安装errbot&#xff1f;简单库函数使用方法1. 创建机器人2. 响应消息3. 处理私聊4. 定时任务5. 错误处理 场景应用1. 会议提醒2. 天…
阅读更多...
sheng的学习笔记-AI-FOIL(First-Order Inductive Learner)

sheng的学习笔记-AI-FOIL(First-Order Inductive Learner)

AI目录&#xff1a;sheng的学习笔记-AI目录-CSDN博客 规则学习&#xff08;rule learning&#xff09;: sheng的学习笔记-AI-规则学习&#xff08;rule learning&#xff09;-CSDN博客 序贯覆盖(sequential covering):sheng的学习笔记-AI-序贯覆盖(sequential covering) 基础…
阅读更多...
Java 方法重写（难）

Java 方法重写（难）

目录 1&#xff0e;A类和B类都写一个相同的方法&#xff0c;先用static&#xff0c;两边都是一样的&#xff1a; 2&#xff0e;A类和B类都去掉static&#xff0c;出现了两个圆圈的符号&#xff0c;代表重写&#xff1a; 3&#xff0e;总结 4&#xff0e;为什么需要重写&…
阅读更多...
maven模块管理和继承聚合

maven模块管理和继承聚合

1.分模块设计与开发 分模块即为不同的模块实现不同的功能&#xff0c;方便项目开发和部署。 如下图&#xff1a;pojo为实体模块&#xff0c;tlias为业务模块&#xff0c;utils为功能模块 要在tlias模块中使用其他两个模块&#xff0c;需要在pom文件中加入对应的依赖。 如图&…
阅读更多...
【OceanBase诊断调优】—— obdiag 一条命令搞定卡合并问题根因分析

【OceanBase诊断调优】—— obdiag 一条命令搞定卡合并问题根因分析

1. 背景 卡合并是一个OceanBase中较为复杂的问题&#xff0c;可能由各种问题引入导致。当前是否卡合并无明确定义&#xff0c;一方面我们认为超过36小时没合完是合并超时&#xff08;RS会报ERROR日志&#xff09;&#xff0c;另一方面用户可能自己判断合并超时&#xff08;根据…
阅读更多...
探索AI大模型：从入门到精通的学习路径

探索AI大模型：从入门到精通的学习路径

每日一句正能量 其实许多波折不过是成功道上的荆棘路&#xff0c;纵然今天不如意&#xff0c;但我们还有未来。 前言 随着人工智能技术的快速发展&#xff0c;AI大模型学习正成为一项备受关注的研究领域。为了提高模型的准确性和效率&#xff0c;研究者们需要具备深厚的数学基…
阅读更多...
pc远程控制软件有哪些？4款热门远程控制软件推荐，总有一款适合你！

pc远程控制软件有哪些？4款热门远程控制软件推荐，总有一款适合你！

在数字化转型的浪潮中&#xff0c;远程控制已成为企业提升运营效率、实现远程办公的不可或缺的工具。 正所谓 "运筹帷幄之中&#xff0c;决胜千里之外" &#xff0c;PC端远程控制软件让企业管理者和员工能够跨越地域限制&#xff0c;高效协同工作。 今天&#xff0c…
阅读更多...
excel 单元格一直显示年月日

excel 单元格一直显示年月日

excel 单元格一直显示年月日&#xff0c;在单元格上右键选择单元格格式&#xff0c;选择日期时单元格会显示成日期格式
阅读更多...
Flink 与 Kubernetes (K8s)、YARN 和 Mesos集成对比

Flink 与 Kubernetes (K8s)、YARN 和 Mesos集成对比

Flink 与 Kubernetes (K8s)、YARN 和 Mesos 的紧密集成&#xff0c;是 Flink 能够在不同分布式环境中高效运行的关键特性。 Flink 提供了与这些资源管理系统的深度集成&#xff0c;以便在多种集群管理环境下提交、运行和管理 Flink 作业。Flink 与 K8s、YARN 和 Mesos 集成的详…
阅读更多...
前后端独立部署的企业级私有化文档管理系统丨无忧·企业文档

前后端独立部署的企业级私有化文档管理系统丨无忧·企业文档

大家好&#xff0c;我是软件部长&#xff0c;今天给大家介绍一款企业级在线知识库项目-JVS的无忧企业文档。 JVS提供低代码、物联网、规则引擎、智能BI、逻辑引擎、无忧企业文档&#xff08;在线协同&#xff09;、无忧企业计划、无忧企业邮筒等平台&#xff0c;欢迎关注微信公…
阅读更多...
无处不在的人工智能：现状与未来

无处不在的人工智能：现状与未来

文章目录 引言科幻电影中的AI《她》&#xff1a;人工智能的爱情《我&#xff0c;机器人》&#xff1a;AI的觉醒 人工智能的发展现状专用人工智能的突破通用人工智能的起步 结语 引言 在21世纪的今天&#xff0c;人工智能&#xff08;AI&#xff09;已经成为推动社会发展的关键…
阅读更多...
热爱无国界：deepin 23获得全球用户的信任与支持

热爱无国界：deepin 23获得全球用户的信任与支持

查看原文 随着 deepin 操作系统在全球范围内知名度和影响力的日益攀升&#xff0c;其独特的魅力和卓越的使用体验赢得了世界各地的众多开源爱好者与全球媒体的高度关注与支持。 海外分支社区的蓬勃发展 最近&#xff0c;deepin 在国际化进程中又迈出了坚实的一步——deepin …
阅读更多...
【贪心算法】贪心算法一

【贪心算法】贪心算法一

贪心算法一 1.柠檬水找零2.将数组和减半的最少操作次数3.最大数4.摆动序列 点赞&#x1f44d;&#x1f44d;收藏&#x1f31f;&#x1f31f;关注&#x1f496;&#x1f496; 你的支持是对我最大的鼓励&#xff0c;我们一起努力吧!&#x1f603;&#x1f603; 1.柠檬水找零 题目…
阅读更多...
C++中模板的初级使用函数模板（刚刚接触模板概念的小白也能明白）

C++中模板的初级使用函数模板（刚刚接触模板概念的小白也能明白）

文章目录 模板分类函数模板函数模板的原理函数模板基本语法 —— typename 以及 class简单的函数模板多类型模板参数class 和 typename 的选择类模板 模板分类 模板的核心思想是让编译器在编译时生成适用于具体类型的代码&#xff0c;这个过程称为模板实例化。C 中的模板分为两…
阅读更多...
3 种自然语言处理(NLP)技术：RNN、Transformers、BERT

3 种自然语言处理(NLP)技术：RNN、Transformers、BERT

自然语言处理 (NLP) 是人工智能的一个领域&#xff0c;旨在使机器能够理解文本数据。NLP 研究由来已久&#xff0c;但直到最近&#xff0c;随着大数据和更高计算处理能力的引入&#xff0c;它才变得更加突出。 随着 NLP 领域的规模越来越大&#xff0c;许多研究人员都试图提高…
阅读更多...
大模型算法二次开发，基本思路详细拆解

大模型算法二次开发，基本思路详细拆解

前言 随着众多大模型相继问世&#xff0c;大模型二次开发、大模型微调成为一项热门技术。本文为大家总结了大模型二次开发的基本方法与思路&#xff0c;希望对大家有所帮助。 转载自丨吃果冻不吐果冻皮 开发方法分类 1、领域知识注入&#xff1a;Continue PreTraining(增量…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023