利用 NineData 实现 PostgreSQL 到 Kafka 的高效数据同步

news2025/2/25 12:08:21

记录一次 PostgreSQL 到 Kafka 的数据迁移实践。前段时间，NineData 的某个客户在一个项目中需要将 PostgreSQL 的数据实时同步到 Kafka。需求明确且普遍：

PostgreSQL 中的交易数据，需要实时推送到 Kafka，供下游多个系统消费，包括实时监控、用户通知服务和数据分析平台。
数据需要保证准确性，不能有遗漏或重复。
要求延迟尽可能低，同时支持大批量并发写入场景。

起初，他们尝试了不少开源方案，均以失败告终。问题总结为如下四个点：

配置复杂：要开启 PostgreSQL 的逻辑复制、解析 WAL 日志、搭建 Kafka 数据管道，光是查文档就费了不少时间。
数据一致性问题：自己实现的数据同步逻辑，时不时会遇到丢数据或者重复的问题，调试起来极其费劲。
费时费力：自己搭建数据同步方案需要花费大量时间开发和调试，即使完成了初始开发，后续的维护和优化工作依然会占用大量精力，特别是在面对需求变化时，可能需要重新调整整个流程。
监控和故障恢复困难：自建方案缺乏完善的监控方式，数据同步链路涉及多个环节，一旦出现故障，排查问题及其耗时且低效。

几番折腾下来，时间精力浪费了不少，问题却没解决。客户感到筋疲力尽，只想尽快找到一个简单的解决方案以快速实现业务需求，而不是纠结于繁琐的底层技术细节上。最终，客户找到了 NineData。

NineData 数据复制简介

NineData 数据复制功能由玖章算术公司推出，支持多种支持跨数据库的全量与增量数据同步，在提供高效、稳定的数据流动体验的同时，确保迁移过程中的数据一致性，降低迁移的技术门槛和风险。

在 PostgreSQL 到 Kafka 的同步场景下，NineData 提供如下能力：

快速启动，无需开发：NineData 内置 PostgreSQL 和 Kafka 的深度集成，全程可视化操作，鼠标点击即可轻松完成任务配置，无需了解数据迁移的技术细节，更无需二次开发。
高效的 CDC 能力：基于 PostgreSQL 的逻辑复制技术，NineData 能实时捕获数据库的变更数据（CDC），并将其转化为 Kafka 消息，支持毫秒级延迟，满足实时性要求。
稳定可靠的容错机制：自动检测同步链路的异常状况，支持断点续传和重试机制，即使面对网络抖动或 Kafka 消息积压，也能保证任务稳定运行，确保数据一致性。
全面的监控与告警：提供实时的任务监控面板，用户可直观查看数据同步状态、延迟、数据量等关键指标，同时支持异常告警通知，方便快速定位和解决问题。

三分钟完成迁移配置

步骤一：将 PostgreSQL 和 Kafka 录入到 NineData 平台

1. 登录 NineData 控制台，单击数据源管理>数据源，然后在页面中单击创建数据源，选择需要录入的数据源。

2. 根据页面提示进行配置，然后单击创建数据源完成创建。

步骤二：配置同步链路

1. 登录 NineData 控制台，单击数据复制>数据复制，然后单击创建复制。

2. 根据页面提示配置复制任务，由于我们想要实现实时数据同步，需要在复制类型处额外勾选增量复制。

3. 配置完成后启动任务，针对你配置的所有同步对象，NineData 会先对所有的存量数据进行全量迁移，接下来就是实时迁移源端 PostgreSQL 中新增的增量数据，所有新写入的数据都将一条不漏地传递到 Kafka，每当 PostgreSQL 端的增量数据已经全部写入 Kafka，并且没有新的增量数据时，任务面板中的延迟将显示为 0 秒，代表当前 Kafka 中的数据是最新的。