Debezium系列之:DDD-3: Incremental snapshotting
- 动机
- 目标
- 非目标
- 建议的改变
- 测试
动机
- Debezium是一个平台,通过处理数据库的事务日志来流式传输数据执行的更改。由于数据库中已经存在的数据通常在事务日志中不可用,因此Debezium在连接器启动时执行一致的快照。
- 快照通过将所有捕获的表的内容读入Debezium并将其传递到Kafka来执行。快照处理表时是顺序执行的,只有在完成后才会开始流式传输。根据数据库的大小,这个过程可能需要几个小时甚至几天。这个过程本身可以中断,但必须从头开始执行。
- 许多用例不需要将源数据库中已存在的数据全部一次性传递。相反,它们要求数据在未指定的时间点传递。这引出了增量快照的想法,其中快照与流式传输并行进行。结果将是流式传输从头开始执行,快照将被分批执行,这将允许在执行过程中恢复快照。
- 快照的第二个问题是在需要更新捕获表的列表时可见的。由于通常需要流式传输新添加表的内容,因此通常需要暂时暂停流式传输,执行新表的快照,然后恢复流式传输(尚未在Debezium中实现)。增量快照也将解决这种情况。
目标
- 提供可恢复快照支持
- 提供快照与流式传输并行执行的支持
- 提供过滤器配置的更新支持(包括/排除捕获表的列表)
- 提供即席快照支持(在连接器运行时触发)