1 Kettle总体步骤
更多数据实时同步方案，请参考笔者的另一篇博文：大数据时代，数据实时同步解决方案的思考—最全的数据同步总结

由于Kettle自身的特殊性以及在多个步骤中kettle自身处理数据库事务的特殊性，尝试了很多种方案，最终确定暂使用如下方案。

1、使用此方案可以解决kettle本身数据库事务的缺点

2、使用此方案可以解决支队多个表中同时往一张总表中同步数据时，取时间戳不准的问题。

3、配置时，每个支队的数据汇聚时，都单独配置一个转换作业任务。

4、Kettle支持字段映射，转换，以及作业定时运行等。








3 Kettle配置风险
1、单次同步数据量大时，由于需要同时更新两次表，效率可能会比较低

2、如果采用单次限制数据记录量，由于Kettle本身不支持数据分页，当数据表如果存在大量数据记录的时间戳都相同时，可能会导致部分数据无法同步过来。