背景：

项目上有两个不同的MPP数据库（HIVE、oceanbase），目前的问题是需要把hive的数据迁移到ob中。数据体量大于4000亿，文件容量有300T，hive作为计算库（大于120节点的集群）把结果数据计算出，存放在DWD层，hive的表有近40张，大部分是大宽表（大于100个字段），里面字段存放基本上是码值，不包含维度信息（不知道当时为什么这么设计，增加计算量），而oceanbase库是作为报表查询的后台，如果采用视图的方式，查询汇总数据太慢。如果采用物化视图的方式，需要全量或者增量刷新。

本人测试过程中，需要解决以下的问题：

1、根据hive2ob的同步日志，能够及时的处理每条线的表。不用在ob上单独设置job

2、并发执行，提高处理效率

1、设计思路

 

2、代码实现

本人是MySQL2Oracle测试的，具体的代码可以在ob上执行，通用。

2.1 设计表结构