1 mongo同步数据到mysql中
我想把51万8400的计算出来的八字信息,从mongo同步到mysql,看看在mysql中运行会怎么样。
选择mongodb input,这个是在Big Data中。
填写数据库和表
获取到mongodb的字段,获取到mongo的字段,如果某个字段是json结构,则需要自己处理一下,因为mysql中也可以使用json
类型。
添加【表输出】,然后按住shift
,将mongoDb input
与表输出
建立一条线
修正mongodb与mysql表之间的关系
运行后,可以看到执行情况,51万数据同步花了8分钟。
同样的数据,在mongo中存储占用了1.85GB
而mysql居然使用了14.4GB。存储空间是mongo的7.78倍,查询速度比mongo慢168倍。
在没有创建索引情况下,mysql查询需要1m45s,mongodb需要624ms。mysql如果查询没有索引,几乎无法忍受。
2 mongo同步数据到es中
待验证