然后我们实际操作一下如何把mysql中的数据同步到hdfs中去,这里注意,这里是查询mysql中的表中的数据,然后放到
hdfs中去,并不是说,如果mysql数据表中的数据变化了,就自动同步到hdfs,这个功能后面我们再说,这是增量同步
用到的是其他的处理器
首先我们创建一个处理器组mysqltohdfs
然后我们进入这个组
然后我们拖拽一个处理器,querydatabasetable处理器
然后设置这个处理器,scheduling,设置定时是9999sec,时间一定要长一点,不能不停的查询,服务器压力大
然后再去设置,给这个querydatabasetable处理器,设置properties这里,设置数据库连接池
点击这里的database connecti