1.项目需要读取hive表数据,并对返回的数据进行解析;
select * from table ;
2.返回数据,根据库、表,对其进行 下一步执行;
中间遇到一个棘手的问题,在python线程池中,使用异步非阻塞 apply_async() 方法时,一直无法获取到异步子线程执行的结果,最后通过查官方API 使用ready()方法可以拿到子线程的运行结果。
apply_async()是异步非阻塞式,不用等待当前进程执行完毕,随时跟进操作系统调度来进行进程切换,即多个进程并行执行,提高程序的执行效率。
代码: