数据集成平台关于【源平台调度任务生命周期】
任务调度者
- 调度事件
- 生产任务
- 调度任务池-异步
AsynDispatcher --source
实例化适配器执行
- 消费任务
- 实例化集成应用 DataHub Instance
handleSourceDispatch()
- 依赖注入集成方案适配器
- 调度条件检查
- 执行适配器调度方法
- 联动其它方案调度任务 SourceEvent
适配器调度周期
- 初始化变量
- 根据元数据配置生成请求参数
- 向源队列存储器 写入任务=>JobId
- 生产任务
- 方案任务队列池-异步
租户进程
实例化适配器执行
- 实例化集成应用 DataHub Instance
handleSourceJob()
- 根据任务id定位找到mongodb中对应的任务详情 JobId=>findSourceJob
- 执行适配器内SDK
Adapter->SDK->invoke()
触发事件加工厂
- 事件加工厂 ScriptFactory::AfterSourceInvoke
适配器处理响应-success
- 处理响应数据
handleResponse
- 判断 接口请求任务 成功/失败
- 定位 Response 数据Key
- 遍历数据对象,Mongodb 存储对象
- 标记任务状态 Finished
- 提供InvokeRequest 进行分页查询任务
适配器处理任务错误
- Throwable 异常搜集器
- 标记任务状态 Error
- 任务重试机制 ReQueue()
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/12491.html
如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!