一种支持多任务重跑的调度方法与流程

文档序号:20009180发布日期:2020-02-22 03:54阅读:来源:国知局
技术总结
本发明公开了一种支持多任务重跑的调度方法。它具体包括如下步骤:解析每个job中的sql,得到读取的表列表、写入的表列表;每个job包装一个前置任务,一个后置任务,前置任务检查读取的表列表是否准备就绪,如果就绪继续执行当前job,如果还没有准备就绪,改任务一直轮询直到所有表准备就绪;后置任务用来标记所有写入表的状态为就绪状态,以便后续依赖这些表的任务执行;在后台展示所有job的依赖关系图,用一种颜色表示执行失败,当遇到执行失败时,只要修复好当前节点涉及的表,其他任务就能自动往下执行。本发明的有益效果是:能够大大节省数据异常时,补数据的时间;根据数据血缘关系图可以优化业务数仓的设计。

技术研发人员:李跃;余侍俊;陈永礼;陈俊洁
受保护的技术使用者:杭州米络星科技(集团)有限公司
技术研发日:2019.10.31
技术公布日:2020.02.21

当前第3页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1