一种应用于数据分析任务的工作流调度方法与流程

文档序号:15198540发布日期:2018-08-19 02:31阅读:来源:国知局

技术特征:

技术总结
本发明提供了一种应用于数据分析任务的工作流调度方法,涉及计算机软件领域,包括S1:接收任务序列,解析并封装任务序列中的每一个最小任务单元;S2:根据最小任务单元构建数据流向图,数据流向图中包含节点;S3:对数据流向图中的节点进行初始化;S4:在初始化后的数据流向图中查找并行的节点;S5:通过多个工作线程按照数据流向图执行任务,并行的节点同时执行;S6:循环S4‑S5,直到带有结束标识的任务执行完毕,整个工作流调度完成。本发明解决了目前的调度方法中往往由一个节点管家负责各个节点的任务执行,一旦一个节点程序运行出错或者节点管家宕机,会导致整个数据分析任务执行失败的问题。

技术研发人员:王永波;傅玉生
受保护的技术使用者:成都优易数据有限公司
技术研发日:2018.03.09
技术公布日:2018.08.17
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1