数据任务的处理方法及任务调度器与流程

文档序号:12120129阅读:来源:国知局

技术特征:

1.一种数据任务的处理方法,其特征在于,包括:

从任务表中调取一个待执行的任务;其中,所述任务表记载有多个任务及每个任务的依赖关系项,且所述任务表中记载的任务可被多个任务调度器调取;

根据所调取的任务的依赖关系项,获取所述任务的依赖信息;

根据所述依赖信息判定当前状态符合执行条件时,将所调取的任务提交给任务处理器执行数据处理。

2.如权利要求1所述的数据任务的处理方法,其特征在于,所述从任务表中调取一个待执行的任务,具体包括:

从所述任务表中按任务队列顺序选择一个任务;

根据所述任务的标识,从数据存储区中查询所述任务的调取信息及执行信息;其中,所述数据存储区记录有所述任务表中每个任务的调取信息及执行信息,所述调取信息用于记录所述任务是否已被任务调度器调取,所述执行信息用于记录所述任务是否已被提交给任务处理器正在执行以及是否执行成功;

当所选择的任务未被调取,或者所选择的任务已被调取但未被提交给任务处理器执行,或者所选择的任务已被提交给任务处理器执行但执行失败时,调取所述任务,并在所述数据存储区记录所述任务已被调取;

当所选择的任务已被调取且已被提交给任务处理器正在执行,或者所选择的任务已被调取且执行成功时,继续从所述任务表中按任务队列顺序选择下一个任务。

3.如权利要求1所述的数据任务的处理方法,其特征在于,所述依赖关系项中包含依赖信息;则所述根据所调取的任务的依赖关系项,获取所述任务的依赖信息,具体为:

从所调取的任务的依赖关系项中,直接获得所述任务的依赖信息;

或者,所述依赖关系项中包含自动依赖判断标识;则所述根据所调取的任 务的依赖关系项,获取所述任务的依赖信息,具体为:

根据所调取的任务的依赖关系项中的自动依赖判断标识,启动自动依赖判断;

扫描所述任务的具体执行内容,从中获得所述任务的依赖信息。

4.如权利要求1所述的数据任务的处理方法,其特征在于,所述依赖信息为所述任务所依赖的启动时刻;

则所述根据所述依赖信息判定当前状态符合执行条件时,将所调取的任务提交给任务处理器执行数据处理,具体包括:

判断所述任务所依赖的启动时刻是否早于当前时刻;

若是,则判定当前状态符合执行条件,将所调取的任务提交给所述任务处理器执行数据处理,并在所述数据存储区记录所调取的任务已被提交给任务处理器正在执行;

若否,则判定当前状态不符合执行条件,在所述数据存储区记录所调取的任务未被提交给任务处理器执行。

5.如权利要求1所述的数据任务的处理方法,其特征在于,所述依赖信息为所述任务所依赖的任务的标识;

则所述根据所述依赖信息判定当前状态符合执行条件时,将所调取的任务提交给任务处理器执行数据处理,具体包括:

根据所调取的任务所依赖的任务的标识,从所述数据存储区中查询所依赖的任务是否已被所述任务处理器执行成功;

若是,则判定当前状态符合执行条件,将所调取的任务提交给所述任务处理器执行数据处理,并在所述数据存储区记录所调取的任务已被提交给任务处理器正在执行;

若否,则判定当前状态不符合执行条件,在所述数据存储区记录所调取的任务未被提交给任务处理器执行。

6.如权利要求1所述的数据任务的处理方法,其特征在于,所述依赖信息为所调取的任务所依赖的启动时刻和所依赖的任务的标识;

则所述根据所述依赖信息判定当前状态符合执行条件时,将所调取的任务提交给任务处理器执行数据处理,具体包括:

判断所述任务所依赖的启动时刻是否早于当前时刻;

当所述启动时刻早于当前时刻时,根据所述任务所依赖的任务的标识,从所述数据存储区中查询所依赖的任务是否已被所述任务处理器执行成功;

当所依赖的任务执行成功时,判定当前状态符合执行条件,将所调取的任务提交给所述任务处理器执行数据处理,并在所述数据存储区记录所调取的任务已被提交给任务处理器正在执行;

当所述启动时刻晚于当前时刻,或者所述启动时刻早于当前时刻但所依赖的任务未被执行成功时,则判定当前状态不符合执行条件,在所述数据存储区记录所调取的任务未被提交给任务处理器执行。

7.如权利要求1至6任一项所述的数据任务的处理方法,其特征在于,在将所调取的任务提交给任务处理器执行数据处理之后,还包括:

接收所述任务处理器返回的任务执行结果;

将所述任务执行结果保存于数据存储区;

继续从所述任务表中调取下一个待执行的任务,直至所述任务表中记载的任务全被执行成功为止。

8.如权利要求7所述的数据任务的处理方法,其特征在于,在接收所述任务处理器返回的任务执行结果之后,还包括:

根据所述任务执行结果判断所述任务是否执行成功;

若是,则在所述数据存储区中记录所述任务执行成功;

若否,则在所述数据存储区中记录所述任务执行失败。

9.如权利要求8所述的数据任务的处理方法,其特征在于,在所述数据存储区中记录所述任务执行失败之后,还包括:

根据所述任务执行结果生成报警邮件,并将所述报警邮件发送至预设的接收端口;

或者,对所述任务执行失败的次数加一,在加一后的次数大于报警门限值时,根据所述任务执行结果生成报警邮件,并将所述报警邮件发送至预设的接收端口。

10.一种任务调度器,其特征在于,包括:

任务调取模块,用于从任务表中调取一个待执行的任务;其中,所述任务表记载有多个任务及每个任务的依赖关系项,且所述任务表中记载的任务可被多个任务调度器调取;

依赖获取模块,用于根据所调取的任务的依赖关系项,获取所述任务的依赖信息;和,

任务处理模块,用于根据所述依赖信息判定当前状态符合执行条件时,将所调取的任务提交给任务处理器执行数据处理。

11.如权利要求10所述的任务调度器,其特征在于,所述任务调取模块具体包括:

任务选择单元,用于从所述任务表中按任务队列顺序选择一个任务;

第一查询单元,根据所述任务的标识,从数据存储区中查询所述任务的调取信息及执行信息;其中,所述数据存储区记录有所述任务表中每个任务的调取信息及执行信息,所述调取信息用于记录所述任务是否已被任务调度器调取,所述执行信息用于记录所述任务是否已被提交给任务处理器正在执行以及是否执行成功;

任务调取单元,用于当所选择的任务未被调取,或者所选择的任务已被调 取但未被提交给任务处理器执行,或者所选择的任务已被提交给任务处理器执行但执行失败时,调取所述任务,并在所述数据存储区记录所述任务已被调取;

所述任务选择单元,还用于当所选择的任务已被调取且已被提交给任务处理器正在执行,或者所选择的任务已被调取且执行成功时,继续从所述任务表中按任务队列顺序选择下一个任务。

12.如权利要求10所述的任务调度器,其特征在于,所述依赖关系项中包含依赖信息,则所述依赖获取模块具体用于从所调取的任务的依赖关系项中,直接获得所述任务的依赖信息;

或者,所述依赖关系项中包含自动依赖判断标识,则所述依赖获取模块具体包括:

启动自判断单元,用于根据所调取的任务的依赖关系项中的自动依赖判断标识,启动自动依赖判断;和,

扫描获取单元,用于扫描所述任务的具体执行内容,从中获得所述任务的依赖信息。

13.如权利要求10所述的任务调度器,其特征在于,所述依赖信息为所述任务所依赖的启动时刻;

则所述任务处理模块具体包括:

第一判断单元,用于判断所述任务所依赖的启动时刻是否早于当前时刻;

第一任务提交单元,用于当所述任务所依赖的启动时刻早于当前时刻时,判定当前状态符合执行条件,将所调取的任务提交给所述任务处理器执行数据处理,并在所述数据存储区记录所调取的任务已被提交给任务处理器正在执行;和,

第一信息记录单元,用于当所述任务所依赖的启动时刻晚于当前时刻时,判定当前状态不符合执行条件,在所述数据存储区记录所调取的任务未被提交给任务处理器执行。

14.如权利要求10所述的任务调度器,其特征在于,所述依赖信息为所述任务所依赖的任务的标识;

则所述任务处理模块具体包括:

第二查询单元,用于根据所调取的任务所依赖的任务的标识,从所述数据存储区中查询所依赖的任务是否已被所述任务处理器执行成功;

第二任务提交单元,用于当所依赖的任务已被所述任务处理器执行成功时,判定当前状态符合执行条件,将所调取的任务提交给所述任务处理器执行数据处理,并在所述数据存储区记录所调取的任务已被提交给任务处理器正在执行;和,

第二信息记录单元,用于当所依赖的任务未被所述任务处理器执行成功时,判定当前状态不符合执行条件,在所述数据存储区记录所调取的任务未被提交给任务处理器执行。

15.如权利要求10所述的任务调度器,其特征在于,所述依赖信息为所调取的任务所依赖的启动时刻和所依赖的任务的标识;

则所述任务处理模块具体包括:

第二判断单元,用于判断所述任务所依赖的启动时刻是否早于当前时刻;

第三查询单元,用于当所述启动时刻早于当前时刻时,根据所述任务所依赖的任务的标识,从所述数据存储区中查询所依赖的任务是否已被所述任务处理器执行成功;

第三任务提交单元,用于当所依赖的任务执行成功时,判定当前状态符合执行条件,将所调取的任务提交给所述任务处理器执行数据处理,并在所述数据存储区记录所调取的任务已被提交给任务处理器正在执行;和,

第三信息记录单元,用于当所述启动时刻晚于当前时刻,或者所述启动时刻早于当前时刻但所依赖的任务未被执行成功时,判定当前状态不符合执行条件,在所述数据存储区记录所调取的任务未被提交给任务处理器执行。

16.如权利要求10至15任一项所述的任务调度器,其特征在于,所述任务调度器还包括:

信息接收模块,用于接收所述任务处理器返回的任务执行结果;

信息转存模块,用于将所述任务执行结果保存于数据存储区;

所述任务调取模块,还用于在将所述任务执行结果保存于数据存储区之后,继续从所述任务表中调取下一个待执行的任务,直至所述任务表中记载的任务全被执行成功为止。

17.如权利要求16所述的任务调度器,其特征在于,所述任务调度器还包括:

第二判断模块,用于在接收所述任务处理器返回的任务执行结果之后,根据所述任务执行结果判断所述任务是否执行成功;

第四信息记录模块,用于当所述任务执行成功时,则在所述数据存储区中记录所述任务执行成功;

第五信息记录模块,用于当所述任务执行失败时,则在所述数据存储区中记录所述任务执行失败。

18.如权利要求17所述的任务调度器,其特征在于,所述任务调度器还包括:

报警模块,用于在所述数据存储区中记录所述任务执行失败之后,根据所述任务执行结果生成报警邮件,并将所述报警邮件发送至预设的接收端口;

或者,用于在所述数据存储区中记录所述任务执行失败之后,对所述任务执行失败的次数加一,在加一后的次数大于报警门限值时,根据所述任务执行结果生成报警邮件,并将所述报警邮件发送至预设的接收端口。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1