作业控制方法及服务器与流程

文档序号:12463897阅读:来源:国知局

技术特征:

1.一种作业控制方法,其特征在于,包括:

任务调度服务器接收第一批处理服务器在执行批处理作业时每处理完n行数据后发送的中间数据,所述中间数据携带:所述n行数据的脏数据以及所述脏数据的元数据信息;n为自然数;

所述任务调度服务器存储所述中间数据;

所述任务调度服务器判断所述批处理作业执行失败时,选择重新执行所述批处理作业的第二批处理服务器;

所述任务调度服务器将所述批处理作业执行失败前所述任务调度服务器最后一次接收到的中间数据发送至所述第二批处理服务器,作为所述第二批处理服务器重启所述批处理作业的参考数据。

2.根据权利要求1所述的方法,其特征在于,所述任务调度服务器存储所述中间数据,包括:

所述任务调度服务器将所述中间数据存储于所述任务调度服务器的共享缓存中。

3.根据权利要求1或2所述的方法,其特征在于,还包括:

任务调度服务器将所述中间数据存储至共享存储中。

4.根据权利要求3所述的方法,其特征在于,任务调度服务器将所述中间数据存储至共享存储中,包括:

任务调度服务器确定当前时间距离上一存储时间达到预设时间阈值时,将所述上一存储时间之后接收到的中间数据存储至共享存储中,所述上一存储时间是指距离当前时间最近的、将中间数据存储至共享存储的时间;和/或,

任务调度服务器确定上一次将中间数据存储至共享缓存之后接收到的中间数据的数据量达到数据量阈值时,将上一次将中间数据存储至共享缓存之后接收到的中间数据存储至共享存储中;和/或,

任务调度服务器确定上一次将中间数据存储至共享缓存之后接收到中间数据的次数达到次数阈值时,将上一次将中间数据存储至共享缓存之后接收到的中间数据存储至共享存储中。

5.一种作业控制方法,其特征在于,包括:

第一批处理服务器在执行批处理作业时,每处理完n行数据后向任务调度服务器发送中间数据,所述中间数据包括:所述n行数据的脏数据以及所述脏数据的元数据信息,作为所述批处理作业执行失败时第二批处理服务器重启所述批处理作业的参考数据,n为自然数。

6.一种作业控制方法,其特征在于,包括:

第二批处理服务器接收到任务调度服务器发送的、用于指示第二批处理服务器重新执行失败的批处理作业的作业重启消息时,接收任务调度服务器发送的中间数据,所述中间数据包括:n行数据的脏数据以及所述脏数据的元数据信息;所述中间数据是所述任务调度服务器在所述批处理作业执行失败前最后一次接收到的中间数据;n为自然数;

所述第二批处理服务器从所述中间数据记录的步骤重启所述批处理作业。

7.根据权利要求6所述的方法,其特征在于,还包括:

第二批处理服务器接收到任务调度服务器发送的作业重启消息,且无法从所述任务调度服务器接收到所述批处理作业的中间数据时,从共享存储获取所述批处理作业的第二数据;所述第二数据包括:所述共享存储最近一次接收到的所述批处理作业的脏数据和元数据信息;

所述第二批处理服务器从所述第二数据记录的步骤重启所述批处理作业。

8.一种任务调度服务器,其特征在于,包括:

接收单元,用于接收第一批处理服务器在执行批处理作业时每处理完n行数据后发送的中间数据,所述中间数据包括:所述n行数据的脏数据以及所述脏数据的元数据信息;n为自然数;

存储单元,用于存储接收单元接收到的所述中间数据;

选择单元,用于判断所述批处理作业执行失败时,选择重新执行所述批处理作业的第二批处理服务器;

发送单元,用于将所述批处理作业执行失败前所述任务调度服务器最后一次接收到的中间数据发送至所述选择单元选择的所述第二批处理服务器,作为所述第二批处理服务器重启所述批处理作业的参考数据。

9.根据权利要求8所述的任务调度服务器,其特征在于,所述存储单元具体用于:将所述中间数据存储于所述任务调度服务器的共享缓存中。

10.根据权利要求8或9所述的任务调度服务器,其特征在于,所述存储单元还用于:将所述中间数据存储至共享存储中。

11.根据权利要求10所述的任务调度服务器,其特征在于,所述存储单元具体用于:

确定当前时间距离上一存储时间达到预设时间阈值时,将所述上一存储时间之后接收到的中间数据存储至共享存储中,所述上一存储时间是指距离当前时间最近的、将中间数据存储至共享存储的时间;和/或,

确定上一次将中间数据存储至共享缓存之后接收到的中间数据的数据量达到数据量阈值时,将上一次将中间数据存储至共享缓存之后接收到的中间数据存储至共享存储 中;和/或,

确定上一次将中间数据存储至共享缓存之后接收到中间数据的次数达到次数阈值时,将上一次将中间数据存储至共享缓存之后接收到的中间数据存储至共享存储中。

12.一种批处理服务器,其特征在于,包括:

执行单元,用于执行批处理作业;

发送单元,用于在所述执行单元执行批处理作业时,每处理完n行数据后向任务调度服务器发送中间数据,所述中间数据包括:所述n行数据的脏数据以及所述脏数据的元数据信息,作为所述批处理作业执行失败时第二批处理服务器重启所述批处理作业的参考数据,n为自然数。

13.一种批处理服务器,其特征在于,包括:

接收单元,用于接收到任务调度服务器发送的、用于指示第二批处理服务器重新执行失败的批处理作业的作业重启消息时,接收任务调度服务器发送的中间数据,所述中间数据包括:n行数据的脏数据以及所述脏数据的元数据信息;所述中间数据是所述任务调度服务器在所述批处理作业执行失败前最后一次接收到的中间数据;n为自然数;

执行单元,用于从所述接收单元接收到的所述中间数据记录的步骤重启所述批处理作业。

14.根据权利要求13所述的批处理服务器,其特征在于,还包括:

获取单元,用于接收到任务调度服务器发送的作业重启消息,且所述接收单元无法从所述任务调度服务器接收到所述批处理作业的中间数据时,从共享存储获取所述批处理作业的第二数据;所述第二数据包括:所述共享存储最近一次接收到的所述批处理作业的脏数据和元数据信息;

所述执行单元还用于:从所述第二数据记录的步骤重启所述批处理作业。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1