控制MapReduce任务调度的方法、装置和系统的制作方法
【技术领域】
[0001]本发明涉及通信领域,特别涉及一种控制MapReduce任务调度的方法、装置和系统。
【背景技术】
[0002]MapReduce任务执行过程中需要多个节点协同完成，执行过程中Map Reduce主控节点需要检测各个任务节点执行状态，某个任务节点失效后需要重新选择节点启动任务。如今虚拟化技术越来愈普及，很多Map Reduce集群也运行在虚拟化层之上，虚拟化层具备节点状态监控功能，MapReduce的故障检测与虚拟化层的节点故障检测可以联动配合。
[0003]但现有的MapReduce节点状态检测存在以下一些问题:MapReduce对节点的状态判断仅仅依赖于任务执行过程中的心跳响应，不能全面了解任务节点的状态，存在反复尝试已经基本失效的节点，导致整个MapReduce任务因为某个节点的失效而全部等待。
【发明内容】
[0004]本发明实施例提供一种控制MapReduce任务调度的方法、装置和系统。通过利用虚拟化层的虚机状态检测机制实现更加全面的任务节点状态检测，从而优化MapReduce任务节点的调度选择。
[0005]根据本发明的一个方面，提供一种控制MapReduce任务调度的方法，包括:
[0006]当接收到监测装置发送的节点失效信息时，从节点失效信息中提取出发生故障的失效节点标识，其中监测装置实时监测与主控节点相关联的任务节点状态，在监测到任务节点从有效状态转换为失效状态而成为失效节点后，在发送条件满足时发送所述节点失效信息；
[0007]从有效节点集合中删除所述失效节点标识，其中有效节点集合中包括的节点用于MapReduce任务调度；
[0008]将所述失效节点标识添加到失效节点集合中。
[0009]在一个实施例中，从有效节点集合中删除所述失效节点标识的步骤包括:
[0010]判断所述失效节点当前是否承载有任务；
[0011 ] 若判断所述失效节点当前没有承载任务，则从有效节点集合中删除所述失效节点标识。
[0012]在一个实施例中，若判断所述失效节点当前承载有任务，则在有效节点集合中选择一个节点作为替代节点；
[0013]由所述替代节点承载所述任务；
[0014]然后执行从有效节点集合中删除所述失效节点标识的步骤。
[0015]在一个实施例中，在有效节点集合中选择一个节点作为替代节点的步骤包括:
[0016]在有效节点集合中，选择负载最小的一个节点作为替代节点。
[0017]在一个实施例中，还包括:
[0018]当接收到监测装置发送的节点生效信息时，从节点生效信息中提取出故障恢复的有效节点标识，其中监测装置在监测到任务节点从失效状态转换为有效状态而成为有效节点后，在发送条件满足时发送所述节点生效信息；
[0019]从失效节点集合中删除所述有效节点标识；
[0020]将所述有效节点标识添加到有效节点集合中。
[0021 ] 在一个实施例中，还包括:
[0022]以预定的时间间隔向监测装置周期性地发送查询请求，以便监测装置在接收到查询请求时，确定所述发送条件获得满足。
[0023]根据本发明的另一方面，提供一种控制MapReduce任务调度的主控节点，包括接收单元、提取单元、有效节点集合管理单元和无效节点集合管理单元，其中:
[0024]接收单元，用于接收监测装置发送的节点失效信息，其中监测装置实时监测与主控节点相关联的任务节点状态，在监测到任务节点从有效状态转换为失效状态而成为失效节点后，在发送条件满足时发送所述节点失效信息；
[0025]提取单元，用于当接收单元接收到监测装置发送的节点失效信息时，从节点失效信息中提取出发生故障的失效节点标识；
[0026]有效节点集合管理单元，用于从有效节点集合中删除所述失效节点标识，其中有效节点集合中包括的节点用于MapReduce任务调度；
[0027]无效节点集合管理单元，用于将所述失效节点标识添加到失效节点集合中。
[0028]在一个实施例中，有效节点集合管理单元具体判断所述失效节点当前是否承载有任务；若判断所述失效节点当前没有承载任务，则从有效节点集合中删除所述失效节点标识。
[0029]在一个实施例中，有效节点集合管理单元还用于在判断所述失效节点当前承载有任务时，在有效节点集合中选择一个节点作为替代节点；由所述替代节点承载所述任务；然后执行从有效节点集合中删除所述失效节点标识的操作。
[0030]在一个实施例中，有效节点集合管理单元具体在有效节点集合中，选择负载最小的一个节点作为替代节点。
[0031]在一个实施例中，提取单元还用于当接收单元接收到监测装置发送的节点生效信息时，从节点生效信息中提取出故障恢复的有效节点标识，其中监测装置在监测到任务节点从失效状态转换为有效状态而成为有效节点后，在发送条件满足时发送所述节点生效信息；
[0032]无效节点集合管理单元还用于从失效节点集合中删除所述有效节点标识；
[0033]有效节点集合管理单元还用于将所述有效节点标识添加到有效节点集合中。
[0034]在一个实施例中，上述主控节点还包括:
[0035]发送单元，用于以预定的时间间隔向监测装置周期性地发送查询请求，以便监测装置在接收到查询请求时，确定所述发送条件获得满足。
[0036]根据本发明的另一方面，提供一种控制MapReduce任务调度的系统，包括主控节点和监测装置，其中:
[0037]监测装置，用于实时监测与主控节点相关联的任务节点状态，在监测到任务节点从有效状态转换为失效状态而成为失效节点后，在发送条件满足时发送节点失效信息，其中节点失效信息中包括发生故障的失效节点标识；
[0038]主控节点，为上述任一实施例涉及的主控节点。
[0039]在一个实施例中，监测装置还用于在监测到任务节点从失效状态转换为有效状态而成为有效节点后，在发送条件满足时发送节点生效信息，其中节点生效信息中包括故障恢复的有效节点标识。
[0040]在一个实施例中，监测装置具体在监测到任务节点的状态发生变化时，确定所述发送条件获得满足。
[0041]在一个实施例中，监测装置具体在接收到主控节点发送的查询请求后，确定所述发送条件获得满足。
[0042]本发明通过当接收到监测装置发送的节点失效信息时，从节点失效信息中提取出发生故障的失效节点标识，从有效节点集合中删除所述失效节点标识，将所述失效节点标识添加到失效节点集合中O从而可优化MapReduce任务节点的调度选择。
【附图说明】
[0043]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0044]图1为本发明控制MapReduce任务调度的方法一个实施例的示意图。
[0045]图2为本发明从有效节点集合中删除失效节点标识的方法一个实施例的示意图。
[0046]图3为本发明控制MapReduce任务调度的方法另一实施例的示意图。
[0047]图4为本发明主控节点一个实施例的示意图。
[0048]图5为本发明主控节点另一实施例的示意图。
[0049]图6为本发明控制MapReduce任务