一种数据采集方法及装置的制造方法_4

文档序号:9326918阅读:来源:国知局
续从该任务的70%开始继续执行。当然,这里仅仅是举例而已,至于处于异常运行状态的从节点转移出或转移回的任务从何种执行进度开始执行,本发明并不需要进行限定,任何可能的实现方式均可以应用于本发明。
[0137]需要说明的是,本发明并需要对将异常运行状态的从节点重新恢复至正常运行状态的具体方式进行限定,任何可能的实现方式均可以应用于本发明。
[0138]应用本发明实施例,可以将日志采集系统中的各从节点的配置信息添加在预设的配置文件中后,主节点通过对所获得的配置文件进行解析的方式,确定所获得的配置文件中涉及的各个从节点之间的依赖关系,根据所确定的依赖关系和所获得的配置文件中包含的各个从节点对应的任务信息,生成与所获得的配置文件相对应的任务集,按照任务集的执行优先级由高到低的顺序,将所生成的每一任务集中的任务分配到其对应的从节点中,以便由分配到任务的从节点进行数据采集。显然,本发明实施例提供的方案中,无需用户在每个从节点上进行相关配置,提高了日志采集系统前的配置效率,降低了用户的工作量,提高了工作效率。当然,实施本发明的任一产品或方法必不一定需要同时达到以上所述的所有优点。
[0139]图6为本发明实施例提供的一种数据采集装置的结构示意图,应用于日志采集系统中的主节点;所述日志采集系统具有至少I个主节点和多个从节点,所述装置可以包括以下模块:
[0140]配置文件获得模块310,用于获得预设的配置文件;其中,预设的配置文件中包含所述日志采集系统中预设数量个从节点的配置信息和各个从节点对应的任务信息;
[0141]配置文件解析模块320,用于对所获得的配置文件进行解析,确定所获得的配置文件中涉及的各个从节点之间的依赖关系;
[0142]任务集生成模块330,用于根据所确定的依赖关系和所获得的配置文件中包含的各个从节点对应的任务信息,生成与所获得的配置文件相对应的任务集,其中,所述任务集中包括至少一个任务,且同一任务集中各个任务的执行优先级相同;
[0143]任务分配模块340,用于按照任务集的执行优先级由高到低的顺序,将所生成的每一任务集中的任务分配到其对应的从节点中,以便由分配到任务的从节点进行数据采集,其中,任务集的执行优先级与该任务集中任一任务的执行优先级相等。
[0144]其中,该日志采集系统的每个从节点中包括至少一个用于执行任务的任务执行代理;
[0145]该从节点的配置信息中可以包括:该从节点中所包括的任务执行代理的配置信息;
[0146]该配置文件解析模块,用于对所获得的配置文件进行解析,确定所获得的配置文件中涉及到的各个从节点中所包括的任务执行代理之间的依赖关系。
[0147]具体的,图6所示的装置还可以包括:优先级顺序确定模块;
[0148]其中,优先级顺序确定模块,可以包括:最高优先级确定子模块,用于根据所确定的依赖关系,将不存在父依赖关系的从节点对应的任务集确定为最高执行优先级对应的任务集;
[0149]其他优先级确定子模块,用于从最高执行优先级对应的任务集开始,依次触发以下单元确定当前任务集的执行优先级的下一执行优先级对应的任务集:
[0150]具体的,其他优先级确定子模块,可以包括:当前从节点获得单元、子依赖从节点确定单元、任务集确定单元和优先级确定单元;其中,
[0151]当前从节点获得单元,用于获得当前任务集中的任务对应的从节点;
[0152]子依赖从节点确定单元,用于确定与所获得的从节点之间存在子依赖关系的从节占.
[0153]任务集确定单元,用于获得所确定的从节点对应的任务集;
[0154]优先级确定单元,用于将所获得的任务集确定为当前任务集的执行优先级的下一执行优先级对应的任务集。
[0155]具体的,所述任务分配模块可以包括:最高优先级任务分配子模块、反馈信息接收子模块和其他优先级任务分配子模块;其中,
[0156]最高优先级任务分配子模块,用于将最高执行优先级对应的任务集中的任务分配到其对应的从节点中;
[0157]反馈信息接收子模块,用于接收最高执行优先级的任务集对应的从节点发送的任务执行反馈信息;
[0158]其他优先级任务分配子模块,用于按照任务集的执行优先级由高到低的顺序,通过以下方式将所生成任务集中的其他任务集中的任务分配到其对应的从节点中:
[0159]所述其他优先级任务分配子模块,可以包括:任务分配单元、反馈信息接收单元和优先级确定单元;其中,
[0160]任务分配单元,用于根据当前执行优先级的上一优先级对应的任务集中的任务对应的从节点发送的任务执行反馈信息,将当前执行优先级对应的任务集中的任务分配到其对应的从节点中;
[0161]反馈信息接收单元,用于接收上述分配到任务的从节点发送的反馈信息;
[0162]优先级确定单元,用于确定当前执行优先级的下一执行优先级。
[0163]进一步地,所述装置还可以包括:运行状态检测模块和重启模块;
[0164]所述运行状态检测模块,用于检测所述日志采集系统中的各个从节点的运行状态;
[0165]所述重启模块,用于当检测到各个从节点中的任一从节点处于异常运行状态之后,向该从节点发送重启指令,以使其重新处于正常运行状态。
[0166]具体的,所述重启模块可以包括:任务转出子模块和任务转回子模块;其中,
[0167]所述任务转出子模块,用于当检测到各个从节点中的任一从节点处于异常运行状态之后,根据已分配至该从节点的任务的执行进度,将已分配的任务转移至其他从节点中执行;
[0168]所述任务转回子模块,用于向该从节点发送重启指令,以使其重新处于正常运行状态,并根据已转移出的任务的执行进度,将已转移出的任务转移回该从节点继续执行。
[0169]应用本发明实施例,可以将日志采集系统中的各从节点的配置信息添加在预设的配置文件中后,主节点通过对所获得的配置文件进行解析的方式,确定所获得的配置文件中涉及的各个从节点之间的依赖关系,根据所确定的依赖关系和所获得的配置文件中包含的各个从节点对应的任务信息,生成与所获得的配置文件相对应的任务集,按照任务集的执行优先级由高到低的顺序,将所生成的每一任务集中的任务分配到其对应的从节点中,以便由分配到任务的从节点进行数据采集。显然,本发明实施例提供的方案中,无需用户在每个从节点上进行相关配置,提高了日志采集系统前的配置效率,降低了用户的工作量,提高了工作效率。当然,实施本发明的任一产品或方法必不一定需要同时达到以上所述的所有优点。
[0170]对于系统或装置实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
[0171]需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0172]本领域普通技术人员可以理解实现上述方法实施方式中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,所述的程序可以存储于计算机可读取存储介质中,这里所称得的存储介质,如:R0M/RAM、磁碟、光盘等。
[0173]以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。
【主权项】
1.一种数据采集方法,其特征在于,应用于日志采集系统中的主节点;所述日志采集系统具有至少I个主节点和多个从节点,所述方法包括: 获得预设的配置文件;其中,预设的配置文件中包含所述日志采集系统中预设数量个从节点的配置信息和各个从节点对应的任务信息; 对所获得的配置文件进行
当前第4页1 2 3 4 5 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1