解析，确定所获得的配置文件中涉及的各个从节点之间的依赖关系； 根据所确定的依赖关系和所获得的配置文件中包含的各个从节点对应的任务信息，生成与所获得的配置文件相对应的任务集，其中，所述任务集中包括至少一个任务，且同一任务集中各个任务的执行优先级相同； 按照任务集的执行优先级由高到低的顺序，将所生成的每一任务集中的任务分配到其对应的从节点中，以便由分配到任务的从节点进行数据采集，其中，任务集的执行优先级与该任务集中任一任务的执行优先级相等。2.根据权利要求1所述的方法，其特征在于，所述日志采集系统的每个从节点中包括至少一个用于执行任务的任务执行代理； 所述从节点的配置信息中包括:该从节点中所包括的任务执行代理的配置信息；所述对所获得的配置文件进行解析，确定所获得的配置文件中涉及的各个从节点之间的依赖关系，包括: 对所获得的配置文件进行解析，确定所获得的配置文件中涉及到的各个从节点中所包括的任务执行代理之间的依赖关系。3.根据权利要求1所述的方法，其特征在于，确定所述任务集的执行优先级由高到低的顺序的步骤，包括: 根据所确定的依赖关系，将不存在父依赖关系的从节点对应的任务集确定为最高执行优先级对应的任务集； 从最高执行优先级对应的任务集开始，按照以下方式确定当前任务集的执行优先级的下一执行优先级对应的任务集: 获得当前任务集中的任务对应的从节点； 确定与所获得的从节点之间存在子依赖关系的从节点； 获得所确定的从节点对应的任务集； 将所获得的任务集确定为当前任务集的执行优先级的下一执行优先级对应的任务集。4.根据权利要求3所述的方法，其特征在于，所述按照任务集的执行优先级由高到低的顺序，将所生成的每一任务集中的任务分配到其对应的从节点中，包括: 将最高执行优先级对应的任务集中的任务分配到其对应的从节点中； 接收最高执行优先级的任务集对应的从节点发送的任务执行反馈信息； 按照任务集的执行优先级由高到低的顺序，通过以下方式将所生成任务集中的其他任务集中的任务分配到其对应的从节点中: 根据当前执行优先级的上一优先级对应的任务集中的任务对应的从节点发送的任务执行反馈信息，将当前执行优先级对应的任务集中的任务分配到其对应的从节点中； 接收上述分配到任务的从节点发送的反馈信息； 确定当前执行优先级的下一执行优先级。5.根据权利要求1所述的方法，其特征在于，所述方法还包括: 检测所述日志采集系统中的各个从节点的运行状态； 当检测到各个从节点中的任一从节点处于异常运行状态之后，向该从节点发送重启指令，以使其重新处于正常运行状态。6.根据权利要求5所述的方法，其特征在于，所述当检测到各个从节点中的任一从节点处于异常运行状态之后，向该从节点发送重启指令，以使其重新处于正常运行状态，包括: 当检测到各个从节点中的任一从节点处于异常运行状态之后，根据已分配至该从节点的任务的执行进度，将已分配的任务转移至其他从节点中执行； 向该从节点发送重启指令，以使其重新处于正常运行状态，并根据已转移出的任务的执行进度，将已转移出的任务转移回该从节点继续执行。7.一种数据采集装置，其特征在于，应用于日志采集系统中的主节点；所述日志采集系统具有至少I个主节点和多个从节点，所述装置包括: 配置文件获得模块，用于获得预设的配置文件；其中，预设的配置文件中包含所述日志采集系统中预设数量个从节点的配置信息和各个从节点对应的任务信息； 配置文件解析模块，用于对所获得的配置文件进行解析，确定所获得的配置文件中涉及的各个从节点之间的依赖关系； 任务集生成模块，用于根据所确定的依赖关系和所获得的配置文件中包含的各个从节点对应的任务信息，生成与所获得的配置文件相对应的任务集，其中，所述任务集中包括至少一个任务，且同一任务集中各个任务的执行优先级相同； 任务分配模块，用于按照任务集的执行优先级由高到低的顺序，将所生成的每一任务集中的任务分配到其对应的从节点中，以便由分配到任务的从节点进行数据采集，其中，任务集的执行优先级与该任务集中任一任务的执行优先级相等。8.根据权利要求7所述的装置，其特征在于，所述日志采集系统的每个从节点中包括至少一个用于执行任务的任务执行代理； 所述从节点的配置信息中包括:该从节点中所包括的任务执行代理的配置信息； 所述配置文件解析模块，用于对所获得的配置文件进行解析，确定所获得的配置文件中涉及到的各个从节点中所包括的任务执行代理之间的依赖关系。9.根据权利要求7所述的装置，其特征在于，所述装置还包括:优先级顺序确定模块； 所述优先级顺序确定模块，包括: 最高优先级确定子模块，用于根据所确定的依赖关系，将不存在父依赖关系的从节点对应的任务集确定为最尚执行优先级对应的任务集； 其他优先级确定子模块，用于从最高执行优先级对应的任务集开始，依次触发以下单元确定当前任务集的执行优先级的下一执行优先级对应的任务集: 所述其他优先级确定子模块，包括:当前从节点获得单元、子依赖从节点确定单元、任务集确定单元和优先级确定单元；其中， 所述当前从节点获得单元，用于获得当前任务集中的任务对应的从节点； 所述子依赖从节点确定单元，用于确定与所获得的从节点之间存在子依赖关系的从节占.V， 所述任务集确定单元，用于获得所确定的从节点对应的任务集； 所述优先级确定单元，用于将所获得的任务集确定为当前任务集的执行优先级的下一执行优先级对应的任务集。10.根据权利要求9所述的装置，其特征在于，所述任务分配模块包括:最高优先级任务分配子模块、反馈信息接收子模块和其他优先级任务分配子模块；其中， 所述最高优先级任务分配子模块，用于将最高执行优先级对应的任务集中的任务分配到其对应的从节点中； 所述反馈信息接收子模块，用于接收最高执行优先级的任务集对应的从节点发送的任务执行反馈信息； 所述其他优先级任务分配子模块，用于按照任务集的执行优先级由高到低的顺序，通过以下方式将所生成任务集中的其他任务集中的任务分配到其对应的从节点中: 所述其他优先级任务分配子模块，包括:任务分配单元、反馈信息接收单元和优先级确定单元；其中， 所述任务分配单元，用于根据当前执行优先级的上一优先级对应的任务集中的任务对应的从节点发送的任务执行反馈信息，将当前执行优先级对应的任务集中的任务分配到其对应的从节点中； 所述反馈信息接收单元，用于接收上述分配到任务的从节点发送的反馈信息； 所述优先级确定单元，用于确定当前执行优先级的下一执行优先级。11.根据权利要求7所述的装置，其特征在于，所述装置还包括:运行状态检测模块和重启模块；其中， 所述运行状态检测模块，用于检测所述日志采集系统中的各个从节点的运行状态； 所述重启模块，用于当检测到各个从节点中的任一从节点处于异常运行状态之后，向该从节点发送重启指令，以使其重新处于正常运行状态。12.根据权利要求11所述的装置，其特征在于，所述重启模块包括:任务转出子模块和任务转回子模块；其中， 所述任务转出子模块，用于当检测到各个从节点中的任一从节点处于异常运行状态之后，根据已分配至该从节点的任务的执行进度，将已分配的任务转移至其他从节点中执行； 所述任务转回子模块，用于向该从节点发送重启指令，以使其重新处于正常运行状态，并根据已转移出的任务的执行进度，将已转移出的任务转移回该从节点继续执行。
【专利摘要】本发明实施例提供的一种数据采集方法及装置，该方法包括：获得预设的配置文件；其中，预设的配置文件中包含所述日志采集系统中预设数量个从节点的配置信息和各个从节点对应的任务信息；对所获得的配置文件进行解析，确定所获得的配置文件中涉及的各个从节点之间的依赖关系；根据所确定的依赖关系和所获得的配置文件中包含的各个从节点对应的任务信息，生成与所获得的配置文件相对应的任务集；按照任务集的执行优先级由高到低的顺序，将所生成的每一任务集中的任务分配到其对应的从节点中，以便由分配到任务的从节点进行数据采集。应用本发明，无需用户在每个从节点上进行相关配置，提高了日志采集系统前的配置效率，降低了用户的工作量。
【IPC分类】G06F17/30
【公开号】CN105045832
【申请号】CN201510373549
【发明人】陈越晨, 孙琦
【申请人】北京奇艺世纪科技有限公司
【公开日】2015年11月11日
【申请日】2015年6月30日