所述时间段标识所标识的时间段内产生的日志数据； 若所述映射节点接收到所述映射节点对应的所有所述目标客户端代理装置返回的所述目标日志数据，对所有接收到的所述目标日志数据进行关联预处理，并将关联预处理结果发送给执行当前日志数据处理任务中的关联处理子任务的归纳节点； 若所述归纳节点接收到所有执行关联预处理子任务的所述映射节点发送的所述关联预处理结果，对所有接收到的所述关联预处理结果进行关联处理，并输出关联处理结果。2.根据权利要求1所述的方法，其特征在于，所述映射节点对所有接收到的所述目标日志数据进行关联预处理之前，还包括: 所述映射节点记录返回所述目标日志数据的所述目标客户端代理装置的标识信息，并将所述记录的返回所述目标日志数据的所述目标客户端代理装置的标识信息与预先配置的客户端代理装置的标识信息进行比较； 若所述记录的返回所述目标日志数据的所述目标客户端代理装置的标识信息与预先配置的客户端代理装置的标识信息完全相同，确定接收到所述映射节点对应的所有所述目标客户端代理装置返回的所述目标日志数据； 所述归纳节点对所有接收到的所述关联预处理结果进行关联处理之前，还包括: 所述归纳节点记录发送所述关联预处理结果的所述映射节点的标识信息，并将所述记录的发送所述关联预处理结果的所述映射节点的标识信息与预先配置的映射节点的标识信息进行比较； 若所述记录的发送所述关联预处理结果的所述映射节点的标识信息与预先配置的映射节点的标识信息完全相同，确定接收到所有执行当前日志数据处理任务的所述映射节点发送的所述关联预处理结果。3.根据权利要求1所述的方法，其特征在于，所述执行当前日志数据处理任务中的关联预处理子任务的映射节点向所述映射节点对应的目标客户端代理装置发送查询请求之前，还包括: 所述日志数据处理系统中的任务管理节点确定所述日志宿主机的个数和执行关联预处理子任务的所述映射节点的个数； 所述任务管理节点根据所述日志宿主机的个数和执行关联预处理子任务的所述映射节点的个数，确定每个所述映射节点对应的所述目标客户端代理装置，并将每个所述映射节点对应的所述目标客户端代理装置的标识信息提供给每个所述映射节点。4.根据权利要求1所述的方法，其特征在于，所述执行当前日志数据处理任务中的关联预处理子任务的映射节点向所述映射节点对应的目标客户端代理装置发送查询请求，并接收所述目标客户端代理装置根据所述查询请求返回的所述目标日志数据，包括: 所述映射节点创建执行日志数据采集任务的线程，并将所述线程放入线程池，以在所述线程被执行时向所述目标客户端代理装置发送所述查询请求并接收所述目标客户端代理装置返回的所述目标日志数据。5.根据权利要求4所述的方法，其特征在于，还包括: 若所述映射节点在指定时间内未接收到所述目标客户端代理装置返回的所述目标日志数据，或者所述映射节点接收到所述目标客户端代理装置返回的日志数据获取失败消息，所述映射节点按照预设的延迟参数，将所述线程重新放入所述线程池，直到所述线程接收到所述目标客户端代理装置返回的所述目标日志数据为止。6.根据权利要求1-5任一项所述的方法，其特征在于，所述执行当前日志数据处理任务中的关联预处理子任务的映射节点向所述映射节点对应的目标客户端代理装置发送查询请求之前，还包括: 所述映射节点向所述日志数据处理系统中的任务管理节点注册关联预处理子任务和所述关联预处理子任务涉及的元数据； 所述方法还包括: 若所述任务管理节点根据所述关联预处理子任务涉及的元数据确定所述映射节点未成功执行所述关联预处理子任务，根据所述关联预处理子任务涉及的元数据，向所述映射节点发送第一重试指示，以指示所述映射节点重新执行关联预处理子任务。7.根据权利要求6所述的方法，其特征在于，所述执行当前日志数据处理任务中的关联预处理子任务的映射节点向所述映射节点对应的目标客户端代理装置发送查询请求之前，还包括: 所述归纳节点向所述任务管理节点注册关联处理子任务和所述关联处理子任务涉及的元数据； 所述方法还包括: 若所述任务管理节点根据所述关联处理子任务确定所述归纳节点未成功执行所述关联处理子任务，根据所述关联处理子任务涉及的元数据，向所述映射节点和所述归纳节点分别发送第二重试指示，以指示所述映射节点和所述归纳节点分别重新执行所述关联预处理子任务和所述关联处理子任务。8.—种日志数据处理系统，其特征在于，包括:映射节点和归纳节点，所述归纳节点与所述映射节点连接； 所述映射节点，用于在执行日志数据处理任务中的关联预处理子任务时，向所述映射节点对应的目标客户端代理装置发送查询请求，接收所述目标客户端代理装置根据所述查询请求返回的当前日志数据处理任务所需的目标日志数据，并在接收到所述映射节点对应的所有所述目标客户端代理装置返回的所述目标日志数据时，对所有接收到的所述目标日志数据进行关联预处理，并将关联预处理结果发送给所述归纳节点； 其中，所述目标客户端代理装置是部署于产生所述目标日志数据的日志宿主机上的客户端代理装置，所述查询请求包括:日志文件标识和时间段标识，所述目标日志数据是所述日志文件标识所标识的日志文件中在所述时间段标识所标识的时间段内产生的日志数据； 所述归纳节点，用于在执行当前日志数据处理任务中的关联处理子任务时，接收所述映射节点发送的所述关联预处理结果，并在接收到所有执行关联预处理子任务的所述映射节点发送的所述关联预处理结果，对所有接收到的所述关联预处理结果进行关联处理，并输出关联处理结果。9.根据权利要求8所述的系统，其特征在于， 所述映射节点还用于: 记录返回所述目标日志数据的所述目标客户端代理装置的标识信息，并将所述记录的返回所述目标日志数据的所述目标客户端代理装置的标识信息与预先配置的客户端代理装置的标识信息进行比较； 若所述记录的返回所述目标日志数据的所述目标客户端代理装置的标识信息与预先配置的客户端代理装置的标识信息完全相同，确定接收到所述映射节点对应的所有所述目标客户端代理装置返回的所述目标日志数据； 所述归纳节点还用于: 记录发送所述关联预处理结果的所述映射节点的标识信息，并将所述记录的发送所述关联预处理结果的所述映射节点的标识信息与预先配置的映射节点的标识信息进行比较； 若所述记录的发送所述关联预处理结果的所述映射节点的标识信息与预先配置的映射节点的标识信息完全相同，确定接收到所有执行当前日志数据处理任务的所述映射节点发送的所述关联预处理结果。10.根据权利要求8所述的系统，其特征在于，所述映射节点为至少一个，所述归纳节点为一个。11.根据权利要求8所述的系统，其特征在于， 所述映射节点具体用于: 创建执行日志数据采集任务的线程，并将所述线程放入线程池，以在所述线程被执行时向所述目标客户端代理装置发送所述查询请求并接收所述目标客户端代理装置返回的所述目标日志数据。12.根据权利要求11所述的系统，其特征在于， 所述映射节点还用于: 在指定时间内未接收到所述目标客户端代理装置返回的所述目标日志数据，或者接收到所述目标客户端代理装置返回的日志数据获取失败消息，按照预设的延迟参数，将所述线程重新放入所述线程池，直到所述线程接收到所述目标客户端代理装置返回的所述目标日志数据为止。13.根据权利要求8-12任一项所述的系统，其特征在于，还包括:任务管理节点； 所述映射节点还用于: 向所述任务管理节点注册关联预处理子任务和所述关联预处理子任务涉及的元数据； 所述任务管理节点，用于根据所述关联预处理子任务涉及的元数据确定所述映射节点是否成功执行所述关联预处理子任务，并在确定所述映射节点未成功执行所述关联预处理子任务时，根据所述关联预处理子任务涉及的元数据，向所述映射节点发送第一重试指示，以指示所述映射节点重新执行关联预处理子任务。14.根据权利要求13所述的系统，其特征在于， 所述归纳节点还用于: 向所述任务管理节点注册关联处理子任务和所述关联处理子任务涉及的元数据； 所述任务管理节点还用于: 根据所述关联处理子任务涉及的元数据确定所述归纳节点是否成功执行所述关联处理子任务，并在确定所述归纳节点未成功执行所述关联处理子任务时，根据所述关联处理子任务涉及的元数据，向所述映射节点和所述归纳节点分别发送第二重试指示，以指示所述映射节点和所述归纳节点分别重新执行所述关联预处理子任务和所述关联处理子任务。15.根据权利要求13所述的系统，其特征在于， 所述任务管理节点还用于: 确定所述日志宿主机的个数和执行关联预处理子任务的所述映射节点的个数； 根据所述日志宿主机的个数和执行关联预处理子任务的所述映射节点的个数，确定每个所述映射节点对应的所述目标客户端代理装置，并将每个所述映射节点对应的所述目标客户端代理装置的标识信息提供给每个所述映射节点。
【专利摘要】本发明提供一种日志数据处理方法及系统。方法包括：日志数据处理系统中的映射节点向对应的目标客户端代理装置发送查询请求，并接收目标客户端代理装置返回的目标日志数据；若映射节点接收到对应的所有目标客户端代理装置返回的目标日志数据，对所有接收到的目标日志数据进行关联预处理，并将关联预处理结果发送给日志数据处理系统中的归纳节点；若归纳节点接收到所有映射节点发送的关联预处理结果，对所有接收到的关联预处理结果进行关联处理，并输出关联处理结果。本发明可以在对日志数据进行实时处理的同时，提高处理结果的可靠性。
【IPC分类】G06F17/30
【公开号】CN105589856
【申请号】CN201410562740
【发明人】储晓颖
【申请人】阿里巴巴集团控股有限公司
【公开日】2016年5月18日
【申请日】2014年10月21日