日志文件处理方法及装置的制造方法
【技术领域】
[0001]本发明属于日志处理领域，特别是涉及一种日志文件处理方法及装置。
【背景技术】
[0002]随着互联网技术的快速发展，手持设备、桌面终端等诸多互联网终端被大量使用，同时也产生了海量的信息。海量信息背后的“大数据”隐藏着人们自主行为意识，可以产生很多商业行为的潜在价值导向，因而这些海量数据的快速处理和分析技术的需求就日益紧迫。
[0003]现有技术中，CDN服务提供商是通过大量的节点(边缘)服务器来为客户提供加速服务的。其中，CDN网络中各个节点服务器产生的日志文件数量是巨大的。面对海量的日志文件信息，如何合理高效地对对海量日志文件快速分析、筛选、提炼，已成为亟待解决的问题。
[0004]现有技术中，⑶N网络中的节点服务器产生的日志文件文件随机分发到各个处理线程进行处理，存在着浪费资源，日志文件处理效率低的问题。
【发明内容】
[0005]本发明实施例解决的问题是节约处理线程的资源，提高日志文件的处理效率。
[0006]为解决上述问题，本发明实施例提供了一种日志文件处理方法，所述方法包括:
[0007]建立各个节点服务器和处理线程之间的映射关系；
[0008]将各个节点服务器的日志文件按照所述映射关系分发至对应的处理线程进行处理。
[0009]可选地，所述方法还包括:当满足预设的条件时，对所述映射关系进行调整，直至各个处理线程之间达到负载均衡。
[0010]可选地，所述预设的条件包括:第一处理线程和第二处理线程的负载量差值大于预设的第一阈值，其中，所述第一处理线程为在所述预设时间段内具有最大负载量的处理线程，所述第二处理线程为在所述预设时间段内具有最小负载量的处理线程。
[0011]可选地，所述当满足预设的条件时，对所述映射关系进行调整，直至各个处理线程之间达到负载均衡，包括:
[0012]当第一处理线程和第二处理线程的负载量差值大于所述第一阈值时，分别获取第一处理线程和第二处理线程对应的节点服务器在所述预设时间段内的日志文件增量；
[0013]按照日志文件增量从小到大的顺序遍历所述第一处理线程对应的各个节点服务器，将当前位序的节点服务器重新映射至所述第二处理线程，并将所述第一处理线程与所述第二处理线程的负载量差值与所述第一阈值进行比较；
[0014]当确定所述第一处理线程与所述第二处理线程之间的负载量差值大于所述第一阈值时，则将下一位序的节点服务器映射至所述第二处理线程，直至所述第一处理线程与所述第二处理线程的负载量差值小于所述第一阈值；
[0015]当确定将当前位序的节点服务器重新映射至所述第二处理线程，所述第二处理线程与所述第一处理线程的负载量差值大于所述第一阈值时，则舍弃当前位序的节点服务器，将下一位序的节点服务器重新映射至所述第二处理线程，直至所述第一处理线程与所述第二处理线程的负载量差值小于所述第一阈值。
[0016]可选地，所述建立所述节点服务器和处理线程之间的映射关系，包括:通过将各个节点服务器循环映射至各个处理线程，建立各个节点服务器与各个处理线程之间的映射关系O
[0017]可选地，在将各个节点服务器的日志文件按照所述映射关系分发至对应的处理线程进行处理之后，还包括:
[0018]当有新节点服务器加入时，获取所述的各个节点服务器中最后一个节点服务器对应的处理线程；
[0019]将所述新加入的节点服务器映射至所述最后一个节点服务器对应的处理线程的下一处理线程。
[0020]本发明实施例还提供了一种日志文件处理装置，所述装置包括:
[0021]建立单元，适于建立各个节点服务器和处理线程之间的映射关系；
[0022]分发单元，适于将各个节点服务器的日志文件按照所述映射关系分发至对应的处理线程进行处理。
[0023]可选地，所述装置还包括:负载均衡单元，适于当满足预设的条件时，对所述映射关系进行调整，直至各个处理线程之间达到负载均衡。
[0024]可选地，所述预设的条件包括:第一处理线程和第二处理线程的负载量差值大于预设的第一阈值，其中，所述第一处理线程为在所述预设时间段内具有最大负载量的处理线程，所述第二处理线程为在所述预设时间段内具有最小负载量的处理线程。
[0025]可选地，所述负载均衡单元适于:当第一处理线程和第二处理线程的负载量差值大于所述第一阈值时，分别获取第一处理线程和第二处理线程对应的节点服务器在所述预设时间段内的日志文件增量；按照日志文件增量从小到大的顺序遍历所述第一处理线程对应的各个节点服务器，将当前位序的节点服务器重新映射至所述第二处理线程，并将所述第一处理线程与所述第二处理线程的负载量差值与所述第一阈值进行比较；当确定所述第一处理线程与所述第二处理线程之间的负载量差值大于所述第一阈值时，则将下一位序的节点服务器映射至所述第二处理线程，直至所述第一处理线程与所述第二处理线程的负载量差值小于所述第一阈值；当确定将当前位序的节点服务器重新映射至所述第二处理线程，所述第二处理线程与所述第一处理线程的负载量差值大于所述第一阈值时，则舍弃当前位序的节点服务器，将下一位序的节点服务器重新映射至所述第二处理线程，直至所述第一处理线程与所述第二处理线程的负载量差值小于所述第一阈值。
[0026]可选地，所述建立单元适于通过将各个节点服务器循环映射至各个处理线程，建立各个节点服务器与各个处理线程之间的映射关系。
[0027]可选地，所述建立单元还适于:在将各个节点服务器的日志文件按照所述映射关系分发至对应的处理线程进行处理之后，当有新节点服务器加入时，获取所述的各个节点服务器中最后一个节点服务器对应的处理线程；将所述新加入的节点服务器映射至所述最后一个节点服务器对应的处理线程的下一处理线程。
[0028]与现有技术相比，本发明实施例的技术方案具有以下的优点:
[0029]通过将各个节点服务器产生的日志文件文件按照预设的映射关系分配至相应的处理线程进行处理，与将各个节点服务器产生的日志文件文件随机分配给相应的处理线程相比，可以避免将同一节点服务器产生的日志文件文件重复分发给不同的处理线程进行处理，因此，可以节约处理线程的处理资源，提高日志文件处理的效率。
[0030]进一步地，当第一处理线程和第二处理线程的负载量差值大于预设的第一阈值时，对节点服务器和处理线程之间的映射关系进行调整，直至第一处理线程和第二处理线程的负载量差值小于预设的第一阈值，当第一处理线程和第二处理线程的负载量差值小于预设的第一差值阈值时，各个处理线程之间达到负载均衡，可以快速及时地对各个节点服务器产生的日志文件进行处理，因此，可以进一步提升日志文件的处理效率。
[0031]进一步地，当所述有新节点服务器加入时，将所述新节点服务器映射至所述最后一个节点服务器对应的处理线程的下一处理线程，可以不受节点服务器个数的限制，因此，可以提高日志处理的灵活性。
【附图说明】
[0032]图1是本发明实施例中一种的日志文件处理方法的流程图；
[0033]图2是本发明实施例中另一种的日志文件处理方法的流程图；
[0034]图3是本发明实施例中的负载均衡的流程图；
[0035]图4是本发明实施例中的一种日志文件处理装置的结构示意图。
【具体实施方式】
[0036]现有技术中，⑶N网络中的节点服务器产生的日志文件文件随机分发到各个处理线程进行处理，存在着浪费资源，日志文件处理效率低的问题。
[0037]为解决现有技术中存在的上述问题，本发明实施例采用的技术方案通过将各个节点服务器产生的日志文件文件按照预设的映射关系分配至相应的处理线程进行处理，可以避免将同一节点服务器产生的日志文件文件重复分发给不同的处理线程进行处理，可以节约处理线程的处理资源，提高日志文件处理的效率。
[0038]为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
[0039]图1是本发明实施例中的一种日志文件处理方法的流程图。如图1所示的日志文件处理方法，可以包括:
[0040]步骤SlOl:建立节点服务器和处理线程之间的映射关系。
[0041]在具体实施中，CDN网络中的各个节点服务器可以将其缓存的源站的资源文件按照就近原则提供给相应的用户。其中，节点服务器在运行过程中会产生相应的日志文件。对节点服务器产生的日志文件的分析，可以获取相应的商业信息。
[0042]在具体实施中，处理线程可以对节点服务器的日志文件进