一种快照型日志压缩方法、系统及装置制造方法
【专利摘要】本发明提供一种快照型日志压缩方法、系统及装置，用以减少快照型日志在日志接收服务器及日志处理服务器之间传输的数据量大，影响数据在服务器间的传输时间，该方法中日志接收服务器判断当前满足设定的日志压缩启动条件时，针对快照型日志中携带的每个用户的每个操作行为，查找本地保存的该操作行为更新时间最晚的快照型日志，并将查找到的所述快照型日志保存到压缩后的文件夹中，以便后期提供给日志处理服务器。本发明实施例还提供了相应的装置和系统。本发明实施例在保证信息完整性的前提下，有效的压缩快照型日志，减小了服务器间传输的数据，节省了数据传输的时间及存储空间，降低了对快照型日志进行处理的效率，节省了快照型日志的处理时间。
【专利说明】一种快照型日志压缩方法、系统及装置
【技术领域】
[0001]本发明涉及数据处理【技术领域】，尤其涉及一种快照型日志压缩方法、系统及装置。
【背景技术】
[0002]每隔一段时间客户端向服务器发送一条数据，该条数据携带了客户端行为的历史信息和最新的信息，随着发送次数的增加，越晚发送的数据携带的信息越新，该类型的数据被称为快照型数据。在每条快照型数据中携带有客户端此次操作行为的历史信息和最新的信息，操作行为例如可以为播放行为，浏览行为等。随着客户端与服务器交互次数的增加，时间越往后客户端向服务器发送的快照型数据中携带的信息越多。例如用户在通过客户端观看视频的过程中，服务器无法预测用户在下一个时间点所处的状态，只能依靠客户端每隔段时间向服务器发送的快照型数据。由快照型数据组成的日志称为快照型日志。
[0003]由于每条快照型数据中包含有客户端的历史信息及最新的信息，因此对于快照型日志，新接收到的快照型日志比之前接收到的快照型日志携带的信息更多，数据也更新，并且新接收到的快照型日志中包含之前快照型日志中的数据，最新一条快照型日志中携带有此次操作行为在当前时间之前的所有数据，即包含针对此次操作行为之前快照日志中携带的数据。
[0004]现有技术中，日志接收服务器接收从客户端发送的快照型日志，日志处理服务器从日志接收服务器获取快照型日志。日志处理服务器和日志接收服务器分别部署在不同的服务器上，当对日志进行处理时，日志处理服务器将日志文件从快照型日志接收服务器通过网络下载到本地，并对快照型日志进行处理。
[0005]但日志接收服务器中保存的原始日志数量较多，而日志接收服务器与日志处理服务器之间的带宽有限，将每条日志从日志接收服务器传输到日志处理服务器将消耗大量的时间，另外，由于需要将接收服务器中的日志下载到处理服务器进行处理，因此日志处理服务器也需要大量的存储空间，同时，由于快照型日志中针对同一操作行为的快照型日志包含的数据基本相同，如果每条快照型日志都进行解析，则会导致处理效率降低，造成处理时间的大量浪费。
【发明内容】
[0006]鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种快照型日志压缩方法、系统及装置。
[0007]本发明实施例提供了一种快照型日志压缩方法，该方法包括:
[0008]日志接收服务器判断当前是否满足设定的日志压缩启动条件；
[0009]当满足设定的日志压缩启动条件时，针对快照型日志中记录的每个操作行为，在本地查找更新时间最晚的携带该操作行为的快照型日志；
[0010]将查找到的所述更新时间最晚的快照型日志保存到压缩后的文件夹中，该压缩后的文件夹中保存的快照型日志用于提供给日志处理服务器。
[0011]为了有效的提高快照型日志的压缩效率及准确性，本发明实施例中所述在本地查找更新时间最晚的携带该操作行为的快照型日志包括:
[0012]识别快照型日志中携带的所述操作行为；
[0013]判断所述操作行为的信息是否保存在查找列表中；
[0014]当该操作行为的信息未保存在查找列表中时,将该操作行为的标识信息，所述快照型日志的更新时间记录到查找列表中；
[0015]当该操作行为的信息保存在查找列表中时，判断所述快照型日志的更新时间是否晚于查找列表中保存的该操作行为对应的更新时间，当所述快照型日志的更新时间晚于查找列表中保存的该操作行为对应的更新时间时，将查找列表中保存的该从操作行为对应的更新时间替换为所述快照型日志的更新时间。
[0016]为了快速的根据查找列表中保存的信息，查找快照型日志，在本发明实施例中所述查找列表中还针对每个操作行为，保存有更新时间最晚的携带该操作行为的快照型日志所在的位置信息。
[0017]为了保证快照型日志压缩的准确性，降低压缩后的快照型日志的数据量，在本发明实施例中所述将查找到的所述更新时间最晚的快照型日志保存到压缩后的文件夹中包括:
[0018]针对查找列表中保存的每条快照型日志的信息，判断该条快照型日志的更新时间与当前时间的时间间隔是否大于设定的时间阈值；
[0019]当该条快照型日志的更新时间与当前时间的时间间隔大于设定的时间阈值时，根据查找列表中保存的所述快照型日志的信息，将所述快照型日志保存到压缩后的文件夹中，并删除查找列表中保存的所述快照型日志的信息；
[0020]当所述查找列表中保存的每条快照型日志的更新时间与当前时间的时间间隔都不大于设定的时间阈值时，按照更新时间从早到晚的顺序对查找列表中的快照型日志进行排序，查找出更新时间较早的设定数量的快照型日志，将查找出的所述快照型日志保存到压缩后的文件夹中，并删除查找列表中保存的所述快照型日志的信息。
[0021]本发明实施例提供了一种快照型日志压缩装置，该装置包括:
[0022]判断模块，用于判断当前是否满足设定的日志压缩启动条件；
[0023]查找模块，用于当判断模块判断当前满足设定的日志压缩启动条件时，针对快照型日志中记录的每个用户的每个操作行为，在本地查找更新时间最晚的携带的该操作行为快照型日志；
[0024]存储模块，用于将查找到的所述更新时间最晚的快照型日志保存到压缩后的文件夹中，该压缩后的文件夹中保存的快照型日志用于提供给日志处理服务器。
[0025]为了有效的提高快照型日志的压缩效率及准确性，本发明实施例中所述查找模块，具体用于识别快照型日志中携带的所述操作行为；判断所述操作行为的信息是否保存在查找列表中；当该操作行为的信息未保存在查找列表中时，将该操作行为的标识信息，所述快照型日志的更新时间记录到查找列表中；当该操作行为的信息保存在查找列表中时，判断所述快照型日志的更新时间是否晚于查找列表中保存的该操作行为对应的更新时间，当所述快照型日志的更新时间晚于查找列表中保存的该操作行为对应的更新时间时，将查找列表中保存的该操作行为对应的更新时间替换为所述快照型日志的更新时间。
[0026]为了快速的根据查找列表中保存的信息，查找快照型日志，在本发明实施例中所述存储模块，还用于在查找列表中还针对每个操作行为，保存有更新时间最晚的携带该操作行为的快照型日志所在的位置信息。
[0027]为了保证快照型日志压缩的准确性，降低压缩后的快照型日志的数据量，在本发明实施例中所述存储模块，具体用于针对查找列表中保存的每条快照型日志的信息，判断该条快照型日志的更新时间与当前时间的时间间隔是否大于设定的时间阈值；当该条快照型日志的更新时间与当前时间的时间间隔大于设定的时间阈值时，根据查找列表中保存的所述快照型日志的信息，将所述快照型日志保存到压缩后的文件夹中，并删除所述查找列表中保存的所述快照型日志的信息；当所述查找列表中保存的每条快照型日志的更新时间与当前时间的时间间隔都不大于设定的时间阈值时，按照更新时间从早到晚的顺序对查找列表中的快照型日志排序，查找出更新时间较早的设定数量的快照型日志，将查找出的所述快照型日志保存到压缩后的文件夹中，并删除查找列表中保存的所述快照型日志的信肩、O
[0028]本发明实施例提供了一种日志接收服务器，所述日志接收服务器包括上述装置。
[0029]本发明实施例提供了一种快照型日志压缩系统，所述系统包括上述日志接收服务器，及对压缩后的快照型日志进行处理的日志处理服务器。
[0030]本发明实施例提供了一种快照型日志压缩方法、系统及装置，该方法中日志接收服务器在判断当前满足设定的日志压缩启动条件时，针对快照型日志中携带的每个用户的每个操作行为，查找本地保存的该操作行为更新时间最晚的快照型日志，并将查找到的所述快照型日志保存到压缩后的文件夹中，以便后期提供给日志处理服务器。由于在本发明实施例中针对每个用户的每个操作行为，查找到了该操作行为更新时间最晚的快照型日志，而该快照型日志中包含有该操作行为之前的所有信息，因此在保证信息完整性的前提下，有效的压缩的快照型日志，减小了日志接收服务器与日志处理服务器之间传输的数据，从而节省了数据传输的时间，节省了日志处理服务器的存储空间，并降低了日志处理服务器对快照型日志进行处理的效率，节省了对快照型日志的处理时间。
[0031]上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的【具体实施方式】。
【专利附图】
【附图说明】
[0032]通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中:
[0033]图1为本发明实施例提供的一种快照型日志压缩过程；
[0034]图2为本发明实施例一提供的一种快照型日志的压缩过程；
[0035]图3为本发明实施例二提供的一种快照型日志的压缩过程:
[0036]图4为本发明实施例三提供的一种快照型日志的压缩过程；
[0037]图5为本发明实施例提供的一种快照型日志压缩装置的结构示意图；
[0038]图6为本发明实施例提供的一种快照型日志压缩系统结构示意图。
【具体实施方式】
[0039]为了减少快照型日志在日志接收服务器及日志处理服务器之间传输消耗的时间，减少日志处理服务器的存储空间，提高日志处理服务器处理快照型日志的效率，本发明实施例提供了一种快照型日志压缩方法、系统及装置。
[0040]下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
[0041 ] 下面结合说明附图，对本发明实施例进行说明。
[0042]图1为本发明实施例提供的一种快照型日志压缩过程，该过程包括以下步骤:
[0043]SlOl:日志接收服务器判断当前是否满足设定的日志压缩启动条件，当判断结果为是时，进行步骤S102，否则，进行步骤SlOl。
[0044]具体的，在本发明实施例中日志接收服务器在接收到每条快照型日志，或者在每个设定时刻，将会判断当前是否满足设定的日志压缩条件。
[0045]日志接收服务器可以同时设置多个日志压缩启动条件，如果当前满足任一日志压缩启动条件，都可以进行快照型日志的压缩。
[0046]日志压缩启动条件可以是根据每两次相邻日志压缩的时间间隔设定的，也可以是根据存储的快照型日志的数量或者字节数设定的，日志压缩启动条件可以任意设定。
[0047]S102:针对快照型日志中携带的每个用户的每个操作行为，在本地查找更新时间最晚的携带该操作行为的快照型日志。
[0048]由于每条快照型日志中携带有用户的操作行为的历史信息及最新的信息，因此对于快照型日志，新接收到的快照型日志比之前接收到的快照型日志携带的信息更多，数据也更新，并且新接收到的快照型日志中包含之前快照型日志中的数据。因此在本发明实施例中针对每个用户的每个操作行为，查找更新时间最晚携带该操作行为的快照型日志，即可确定该用户的该操作行为对应的完整数据。
[0049]S103:将查找到的所述更新时间最晚的快照型日志保存到压缩后的文件夹中，该压缩后的文件夹中保存的快照型日志用于提供给日志处理服务器。
[0050]在本发明实施例中为了减小日志接收服务器与日志处理服务器之间的数据交互，将压缩后的文件夹保存在日志接收服务器中，当日志处理服务器需要处理快照型日志时，日志处理服务器获取日志接收服务器压缩后的文件夹中保存的快照型日志即可。
[0051]由于在本发明实施例中针对每个用户的每个操作行为，查找到了更新时间最晚的携带该操作行为的快照型日志，而该快照型日志中包含有该操作行为之前的所有信息，因此在保证信息完整性的前提下，有效的压缩的快照型日志，减小了日志接收服务器与日志处理服务器之间传输的数据，从而节省了数据传输的时间，节省了日志处理服务器的存储空间，并降低了日志处理服务器对快照型日志进行处理的效率，节省了快照型日志的处理时间。
[0052]日志接收服务器接收客户端发送的快照型日志，在相应时刻判断当前是否满足设定的日志压缩启动条件。日志接收服务器可以按照设定的时间间隔进行快照型日志的压缩，当设定的时间间隔到来时，即与上一次进行快照型日志压缩之间的时间间隔达到设定的时间阈值时，进行本次快照型日志的压缩。该设定的时间间隔可以为I小时、2小时或一天等，根据设定的时间间隔是否到来，确定是否进行快照型日志的压缩。
[0053]或者也可以根据自身保存的快照型日志的数量是否达到设定的数量阈值，确定是否进行快照型日志的压缩，当自身保存的快照型日志的数量达到设定的数量阈值时，进行快照型日志的压缩，否则，继续判断当前是否进行快照型日志的压缩。因为有些快照型日志非常的大，如果在内存中缓存的快照型日志非常的多，将会占用日志接收服务器大量的内存，从而影响日志接收服务器的接收能力，因此，可以根据日志接收服务器保存的快照型日志的数量是否达到设定的数量阈值，确定是否进行快照型日志的压缩。
[0054]本发明实施例中在确定数量阈值时包括:日志接收服务器根据保存的每条快照型日志包含的平均字节数，及内存中用于存储快照型日志的存储空间，确定该存储空间中存放的快照型日志的数量，将所述数量确定为数量阈值。
[0055]具体的，在确定数量阈值时，确定日志接收服务器的内存大小，根据日志接收服务器的内存大小，确定日志接收服务器用于存放快照型日志的存储空间大小。例如，日志接收服务器的内存为8G，最多使用10%用于存放快照型日志，则日志接收服务器用于存放快照型日志的存储空间为0.8G。
[0056]在确定数量阈值时，当日志接收服务器中保存的快照型日志的数量达到一定的数值时，例如为100条，获取该100条快照型日志的包含的字节数，根据该100条快照型日志包含的字节数及数量，确定每条快照型日志包含的字节数。根据日志接收服务器用于存放快照型日志的存储空间的大小，及每条快照型日志包含的字节数，即可确定该存储空间可以存放多少条快照型日志，将确定的快照型日志的数量作为确定的数量阈值。
[0057]图2为本发明实施例一提供的一种快照型日志的压缩过程，该过程包括以下步骤:
[0058]S201:日志接收服务器判断当前本地存放的快照型日志的数量是否达到设定的数量阈值，当判断结果为是时，进行步骤S202，否则，继续进行步骤S201。
[0059]或者，日志接收服务器判断当前与上一次进行快照型日志压缩的时间间隔是否达到设定的时间阈值，当该时间间隔达到设定的时间阈值时，进行步骤S202，否则，继续进行步骤S201。
[0060]S202:日志接收服务器针对每条快照型日志中携带的每个用户的每个操作行为，在本地查找更新时间最晚的携带该操作行为的快照型日志。
[0061]S203:将查找到的所述更新时间最晚的快照型日志保存到压缩后的文件夹中，该压缩后的文件夹中保存的快照型日志用于提供给日志处理服务器。
[0062]由于在本发明实施例中根据设定的时间间隔，或者根据日志接收服务器中保存的快照型日志的数量等设定的日志压缩启动条件，来对是否进行快照型日志进行压缩进行判断，当满足设定的日志压缩启动条件时，进行快照型日志的压缩，从而可以有效的减少快照型日志占用日志接收服务器的存储空间，提高日志接收服务器接收快照型日志的速度。
[0063]在本发明实施例中当当前满足设定的日志压缩启动条件时，针对快照型日志中携带的每个用户的每个操作行为，在本地查找更新时间最晚携带该操作行为的快照型日志。具体的在每条快照型日志中携带有每个用户的每个操作行为的信息，通过解析每条快照型日志，可以获取该快照型日志中携带的用户的操作行为。另外，在每条快照型日志中携带有该日志的更新时间信息，因此根据每条快照型日志中携带的信息，即可查找到更新时间最晚的携带每个操作行为的快照型日志。
[0064]快照型日志中携带有用户的操作行为，该快照型日志的更新时间等。为了方便查找针对每个操作行为更新时间最晚的快照型日志，在本发明实施例中可以设置查找列表，在查找列表中保存查找到的更新时间最晚的携带每个操作行为的快照型日志。具体的，在该查找列表中可以针对每个操作行为，保存携带该操作行为的更新时间最晚的快照型日志的信息，例如，该快照型日志的更新时间，该快照型日志所在的位置等。
[0065]具体的，所述在本地查找更新时间最晚的携带该操作行为的快照型日志包括:
[0066]识别快照型日志中携带的所述操作行为；
[0067]判断所述操作行为的信息是否保存在查找列表中；
[0068]当该操作行为的信息未保存在查找列表中时,将该操作行为的标识信息，所述快照型日志的更新时间记录到查找列表中；
[0069]当该操作行为的信息保存在查找列表中时，判断所述快照型日志的更新时间是否晚于查找列表中保存的该操作行为对应的更新时间，当所述快照型日志的更新时间晚于查找列表中保存的该操作行为对应的更新时间时，将查找列表中保存的该操作行为对应的更新时间替换为所述快照型日志的更新时间。
[0070]在本发明实施例中为了方便日志接收服务器根据查找列表，快速查找到相应的快照型日志，所述查找列表中还针对每个操作行为，保存有更新时间最晚的携带该操作行为的快照型日志所在的位置信息。该位置信息可以是快照相日志位于日志接收服务器中的行
V寸O
[0071]日志接收服务器逐条解析每条快照型日志，获取该快照型日志中携带的操作行为，判断该操作行为的信息是否保存在查找列表中，当查找列表中保存有该操作行为时，比较该快照型日志中携带的更新时间与查找列表中保存的该操作行为对应的更新时间，将更新时间最晚的快照型日志的信息记录到该查找列表中，当查找列表中未记录该操作行为时，根据该快照型日志中携带的信息，将该操作行为，该快照型日志的更新时间和所在的行号记录到该查找列表中。
[0072]图3为本发明实施例二提供的一种快照型日志的压缩过程，该过程包括以下步骤:
[0073]S301:日志接收服务器判断当前本地存放的快照型日志的数量是否达到设定的数量阈值，当判断结果为是时，进行步骤S302，否则，继续进行步骤S301。
[0074]或者，日志接收服务器判断当前与上一次进行快照型日志压缩的时间间隔是否达到设定的时间阈值，当该时间间隔达到设定的时间阈值时，进行步骤S302，否则，继续进行步骤S301。
[0075]S302:日志接收服务器逐条查找每条快照型日志，针对每条快照型日志，解析获取该快照型日志中携带的操作行为。
[0076]S303:日志接收服务器判断在本地的查找列表中是否保存有该操作行为的信息，当判断结果为是时，进行步骤S304，否则，进行步骤S307。
[0077]S304:判断该快照型日志中携带的更新时间是否晚于查找列表中保存的该操作行为对应的更新时间，当判断结果为是时，进行步骤S305，否则，进行步骤S306。
[0078]S305:将查找列表中该操作行为对应的更新时间及行号，替换为该快照型日志中携带的更新时间，及该快照型日志当前所在的行号。之后进行步骤S308。
[0079]S306:保留该查找列表中查找到的该操作行为对应的更新时间及行号。之后进行步骤S308。
[0080]S307:将该操作行为的标识信息添加到查找列表中，并将该快照型日志中携带的更新时间，及该快照型日志当前位于日志接收服务器中的行号信息记录到查找列表中。
[0081]S308:根据查找列表中记录的每个操作行为对应的更新时间最晚的快照型日志的信息，提取相应的快照型日志，将提取的快照型日志保存到压缩后的文件夹中，该压缩后的文件夹中保存的快照型日志用于提供给日志处理服务器。
[0082]在本发明实施例中通过逐条查找每条快照型日志，将每个用户的每个操作行为对应的更新时间最晚的快照型日志查找处理，并作为该用户该操作行为压缩后的快照型日志，因为该更新时间最晚的快照型日志中包括用户该操作行为在此之前的所有信息，因此可以有效保证信息的完整性，有效的压缩快照型日志，从而减小了日志接收服务器与日志处理服务器之间传输的数据，节省了数据传输的带宽。
[0083]具体的，在针对每个用户的每个操作行为查找更新时间最晚的快照型日志时，由于每个用户的每个操作行为具有唯一性，因此可以赋予每个用户的每个操作行为唯一的标识信息，例如为Pi，i为第i个操作行为。例如A用户的浏览操作行为的标识信息可以是PL A用户的播放操作行为的标识信息为P2，B用户的浏览操作行为的标识信息P3，B用户的播放操作行为的标识信息为P4等等。
[0084]当当前满足设定的日志压缩启动条件时，日志接收服务器逐条读取每条快照型日志。日志接收服务器读取第一条的快照型日志，解析获取该快照型日志中的携带的操作行为，此时查找列表中还未保存任何快照型日志的信息，因此当前不存在该操作行为，将该操作行为的标识信息Pi记录到查找列表中，并将该快照型日志中携带的更新时间信息添加到查找列表中，根据当前该快照型日志所在的行号，将该行号的信息也记录到查找列表中。因此当前查找列表中保存的快照型日志的信息包括:操作行为的标识信息，更新时间及行号信息等。
[0085]之后日志接收服务器读取第二条快照型日志，解析获取该快照型日志中携带的操作行为，判断该操作行为是否保存在查找列表中，当第一条和第二条快照型日志是记录的不同用户的日志，或者记录相同用户的不同操作行为的日志时，该第二条快照型日志中携带的用户的操作行为与第一条快照型日志中携带的用户的操作行为不同，因此第二条快照型日志中携带的操作行为未记录在查找列表中，因此将该第二条快照型日志中携带的操作行为的标识信息P2保存到查找列表中，并将该第二条快照型日志中携带的更新时间，及第二条快照型日志所在的行号保存到查找列表中；如果第二条和第一条快照型日志记录的是同一用户的同一操作行为，则该第二条快照型日志中携带的用户的操作行为与第一条快照型日志中携带的用户的操作行为相同，当第二条快照型日志中携带的更新时间晚于查找列表中保存的该操作行为对应的更新时间时，采用该第二条快照型日志中携带的更新时间及所在的行号，替换查找列表中该操作行为对应的更新时间及行号。
[0086]采用上述方式可以使查找列表中保存的为针对每个用户每个操作行为更新时间最晚的快照型日志，根据查找列表中保存的每个快照型日志的信息，提取相应的快照型日志，将提取的快照型日志保存到压缩后的文件夹中，该压缩后的文件夹中保存的快照型日志用于提供给日志处理服务器。
[0087]另外，日志接收服务器中存储的携带每个用户每个操作行为的快照型日志，是按照时间顺序不断更新的，有些用户的某些操作行为可能已经结束，但有些用户的某些操作行为可能还在持续，为了保证压缩的快照型日志的准确性，在本发明实施例中当日志接收服务器中保存的快照型日志的数量达到设定的数量阈值，针对日志接收服务器中的快照型日志进行压缩时，所述将查找到的所述更新时间最晚的快照型日志保存到压缩后的文件夹中包括:
[0088]针对查找列表中保存的每条快照型日志的信息，判断该条快照型日志的更新时间与当前时间的时间间隔是否大于设定的时间阈值；
[0089]当该条快照型日志的更新时间与当前时间的时间间隔大于设定的时间阈值时，根据查找列表中保存的所述快照型日志的信息，将所述快照型日志保存到压缩后的文件夹中，并删除所述查找列表中保存的所述快照型日志的信息；
[0090]当所述查找列表中保存的每条快照型日志的更新时间与当前时间的时间间隔都不大于设定的时间阈值时，按照更新时间从早到晚的顺序对查找列表中的快照型日志进行排序，查找出更新时间较早的设定数量的快照型日志，将查找出的所述快照型日志保存到压缩后的文件夹中，并删除查找列表中保存的所述快照型日志的信息。
[0091]在本发明实施例中认为快照型日志不再更新时，其对应的操作行为已经结束，否贝U，认为其对应的操作行为还在持续。因此可以根据查找列表中保存的每个操作行为对应的更新时间，确定该操作行为是否已经结束。具体的，可以根据该查找列表中保存的该操作行为对应的更新时间与当前时间的时间间隔的长度，确定该操作行为是否结束。
[0092]当查找列表中保存的某一操作行为对应的更新时间与当前时间的时间间隔大于设定的时间阈值时，认为该操作行为已经结束，根据查找列表中保存的快照型日志的信息，将该快照型日志保存到压缩后的文件夹中，并删除查找列表中保存的该快照型日志的信肩、O
[0093]另外，当设定的进行日志压缩的启动条件较容易满足时，可能进行日志压缩的频率会比较高，此时可能每条快照型日志的更新时间与当前时间的时间间隔都不大于设定的时间阈值，而此时可能日志接收服务器中保存的日志数量已经足够多，或者查找列表中保存的快照型日志的信息已经非常多，为了保证后续的日志能够准确的被接收、被压缩，在本发明实施例中根据查找列表中保存的每个快照型日志的更新时间，按照更新时间从早到晚的顺序对查找列表中的快照型日志进行排序，从前往后查找出设定数量的更新时间较早的快照型日志的信息，根据查找到的快照型日志的信息提取快照型日志，并将提取的快照型日志保存到压缩后的文件夹中，并删除查找列表中保存的该快照型日志的信息。
[0094]图4为本发明实施例三提供的一种快照型日志的压缩过程，该过程包括以下步骤:
[0095]S401:日志接收服务器判断当前本地存放的快照型日志的数量是否达到设定的数量阈值，当判断结果为是时，进行步骤S402，否则，继续进行步骤S401。
[0096]或者，日志接收服务器判断当前与上一次进行快照型日志压缩的时间间隔是否达到设定的时间阈值，当该时间间隔达到设定的时间阈值时，进行步骤S402，否则，继续进行步骤S401。
[0097]S402:日志接收服务器逐条查找每条快照型日志，针对每条快照型日志，解析获取该快照型日志中携带的操作行为。
[0098]S403:日志接收服务器判断在本地的查找列表中是否保存有该操作行为的信息，当判断结果为是时，进行步骤S404，否则，进行步骤S407。
[0099]S404:判断该快照型日志中携带的更新时间是否晚于查找列表中保存的该操作行为对应的更新时间，当判断结果为是时，进行步骤S405，否则，进行步骤S406。
[0100]S405:将查找列表中该操作行为对应的更新时间及行号，替换为该快照型日志中携带的更新时间，及该快照型日志当前所在的行号。之后进行步骤S408。
[0101]S406:保留该查找列表中查找到的该操作行为对应的更新时间及行号。之后进行步骤S408。
[0102]S407:将该操作行为的标识信息添加到查找列表中，并将该快照型日志中携带的更新时间，及该快照型日志当前位于日志接收服务器中的行号信息记录到查找列表中。
[0103]S408:针对查找列表中记录的每条快照型日志的信息，判断该条快照型日志的更新时间与当前时间的时间间隔是否大于设定的时间阈值，当判断结果为是时，进行步骤S409，否则，进行步骤S410。
[0104]S409:根据查找列表中记录的所述快照型日志的信息，将所述快照型日志保存到压缩后的文件夹中，并删除所述查找列表中保存的所述快照型日志的信息。
[0105]S410:判断查找列表中保存的每条快照型日志的更新时间与当前时间的时间间隔都不大于设定的时间阈值，当判断结果为是时，进行步骤S411，否则，根据步骤S408的判断结果进行操作。
[0106]S411:按照更新时间从早到晚的顺序对查找列表中的快照型日志进行排序，查找出更新时间较早的设定数量的快照型日志，将所述快照型日志保存到压缩后的文件夹中，并删除所述列表中保存的所述快照型日志的信息。
[0107]由于在本发明实施例中针对每个用户的每个操作行为，查找到了该操作行为更新时间最晚的快照型日志，而该快照型日志中包含有该操作行为之前的所有信息，因此在保证信息完整性的前提下，有效的压缩的快照型日志，减小了日志接收服务器与日志处理服务器之间传输的数据，从而节省了数据传输的时间，节省了日志处理服务器的存储空间，并降低了日志处理服务器对快照型日志进行处理的效率，节省了快照型日志的处理时间。
[0108]图5为本发明实施例提供的一种快照型日志压缩装置的结构示意图，所述装置包括:
[0109]判断模块51，用于判断当前是否满足设定的日志压缩启动条件；
[0110]查找模块52，用于当判断模块判断当前满足设定的日志压缩启动条件时，针对快照型日志中记录的每个用户的每个操作行为，在本地查找更新时间最晚的携带该操作行为的快照型日志；
[0111]存储模块53，用于将查找到的所述更新时间最晚的快照型日志保存到压缩后的文件夹中，该压缩后的文件夹中保存的快照型日志用于提供给日志处理服务器。
[0112]所述判断模块51，具体用于判断保存的快照型日志的数量是否达到设定的数量阈值，或判断与上一次进行快照型日志压缩之间的时间间隔达到设定的时间阈值。
[0113]所述装置还包括:
[0114]确定模块54，用于根据保存的每条快照型日志包含的平均字节数，及内存中用于存储快照型日志的存储空间，确定该存储空间中存放的快照型日志的数量，将所述数量确定为数量阈值。
[0115]所述查找模块52，具体用于识别快照型日志中携带的所述操作行为；判断所述操作行为的信息是否保存在查找列表中；当该操作行为的信息未保存在查找列表中时，将该操作行为的标识信息，所述快照型日志的更新时间记录到查找列表中；当该操作行为的信息保存在查找列表中时，判断所述快照型日志的更新时间是否晚于查找列表中保存的该操作行为对应的更新时间，当所述快照型日志的更新时间晚于查找列表中保存的该操作行为对应的更新时间时，将查找列表中保存的该操作行为对应的更新时间替换为所述快照型日志的更新时间。
[0116]所述存储模块53，还用于在查找列表中还针对每个操作行为，保存有更新时间最晚的携带该操作行为的快照型日志所在的位置信息。
[0117]所述存储模块53，具体用于针对查找列表中保存的每条快照型日志的信息，判断该条快照型日志的更新时间与当前时间的时间间隔是否大于设定的时间阈值；当该条快照型日志的更新时间与当前时间的时间间隔大于设定的时间阈值时，根据查找列表中保存的所述快照型日志的信息，将所述快照型日志保存到压缩后的文件夹中，并删除所述查找列表中保存的所述快照型日志的信息；当所述查找列表中保存的每条快照型日志的更新时间与当前时间的时间间隔都不大于设定的时间阈值时，按照更新时间从早到晚的顺序对查找列表中的快照型日志排序，查找出更新时间较早的设定数量的快照型日志，将查找出的所述快照型日志保存到压缩后的文件夹中，并删除查找列表中保存的所述快照型日志的信肩、O
[0118]本发明实施例提供了一种日志接收服务器，所述日志接收服务器包括上述装置所述的特征。
[0119]图6为本发明实施例提供的一种快照型日志压缩系统结构示意图，所述系统包括上述日志接收服务器61，及对压缩后的快照型日志进行处理的日志处理服务器62。
[0120]本发明实施例提供了一种快照型日志压缩方法、系统及装置，该方法中日志接收服务器在判断当前满足设定的日志压缩启动条件时，针对快照型日志中携带的每个用户的每个操作行为，查找本地保存的该操作行为更新时间最晚的快照型日志，并将查找到的所述快照型日志保存到压缩后的文件夹中，以便后期提供给日志处理服务器。由于在本发明实施例中针对每个用户的每个操作行为，查找到了该操作行为更新时间最晚的快照型日志，而该快照型日志中包含有该操作行为之前的所有信息，因此在保证信息完整性的前提下，有效的压缩的快照型日志，减小了日志接收服务器与日志处理服务器之间传输的数据，从而节省了数据传输的时间，节省了日志处理服务器的存储空间，并降低了日志处理服务器对快照型日志进行处理的效率，节省了快照型日志的处理时间。
[0121]在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
[0122]在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
[0123]类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循【具体实施方式】的权利要求书由此明确地并入该【具体实施方式】，其中每个权利要求本身都作为本发明的单独实施例。
[0124]本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
[0125]此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
[0126]本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的快照型日志压缩装置和系统中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
[0127]应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
[0128]显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
【权利要求】
1.一种快照型日志压缩方法，其特征在于，该方法包括: 日志接收服务器判断当前是否满足设定的日志压缩启动条件； 当满足设定的日志压缩启动条件时，针对快照型日志中携带的每个用户的每个操作行为，在本地查找更新时间最晚的携带该操作行为的快照型日志； 将查找到的所述更新时间最晚的快照型日志保存到压缩后的文件夹中，该压缩后的文件夹中保存的快照型日志用于提供给日志处理服务器。
2.如权利要求1所述的方法，其特征在于，所述满足设定的日志压缩启动条件包括: 日志接收服务器中保存的快照型日志的数量达到设定的数量阈值；或 与上一次进行快照型日志压缩之间的时间间隔达到设定的时间阈值。
3.如权利要求2所述的方法，其特征在于，确定所述数量阈值包括: 日志接收服务器根据保存的每条快照型日志包含的平均字节数，及内存用于存储快照型日志的存储空间，确定该存储空间中存放的快照型日志的数量，将所述数量确定为数量阈值。
4.如权利要求1或2所述的方法，其特征在于，所述在本地查找更新时间最晚的携带该操作行为的快照型日志包括: 识别快照型日志中携带的所述操作行为； 判断所述操作行为的信息是否保存在查找列表中； 当该操作行为的信息未保存在查找列表中时，将该操作行为的标识信息，所述快照型日志的更新时间记录到查找列表中； 当该操作行为的信息保存在查找列表中时，判断所述快照型日志的更新时间是否晚于查找列表中保存的该操作行为对应的更新时间，当所述快照型日志的更新时间晚于查找列表中保存的该操作行为对应的更新时间时，将查找列表中保存的该操作行为对应的更新时间替换为所述快照型日志的更新时间。
5.如权利要求4所述的方法，其特征在于，所述查找列表中还针对每个操作行为，保存有更新时间最晚的携带该操作行为的快照型日志所在的位置信息。
6.如权利要求5所述的方法，其特征在于，所述将查找到的所述更新时间最晚的快照型日志保存到压缩后的文件夹中包括: 针对查找列表中保存的每条快照型日志的信息，判断该条快照型日志的更新时间与当前时间的时间间隔是否大于设定的时间阈值； 当该条快照型日志的更新时间与当前时间的时间间隔大于设定的时间阈值时，根据查找列表中保存的所述快照型日志的信息，将所述快照型日志保存到压缩后的文件夹中，并删除所述查找列表中保存的所述快照型日志的信息； 当所述查找列表中保存的每条快照型日志的更新时间与当前时间的时间间隔都不大于设定的时间阈值时，按照更新时间从早到晚的顺序对查找列表中的快照型日志进行排序，查找出更新时间较早的设定数量的快照型日志，将查找出的所述快照型日志保存到压缩后的文件夹中，并删除查找列表中保存的所述快照型日志的信息。
7.一种快照型日志压缩装置，其特征在于，所述装置包括: 判断模块，用于判断当前是否满足设定的日志压缩启动条件； 查找模块，用于当判断模块判断当前满足设定的日志压缩启动条件时，针对快照型日志中记录的每个用户的每个操作行为，在本地查找更新时间最晚的携带该操作行为的快照型日志； 存储模块，用于将查找到的所述更新时间最晚的快照型日志保存到压缩后的文件夹中，该压缩后的文件夹中保存的快照型日志用于提供给日志处理服务器。
8.如权利要求7所述的装置，其特征在于，所述判断模块，具体用于判断保存的快照型日志的数量是否达到设定的数量阈值，或判断与上一次进行快照型日志压缩之间的时间间隔达到设定的时间阈值。
9.如权利要求8所述的装置，其特征在于，所述装置还包括: 确定模块，用于根据保存的每条快照型日志包含的平均字节数，及内存中用于存储快照型日志的存储空间，确定该存储空间中存放的快照型日志的数量，将所述数量确定为数量阈值。
10.如权利要求7或8所述的装置，其特征在于，所述查找模块，具体用于识别快照型日志中携带的所述操作行为；判断所述操作行为的信息是否保存在查找列表中；当该操作行为的信息未保存在查找列表中时，将该操作行为的标识信息，所述快照型日志的更新时间记录到查找列表中；当该操作行为的信息保存在查找列表中时，判断所述快照型日志的更新时间是否晚于查找列表中保存的该操作行为对应的更新时间，当所述快照型日志的更新时间晚于查找列表中保存的该操作行为对应的更新时间时，将查找列表中保存的该操作行为对应的更新时间替换为所述快照型日志的更新时间。
11.如权利要求10所述的装置，其特征在于，所述存储模块，还用于在查找列表中还针对每个操作行为，保存有更新时间最晚的携带该操作行为的快照型日志所在的位置信息。
12.如权利要求11所述的装置，其特征在于，所述存储模块，具体用于针对查找列表中保存的每条快照型日志的信息，判断该条快照型日志的更新时间与当前时间的时间间隔是否大于设定的时间阈值；当该条快照型日志的更新时间与当前时间的时间间隔大于设定的时间阈值时，根据查找列表中保存的所述快照型日志的信息，将所述快照型日志保存到压缩后的文件夹中，并删除所述查找列表中保存的所述快照型日志的信息；当所述查找列表中保存的每条快照型日志的更新时间与当前时间的时间间隔都不大于设定的时间阈值时，按照更新时间从早到晚的顺序对查找列表中的快照型日志排序，查找出更新时间较早的设定数量的快照型日志，将查找出的所述快照型日志保存到压缩后的文件夹中，并删除查找列表中保存的所述快照型日志的信息。
13.—种日志接收服务器，其特征在于，所述日志接收服务器包括如权利要求7?12所述的装置。
14.一种快照型日志压缩系统，其特征在于，所述系统包括权利要求13所述的日志接收服务器，及对压缩后的快照型日志进行处理的日志处理服务器。
【文档编号】G06F17/30GK104239538SQ201410487105
【公开日】2014年12月24日 申请日期:2014年9月22日 优先权日:2014年9月22日
【发明者】王晓涛 申请人:北京国双科技有限公司