一种日志数据记录的方法、日志服务器及系统的制作方法

一种日志数据记录的方法、日志服务器及系统的制作方法
【专利摘要】本申请实施例公开了一种日志数据记录的方法、日志服务器及系统，该日志数据记录方法包括：将根据日志获取条件获取到的日志数据组成日志集合；确定用于存储所述日志集合的数据存储服务器；将所述日志集合存储到所述数据存储服务器，并在所述数据存储服务器上生成所述日志集合的数据表；在所述日志集合的所有日志数据全部导入所述数据表之后，为所述日志集合的数据表创建索引。采用本申请实施例的方法、日志服务器或系统，可以提高日志数据的储存速度，从而使得网络平台能够及时地记录短时间内产生的大量日志数据，防止数据丢失并且缩短用户查询的延迟时间。
【专利说明】一种日志数据记录的方法、日志服务器及系统

【技术领域】
[0001]本申请涉及网络数据处理领域，特别是涉及一种日志数据记录的方法、日志服务器及系统。

【背景技术】
[0002]随着互联网通讯越来越普及，与网络平台之间通过网络交互的用户数量越来越多，用户与平台之间交互的次数也越来越多。为了便于用户能够查询到已完成的交互的有关信息，通常采用的方式是网络平台将交互信息生成用户的日志数据，然后记录各个用户的各个交互产生的日志数据，这样，在用户需要查询已完成的交互信息时，可以直接在网络平台所记录的日志数据总查找该交互所对应的日志数据，然后再将查找到的日志数据返回给用户，这样查询者就可以获得所需的交互信息。
[0003]在现有的日志数据记录方法中，每当产生一条用户日志数据，日志服务系统就将该条日志数据插入存储到系统中的某一台存储设备上，这样，为了在用户查询时日志服务系统能在日志存储设备中找到日志数据的存储位置，在将每条日志数据插入的同时都要对日志存储设备中的索引进行一次更新。
[0004]通过现有技术来记录日志数据，由于每插入一条日志都需要对日志存储设备的索引进行一次更新，所以日志数据记录的速度较慢，导致日志数据记录的效率较低。而进一步的，当前由于网络平台业务量的增大，网络平台上产生的日志数据数量越来越多，通过现有技术来记录日志数据，难以及时地记录产生的大量日志数据，这样，不仅会造成日志数据的丢失，也会致使用户在交互完成之后的较长时间内查询不到交互信息，也即用户查询的延迟时间较长。


【发明内容】

[0005]本申请所要解决的技术问题是，提供一种日志数据记录的方法、装置及系统，以解决按照现有技术中日志数据记录的方式导致的日志数据记录的效率较低的技术问题，进一步的，还能解决短时间内产生日志数据达到亿级别数量的网络平台难以及时地记录产生的大量日志数据而造成的日志数据丢失和用户查询的延迟时间较长的技术问题。
[0006]为解决上述技术问题，本申请实施例提供了一种日志数据记录的方法，该方法包括:
[0007]将根据日志获取条件获取到的日志数据组成日志集合；
[0008]确定用于存储所述日志集合的数据存储服务器；
[0009]在所述数据存储服务器上生成所述日志集合的数据表，并将所述日志集合中的所有日志数据导入所述数据表；
[0010]在所述日志集合的所有日志数据全部导入所述数据表之后，为所述日志集合的数据表创建索引。
[0011 ] 优选的，所述将根据日志获取条件获取到的日志数据组成日志集合，包括:
[0012]从分布式文件系统中，获取前一次组成日志集合时刻之后生成的日志数据；
[0013]判断所述日志数据的条数是否达到预设的获取数据数量阈值；
[0014]如果否，则等待第一等待时间之后返回所述判断所述获取前一次组成日志集合时刻之后生成的日志数据的步骤；
[0015]如果是，则将所述日志数据组成日志集合；所述日志集合对应的时间段为前一次组成日志集合的时刻至本次组成日志集合的时刻。
[0016]优选的，所述将根据日志获取条件获取到的日志数据组成日志集合，包括:
[0017]判断获取等待时间是否达到预设的等待时间阈值，所述获取等待时间为当前时刻与前一次组成日志集合的时刻之间的时间；
[0018]如果否，则等待所述第二等待时间之后返回所述判断获取等待时间是否达到预设的等待时间阈值的步骤；
[0019]如果是，则从分布式文件系统中，获取前一次组成日志集合时刻之后生成的日志数据，并将所述日志数据组成一个日志集合；所述日志集合对应的时间段为前一次组成日志集合的时刻至本次组成日志集合的时刻。
[0020]优选的，所述日志获取条件为按照日志数据的时间顺序获取日志，所述日志集合中所有日志数据的时间属于同一时间段；
[0021]相应的，将根据日志获取条件获取到的日志数据组成日志集合之后，还包括:将所述日志集合中的日志数据按照业务类型分类，形成至少一个日志子集合；
[0022]相应的，所述在所述数据存储服务器上生成所述日志集合的数据表，包括:
[0023]根据所述日志集合中每个日志子集合中的日志数据，对应生成每个日志子集合的子数据表；
[0024]将所述日志集合中所有日志子集合的子数据表组合成所述日志集合的数据表。
[0025]优选的，所述确定用于存储所述日志集合的数据存储服务器，具体为:确定用于存储所述日志集合的数据存储服务器中当前未执行写任务的磁盘。
[0026]优选的，所述在所述数据存储服务器上生成所述日志集合的数据表之后，还包括:
[0027]判断所述数据存储服务器在预设的存储时间内是否返回存储完成信息；所述存储完成信息为所述存储服务器在完成将所述日志集合中的所有日志数据导入所述数据表并为所述数据表创建索引之后返回的信息；
[0028]如果否，则从未曾被确定用于存储所述日志集合的存储服务器中重新确定用于存储所述日志集合的数据存储服务器，并返回所述将所述日志集合存储到所述数据存储服务器的步骤。
[0029]优选的，所述方法还包括:
[0030]按照预设的删除时间周期性删除所述数据存储服务器中未完成存储的日志集合。
[0031]优选的，所述在所述数据存储服务器上生成所述日志集合的数据表之后，还包括:
[0032]按照预设的合并时间周期性判断所述数据存储服务器上是否存在日志数据数量小于预设的存储数量阈值的数据表；如果是，则将所述日志数据数量小于存储数量阈值的数据表合并。
[0033]优选的，所述为所述日志集合的数据表创建索引之后，还包括:
[0034]将所述日志集合的数据表存储为独立的数据表文件集合；
[0035]复制所述日志集合对应的数据表文件集合中的数据表文件；
[0036]从未存储所述数据表文件的存储服务器中确定用于存储所述复制得到的所述数据表文件的备份存储服务器；
[0037]将所述复制得到的数据表文件一一对应的存储到所述备份存储服务器当前未执行写任务的磁盘中。
[0038]优选的，所述从未存储所述数据表文件的存储服务器中确定用于存储所述复制得到的所述数据表文件集合的备份存储服务器，包括:
[0039]将所连接的存储服务器中均未存储所述数据表文件集合的交换机确定为目标交换机；
[0040]从所述目标交换机所连接的存储服务器中确定用于存储所述复制得到的所述数据表文件的备份存储服务器。11、根据权利要求9所述的方法，其特征在于，所述将所述复制得到的数据表文件存储到所述备份存储服务器中之后，还包括:
[0041]监测所述日志集合的数据表文件的副本份数；
[0042]判断所述数据表文件的副本份数与预设的副本份数阀值之间的大小关系；
[0043]如果所述数据表文件的副本份数大于所述副本份数阈值，则将差值数量的数据表文件删除；所述差值数量为所述数据表文件的副本份数与所述副本份数阈值之间的差值；
[0044]如果所述数据表文件的副本份数小于所述副本份数阈值，则返回所述复制所述日志集合对应的数据表文件集合的数据表文件的步骤。
[0045]本申请还公开了一种查询日志数据的方法，通过前述任意一项的方法存储日志数据，所述日志集合中所有日志数据的时间都属于同一时间段；通过前述的方法备份日志数据；记录所述日志集合与所述数据存储服务器之间、所述日志集合与所述备份存储服务器之间以及所述日志集合与时间段之间的对应关系；
[0046]所述方法包括:
[0047]接收日志数据查询请求；
[0048]根据所述查询请求中目标日志数据的时间所在的时间段和所述日志集合与时间段之间的对应关系，确定所述目标日志数据所在的目标日志集合；
[0049]根据所述日志集合与数据存储服务器之间的对应关系和/或所述日志集合与备份存储服务器之间的对应关系，从存储有所述目标日志集合数据表文件的数据存储服务器和备份存储服务器中，确定用于查询所述目标日志的查询存储服务器；
[0050]在所述查询存储服务器上查找所述目标日志集合的数据表，并在查找到的数据表中查找所述目标日志数据；
[0051 ] 将查找到的目标日志数据合并输出。
[0052]本申请还公开了一种记录日志数据的日志服务器，包括:
[0053]日志集合形成模块，用于将根据日志获取条件获取到的日志数据组成日志集合；
[0054]数据存储服务器确定模块，用于确定用于存储所述日志集合的数据存储服务器；
[0055]数据表生成模块，用于在所述数据存储服务器上生成所述日志集合的数据表；
[0056]日志插入模块，用于将所述日志集合中的所有日志数据导入所述数据表；
[0057]索引创建模块，用于在所述日志集合的所有日志数据全部导入所述数据表之后，为所述日志集合的数据表创建索引。
[0058]优选的，所述日志集合形成模块包括:
[0059]第一日志数据获取子模块，用于从分布式文件系统中，获取前一次组成日志集合时刻之后生成的日志数据；
[0060]获取数量判断子模块，用于判断所述日志数据的条数是否达到预设的获取数据数量阈值；
[0061]触发获取子模块，用于在所述获取数量判断子模块的判断结果为否的情况下，等待第一等待时间之后触发所述日志数据获取模块；
[0062]第一日志组合子模块，用于在所述获取数量判断子模块的判断结果为是的情况下，将所述日志数据组成日志集合；所述日志集合对应的时间段为前一次组成日志集合的时刻至本次组成日志集合的时刻。
[0063]优选的，所述日志集合形成模块包括:
[0064]获取时间判断子模块，用于判断获取等待时间是否达到预设的等待时间阈值，所述获取等待时间为当前时刻与前一次组成日志集合的时刻之间的时间；
[0065]触发时间判断子模块，用于在所述获取时间判断子模块的判断结果为否的情况下，等待所述第二等待时间之后触发所述获取时间判断子模块；
[0066]第二日志数据获取子模块，用于在所述获取时间判断子模块的判断结果为是的情况下，从分布式文件系统中，获取前一次组成日志集合时刻之后生成的日志数据；
[0067]第二日志组合子模块，用于将所述日志数据组成一个日志集合；所述日志集合对应的时间段为前一次组成日志集合的时刻至本次组成日志集合的时刻。
[0068]优选的，所述日志服务器还包括:
[0069]日志子集合形成模块，用于将所述日志集合中的日志数据按照业务类型分类，形成至少一个日志子集合；
[0070]相应的，所述数据表生成模块包括:
[0071 ] 子数据表生成子模块，用于根据所述日志集合中每个日志子集合中的日志数据，对应生成每个日志子集合的子数据表；
[0072]子数据表组合子模块，用于将所述日志集合中所有所述日志子集合的子数据表组合成所述日志集合的数据表。
[0073]优选的，所述数据存储服务器确定模块，具体用于确定用于存储所述日志集合的数据存储服务器中当前未执行写任务的磁盘。
[0074]优选的，所述日志服务器还包括:
[0075]数据表完成判断模块，用于判断所述数据存储服务器在预设的存储时间内是否返回存储完成信息；所述存储完成信息为所述存储服务器在完成将所述日志集合中的所有日志数据导入所述数据表并为所述数据表创建索引之后返回的信息；
[0076]数据存储重新确定模块，用于在所述数据表完成判断模块的判断结果为否的情况下，从未曾被确定用于存储所述日志集合的存储服务器中重新确定用于存储所述日志集合的数据存储服务器；
[0077]触发存储模块，用于在所述数据存储重新确定模块启动的情况下，触发日志集合存储模块。
[0078]优选的，所述日志服务器还包括:
[0079]删除集合模块，用于按照预设的删除时间周期性删除所述数据存储服务器中未完成存储的日志集合。
[0080]优选的，所述日志服务器还包括:
[0081]数据数量判断模块，用于按照预设的合并时间周期性判断所述数据存储服务器上是否存在日志数据数量小于预设的存储数量阈值的数据表；
[0082]集合合并模块，用于在所述数据数量的判断结果为是的情况下，将所述日志数据数量小于存储数量阈值的数据表合并。
[0083]优选的，所述日志服务器还包括:
[0084]备份生成模块，用于将所述日志集合的数据表存储为独立的数据表文件集合；
[0085]备份复制模块，用于复制所述日志集合对应的数据表文件集合的数据表文件；
[0086]备份服务器确定模块，用于从未存储所述数据表文件的存储服务器中确定用于存储所述复制得到的数据表文件的备份存储服务器；
[0087]备份存储模块，用于将所述复制得到的数据表文件一一对应的存储到所述备份存储服务器当前未执行写任务的磁盘中。
[0088]优选的，所述备份服务器确定模块，包括:
[0089]第一确定子模块，用于将所连接的存储服务器中均未存储所述数据表文件的交换机确定为目标交换机；
[0090]第二确定子模块，用于从所述目标交换机所连接的存储服务器中确定用于存储所述复制得到的所述数据表文件的备份存储服务器。
[0091]优选的，所述日志服务器还包括:
[0092]数据表监测模块，用于监测所述日志集合的数据表文件的副本份数；
[0093]数据表数量判断模块，用于判断数据表文件的副本份数与预设的副本份数阀值之间的大小关系；
[0094]数据表删除模块，用于在所述数据表数量判断模块的判断结果为所述数据表文件的副本份数大于所述副本份数阈值的情况下，将差值数量的数据表文件删除；所述差值数量为所述数据表文件的副本份数与预设的副本份数阈值之间的差值；
[0095]触发复制模块，用于在所述数据表数量判断模块的判断结果为所述数据表文件的副本份数小于所述副本份数阈值的情况下，触发所述备份复制模块。
[0096]本申请还公开了一种记录日志数据的系统，其特征在于，所述系统包括日志服务器和存储服务器；所述日志服务器为前述任意一项的日志服务器；所述存储服务器包括数据存储服务器和/或备份存储服务器。
[0097]本申请还公开了一种查询日志数据的系统，所述系统包括:
[0098]日志存储单元，用于通过前述的日志服务器存储日志数据，所述日志集合中所有日志数据的时间都属于同一时间段；
[0099]日志备份单元，用于通过前述的日志服务器备份日志数据；
[0100]对应关系记录单元，用于记录所述日志集合与所述数据存储服务器之间、所述日志集合与所述备份存储服务器之间以及所述日志集合与时间段之间的对应关系；
[0101]查询请求接收单元，用于接收日志数据查询请求；
[0102]目标集合确定单元，用于根据所述查询请求中目标日志的时间所在的时间段，确定目标日志数据所在的目标日志集合；
[0103]查询服务器确定单元，用于根据所述日志集合与数据存储服务器之间的对应关系和/或所述日志集合与备份存储服务器之间的对应关系，从存储有所述目标日志集合数据表文件的数据存储服务器和备份存储服务器中，确定用于查询所述目标日志的查询存储服务器；
[0104]查找单元，用于在所述查询存储服务器上查找所述目标日志集合的数据表；
[0105]目标日志查找单元，用于在查找到的数据表中查找所述目标日志数据；
[0106]目标日志输出模块，用于将查找到的目标日志数据合并输出。
[0107]从上述的技术方案可以看出，本申请实施例中公开的日志数据记录方法，因为采用将获取日志数据形成日志集合来按集合进行存储的方式，先将获取的日志数据组成日志集合，然后确定用于存储日志集合的数据存储服务器，这样就可以先在该数据存储服务器上生成该日志集合的数据表并将该日志集合中所有日志数据都导入到数据存储服务器上，再在该日志集合的所有日志数据全部导入所述数据表之后为该日志集合数据表创建索引，这样就能避免因为每记录一条日志数据都需要更新日志存储设备的索引而导致的日志记录速度较慢的现象，使得日志记录的写入速度加快，从而使得网络平台能够及时地记录短时间内产生的大量日志数据，防止数据丢失并且缩短用户查询的延迟时间，使得用户能够更及时地查询到已完成的交互信息。
[0108]进一步的，本申请实施例中在确定存储日志集合的数据存储服务器时，可以确定数据存储服务器中当前未执行写任务的磁盘中，这样，存储日志集合的磁盘在存储时不执行其他写任务，可以提高日志集合中日志数据的存储速度。
[0109]进一步的，本申请实施例中对数据存储服务器完成日志集合存储也设置了存储时间阈值，当数据存储服务器经过存储时间还未返回完成存储消息，就将重新确定数据存储服务器来存储该日志集合，这样可以避免数据存储服务器出现错误而导致的日志集合中日志数据不能被完全存储为数据表。另外，在设置存储时间阈值的基础上，还可以设置了删除时间以周期性删除未完成存储的日志集合，这样可以减少数据存储服务器中的垃圾数据，增大可用空间，提高利用效率。
[0110]进一步的，本申请实施例中对数据表中日志数据的数量也设置了存储数量阈值，当数据存储服务器中存在日志数据数量小于存储数量阈值的数据表时，就将这些数据表进行合并，这样可以减少数据表的数量，节省用户查询日志数据时需要查找的数据表数量，从而节省查询时间。
[0111]进一步的，本申请实施例中在备份存储的日志集合时，由于各个日志集合的数据表是独立保存的数据表文件集合，因此可以直接复制日志集合对应的数据表文件集合中的数据表文件并存储到备份存储服务器中，可以节省备份所需要的时间。另外，在存储数据表文件时，可以将数据表文件存储到备份存储服务器上当前未执行写任务的磁盘中，这样可以提高数据表文件存储的速度，进一步节省备份所需要的时间。
[0112]进一步的，本申请实施例中在确定备份服务器时可以使存储同一日志集合的各个数据表文件集合的各个备份存储服务器位于不同交换机下，这样可以避免将同一日志集合的各个数据表文件集合存储在相同交换机下的存储服务器而导致的该交换机损坏后该日志集合中的日志数据将无法查询的问题。
[0113]进一步的，本申请实施例中对日志集合设置了数据表文件的副本份数阈值，当日志集合的数据表文件的副本份数大于预设的副本份数阈值时，就删除多余的数据表文件，当数据表文件的副本份数小于副本份数阈值时，就再次复制数据表文件，这样可以保证存储服务器中日志集合的数据表文件的副本份数维持稳定，从而在不占用过多存储空间的情况下保证日志数据不会丢失。
[0114]进一步的，本申请实施例中在查询已完成记录的目标日志数据时，由于存储服务器上各日志集合对应生成了不同的数据表，这样就可以先确定目标日志所在的目标集合，再在查询存储服务器上该目标日志集合的数据表上查找该目标日志数据，而不需要在查询存储服务器上查找所有数据表，从而提高了日志查询的速度，减小了查询的延迟时间。
[0115]当然，实施本申请的任一产品并不一定需要同时达到以上所述的所有优点。

【专利附图】

【附图说明】
[0116]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0117]图1为本申请日志数据记录的方法实施例1的流程图；
[0118]图2本申请方法实施例1中步骤101的实施方式I的流程图；
[0119]图3本申请方法实施例1中步骤101的实施方式2的流程图；
[0120]图4为本申请方法实施例1的可附加实施方式I的流程图；
[0121]图5为本申请方法实施例1的可附加实施方式2的流程图；
[0122]图6为本申请日志数据记录的方法实施例2的流程图；
[0123]图7为本申请日志数据记录的方法实施例3的流程图；
[0124]图8为本申请日志数据记录的方法实施例4的流程图；
[0125]图9为本申请查询日志数据的方法实施例1的流程图；
[0126]图10为本申请日志数据记录的方法场景实施例的流程图；
[0127]图11为本申请查询日志数据的方法场景实施例的流程图；
[0128]图12为本申请日志数据记录的日志服务器装置实施例1的结构图；
[0129]图13为本申请日志服务器装置实施例1中日志集合形成模块1201的实施例1的结构图；
[0130]图14为本申请日志服务器装置实施例1中日志集合形成模块1201的实施例2的结构图；
[0131]图15为本申请日志数据记录的日志服务器装置实施例2的结构图；
[0132]图16为本申请日志数据记录的日志服务器装置实施例2的又一结构图；
[0133]图17为本申请日志数据记录的日志服务器装置实施例3的结构图；
[0134]图18为本申请日志数据记录的日志服务器装置实施例4的结构图；
[0135]图19为本申请日志数据记录的日志服务器装置实施例5的结构图；
[0136]图20为本申请日志数据记录的日志服务器装置实施例6的结构图；
[0137]图21为本申请日志数据记录的系统实施例1的结构图；
[0138]图22为本申请查询日志数据的系统实施例1的结构图。

【具体实施方式】
[0139]为了使本【技术领域】的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0140]本申请可用于众多通用或专用的计算系统环境或配置中。例如:个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。
[0141]本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
[0142]本申请的主要思想之一可以包括，采用包含多个日志数据的日志集合的方式，先将多个需要记录的日志数据组成日志集合，并将该日志集合完全存储到数据存储服务器生成数据表，再在日志集合中的所有日志数据全部导入数据表之后为该日志集合的数据表创建索引。由于不再需要每记录一条日志数据都更新索引，这种记录日志的方法可以提高日志数据存储的速度，进而节省存储的时间。
[0143]参见图1，示出了本申请的一种日志数据记录的方法实施例1的流程图，本实施例可以包括:
[0144]步骤101、将根据日志获取条件获取到的日志数据组成日志集合。
[0145]本申请实施例在实施时，所获取的日志数据是已经生成的日志数据。日志数据的来源是网络平台应用集群的业务系统。大量用户与业务系统进行了大量的交互，业务系统就对应产生了大量的交互信息，随即业务系统将这些交互信息发送给日志缓存服务器，然后由日志缓存服务器生成每个交互信息对应的日志数据，并缓存该日志数据，以等待记录该日志数据。为了使缓存的日志数据不易被损坏或丢失，本实施例可以在日志缓存服务器生成日志数据之后，将日志数据缓存到分布式文件系统中。其中，分布式文件系统可以置于日志缓存服务器本地，也可以置于业务系统。另外，在缓存中的日志数据被获取之后，通常需要从缓存中删除，以保持缓存中有足够的存储空间来缓存新生成的日志数据。
[0146]需要说明的是，由于日志数据是由业务系统与用户交互所产生的，而业务系统随时间不断与大量用户进行大量交互，所以，通常日志数据每时每刻都在产生。因此，在获取组成日志集合的日志数据时，日志获取条件可以为按照时间顺序依次来获取。这样，在一次获取日志数据形成的一个日志集合中，该日志集合中的日志数据都是在上一次获取到本次获取的时间段内生成并缓存的，而日志数据中通常具有日志生成的时间，所以，该日志集合中所有日志数据的时间都属于这一个时间段内，由此可见，按照时间顺序依次获取日志数据所形成的日志集合，同一个日志集合中所有日志数据的时间都属于同一个时间段。
[0147]针对上述按照时间顺序依次获取日志数据的日志获取条件，本实施例提供了两种步骤101的【具体实施方式】。
[0148]参见图2，示出了步骤101的实施方式I的流程图，步骤101可以具体包括:
[0149]步骤201、从分布式文件系统中，获取前一次组成日志集合时刻之后生成的日志数据；
[0150]步骤202判断所述日志数据的条数是否达到预设的获取数据数量阈值；如果否，进入步骤203，如果是，进入步骤204 ；
[0151]步骤203、等待第一等待时间之后返回步骤201 ；
[0152]其中，第一等待时间是一个预设的时间值。对第一等待时间的设置，需要保证第一等待时间内能获取到的日志数据条数不能超过获取数据数量阈值，所以，通常第一等待时间设置的都较小。
[0153]步骤204、将所述日志数据组成日志集合；所述日志集合对应的时间段为前一次组成日志集合的时刻至本次组成日志集合的时刻。
[0154]需要说明的是，步骤204执行完成之后，就完成了一次日志集合的组成，形成了一个日志集合。在步骤204完成之后，针对该日志集合，可以进入步骤102完成对日志集合内日志数据的记录；同时，可以返回步骤201再次进行图2的实施方式1，以进行下一次日志数据的获取和形成下一个日志集合。
[0155]可以理解的是，图2所示的步骤101的实施方式I中，每次组成的日志集合中，日志数据的条数是相同的，都是预设的获取数据数量阈值。
[0156]参见图3，示出了步骤101的实施方式2的流程图，步骤101可以具体包括:
[0157]步骤301、判断获取等待时间是否达到预设的等待时间阈值，所述获取等待时间为当前时刻与前一次组成日志集合的时刻之间的时间；如果否，进入步骤302，如果是，进入步骤303 ；
[0158]步骤302、等待所述第二等待时间之后返回步骤301 ；
[0159]其中，第二等待时间是一个预设的时间。对第二等待时间进行设置时，第二等待时间可以直接设置为等待时间阈值，也可以设置为小于等待时间阈值。通常第二等待时间设置的都非常小，这样，相当于步骤301对获取等待时间的判断是不间断进行的，一旦判断结果为是，则进入步骤303。
[0160]步骤303、从分布式文件系统中，获取前一次组成日志集合时刻之后生成的日志数据，并将所述日志数据组成一个日志集合；所述日志集合对应的时间段为前一次组成日志集合的时刻至本次组成日志集合的时刻。
[0161]需要说明的是，步骤303执行完成之后，就完成了一次日志集合的组成，形成了一个日志集合。在步骤303完成之后，针对该日志集合，可以进入步骤102完成对日志集合内日志数据的记录；同时，可以返回步骤301再次进行图3的实施方式2，以进行下一次日志数据的获取和形成下一个日志集合。
[0162]可以理解的是，图3所示的步骤101的实施方式2中，每次组成的日志集合中，日志数据的时间所在时间段的时间都是相等的，都是预设的等待时间阈值。
[0163]接着返回图1，步骤101执行完毕之后，进入步骤102。
[0164]步骤102、确定用于存储所述日志集合的数据存储服务器。
[0165]由于需要存储大量的用户日志数据，所以通常用于记录日志的日志服务系统中都具有多个存储服务器，而每个存储服务器上具有多个磁盘来对日志数据进行存储。因此，在存储日志集合中日志数据之前，需要先从所有存储服务器中确定用于存储该日志集合的存储服务器，作为该日志集合的数据存储服务器。其中，通常情况下，对于一个日志集合只确定一个数据存储服务器，这样可以提高存储日志集合的效率。如需要将日志集合存储在多个存储服务器上以避免其中的日志数据丢失，则可以采用复制已存储在数据存储服务器上的日志集合的方式来备份，备份的具体实现方式将在后面的实施例详细说明，在此不再赘述。
[0166]另外，为了使系统内各个存储服务器的磁盘1压力能够得到平衡，避免读写任务集中到一个磁盘执行，步骤102优选的确定数据存储服务器的方式，可以为:先在所有存储服务器中查找当前未执行写任务的磁盘，然后在查找到的磁盘中确定剩余存储空间最大的一个磁盘作为用于存储日志集合的磁盘，再将该磁盘所在存储服务器确定为数据存储服务器。其中，用于存储日志集合的磁盘不是必须为查找到的磁盘中剩余存储空间最大的磁盘，也可以是任意一个当前未执行写任务的磁盘，只要该磁盘的剩余存储空间能够满足存储该日志集合的要求即可。
[0167]步骤103、在所述数据存储服务器上生成所述日志集合的数据表，并将所述日志集合中的所有日志集合导入所述数据表。
[0168]根据上述步骤102的说明，为了避免任务集中到一个磁盘执行，存储日志集合具体可以为将所述日志集合存储到所述数据存储服务器中当前未执行写任务的磁盘中，该当前未执行写任务的磁盘是步骤102中确定的用于存储日志集合的磁盘。
[0169]需要说明的是，对日志集合的存储为数据表，具体可以包括:将日志集合的所有日志数据发送至数据存储服务器，数据存储服务器为该日志集合创建数据表，并将日志集合中的所有日志数据导入该数据表存储。其中，对于一个日志集合通常创建一个数据表，这样存储在数据存储服务器中实际存储的就是多个数据表，每个数据表中的日志数据对应属于一个时间段；数据表所在数据库优选采用mysql。当然，在日志集合中的日志数据数量很大时，也可以为一个日志集合创建多个数据表。另外，在将日志集合中的所有日志数据导入该数据表存储的过程中，不为日志数据创建数据表的索引，也不指定主键(数据表的一种索引)，而是在日志数据完全导入数据表以后再进入步骤104创建索引。
[0170]在数据存储服务器接收到日志集合之后，通常完成日志集合存储完成之后，会返回存储完成信息，该存储完成信息为存储服务器在完成将所述日志集合中的所有日志数据导入所述数据表并为所述数据表创建索引之后返回的信息。如果数据存储服务器对日志集合的存储出现了错误，不能完成将日志集合存储的任务，则数据存储服务器就不会返回存储完成信息。为了保证日志集合中的日志数据能够完全被存储到数据存储服务器中，在步骤103执行完成之后可以采用图4所示的实施方式，包括:
[0171]步骤401、判断所述数据存储服务器在预设的存储时间内是否返回存储完成信息；所述存储完成信息为所述存储服务器在已完成将所述日志集合中的所有日志数据导入所述数据表并为所述数据表创建索引之后返回的信息:如果否，进入步骤402。
[0172]步骤402、从未曾被确定用于存储所述日志集合的存储服务器中重新确定用于存储所述日志集合的数据存储服务器，并返回步骤103。
[0173]步骤403、按照预设的删除时间周期性删除所述数据存储服务器中未完成存储的日志集合。
[0174]需要说明的是，删除数据表的步骤403并不是必须在步骤401或402完成之后才进行的，也不是数据存储服务器在每次存储日志集合时都要执行。由于日志数据随时间不断地产生，所以系统不断地对日志数据进行存储，所以通常系统需要按照预设的垃圾清理周期来循环执行步骤403，这样才能避免系统的各个存储服务器上存在过多的废数据表，从而扩大可用的剩余存储空间。
[0175]通过图4所示的实施方式，可以避免数据存储服务器出现错误而导致的日志集合中日志数据不能被完全存储为数据表。
[0176]接着返回对步骤103的说明。
[0177]在本实施例中，如果采用图3所示的实施方式2来组成日志集合，则各个日志集合对应的时间段都是相同时间间隔的。这样，不同时间段内就获取的日志数据条数一般不相同。因此，这样组成的日志集合可能包含的日志数据条数较少，进而造成步骤103中生成的数据表也较小。当数据存储服务器中的小数据表过多的时候，会额外浪费很多存储空间。为了避免这一问题，本实施可以在步骤103之后，进入图5所示的实施方式，包括:
[0178]步骤501、按照预设的合并时间周期性判断所述数据存储服务器上是否存在日志数据数量小于预设的存储数量阈值的数据表；如果是，进入步骤502。
[0179]其中，步骤501可以按照一个预设的合并时间来周期性循环的执行，这样可以不断地监控各数据存储服务器上是否存在较小数据表。
[0180]步骤502、将所述日志数据数量小于存储数量阈值的数据表合并。
[0181]通过图5所示的实施方式，减少了数据表的数量，不仅可以避免额外浪费很多存储空间，还可以节省用户查询日志数据时需要查找的数据表数量，从而节省查询时间。
[0182]接着返回图1，步骤103执行完成之后，进入步骤104。
[0183]步骤104、在所述日志集合的所有日志数据全部导入所述数据表之后，为所述日志集合的数据表创建索引。
[0184]为日志数据表创建索引，是在日志集合的所有日志数据都完全导入数据表而完成在数据存储服务器上的存储之后进行。其中，索引是为日志集合数据表而创建的，也即，各存储服务器上每个数据表都具有对应的索引。
[0185]本申请实施例中，因为采用将获取日志数据形成日志集合来按集合进行存储的方式，可以先在该数据存储服务器上生成该日志集合的数据表并将日志集合中所有日志数据都导入到数据存储服务器上，全部导入之后再为该日志集合数据表创建索引，这样就避免了每记录一条日志数据都需要更新日志存储设备的索引，使得日志记录的存储速度加快，从而防止数据丢失并且缩短用户查询的延迟时间。
[0186]进一步的，本申请实施例中在存储日志集合时，还可以将日志集合存储到数据存储服务器中当前未执行写任务的磁盘中，这样，磁盘在存储日志集合时不执行其他写任务，进而提高记录日志数据时的存储速度。
[0187]进一步的，本申请实施例中还对数据存储服务器完成存储日志集合也设置了存储时间阈值，当数据存储服务器经过存储时间还未完成对日志集合的存储任务，将重新确定数据存储服务器来存储该日志集合，这样可以避免数据存储服务器出现错误而导致的日志集合中日志数据不能被完全存储为数据表。另外，在设置存储时间阈值的基础上，还可以设置了删除时间以周期性删除未完成存储的日志集合，这样可以减少数据存储服务器中的垃圾数据，增大可用空间，提高利用效率。
[0188]进一步的，本申请实施例中对日志集合中日志数据的数量也设置了存储数量阈值，当数据存储服务器中存在日志数据数量小于存储数量阈值的数据表时，就将这些数据表进行合并，这样可以减少数据表的数量，节省用户查询日志数据时需要查找的数据表数量，从而节省查询时间。
[0189]参见图6，示出了本申请的一种日志数据记录方法实施例2的流程图，本实施例还可以包括以下步骤:
[0190]步骤601、将根据日志获取条件获取到的日志数据组成日志集合；所述日志获取条件为按照日志数据的时间顺序获取日志，所述日志集合中所有日志数据的时间属于同一时间段；
[0191 ] 步骤602、将所述日志集合中的日志数据按照业务类型分类，形成至少一个日志子集合;
[0192]在形成日志子集合时，可型划分成不同的业务范以将同样业务类型的日志数据组成一个日志子集合，也可以将各种业务类围，每个业务范围下具有一个或多个业务类型，这样，将业务类型属于同一业务范围的日志数据组成一个日志子集合。
[0193]步骤603、确定用于存储所述日志集合的数据存储服务器；
[0194]步骤604、将所述日志集合存储到所述数据存储服务器；
[0195]步骤605、根据所述日志集合中每个日志子集合中的日志数据，对应生成每个日志子集合的子数据表；
[0196]发送到数据存储服务器上的日志集合包含至少一个日志子集合，此时，为每个日志子集合创建一个子数据表，并将每个日志子集合中的日志数据都导入到对应的子数据表中去。
[0197]步骤606、将所述日志集合中所有日志子集合的子数据表组合成所述日志集合的数据表；
[0198]日志集合的所有日志子集合都完成了导入子数据表之后，再将各子数据表组合成对应日志集合的数据表。
[0199]步骤607、在所述日志集合的所有日志数据全部导入所述数据表之后，为所述日志集合的数据表创建索引。
[0200]创建索引时，可以先为各子数据表创建子索引，然后再将各子索引组成数据表的索引。
[0201]本实施例与图1所示的实施例1的区别在于，本实施例实际上是按照日志数据的时间将日志数据分入不同的日志集合中进行存储，然后在日志集合内又将日志数据按照业务类型分入不同的日志子集合。当然，也可以将同一时间段内获取到的日志数据直接按照业务类型分成多个业务类型。这样，可以使用户查询日志时，快速查找到目标日志所在的日志集合的数据表和子数据表，从而减少所需要查找的数据表数量，提高查询速度。
[0202]参见图7，示出了本申请的一种日志数据记录方法实施例3的流程图，在本实施例中，执行完前述实施例1的所有步骤之后，本实施例还可以包括以下步骤:
[0203]步骤701、将所述日志集合的数据表存储为独立的数据表文件集合；
[0204]本申请实施例中，数据表在存储服务器上是以数据表文件的形式进行存储的。为了便于对日志集合进行备份，每个日志集合数据表形成的数据表文件都是独立的，也即，每个数据表文件中的数据都是同一个日志集合的。需要说明的是，每个日志集合的数据表可以是一个，也可以是多个，并且，每个数据表至少形成一个数据表文件，所以，每个日志集合的数据表一般都包括多个数据表文件，所以，每个日志集合在整体上所对应的是一个独立的数据表文件集合，一个数据表文件集合即为该日志集合的一个备份副本。其中，每个数据表具体数量一般根据所使用的数据库确定的。为了实现每个数据表都存储为各自独立的数据表文件，本实施例优选采用mysql数据库,而在mysql数据库中的MyISAM数据引擎下,每个数据表至少被存储为三个数据表文件，三个数据表文件分别存储日志数据(数据文件)、索引(MYI文件)和表结构(FRM文件)，此时，一个数据表对应三个数据表文件，在日志集合包括一个数据表时，该日志集合的数据表文件集合中包括三个数据表文件。
[0205]步骤702、复制所述日志集合对应的数据表文件集合的数据表文件；
[0206]由于每个日志集合存储在独立的数据表文件集合中，所以备份数据的时候，不再需要先在存储服务器上查找日志集合对应的日志数据再复制相应的语句去进行备份，而是可以直接将存储有日志集合的数据表文件集合中的数据表文件进行复制。
[0207]步骤703、从未存储所述数据表文件的存储服务器中确定用于存储所述复制得到的数据表文件的备份存储服务器；
[0208]在确定存储数据表文件的备份存储服务器时，如果一个日志集合的数据表文件集合中的所有数据表文件都存储在同一个存储服务器上，则该存储服务器一旦故障该日志集合的所有数据就都会丢失。为了避免这一问题，所确定的备份存储服务器可以是当前没有存储该日志集合的数据表文件的存储服务器。而在对一个日志集合进行首次备份时，该日志集合的数据表文件只存储在其数据存储服务器中，所以此时所确定的备份存储服务器只需要与数据存储服务器不同即可。
[0209]进一步地，如果一个日志集合的数据表文件集合中的所有数据表文件都存储在同一个交换机下的存储服务器上，则该交换机一旦故障该日志集合的所有数据也都会丢失。为了避免这一问题，所确定的备份存储服务器所属的交换机可以是所连接的所有存储服务器都没有存储该日志集合的交换机。由此，为了避免上述导致日志集合数据丢失问题，步骤703可以具体包括:将所连接的存储服务器中均未存储所述数据表文件集合的交换机确定为目标交换机；从所述目标交换机所连接的存储服务器中确定用于存储所述复制得到的所述数据表文件的备份存储服务器。
[0210]另外，为了使系统内各个存储服务器的磁盘1压力能够得到平衡，避免任务集中到一个磁盘执行，步骤703优选的确定备份存储服务器的方式，可以为:先从未存储所述数据表文件集合的存储服务器中查找当前未执行写任务的磁盘，然后在查找到的磁盘中确定剩余存储空间最大的一个磁盘作为用于存储复制得到的数据表文件集合的磁盘，然后将该磁盘所在存储服务器确定为备份存储服务器。其中，用于备份日志集合的磁盘可以是查找到的磁盘中剩余存储空间最大的磁盘，这样可以使得各磁盘的存储空间被平均使用，避免数据集中存储到部分磁盘所导致的数据丢失风险增大的问题。另外，用于备份日志集合的磁盘不是必须为查找到的磁盘中剩余存储空间最大的磁盘，也可以是任意一个当前未执行读写任务的磁盘，只要该磁盘的剩余存储空间能够满足存储该数据表文件的要求即可。
[0211]可以理解的是，对于一个日志集合来说，数据存储服务器和备份存储服务器的区别仅在于，数据存储服务器需要完成对该日志集合的记录，是系统中首先存储该日志集合的存储服务器。而在备份完成以后，两者都是以数据表文件的形式存储了该日志集合，在此后执行的再次备份或者查询中，每个备份存储服务器都可以被视作一个数据存储服务器。
[0212]步骤704、将所述复制得到的数据表文件一一对应的存储到所述备份存储服务器当前未执行写任务的磁盘中。
[0213]根据上述步骤703的说明，将数据表文件存储到当前未执行写任务的磁盘中，可以避免任务集中到一个磁盘执行。另外，为了避免数据表文件存于一个备份存储服务器上而产生的丢失全部备份的风险，本实施例将备份文件一一对应的存储到备份存储服务器中，使同一日志集合的各份数据表文件存储在不同的备份存储服务器上，进一步的，还可以将同一数据表的各份数据表文件集合存储在不同交换机下的备份存储服务器上，这样可以防止交换机故障引起的备份全部丢失或无法读取的问题。
[0214]本实施例与图1所示的实施例1的区别在于，本实施例是在实施例1的基础上对已经记录的日志数据进行备份，使日志数据存储在多个不同存储服务器中，这样可以避免日志数据丢失，保证被记录的日志数据的安全性。进一步的，由于将日志集合存储为独立的数据表文件集合，所以在备份时可以直接复制数据表文件集合中的数据表文件来存储到其他存储服务器上，而不必通过查找后形成sql语句再复制语句执行的复杂备份过程，节省了备份日志数据的时间。
[0215]参见图8，示出了本申请的一种日志数据记录方法实施例4的流程图，在本实施例中，执行完前述实施例2的所有步骤之后，本实施例还可以包括以下步骤:
[0216]步骤801、监测所述日志集合的数据表文件的副本份数；
[0217]其中，所监测的数据表文件的副本份数，是在系统内该日志集合的所有数据表文件进行备份之后的数量。对于一个日志集合，对其对应的数据表文件集合中的数据表文件数量的监测可以从该日志集合备份完成以后，也即步骤704之后开始。
[0218]步骤802、判断所述数据表文件的副本份数与预设的副本份数阀值之间的大小关系;
[0219]步骤803、如果所述数据表文件的副本份数大于所述副本份数阈值，则将差值数量的数据表文件删除；所述差值数量为所述数据表文件的副本份数与所述副本份数阈值之间的差值；
[0220]步骤804、如果所述数据表文件的副本份数小于所述副本份数阈值，则返回步骤702。
[0221]需要说明的是，在数据表文件的副本份数小于所述副本份数阈值时，返回步骤702所要复制得到数据表文件的数量可以等于所述差值数量。
[0222]本实施例与图7所示的方法实施例3的区别在于，本实施例是在日志集合备份完成以后监测数据表文件的数量，并在数据表文件集合的数量不等于副本份数阈值的时候进行调节，这样可以保证存储服务器中日志集合的备份数量维持稳定，从而在不占用过多存储空间的情况下保证所有日志数据不会丢失。
[0223]参见图9，示出了本申请的一种查询日志数据方法实施例1的流程图，在本实施例中可以包括:
[0224]步骤901、通过前述任一方法存储日志数据，所述日志集合中所有日志数据的时间都属于同一时间段；
[0225]本实施例中，日志集合的获取需要按照日志的时间顺序进行获取，这样每个日志集合对应于一个时间段，以便查询时可以根据日志时间确定日志所在的日志集合。
[0226]步骤902、通过前述任一方法备份日志数据；
[0227]需要说明的是，步骤902并不是一个必须执行的步骤，也即，只要所要查询的目标日志数据已经被记录，存储到数据存储服务器上，就可以进行查询，而此时是没有执行步骤902来完成数据备份。但通常情况下，所要查询的日志都是已经备份过的日志数据。
[0228]步骤903、记录所述日志集合与所述数据存储服务器之间、所述日志集合与所述备份存储服务器之间以及所述日志集合与时间段之间的对应关系；
[0229]需要说明的是，步骤901?903是预先执行的步骤，并不是每次查询时都要执行。并且，通常情况下，所查询的目标日志都已经被记录并备份，所以，每次查询目标日志的时候，是从步骤904开始执行的。
[0230]步骤904、接收日志数据查询请求；
[0231]本实施例中，日志数据查询请求中包含有所要查询的目标日志的信息，该信息包括日志的时间、业务类型、用户ID标识等等。另外，本实施例中，可以通过查询代理服务器proxy来实现为用户提供日志查询的服务。
[0232]步骤905、根据所述查询请求中目标日志数据的时间所在的时间段和所述日志集合与时间段之间的对应关系，确定所述目标日志数据所在的目标日志集合；
[0233]目标日志所在的时间段可以是一个，也可以是多个，而每个时间段对应的日志集合通常都是多个，所以确定的目标日志集合有多个。而通常目标日志属于其中的一个目标
口 O
[0234]步骤906、根据所述日志集合与数据存储服务器之间的对应关系和/或所述日志集合与备份存储服务器之间的对应关系，从存储有所述目标日志集合数据表文件的数据存储服务器和备份存储服务器中，确定用于查询所述目标日志的查询存储服务器；
[0235]由于确定的目标日志集合有多个，所以对于每一个目标日志集合，都要确定一个查询存储服务器。由于每一个目标日志集合都在多个存储服务器上存有数据表文件，因此，对于一个目标日志集合来说，为了避免任务集中到一个磁盘执行，可以先确定该目标日志集合数据表文件所在的磁盘中当前负载状态最低的磁盘，然后将该磁盘所在的存储服务器确定为查询服务器，这样可以实现分散各存储服务器上磁盘任务从而提高磁盘的任务执行效率，缩短查询时间。其中，在根据数据表所在磁盘的负载状态选择查询存储服务器时，可以将CPU速度最快或内存最大的服务器选定为查询存储服务器，也可以将磁盘当前任务吞吐量最小的服务器选定为查询存储服务器。
[0236]另外，如果在查询目标日志时，该目标日志还未进行备份，则可以将数据存储服务器确定为查询存储服务器。
[0237]步骤907、在所述查询存储服务器上查找所述目标日志集合的数据表，并在查找到的数据表中查找所述目标日志数据；
[0238]查询代理服务器proxy去查询存储服务器上查找目标日志数据。本实施例中，查找优选采用sql语句。
[0239]步骤908、将查找到的目标日志数据合并输出。
[0240]将从各个查询存储服务器上查找到的所有符合目标日志的信息的目标日志合并输出给用户。
[0241]另外需要说明的，如果每个时间段的日志集合若按照业务类型或业务范围分成了日志子集合，则在查找时可以直接在目标日志集合中确定目标日志所在的目标日志子集合，这样可以只在目标日志集合数据表中的目标日志子集合的子数据表中查找即可。
[0242]通过本实施例的技术方案，由于存储服务器上各日志集合对应生成了不同的数据表，这样就可以先确定目标日志所在的目标集合，再在查询存储服务器上该目标日志集合的数据表上查找该目标日志数据，而不需要在查询存储服务器上查找所有数据表，从而提高了日志查询的速度，减小了查询的延迟时间。另外，由于目标日志集合在多个存储服务器上都有数据表的备份，所以可以选取该目标日志集合所在磁盘当前负载最低的存储服务器确定为查询存储服务器，这样可以提高在数据表上查找目标日志数据的速度，缩短查询所需的时间。
[0243]需要说明的是，上述的数据存储服务器、备份存储服务器和查询存储服务器都是对应于一个日志集合而言的，且只是对应于该日志集合的当前所执行任务而言。在实际日志记录中，一个日志集合的数据存储服务器既可以是其他日志集合的数据存储服务器，也可以是其他日志集合的备份存储服务器或查询服务器。而且，数据存储服务器只是针对日志数据的记录过程，备份存储服务器只是针对日志数据的备份过程，查询存储服务器只是针对日志数据的查询过程，而实际上，在系统对已记录的日志集合未执行任务时，系统可以只确定存储有该日志集合的存储服务器，而不区分数据存储服务器、备份存储服务器和查询存储服务器。
[0244]下面以具体的应用场景，详细说明本申请日志数据记录方法和查询方法的实施方式。
[0245]参见图10，示出了本申请日志数据记录方法的场景实施例的流程图。在本实施例的场景中，本申请日志数据记录方法应用于一个日志服务系统。该系统包括日志服务器master和存储服务器worker,其中，一个master对应多个worker。在本实施例的场景中，日志服务器master按照时间顺序依次将从分布式文件系统中获取日志数据组成一个日志集合，再将日志集合按照记录存储到一个存储服务器worker，然后将日志数据备份到其他存储服务器worker上。本实施例具体可以包括:
[0246]步骤1001，生成日志数据:日志缓存服务器接收业务系统发送的交互信息，并生成日志数据。
[0247]步骤1002、缓存日志数据:日志缓存服务器将已生成的日志数据发送给分布式文件系统进行缓存；分布式文件系统可以位于日志缓存服务器本地，也可以位于业务系统，还可以位于日志服务系统本地。
[0248]步骤1003、日志服务器获取日志数据，组成日志集合master从分布式文件系统中获取已生成的日志数据，组成一个日志集合，并将日志集合的时间段确定为前一次获取的时刻到本次获取的时刻，记录该日志集合与时间段之间的对应关系。日志数据被master获取之后，将其从分布式文件系统中清除。若一次获取的日志数据数量过大，还可以将日志集合按照业务类型分成多个日志子集合，以对日志集合进行存储时按照日志子集合分类存储为不同的子数据表，这样查询日志数据时，可以根据日志时间和业务类型确定子数据表，再在子数据表中查找，进而缩小搜索范围，节省查询用时。
[0249]步骤1004、确定该日志集合的数据存储服务器:master从与其对应的worker中选择一个用来存储刚获取的日志集合。在选择时，首先查找各个worker上所有的未执行写任务的磁盘，然后在查找到的磁盘中确定剩余存储空间最大的一个用于存储该日志集合，再将该磁盘所在worker确定为该日志集合的数据存储服务器。若一次获取形成了多个不同业务类型的日志集合，也可以将为每个日志集合确定一个worker来完成后续步骤。
[0250]步骤1005、生成数据表并将日志集合导入:master将日志集合发送到步骤1004确定的worker,该worker在步骤1004确定的磁盘上创建一个数据表,并将该日志集合导入到该数据表中。若日志集合形成了多个日志子集合，则需要将日志子集合存储都各自的子数据表中，再将子数据表组成一个数据表。需要说明的是，在步骤1005进行的同时，执行步骤1007。
[0251]步骤1006、全部导入之后为该日志集合的数据表创建索引master在存储该数据表的worker上为该数据表创建索引，并且记录日志集合与该worker之间的对应关系。
[0252]步骤1007、判断数据存储服务器在预设存储时间内是否返回存储完成消息，如果否进入步骤1008,如果是进入步骤1009:master将日志集合发送给该worker之后,等待接收worker返回的记录完成信息。该worker在完成将该日志集合中的所有日志数据存储之后，就发送记录完成信息给master。若master在预设时间内还未收到记录完成消息,则认为该worker出现故障,没有完成该日志集合的记录任务。
[0253]步骤1008、重新确定该日志集合的数据存储服务器，返回步骤1005:master未收到记录完成信息时，将在还未曾被确定为数据存储服务器的worker中重新确定一个worker来存储该日志集合。
[0254]步骤1009、将日志集合存储为独立的数据表文件集合:maSter控制存储该数据表的worker将该日志集合的数据表以独立的数据表文件集合的形式存储，从而形成该日志集合的一个备份副本。在mysql的MyISAM数据引擎下，一个数据表存储为三个数据表文件。
[0255]步骤1010、复制该数据表的数据表文件集合master将该数据表文件集合在其所在worker上复制,从而形成新的日志集合备份副本。若该数据表已经被备份过，则master可以选择该日志集合在任意一个worker上的数据表文件集合进行复制。
[0256]步骤1011、确定备份存储服务器:master从当期未存储该数据表文件集合的worker中确定用于存储复制得到的数据表文件集合的worker。在确定备份存储服务器时，存储数据表文件的worker需要满足以下条件:具有当前未执行写任务的磁盘，这些磁盘中剩余空间最大的一个用于存储复制得到的数据表文件集合worker的数量与复制得到的数据表文件集合的数量相同；各个worker之间位于不同的交换机之下。所述用于存储数据表文件的worker包括首次记录该日志集合的worker和存储复制得到的备份副本的worker,也即，包括数据存储服务器和备份存储服务器。
[0257]步骤1012、存储复制得到的数据表文件集合master将步骤1010复制得到的数据表文件集合存储到步骤1011确定的worker中的指定磁盘,该指定磁盘为当前未执行写任务的磁盘中剩余空间最大的一个，每个worker存储日志集合的一个数据表文件集合。在master将数据表文件集合发送到对应的worker上之后,则等待接收该worker返回存储备份任务的完成信息。若master在预设的存储时间内没有接收到该信息，则可以重新将其他worker确定为备份存储服务器,再进行存储。在worker返回完成信息之后,master逐一记录该日志集合与每个存储该日志集合的数据表文件集合的worker之间的对应关系。
[0258]步骤1013、监测该日志集合的数据表文件的副本份数。
[0259]步骤1014、判断该数据表文件的副本份数是否等于预设副本份数阈值，如果数据表文件的副本份数大于副本份数阈值则进入步骤1015，如果数据表文件的副本份数小于副本份数阈值则返回步骤1010:预设副本份数阈值优选为3个。
[0260]步骤1015、删除过剩的数据表文件。
[0261]需要说明的是，步骤1015之后无论进入步骤1015还是返回步骤1010，删除的或复制得到的数据表文件的数量均为当前数据表文件的副本份数与副本份数阈值之间的差值。
[0262]步骤1016、判断各存储服务器上是否存在小数据表，如果是则进入步骤1017，如果否，进入步骤1018:该小数据表是指其中日志数据数量小于预设存储数量阈值的数据表。由于系统需要不断地进行日志数据的记录和存储，所以，本步骤1016可以按照一个预设的合并时间周期性执行以监测系统内是否存储了小数据表，而不是必须在日志集合完成备份之后再执行。
[0263]步骤1017、将小数据表合并为一个数据表:合并是将同一个worker上的小数据表进行合并。
[0264]步骤1018、删除各存储服务器中未完成存储的日志集合:本步骤是针对步骤1006中判断结果为否的情况下在worker上产生的废数据表。同样，由于系统需要不断地进行日志数据的记录和存储，所以，本步骤1015也可以按照一个预设的删除时间周期性执行以监测系统内是否存在废数据表，而并不是必须在日志集合完成备份之后再执行。
[0265]通过本场景实施例，可以实现对大量日志数据的快速记录和快速备份，平衡系统内各存储服务器磁盘的10压力，并且可以防止日志数据丢失、提高系统存储空间的利用率，还有助于实现用户对日志数据的快速查询。
[0266]参见图11，示出了本申请查询日志数据方法的场景实施例的流程图。在本实施例的场景中，本申请查询日志数据方法可以应用于一个日志查询系统，该系统包括查询代理服务器proxy以及图10所示实施例中的日志服务器master和存储服务器worker。在本实施例的场景中，日志数据在日志服务系统中的记录和备份都是通过图10所示的实施例来进行。本实施例可以包括:
[0267]步骤1101、接收日志数据查询请求:用户在查询日志数据时，要求用户必须输入目标日志的时间。若在日志记录时将日志集合按照业务类型分成了日志子集合，则还可以在查询时要求用户输入目标日志的业务类型。
[0268]步骤1102、确定目标日志集合:pr0Xy根据日志数据查询请求中目标日志的时间，确定目标日志所在的时间段，然后查找master中记录的日志集合与时间段的对应关系，确定目标日志集合。若用户输入了业务类型，还可以查找master中记录的日志子集合和业务类型的对应关系，确定目标日志子集合。目标日志集合和目标日志子集合一般都为多个，而目标日志只属于其中一个。
[0269]步骤1103、确定查询存储服务器:对于每一个目标日志集合,proxy先通过master中记录的日志集合与worker的对应关系，查找所有存储该目标日志集合数据表文件的worker,然后再从查找到的worker中确定存储有该目标日志集合数据表文件的磁盘,再将确定的磁盘中负载状态最低的一个磁盘作为查询所用的磁盘，最后将查询所在的磁盘所在的worker确定为查询存储服务器。
[0270]步骤1104、在目标日志集合的数据表中查找目标日志数据:proXy在各目标日志集合的查询存储服务器worker上，根据各目标日志集合的数据表名查找各目标日志集合的数据表，并在各查找到的数据表上查找符合日志查询请求要求的目标日志。日志查询请求会包含如用户ID标识等信息，根据这些信息可以根据索引在数据表查找到对应的目标日志。若根据业务类型确定了目标日志子集合，则可以只在目标日志子集合对应的子数据表上中查找。
[0271]步骤1105、将查找到的目标日志合并输出:由于通常会在多个目标日志集合查找到目标日志，因此在输出查询结果之前，proxy需要将在各个查询存储服务器worker上查找的目标日志合并。
[0272]通过本场景实施例，可以缩短查询所需的时间，还可以使系统中平衡各存储服务器上磁盘的10压力，提高10性能。
[0273]相应于上面的方法实施例，本申请实施例还提供一种日志数据记录的日志服务器。参见图12，示出了一种日志数据记录的日志服务器装置实施例1的结构示意图，可以包括:
[0274]日志集合形成模块1201，用于将根据日志获取条件获取到的日志数据组成日志集合；
[0275]数据存储服务器确定模块1202，用于确定用于存储所述日志集合的数据存储服务器；
[0276]其中，所述数据存储服务器确定模块1202，具体用于确定用于存储所述日志集合的数据存储服务器中当前未执行写任务的磁盘；
[0277]数据表生成模块1203，用于在所述数据存储服务器上生成所述日志集合的数据表;
[0278]日志插入模块1204，用于将所述日志集合中的所有日志数据导入所述数据表；
[0279]索引创建模块1205，用于在所述日志集合的所有日志数据全部导入所述数据表之后，为所述日志集合的数据表创建索引。
[0280]参考图13，在实际应用中所述日志集合形成模块1201可以具体包括:
[0281]第一日志数据获取子模块1301,用于从分布式文件系统中，获取前一次组成日志集合时刻之后生成的日志数据；
[0282]获取数量判断子模块1302，用于判断所述日志数据的条数是否达到预设的获取数据数量阈值；
[0283]触发获取子模块1303，用于在所述获取数量判断子模块1302的判断结果为否的情况下，等待第一等待时间之后触发所述日志数据获取模块；
[0284]第一日志组合子模块1304，用于在所述获取数量判断子模块1302的判断结果为是的情况下，将所述日志数据组成日志集合；所述日志集合对应的时间段为前一次组成日志集合的时刻至本次组成日志集合的时刻。
[0285]参考图14，在实际应用中所述日志集合形成模块1201也可以具体包括:
[0286]获取时间判断子模块1401，用于判断获取等待时间是否达到预设的等待时间阈值，所述获取等待时间为当前时刻与前一次组成日志集合的时刻之间的时间；
[0287]触发时间判断子模块1402，用于在所述获取时间判断子模块1401的判断结果为否的情况下，等待所述第二等待时间之后触发获取时间判断子模块1401 ；
[0288]第二日志数据获取子模块1403，用于在所述获取时间判断子模块1401的判断结果为是的情况下，从分布式文件系统中，获取前一次组成日志集合时刻之后生成的用户日志数据；
[0289]第二日志组合子模块1404，用于将所述日志数据组成一个日志集合；所述日志集合对应的时间段为前一次组成日志集合的时刻至本次组成日志集合的时刻。
[0290]采用本实施例的日志服务器来对日志数据进行记录，可以避免因为每记录一条日志数据都需要更新日志存储设备的索引而导致的日志记录速度较慢的现象，使得日志记录的写入速度加快，从而使得网络平台能够及时地记录短时间内产生的大量日志数据，防止数据丢失，从而并且缩短用户查询的延迟时间。
[0291]参见图15，示出了一种日志数据记录的日志服务器装置实施例2的结构示意图，除了图12所示的日志服务器装置实施例1中的结构外，所述日志服务器还可以包括:
[0292]数据表完成判断模块1501，用于判断所述数据存储服务器在预设的存储时间内是否返回存储完成信息；所述存储完成信息为所述存储服务器在完成将所述日志集合中的所有日志数据导入所述数据表并为所述数据表创建索引之后返回的信息；
[0293]数据存储重新确定模块1502，用于在所述数据表完成判断模块1501的判断结果为否的情况下，从未曾被确定用于存储所述日志集合的存储服务器中重新确定用于存储所述日志集合的数据存储服务器；
[0294]触发存储模块1503，用于在所述数据存储重新确定模块1502启动的情况下，触发日志集合存储模块1203。
[0295]参见图16，日志服务器装置实施例2除了图15所示的所有结构外，所述日志服务器还包括:
[0296]删除集合模块1601，用于按照预设的删除时间周期性删除所述数据存储服务器中未完成存储的日志集合。
[0297]采用本实施例的日志服务器来记录日志数据，可以避免数据存储服务器出现错误而导致的日志集合中日志数据不能被完全存储为数据表。另外，还可以减少数据存储服务器中的垃圾数据，增大可用空间，提高利用效率。
[0298]参见图17，示出了一种日志数据记录的日志服务器装置实施例3的结构示意图，除了图12所示的日志服务器装置实施例1中的结构外，所述日志服务器还可以包括:
[0299]数据数量判断模块1701，用于按照预设的合并时间周期性判断所述数据存储服务器上是否存在日志数据数量小于预设的存储数量阈值的数据表；
[0300]集合合并模块1702，用于在所述数据数量1701的判断结果为是的情况下，将所述日志数据数量小于存储数量阈值的数据表合并。
[0301]采用本实施例的日志服务器来记录日志数据，可以减少数据表的数量，节省用户查询日志数据时需要查找的数据表数量，从而节省查询时间。
[0302]参见图18，示出了一种日志数据记录的日志服务器装置实施例4的结构示意图，除了图12所示的日志服务器装置实施例1中的结构外，所述日志服务器还可以包括:
[0303]日志子集合形成模块1801，用于将所述日志集合中的日志数据按照业务类型分类，形成至少一个日志子集合；
[0304]相应的，所述数据表生成模块1204包括:
[0305]子数据表生成子模块1802，用于根据所述日志集合中每个日志子集合中的日志数据，对应生成每个日志子集合的子数据表；
[0306]子数据表组合子模块1803，用于将所述日志集合中所有所述日志子集合的子数据表组合成所述日志集合的数据表。
[0307]采用本实施例的日志服务器来记录日志数据，可以使用户查询日志时，快速查找到目标日志所在的日志集合的数据表和子数据表，从而减少所需要查找的数据表数量，提高查询速度。
[0308]参见图19，示出了一种日志数据记录的日志服务器装置实施例5的结构示意图，除了图12所示的日志服务器装置实施例1中的结构外，所述日志服务器还可以包括:
[0309]备份生成模块1901，用于将所述日志集合的数据表存储为独立的数据表文件集合；
[0310]备份复制模块1902，用于复制所述日志集合对应的数据表文件集合的数据表文件；
[0311]备份服务器确定模块1903，用于从未存储所述数据表文件的存储服务器中确定用于存储所述复制得到的数据表文件的备份存储服务器；
[0312]其中，所述备份服务器确定模块1903，具体可以包括:第一确定子模块，用于将所连接的存储服务器中均未存储所述数据表文件的交换机确定为目标交换机；第二确定子模块，用于从所述目标交换机所连接的存储服务器中确定用于存储所述复制得到的所述数据表文件的备份存储服务器。
[0313]备份存储模块1904，用于将所述复制得到的数据表文件一一对应的存储到所述备份存储服务器当前未执行写任务的磁盘中。
[0314]采用本实施例的日志服务器来记录日志数据，可以提高备份文件存储的速度，节省备份所需要的时间，并平衡系统中各磁盘的1压力。
[0315]参见图20，示出了一种日志数据记录的日志服务器装置实施例6的结构示意图，除了图19所示的日志服务器装置实施例4中的结构外，所述日志服务器还可以包括:
[0316]数据表监测模块2001，用于监测所述日志集合的数据表文件的副本份数；
[0317]数据表数量判断模块2002，用于判断数据表文件的副本份数与预设的副本份数阀值之间的大小关系；
[0318]数据表删除模块2003，用于在所述数据表数量判断模块2002的判断结果为所述数据表文件的副本份数大于所述副本份数阈值的情况下，将差值数量的数据表文件删除；所述差值数量为所述数据表文件的副本份数与预设的副本份数阈值之间的差值；
[0319]触发复制模块2004，用于在所述数据表数量判断模块2002的判断结果为所述数据表文件的副本份数小于所述副本份数阈值的情况下，触发所述数据表复制模块1902。
[0320]采用本实施例的日志服务器来记录日志数据，可以保证存储服务器中日志集合的数据表文件数量维持稳定，从而在不占用过多存储空间的情况下保证日志数据不会丢失。
[0321]相应于上面的方法实施例，本申请实施例还提供一种日志数据记录的系统。参见图21，示出了一种日志数据记录的系统实施例1的结构示意图，可以包括:日志服务器2101和存储服务器2102 ;所述日志服务器2101为前述图12?图20所示的任一日志服务器；所述存储服务器2102包括数据存储服务器和/或备份存储服务器。
[0322]采用本实施例的系统来记录日志数据，可以避免因为每记录一条日志数据都需要更新日志存储设备的索引而导致的日志记录速度较慢的现象，使得日志记录的写入速度加快，从而使得网络平台能够及时地记录短时间内产生的大量日志数据，防止数据丢失并且缩短用户查询的延迟时间，进一步的，还可以提高日志集合中日志数据的存储速度，避免日志数据的未完全存储或者丢失，减少数据存储服务器中的垃圾数据，增大可用空间，提高可利用率，节省查询时间、备份时间，平衡系统内各磁盘的1压力等。
[0323]相应于上面的方法实施例，本申请实施例还提供一种查询日志数据的系统。参见图22，示出了一种查询日志数据的系统实施例1的结构示意图，可以包括:
[0324]日志存储单元2201，用于通过图12?图18所示的任一日志服务器存储日志数据，所述日志集合中所有日志数据的时间都属于同一时间段；
[0325]日志备份单元2202，用于通过图19或图20所示的日志服务器备份日志数据；
[0326]对应关系记录单元2203，用于记录所述日志集合与所述数据存储服务器之间的对应关系之间、所述日志集合与所述备份存储服务器之间以及所述日志集合与时间段之间的对应关系；
[0327]查询请求接收单元2204，用于接收日志数据查询请求；
[0328]目标集合确定单元2205，用于根据所述查询请求中目标日志的时间所在的时间段，确定目标日志数据所在的目标日志集合；
[0329]查询服务器确定单元2206，用于根据所述日志集合与数据存储服务器之间的对应关系和所述日志集合与备份存储服务器之间的对应关系，从存储有所述目标日志集合数据表文件的数据存储服务器和备份存储服务器中，确定用于查询所述目标日志的查询存储服务器；
[0330]查找单元2207，用于在所述查询存储服务器上查找所述目标日志集合的数据表文件；
[0331 ]目标日志查找单元2208，用于根据所述目标日志集合的数据表文件中的数据表索弓I，在所述目标日志集合数据表文件的数据表中查找所述目标日志数据；
[0332]目标日志输出模块2209,用于将查找到的目标日志数据合并输出。
[0333]采用本实施例的系统来查询日志数据，可以提高日志查询的速度，减小了查询的延迟时间，使存储服务器上的磁盘实现读写分离，平衡系统内磁盘1压力等。
[0334]需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0335]对于系统实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
[0336]以上所述仅是本申请的【具体实施方式】，应当指出，对于本【技术领域】的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。
【权利要求】
1.一种日志数据记录的方法，其特征在于，包括: 将根据日志获取条件获取到的日志数据组成日志集合； 确定用于存储所述日志集合的数据存储服务器； 在所述数据存储服务器上生成所述日志集合的数据表，并将所述日志集合中的所有日志数据导入所述数据表； 在所述日志集合的所有日志数据全部导入所述数据表之后，为所述日志集合的数据表创建索引。
2.根据权利要求1所述的方法，其特征在于，所述将根据日志获取条件获取到的日志数据组成日志集合，包括: 从分布式文件系统中，获取前一次组成日志集合时刻之后生成的日志数据； 判断所述日志数据的条数是否达到预设的获取数据数量阈值； 如果否，则等待第一等待时间之后返回所述判断所述获取前一次组成日志集合时刻之后生成的日志数据的步骤； 如果是，则将所述日志数据组成日志集合；所述日志集合对应的时间段为前一次组成日志集合的时刻至本次组成日志集合的时刻。
3.根据权利要求1所述的方法，其特征在于，所述将根据日志获取条件获取到的日志数据组成日志集合，包括: 判断获取等待时间是否达到预设的等待时间阈值，所述获取等待时间为当前时刻与前一次组成日志集合的时刻之间的时间； 如果否，则等待所述第二等待时间之后返回所述判断获取等待时间是否达到预设的等待时间阈值的步骤； 如果是，则从分布式文件系统中，获取前一次组成日志集合时刻之后生成的日志数据，并将所述日志数据组成一个日志集合；所述日志集合对应的时间段为前一次组成日志集合的时刻至本次组成日志集合的时刻。
4.根据权利要求1所述的方法，其特征在于，所述日志获取条件为按照日志数据的时间顺序获取日志，所述日志集合中所有日志数据的时间属于同一时间段； 相应的，将根据日志获取条件获取到的日志数据组成日志集合之后，还包括:将所述日志集合中的日志数据按照业务类型分类，形成至少一个日志子集合； 相应的，所述在所述数据存储服务器上生成所述日志集合的数据表，包括: 根据所述日志集合中每个日志子集合中的日志数据，对应生成每个日志子集合的子数据表； 将所述日志集合中所有日志子集合的子数据表组合成所述日志集合的数据表。
5.根据权利要求1所述的方法，其特征在于，所述确定用于存储所述日志集合的数据存储服务器，具体为:确定用于存储所述日志集合的数据存储服务器中当前未执行写任务的磁盘。
6.根据权利要求1所述的方法，其特征在于，所述在所述数据存储服务器上生成所述日志集合的数据表之后，还包括: 判断所述数据存储服务器在预设的存储时间内是否返回存储完成信息；所述存储完成信息为所述存储服务器在完成将所述日志集合中的所有日志数据导入所述数据表并为所述数据表创建索引之后返回的信息； 如果否，则从未曾被确定用于存储所述日志集合的存储服务器中重新确定用于存储所述日志集合的数据存储服务器，并返回所述将所述日志集合存储到所述数据存储服务器的步骤。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括: 按照预设的删除时间周期性删除所述数据存储服务器中未完成存储的日志集合。
8.根据权利要求1所述的方法，其特征在于，所述在所述数据存储服务器上生成所述日志集合的数据表之后，还包括: 按照预设的合并时间周期性判断所述数据存储服务器上是否存在日志数据数量小于预设的存储数量阈值的数据表；如果是，则将所述日志数据数量小于存储数量阈值的数据表合并。
9.根据权利要求1所述的方法，其特征在于，所述为所述日志集合的数据表创建索引之后，还包括: 将所述日志集合的数据表存储为独立的数据表文件集合； 复制所述日志集合对应的数据表文件集合中的数据表文件； 从未存储所述数据表文件的存储服务器中确定用于存储所述复制得到的所述数据表文件的备份存储服务器； 将所述复制得到的数据表文件一一对应的存储到所述备份存储服务器当前未执行写任务的磁盘中。
10.根据权利要求9所述的方法，其特征在于，所述从未存储所述数据表文件的存储服务器中确定用于存储所述复制得到的所述数据表文件集合的备份存储服务器，包括: 将所连接的存储服务器中均未存储所述数据表文件集合的交换机确定为目标交换机； 从所述目标交换机所连接的存储服务器中确定用于存储所述复制得到的所述数据表文件的备份存储服务器。
11.根据权利要求9所述的方法，其特征在于，所述将所述复制得到的数据表文件存储到所述备份存储服务器中之后，还包括: 监测所述日志集合的数据表文件的副本份数； 判断所述数据表文件的副本份数与预设的副本份数阀值之间的大小关系； 如果所述数据表文件的副本份数大于所述副本份数阈值，则将差值数量的数据表文件删除；所述差值数量为所述数据表文件的副本份数与所述副本份数阈值之间的差值； 如果所述数据表文件的副本份数小于所述副本份数阈值，则返回所述复制所述日志集合对应的数据表文件集合的数据表文件的步骤。
12.—种查询日志数据的方法，其特征在于，通过权利要求1?11任意一项所述的方法存储日志数据，所述日志集合中所有日志数据的时间都属于同一时间段；通过权利要求9、10或11所述的方法备份日志数据；记录所述日志集合与所述数据存储服务器之间、所述日志集合与所述备份存储服务器之间以及所述日志集合与时间段之间的对应关系； 所述方法包括: 接收日志数据查询请求； 根据所述查询请求中目标日志数据的时间所在的时间段和所述日志集合与时间段之间的对应关系，确定所述目标日志数据所在的目标日志集合； 根据所述日志集合与数据存储服务器之间的对应关系和/或所述日志集合与备份存储服务器之间的对应关系，从存储有所述目标日志集合数据表文件的数据存储服务器和备份存储服务器中，确定用于查询所述目标日志的查询存储服务器； 在所述查询存储服务器上查找所述目标日志集合的数据表，并在查找到的数据表中查找所述目标日志数据； 将查找到的目标日志数据合并输出。
13.—种记录日志数据的日志服务器，其特征在于，包括: 日志集合形成模块，用于将根据日志获取条件获取到的日志数据组成日志集合； 数据存储服务器确定模块，用于确定用于存储所述日志集合的数据存储服务器； 数据表生成模块，用于在所述数据存储服务器上生成所述日志集合的数据表； 日志插入模块，用于将所述日志集合中的所有日志数据导入所述数据表； 索引创建模块，用于在所述日志集合的所有日志数据全部导入所述数据表之后，为所述日志集合的数据表创建索引。
14.根据权利要求13所述的日志服务器，其特征在于，所述日志集合形成模块包括: 第一日志数据获取子模块，用于从分布式文件系统中，获取前一次组成日志集合时刻之后生成的日志数据； 获取数量判断子模块，用于判断所述日志数据的条数是否达到预设的获取数据数量阈值； 触发获取子模块，用于在所述获取数量判断子模块的判断结果为否的情况下，等待第一等待时间之后触发所述日志数据获取模块； 第一日志组合子模块，用于在所述获取数量判断子模块的判断结果为是的情况下，将所述日志数据组成日志集合；所述日志集合对应的时间段为前一次组成日志集合的时刻至本次组成日志集合的时刻。
15.根据权利要求13所述的日志服务器，其特征在于，所述日志集合形成模块包括: 获取时间判断子模块，用于判断获取等待时间是否达到预设的等待时间阈值，所述获取等待时间为当前时刻与前一次组成日志集合的时刻之间的时间； 触发时间判断子模块，用于在所述获取时间判断子模块的判断结果为否的情况下，等待所述第二等待时间之后触发所述获取时间判断子模块； 第二日志数据获取子模块，用于在所述获取时间判断子模块的判断结果为是的情况下，从分布式文件系统中，获取前一次组成日志集合时刻之后生成的日志数据； 第二日志组合子模块，用于将所述日志数据组成一个日志集合；所述日志集合对应的时间段为前一次组成日志集合的时刻至本次组成日志集合的时刻。
16.根据权利要求13所述的日志服务器，其特征在于，所述日志服务器还包括: 日志子集合形成模块，用于将所述日志集合中的日志数据按照业务类型分类，形成至少一个日志子集合； 相应的，所述数据表生成模块包括: 子数据表生成子模块，用于根据所述日志集合中每个日志子集合中的日志数据，对应生成每个日志子集合的子数据表； 子数据表组合子模块，用于将所述日志集合中所有所述日志子集合的子数据表组合成所述日志集合的数据表。
17.根据权利要求13所述的日志服务器，其特征在于，所述数据存储服务器确定模块，具体用于确定用于存储所述日志集合的数据存储服务器中当前未执行写任务的磁盘。
18.根据权利要求13所述的日志服务器，其特征在于，所述日志服务器还包括: 数据表完成判断模块，用于判断所述数据存储服务器在预设的存储时间内是否返回存储完成信息；所述存储完成信息为所述存储服务器在完成将所述日志集合中的所有日志数据导入所述数据表并为所述数据表创建索引之后返回的信息； 数据存储重新确定模块，用于在所述数据表完成判断模块的判断结果为否的情况下，从未曾被确定用于存储所述日志集合的存储服务器中重新确定用于存储所述日志集合的数据存储服务器； 触发存储模块，用于在所述数据存储重新确定模块启动的情况下，触发日志集合存储模块。
19.根据权利要求18所述的日志服务器，其特征在于，所述日志服务器还包括:删除集合模块，用于按照预设的删除时间周期性删除所述数据存储服务器中未完成存储的日志集合。
20.根据权利要求13所述的日志服务器，其特征在于，所述日志服务器还包括: 数据数量判断模块，用于按照预设的合并时间周期性判断所述数据存储服务器上是否存在日志数据数量小于预设的存储数量阈值的数据表； 集合合并模块，用于在所述数据数量的判断结果为是的情况下，将所述日志数据数量小于存储数量阈值的数据表合并。
21.根据权利要求13所述的日志服务器，其特征在于，所述日志服务器还包括: 备份生成模块，用于将所述日志集合的数据表存储为独立的数据表文件集合； 备份复制模块，用于复制所述日志集合对应的数据表文件集合的数据表文件； 备份服务器确定模块，用于从未存储所述数据表文件的存储服务器中确定用于存储所述复制得到的数据表文件的备份存储服务器； 备份存储模块，用于将所述复制得到的数据表文件一一对应的存储到所述备份存储服务器当前未执行写任务的磁盘中。
22.根据权利要求21所述的日志服务器，其特征在于，所述备份服务器确定模块，包括: 第一确定子模块，用于将所连接的存储服务器中均未存储所述数据表文件的交换机确定为目标交换机； 第二确定子模块，用于从所述目标交换机所连接的存储服务器中确定用于存储所述复制得到的所述数据表文件的备份存储服务器。
23.根据权利要求21所述的日志服务器，其特征在于，所述日志服务器还包括: 数据表监测模块，用于监测所述日志集合的数据表文件的副本份数； 数据表数量判断模块，用于判断数据表文件的副本份数与预设的副本份数阀值之间的大小关系； 数据表删除模块，用于在所述数据表数量判断模块的判断结果为所述数据表文件的副本份数大于所述副本份数阈值的情况下，将差值数量的数据表文件删除；所述差值数量为所述数据表文件的副本份数与预设的副本份数阈值之间的差值； 触发复制模块，用于在所述数据表数量判断模块的判断结果为所述数据表文件的副本份数小于所述副本份数阈值的情况下，触发所述备份复制模块。
24.一种记录日志数据的系统，其特征在于，所述系统包括日志服务器和存储服务器；所述日志服务器为权利要求13?23任意一项所述的日志服务器；所述存储服务器包括数据存储服务器和/或备份存储服务器。
25.—种查询日志数据的系统，其特征在于，所述系统包括: 日志存储单元，用于通过权利要求13?23任意一项所述的日志服务器存储日志数据，所述日志集合中所有日志数据的时间都属于同一时间段； 日志备份单元，用于通过权利要求21、22或23所述的日志服务器备份日志数据； 对应关系记录单元，用于记录所述日志集合与所述数据存储服务器之间、所述日志集合与所述备份存储服务器之间以及所述日志集合与时间段之间的对应关系； 查询请求接收单元,用于接收日志数据查询请求； 目标集合确定单元，用于根据所述查询请求中目标日志的时间所在的时间段，确定目标日志数据所在的目标日志集合； 查询服务器确定单元，用于根据所述日志集合与数据存储服务器之间的对应关系和/或所述日志集合与备份存储服务器之间的对应关系，从存储有所述目标日志集合数据表文件的数据存储服务器和备份存储服务器中，确定用于查询所述目标日志的查询存储服务器； 查找单元，用于在所述查询存储服务器上查找所述目标日志集合的数据表； 目标日志查找单元，用于在查找到的数据表中查找所述目标日志数据； 目标日志输出模块，用于将查找到的目标日志数据合并输出。
【文档编号】H04L29/08GK104301360SQ201310306476
【公开日】2015年1月21日 申请日期:2013年7月19日 优先权日:2013年7月19日
【发明者】刘宾 申请人:阿里巴巴集团控股有限公司