海量日志信息的处理方法、装置与系统的制作方法
【专利摘要】本发明公开了一种海量日志信息的处理方法、装置与系统，客户端对采集到的新增的日志信息进行过滤，能够减少传输日志信息时无效日志信息所占用的传输带宽，将实时性高的日志信息实时发送给服务器，将实时性低的日志信息延后发送给服务器，能够有效地缩短日志信息采集的周期，日志服务器将告警日志信息及时发送给告警处理装置，能够满足对日志信息中的告警信息及时输出的要求，并将非告警日志信息分别存储到不同的存储位置中，日志信息的类别与针对日志信息进行操作的操作类别相对应，使得日志操作平台在对日志信息进行操作的过程中，能够根据操作类别来判断出日志信息的存储位置，能够快速有效地缩短对对日志数据操作的处理时间、提高处理效率。
【专利说明】海量日志信息的处理方法、装置与系统
【技术领域】
[0001]本发明涉及数据处理技术的，尤其是涉及一种海量日志信息的处理方法、装置与系统。
【背景技术】
[0002]对于业务支撑网运营管理系统来说，随着支撑网络和业务的复杂性和多元性逐渐加强，业务监控的粒度也越来越细，由此产生的服务日志信息量越来越多，特别是业务服务日志的数据量更大。一个通信运营商一天的业务服务日志可能会超过200G，而且这些业务服务日志分布在几十台服务器上。同时，业务监控中心对告警信息的实时性要求越来越高。如何快速完成日志的采集、提炼处理、存储、高效查询成为业务支撑网运营管理系统关注的重点。
[0003]目前，针对日志信息的采集方法主要有两种方式来实现:
[0004]采集方法一:集中处理服务器(或称为服务器)上的处理程序通过Telnet采集(SP远程控制命令采集)分布在各个日志服务器上的日志信息，或者通过日志服务器上的代理程序将日志信息收集到集中处理服务器上；集中处理服务器上的处理程序根据日志提炼规则或者提炼逻辑进行日志的提炼处理。
[0005]采集方法二:各个日志服务器(或称为客户端)对自身的日志数据进行净化处理，净化处理包括对日志信息的抽取、合并和保存等操作过程，并将净化处理后的日志数据上传到集中处理服务器，集中处理服务器将收到的日志数据文件根据时间周期合并为一个文件，进行提炼处理。
[0006]现有技术针对日志信息的存储和操作通过以下两种方式来解决:
[0007]存储和操作方法一:当日志信息提炼完成后，根据需要的要素保持到磁盘关系型数据库，通过SQL语句进行统计分析、告警信息过滤采集，通过标准SQL提供对外的查询；
[0008]存储和操作方法二:当日志信息提炼后，保存到文件中，提供相关的通用接口，通过对文件全量的扫描，提供对外的统计处理服务。
[0009]从上述采集方法中可以看出，现有的日志信息采集方法存在以下缺陷:
[0010]采集方法一存在显著日志处理性能瓶颈，集中处理服务器采集到的各个日志服务器上的日志信息中包括大量无效的日志信息，传输这些无效的日志信息占用了大量的网络传输带宽，极大地影响了日志信息的采集速度和采集周期；更重要的是，随着业务日志达到一定规模，无效的日志信息对集中服务器处理压力就变得更为显著，这样就造成集中处理服务器上的处理逻辑越来越复杂，处理日志信息、输出日志信息中的告警信息的及时性得不到保证；
[0011 ] 采集方法二虽然在日志服务器上先对日志进行净化，净化处理包括抽取、合并和保存等操作过程，这就使得净化处理延长了日志信息采集的周期，同样极大地影响了日志信息的采集速度；以及在后续集中服务器对日志信息的存储查询处理中，输出日志信息中的告警信息的及时性得不到保证。[0012]从上述存储查询方法中可以看出，现有的存储操作方法存在以下缺陷:
[0013]存储和操作方法一:将提炼处理后的日志信息保存在磁盘关系型数据库(比如Oracle)中，通过SQL语句对其中的海量数据进行检索和查询，对于复杂的数据分析场景，往往需要对多张大表做笛卡尔集合后再关联查询，造成等待响应的时间过长，无法满足对日志信息中的告警信息及时输出的要求；
[0014]存储和操作方法二:处理后的数据保存在文件中，通常文件根据时间段来组织的。故后续的分析处理，一般会对一个文件全量进行扫描处理，显然查询和分析处理的效率比较低，也无法满足对日志信息中的告警信息及时输出的要求。
[0015]可见，现有的针对海量日志信息的采集处理和存储查询处理方法，存在采集周期过长、无效日志信息占用过多传输带宽的问题，对海量日志信息的查询和统计处理的处理时间长、效率低，无法满足对日志信息中的告警信息及时输出的要求的问题。
【发明内容】
[0016]本发明实施例提供一种海量日志信息的处理方法、装置与系统，用以解决现有技术中针对海量日志信息的采集处理和存储查询处理方法，存在采集周期过长、无效日志信息占用过多传输带宽的问题，对海量日志信息的操作处理时间长、效率低，无法满足对日志信息中的告警信息及时输出的要求的问题。
[0017]本发明实施例技术方案如下:
[0018]一种海量日志信息的处理方法，包括:日志客户端采集日志客户端上新增的日志信息；按照预定的过滤规则对采集到的日志信息中的数据进行过滤；根据预定的日志信息和实时性等级的对应关系，在过滤后的日志信息中携带与日志信息相对应的实时性等级的实时性标识；根据日志信息中的实时性标识，将实时性标识所代表的高实时性的日志信息实时发送给日志服务器，将实时性标识所代表的低实时性的日志信息延后发送给日志服务器。
[0019]一种海量日志信息的处理方法，包括:日志服务器接收来自日志客户端的日志信息；根据预定的告警规则，判断接收到的日志信息为告警日志信息的情况下，将告警日志信息发送给告警处理装置；根据非告警日志信息的类别和接收日志信息的时间，将非告警日志信息分别存储到关系型数据库、日志服务器的内存数据库或者文件系统，其中，日志信息的类别与针对日志信息进行操作的操作类别相对应，存储到关系型数据库中的日志信息为统计操作提供数据基础，存储到日志服务器的内存数据库中的日志信息为实时的查询操作提供数据基础，存储到文件系统中的日志信息为非实时的查询操作提供数据基础。
[0020]一种海量日志信息的处理方法，包括:日志操作平台接收用户输入的操作请求；操作请求中包括操作类别，操作类别包括统计操作和查询操作，查询操作包括实时查询操作和非实时查询操作；根据操作类别判断操作请求所针对的日志信息的存储位置；其中，日志信息的存储位置包括关系型数据库、日志服务器的内存数据库或者文件系统；关系型数据库中存储针对统计操作的日志信息，日志服务器的内存数据库中存储针对实时查询操作的日志信息，文件系统中存储非实时查询操作的日志信息；根据确定的存储位置查找到操作请求所针对的日志信息，并对该日志信息执行与操作请求对应的操作。
[0021]一种海量日志信息的处理装置，包括:采集模块，用于采集装置所在日志客户端上新增的日志信息；过滤模块，用于按照预定的过滤规则对采集模块采集到的日志信息中的数据进行过滤；实时性处理模块，用于根据预定的日志信息和实时性等级的对应关系，在过滤模块过滤后的日志信息中携带与日志信息相对应的实时性等级的实时性标识；发送模块，用于根据日志信息中的实时性标识，将实时性处理模块处理得到的、实时性标识所代表的高实时性的日志信息实时发送给日志服务器，将实时性标识所代表的低实时性的日志信息延后发送给日志服务器。
[0022]一种海量日志信息的处理装置，包括:接收模块，用于接收来自日志客户端的日志信息；告警处理模块，用于根据预定的告警规则，判断接收模块接收到的日志信息为告警日志信息的情况下，将告警日志信息发送给告警处理装置；存储模块，用于根据非告警日志信息的类别和接收日志信息的时间，将告警处理模块处理得到的非告警日志信息分别存储到关系型数据库、日志服务器的内存数据库或者文件系统，其中，日志信息的类别与针对日志信息进行操作的操作类别相对应，存储到关系型数据库中的日志信息为统计操作提供数据基础，存储到日志服务器的内存数据库中的日志信息为实时的查询操作提供数据基础，存储到文件系统中的日志信息为非实时的查询操作提供数据基础。
[0023]一种海量日志信息的处理装置，包括:接收模块，用于接收用户输入的操作请求；操作请求中包括操作类别，操作类别包括统计操作和查询操作，查询操作包括实时查询操作和非实时查询操作；判断模块，用于根据操作类别判断接收模块接收到的操作请求所针对的日志信息的存储位置；其中，日志信息的存储位置包括关系型数据库、日志服务器的内存数据库或者文件系统；关系型数据库中存储针对统计操作的日志信息，日志服务器的内存数据库中存储针对实时查询操作的日志信息，文件系统中存储非实时查询操作的日志信息；查找模块，用于根据判断模块确定的存储位置查找到操作请求所针对的日志信息；执行模块，用于对查找模块查找到的日志信息执行与操作请求对应的操作。
[0024]一种海量日志信息的处理系统，包括:日志客户端、日志服务器和日志操作平台；日志客户端，用于采集日志客户端上新增的日志信息；按照预定的过滤规则对采集到的日志信息中的数据进行过滤；根据预定的日志信息和实时性等级的对应关系，在过滤后的日志信息中携带与日志信息相对应的实时性等级的实时性标识；根据日志信息中的实时性标识，将实时性标识所代表的高实时性的日志信息实时发送给日志服务器，将实时性标识所代表的低实时性的日志信息延后发送给日志服务器；日志服务器，用于接收来自日志客户端的日志信息；根据预定的告警规则，判断接收到的日志信息为告警日志信息的情况下，将告警日志信息发送给告警处理装置；根据非告警日志信息的类别和接收日志信息的时间，将非告警日志信息分别存储到关系型数据库、日志服务器的内存数据库或者文件系统，其中，日志信息的类别与针对日志信息进行操作的操作类别相对应，存储到关系型数据库中的日志信息为统计操作提供数据基础，存储到日志服务器的内存数据库中的日志信息为实时的查询操作提供数据基础，存储到文件系统中的日志信息为非实时的查询操作提供数据基础；日志操作平台，用于接收用户输入的操作请求；操作请求中包括操作类别，操作类别包括统计操作和查询操作，查询操作包括实时查询操作和非实时查询操作；根据操作类别判断操作请求所针对的日志信息的存储位置；其中，日志信息的存储位置包括关系型数据库、日志服务器的内存数据库或者文件系统；关系型数据库中存储针对统计操作的日志信息，日志服务器的内存数据库中存储针对实时查询操作的日志信息，文件系统中存储非实时查询操作的日志信息；根据确定的存储位置查找到操作请求所针对的日志信息，并对该日志信息执行与操作请求对应的操作。
[0025]根据本发明实施例的技术方案，在本发明实施例提供的用于日志信息采集的海量日志信息的处理方法中，日志客户端对采集到的新增的日志信息进行过滤，能够过滤掉采集到的日志信息中的无效日志信息，减少传输日志信息时无效日志信息所占用的传输带宽，并根据预定的日志信息和实时性等级的对应关系，在过滤后的日志信息中携带实时性标识，在将过滤后的日志信息发送给服务器的过程中，将实时性高的日志信息实时发送给服务器，将实时性低的日志信息延后发送给服务器，能够有效地缩短日志信息采集的周期；在本发明实施例提供的用于日志信息的存储的海量日志信息的处理方法中，日志服务器将告警日志信息及时发送给告警处理装置，能够快速地将告警信息发送给告警处理装置，能够满足对日志信息中的告警信息及时输出的要求，根据非告警日志信息的类别和接收日志信息的时间，将非告警日志信息分别存储到关系型数据库、所述服务器的内存数据库或者文件系统，并且，日志信息的类别与针对日志信息进行操作的操作类别相对应，使得日志操作平台在对日志信息进行操作的过程中，能够根据操作类别来判断出日志信息的存储位置，并且关系型数据库和内存数据库中对数据的读取速度较快，能够快速有效地缩短对对日志数据操作的处理时间、提高处理效率，从而能够解决现有技术中针对海量日志信息的采集处理和存储查询处理方法，存在采集周期过长、无效日志信息占用过多传输带宽的问题，对海量日志信息的操作处理时间长、效率低，无法满足对日志信息中的告警信息及时输出的要求的问题。
[0026]本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
【专利附图】
【附图说明】
[0027]图1是本发明实施例提供的海量日志信息的处理方法的工作流程图；
[0028]图2是本发明实施例提供的海量日志信息的处理方法的另一工作流程图；
[0029]图3是本发明实施例提供的海量日志信息的处理方法的另一工作流程图；
[0030]图4是本发明实施例提供的海量日志信息的处理装置的结构框图；
[0031]图5是本发明实施例提供的海量日志信息的处理装置的另一结构框图；
[0032]图6是图5所示装置的优选结构框图；
[0033]图7是本发明实施例提供的海量日志信息的处理装置的另一结构框图；
[0034]图8是图7所示装置的优选结构框图；
[0035]图9是本发明实施例提供的海量日志信息的处理系统的结构框图。
【具体实施方式】
[0036]以下结合附图对本发明的实施例进行说明，应当理解，此处所描述的实施例仅用于说明和解释本发明，并不用于限定本发明。
[0037]图1示出了本发明实施例提供的海量日志信息的处理方法的工作流程图，该方法用于在日志客户端采集日志信息，该方法包括:[0038]步骤101、日志客户端采集所述日志客户端上新增的日志信息；
[0039]优选地，日志客户端可以通过爬虫程序采集所述日志客户端上新增的日志信息；通过在日志客户端部署爬虫程序，可以高效地采集到日志客户端上新增的日志信息，并且，还可以通过日志服务器向日志客户端推送需要采集的日志信息中的关键字，来更新爬虫程序的采集策略；本发明实施例中的爬虫程序可以通过现有技术中的爬虫程序的原理来实现；
[0040]步骤102、按照预定的过滤规则对采集到的日志信息中的数据进行过滤；
[0041]具体地，按照过滤规则中包括的关键字或者关键字值，保留采集到的日志信息中包含有所述关键字(例如表示业务类别的关键字)或者所述关键字值(例如某一指定的IP地址)的日志信息作为过滤得到的日志信息；其中，日志信息至少包括:日志标识、日志信息生成的开始时刻、结束时刻和日志信息的类别；
[0042]优选地，预定的过滤规则可以是日志服务器推送给日志客户端的也可以是预先存储在日志客户端中的；
[0043]步骤103、根据预定的日志信息和实时性等级的对应关系，在过滤后的日志信息中携带与日志信息相对应的实时性等级的实时性标识；
[0044]其中，实时性标识所代表的高实时性的日志信息包括:采集日志信息时调用接口的时间长的日志信息构成的日志信息；实时性标识所代表的低实时性的日志信息包括:用于针对统计操作的日志信息或用于非实时查询操作的数据；
[0045]优选地，预定的日志信息和实时性等级的对应关系可以是日志服务器推送给日志客户端的也可以是预先存储在日志客户端中的；
[0046]步骤104、根据日志信息中的实时性标识，将实时性标识所代表的高实时性的日志信息实时发送给日志服务器，将实时性标识所代表的低实时性的日志信息延后发送给所述日志服务器。
[0047]其中，将实时性标识所代表的低实时性的日志信息延后发送给所述日志服务器的处理，具体包括:向日志服务器发送请求，在接收到来自日志服务器的等待响应后，等待预定的等待时间，在等待所述等待时间到时后，将实时性标识所代表的低实时性的日志信息发送给所述日志服务器；在接收到来自日志服务器的发送响应后，将实时性标识所代表的低实时性的日志信息发送给日志服务器。
[0048]根据图1所示的方法，客户端对采集到的新增的日志信息进行过滤，能够过滤掉采集到的日志信息中的无效日志信息，减少传输日志信息时无效日志信息所占用的传输带宽，并根据预定的日志信息和实时性等级的对应关系，在过滤后的日志信息中携带实时性标识，在将过滤后的日志信息发送给服务器的过程中，将实时性高的日志信息实时发送给服务器，将实时性低的日志信息延后发送给服务器，能够有效地缩短日志信息采集的周期，从而能够解决现有技术中针对海量日志信息的采集处理方法，存在采集周期过长、无效日志信息占用过多传输带宽的问题。
[0049]图2示出了本发明实施例提供的一种海量日志信息的处理方法的工作流程图，该方法应用于日志服务器对来自日志客户端的日志信息进行存储，该方法包括:
[0050]步骤201、日志服务器接收来自日志客户端的日志信息；
[0051]具体地，日志服务器接收来自日志客户端实时发送的日志信息；[0052]在接收到来自日志客户端的请求后，在日志服务器当前接收到的日志信息的数据量大于或等于预定的数据量阈值的情况下，向日志客户端返回等待响应；在日志服务器当前接收到的日志信息的数据量小于预定的数据量阈值的情况下，向日志客户端返回发送响应；
[0053]进一步地，日志服务器还对接收到的日志信息建立索引表，该索引表中至少包括日志信息中的日志信息的标识、日志信息的生成时间、日志信息的结束时间和日志信息的类别，索引表用于为查询操作中查询条件提供索引，也即日志信息在索引表中的任何一个关键字都能作为查询操作中的查询条件；更进一步地，日志服务器还可以对包括有预定关键字或关键字值的日志信息建立索引表；
[0054]步骤202、根据预定的告警规则，判断接收到的日志信息为告警日志信息的情况下，将告警日志信息发送给告警处理装置；
[0055]预定的告警规则，具体包括:包括预定的关键字值的日志信息为告警日志信息；或者，日志信息中所包括的日志信息的结束时间和生成时间之间的时间长度值大于或等于预定的时间长度值；
[0056]步骤203、根据非告警日志信息的类别和接收日志信息的时间，将非告警日志信息分别存储到关系型数据库、所述日志服务器的内存数据库或者文件系统；
[0057]具体地，在非告警日志信息的类别为统计日志信息的情况下，将该日志信息存储到关系型数据库中；在非告警日志信息的类别为非统计日志信息的情况下，在从接收到该日志信息时间起的预定保存周期内，将该日志信息存储到所述日志服务器的内存数据库中，在该日志信息在所述日志服务器的内存数据库中保存超过所述预定保存周期后，将该日志信息存储到所述文件系统中；
[0058]可见，存储到关系型数据库中的日志信息为统计操作提供数据基础，存储到所述日志服务器的内存数据库中的日志信息为实时的查询操作提供数据基础，存储到文件系统中的日志信息为非实时的查询操作提供数据基础。
[0059]根据如图2所示的方法，日志服务器在识别出日志信息是告警日志信息的情况下，将告警日志信息及时发送给告警处理装置，能够快速地将告警信息发送给告警处理装置，能够满足对日志信息中的告警信息及时输出的要求，根据非告警日志信息的类别和接收日志信息的时间，将非告警日志信息分别存储到关系型数据库、所述服务器的内存数据库或者文件系统，并且，日志信息的类别与针对日志信息进行操作的操作类别相对应，关系型数据库和内存数据库中对数据的读取速度较快，能够为针对日志信息的操作处理提供快速有效的查询途径，能够解决现有技术中针对海量日志信息的查询操作速度慢、效率低的问题。
[0060]图3示出了本发明实施例提供的一种海量日志信息的处理方法的工作流程图，该方法应用于日志操作平台对日志服务器存储的日志信息进行操作，该方法包括:
[0061]步骤301、日志操作平台接收用户输入的操作请求；操作请求中包括操作类别，操作类别包括统计操作和查询操作，查询操作包括实时查询操作和非实时查询操作；
[0062]步骤302、根据操作类别判断操作请求所针对的日志信息的存储位置；其中，日志信息的存储位置包括关系型数据库、所述日志服务器的内存数据库或者文件系统；关系型数据库中存储针对统计操作的日志信息，日志服务器的内存数据库中存储针对实时查询操作的日志信息，文件系统中存储非实时查询操作的日志信息；
[0063]具体地，当操作请求的操作类别为统计操作时，确定操作请求所针对的日志信息的存储位置为关系型数据库；当操作请求的操作类型为实时查询操作时，确定操作请求所针对的日志信息的存储位置为日志服务器的内存数据库；当操作请求的操作类型为非实时查询操作时，确定操作请求所针对的日志信息的存储位置为文件系统；
[0064]步骤303、根据确定的存储位置查找到操作请求所针对的日志信息，并对该日志信息执行与操作请求对应的操作。
[0065]进一步地，日志操作平台还可以根据操作请求中对所针对的日志信息的索引关键字，在所述日志服务器建立的索引表中查找到所针对的日志信息的标识；并在所确定的存储位置中、根据所查找到的日志信息的标识查找到操作请求所针对的日志信息；
[0066]更进一步地，对于对日志信息进行操作的操作结果，可以以图形化的方式进行展示，并在日志信息包括异常信息的情况下，以图形化的方式展示该异常信息，相比于现有技术中仅对异常信息进行文字显示或者声光告警提示，能够更为清楚明了地显示异常信息，为维护人员了解该异常信息提供便利。
[0067]更进一步，在对日志信息进行统计操作的情况下，将当前预定的统计周期内，对在当前统计周期内存储到所述关系型数据库中的日志信息与上一个统计周期内存储到所述关系型数据库中的日志信息进行对比统计，当对比统计结果大于或等于预定的告警阈值的情况下，将该日志信息发送给所述告警处理装置；其中，统计操作中具体包括统计两个相邻统计周期间的数据环比值、统计累计数据对比率的浮动范围。
[0068]根据如图3所示的方法，日志操作平台在对日志信息进行操作的过程中，根据操作类别来判断出日志信息的存储位置，存储位置包括关系型数据库和日志服务器的内存数据库和文件系统，其中，关系型数据库和内存数据库中对数据的读取速度较快，能够快速有效地缩短对对日志数据操作处理的时间、提高操作处理效率，从而能够解决现有技术中针对海量日志信息操作处理方法，存在对海量日志信息的操作处理时间长、效率低的问题。
[0069]基于相同的发明构思，本发明实施例还提供了一种应用在日志客户端上的海量日志信息的处理装置。
[0070]图4示出了本发明实施例提供的海量日志信息的处理装置的结构，该装置包括:
[0071]采集模块41，用于采集装置所在日志客户端上新增的日志信息；
[0072]具体地，采集模块41通过爬虫程序采集日志客户端上新增的日志信息；
[0073]过滤模块42，连接至采集模块41，用于按照预定的过滤规则对采集模块41采集到的日志信息中的数据进行过滤；
[0074]具体地，过滤模块42按照过滤规则中包括的关键字或者关键字值，保留采集到的日志信息中包含有关键字或者关键字值的日志信息作为过滤得到的日志信息；其中，日志信息至少包括:日志标识、日志信息生成的开始时刻、结束时刻和日志信息的类别；
[0075]实时性处理模块43，连接至过滤模块42，用于根据预定的日志信息和实时性等级的对应关系，在过滤模块42过滤后的日志信息中携带与日志信息相对应的实时性等级的实时性标识；
[0076]发送模块44，连接至实时性处理模块43，用于根据日志信息中的实时性标识，将实时性处理模块43处理得到的、实时性标识所代表的高实时性的日志信息实时发送给日志服务器，将实时性标识所代表的低实时性的日志信息延后发送给日志服务器；
[0077]具体地，发送模块44向日志服务器发送请求，在接收到来自日志服务器的等待响应后，等待预定的等待时间，在等待等待时间到时后，将实时性标识所代表的低实时性的日志信息发送给日志服务器；在接收到来自日志服务器的发送响应后，将实时性标识所代表的低实时性的日志信息发送给日志服务器。
[0078]图4所示装置的工作原理如图1所示，这里不再赘述。
[0079]通过图4所示的装置，也能够过滤掉采集到的日志信息中的无效日志信息，减少传输日志信息时无效日志信息所占用的传输带宽，并根据预定的日志信息和实时性等级的对应关系，在过滤后的日志信息中携带实时性标识，在将过滤后的日志信息发送给服务器的过程中，将实时性高的日志信息实时发送给服务器，将实时性低的日志信息延后发送给服务器，能够有效地缩短日志信息采集的周期，从而能够解决现有技术中针对海量日志信息的采集处理方法，存在采集周期过长、无效日志信息占用过多传输带宽的问题。
[0080]基于相同的发明构思，本发明实施例还提供了一种应用在日志服务器中的海量日志信息的处理装置。
[0081]图5示出了本发明实施例提供的海量日志信息的处理装置的结构，该装置包括:
[0082]接收模块51，用于接收来自日志客户端的日志信息；
[0083]具体地，接收模块51接收来自日志客户端实时发送的日志信息；在接收到来自日志客户端的请求后，在日志服务器当前接收到的日志信息的数据量大于或等于预定的数据量阈值的情况下，向日志客户端返回等待响应；在日志服务器当前接收到的日志信息的数据量小于预定的数据量阈值的情况下，向日志客户端返回发送响应；
[0084]告警处理模块52，连接至接收模块51，用于根据预定的告警规则，判断接收模块接收到的日志信息为告警日志信息的情况下，将告警日志信息发送给告警处理装置；
[0085]存储模块53，连接至告警处理模块52，用于根据告警处理模块处理得到的非告警日志信息的类别和接收日志信息的时间，将非告警日志信息分别存储到关系型数据库、日志服务器的内存数据库或者文件系统，其中，日志信息的类别与针对日志信息进行操作的操作类别相对应，存储到关系型数据库中的日志信息为统计操作提供数据基础，存储到日志服务器的内存数据库中的日志信息为实时的查询操作提供数据基础，存储到文件系统中的日志信息为非实时的查询操作提供数据基础。
[0086]具体地，存储模块53在非告警日志信息的类别为统计日志信息的情况下，将该日志信息存储到关系型数据库中；在非告警日志信息的类别为非统计日志信息的情况下，在从接收到该日志信息时间起的预定保存周期内，将该日志信息存储到日志服务器的内存数据库中，在日志服务器的内存数据库中的日志信息保存超过预定保存周期后，将保存超过预定保存周期的日志信息存储到文件系统中。
[0087]优选地，在图5所示装置的基础上，图6所示的本发明实施例提供的应用在日志服务器中的海量日志信息的处理装置还可以包括索引建立模块54，索引建立模块54连接至接收模块51，用于对接收模块51接收到的日志信息建立索引表，该索引表中至少包括日志信息中的日志信息的标识、日志信息的生成时间、日志信息的结束时间和日志信息的类别，索引表用于为查询操作中查询条件提供索引。
[0088]图5或图6所示装置的工作原理如图2所示,这里不在赘述。[0089]通过图5或图6所示的装置，在识别出日志信息是告警日志信息的情况下，将告警日志信息及时发送给告警处理装置，能够快速地将告警信息发送给告警处理装置，能够满足对日志信息中的告警信息及时输出的要求，根据非告警日志信息的类别和接收日志信息的时间，将非告警日志信息分别存储到关系型数据库、服务器的内存数据库或者文件系统，并且，日志信息的类别与针对日志信息进行操作的操作类别相对应，关系型数据库和内存数据库中对数据的读取速度较快，能够为针对日志信息的操作处理提供快速有效的查询途径，能够解决现有技术中针对海量日志信息的查询操作速度慢、效率低的问题。
[0090]基于相同的发明构思，本发明实施例还提供了一种应用在日志操作平台中的海量日志信息的处理装置。
[0091]图7示出了发明实施例提供的海量日志信息的处理装置的结构，该装置包括:
[0092]接收模块71，用于接收用户输入的操作请求；操作请求中包括操作类别，操作类别包括统计操作和查询操作，查询操作包括实时查询操作和非实时查询操作；
[0093]判断模块72，连接至接收模块71，用于根据操作类别判断接收模块71接收到的操作请求所针对的日志信息的存储位置；其中，日志信息的存储位置包括关系型数据库、日志服务器的内存数据库或者文件系统；关系型数据库中存储针对统计操作的日志信息，日志服务器的内存数据库中存储针对实时查询操作的日志信息，文件系统中存储非实时查询操作的日志信息；
[0094]具体地，当操作请求的操作类别为统计操作时，判断模块72确定操作请求所针对的日志信息的存储位置为关系型数据库；当操作请求的操作类型为实时查询操作时，判断模块72确定操作请求所针对的日志信息的存储位置为日志服务器的内存数据库；当操作请求的操作类型为非实时查询操作时，判断模块72确定操作请求所针对的日志信息的存储位置为文件系统；
[0095]查找模块73，连接至判断模块72，用于根据判断模块72确定的存储位置查找到操作请求所针对的日志信息；
[0096]执行模块74，连接至查找模块73和接收模块71，用于对查找模块73查找到的日志信息执行与接收模块71接收到的操作请求对应的操作。
[0097]优选地，在图7所示装置的基础上，图8所示的应用在日志操作平台中的海量日志信息的处理装置还可以包括:
[0098]索引查找模块75，用于根据接收模块71接收到的操作请求中对所针对的日志信息的索引关键字，在日志服务器建立的索引表中查找到所针对的日志信息的标识；则，查找模块73，还连接至索引查找模块75，具体用于在判断模块72所确定的存储位置中、根据索引查找模块75所查找到的日志信息的标识查找到操作请求所针对的日志信息；
[0099]展示模块76，连接至执行模块74，用于以图形化的方式展示执行模块对日志信息信息进行操作的操作结果，并在日志信息中包括异常信息的情况下，以图形化的方式展示该异常信息；
[0100]告警处理模块77，连接至执行模块74，用于在执行模块74执行统计操作得到的结果大于或等于预定的告警阈值的情况下，将该日志信息发送给告警处理装置。
[0101]图7或图8所示装置的工作原理如图3所示,这里不再赘述。
[0102]通过图7或图8所示的装置，在对日志信息进行操作的过程中，根据操作类别来判断出日志信息的存储位置，存储位置包括关系型数据库和日志服务器的内存数据库和文件系统，其中，关系型数据库和内存数据库中对数据的读取速度较快，能够快速有效地缩短对对日志数据操作处理的时间、提高操作处理效率，从而能够解决现有技术中针对海量日志信息操作处理方法，存在对海量日志信息的操作处理时间长、效率低的问题。
[0103]基于相同的发明构思，本发明实施例还提供了一种海量日志信息的处理系统。
[0104]图9示出了本发明实施例提供的海量日志信息的处理系统的结构，该系统包括:日志客户端91、日志服务器92和日志操作平台93 ；
[0105]日志客户端91，用于采集日志客户端91上新增的日志信息；按照预定的过滤规则对采集到的日志信息中的数据进行过滤；根据预定的日志信息和实时性等级的对应关系，在过滤后的日志信息中携带与日志信息相对应的实时性等级的实时性标识；根据日志信息中的实时性标识，将实时性标识所代表的高实时性的日志信息实时发送给日志服务器92,将实时性标识所代表的低实时性的日志信息延后发送给日志服务器92 ；
[0106]日志服务器92，用于接收来自日志客户端91的日志信息；根据预定的告警规则，判断接收到的日志信息为告警日志信息的情况下，将告警日志信息发送给告警处理装置；根据非告警日志信息的类别和接收日志信息的时间，将非告警日志信息分别存储到关系型数据库、日志服务器92的内存数据库或者文件系统，其中，日志信息的类别与针对日志信息进行操作的操作类别相对应，存储到关系型数据库中的日志信息为统计操作提供数据基础，存储到日志服务器92的内存数据库中的日志信息为实时的查询操作提供数据基础，存储到文件系统中的日志信息为非实时的查询操作提供数据基础；
[0107]日志操作平台93，用于接收用户输入的操作请求；操作请求中包括操作类别，操作类别包括统计操作和查询操作，查询操作包括实时查询操作和非实时查询操作；根据操作类别判断操作请求所针对的日志信息的存储位置；其中，日志信息的存储位置包括关系型数据库、日志服务器92的内存数据库或者文件系统；关系型数据库中存储针对统计操作的日志信息，日志服务器92的内存数据库中存储针对实时查询操作的日志信息,文件系统中存储非实时查询操作的日志信息；根据确定的存储位置查找到操作请求所针对的日志信息，并对该日志信息执行与操作请求对应的操作。
[0108]图9所示系统的工作原理如图1?3所示,这里不再赘述。
[0109]通过图9所示的系统，也能够快速有效地缩短对对日志数据操作处理的时间、提高操作处理效率，从而能够解决现有技术中针对海量日志信息操作处理方法，存在对海量日志信息的操作处理时间长、效率低的问题。
[0110]本领域普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
[0111]另外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
[0112]本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
[0113]本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0114]这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0115]这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0116]显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
【权利要求】
1.一种海量日志信息的处理方法，其特征在于，包括: 日志客户端采集所述日志客户端上新增的日志信息； 按照预定的过滤规则对采集到的日志信息中的数据进行过滤； 根据预定的日志信息和实时性等级的对应关系，在过滤后的日志信息中携带与日志信息相对应的实时性等级的实时性标识； 根据日志信息中的实时性标识，将实时性标识所代表的高实时性的日志信息实时发送给日志服务器，将实时性标识所代表的低实时性的日志信息延后发送给所述日志服务器。
2.根据权利要求1所述的方法，其特征在于，日志客户端采集新增的日志信息，具体包括: 通过爬虫程序采集所述日志客户端上新增的日志信息。
3.根据权利要求1所述的方法，其特征在于，按照预定的过滤规则对采集到的日志信息进行过滤，具体包括: 按照所述过滤规则中包括的关键字或者关键字值，保留采集到的日志信息中包含有所述关键字或者所述关键字值的日志信息作为过滤得到的日志信息；其中，所述日志信息至少包括:日志标识、日志信息生成的开始时刻、结束时刻和日志信息的类别。
4.根据权利要求1所述的方法，其特征在于，将实时性标识所代表的低实时性的日志信息延后发送给所述日志服务器，具体包括: 向所述日志服务器发送请求，在接收到来自所述日志服务器的等待响应后，等待预定的等待时间，在等待所述等待时间到时后，将实时性标识所代表的低实时性的日志信息发送给所述日志服务器；在接收到来自所述日志服务器的发送响应后，将实时性标识所代表的低实时性的日志信息发送给所述日志服务器。
5.根据权利要求1所述的方法，其特征在于，实时性标识所代表的高实时性的日志信息包括:采集日志信息时调用接口的时间长的日志信息构成的日志信息； 实时性标识所代表的低实时性的日志信息包括:用于统计操作的日志信息或用于非实时查询操作的数据。
6.—种海量日志信息的处理方法,其特征在于,包括: 日志服务器接收来自日志客户端的日志信息； 根据预定的告警规则，判断接收到的日志信息为告警日志信息的情况下，将告警日志信息发送给告警处理装置； 根据非告警日志信息的类别和接收日志信息的时间，将非告警日志信息分别存储到关系型数据库、所述日志服务器的内存数据库或者文件系统，其中，日志信息的类别与针对日志信息进行操作的操作类别相对应，存储到关系型数据库中的日志信息为统计操作提供数据基础，存储到所述日志服务器的内存数据库中的日志信息为实时的查询操作提供数据基础，存储到文件系统中的日志信息为非实时的查询操作提供数据基础。
7.根据权利要求6所述的方法，其特征在于，日志服务器接收来自日志客户端的日志信息，具体包括: 所述日志服务器接收来自所述日志客户端实时发送的日志信息； 在接收到来自所述日志客户端的请求后，在所述日志服务器当前接收到的日志信息的数据量大于或等于预定的数据量阈值的情况下，向所述日志客户端返回等待响应；在所述日志服务器当前接收到的日志信息的数据量小于所述预定的数据量阈值的情况下，向所述日志客户端返回发送响应。
8.根据权利要求6所述的方法，其特征在于，所述方法还包括: 对接收到的日志信息建立索引表，该索引表中至少包括日志信息中的日志信息的标识、日志信息的生成时间、日志信息的结束时间和日志信息的类别，索引表用于为查询操作中查询条件提供索引。
9.根据权利要求6所述的方法，其特征在于，预定的告警规则，具体包括: 包括预定的关键字值的日志信息为告警日志信息；或者， 日志信息中所包括的日志信息的结束时间和生成时间之间的时间长度值大于或等于预定的时间长度值。
10.根据权利要求6所述的方法，其特征在于，根据非告警日志信息的类别和接收日志信息的时间，将非告警日志信息分别存储到关系型数据库、所述日志服务器的内存数据库或者文件系统，具体包括: 在非告警日志信息的类别为统计日志信息的情况下，将该日志信息存储到关系型数据库中； 在非告警日志信息的类别为非统计日志信息的情况下，在从接收到该日志信息时间起的预定保存周期内，将该日志信息存储到所述日志服务器的内存数据库中，在所述日志服务器的内存数据库中的日志信息保存超过所述预定保存周期后，将保存超过所述预定保存周期的日志信息存储到所述文件系统中。
11.一种海量日志信息的处理方法，其特征在于，包括: 日志操作平台接收用户输入的操作请求；操作请求中包括操作类别，操作类别包括统计操作和查询操作，查询操作包括实时查询操作和非实时查询操作； 根据操作类别判断操作请求所针对的日志信息的存储位置；其中，日志信息的存储位置包括关系型数据库、所述日志服务器的内存数据库或者文件系统；关系型数据库中存储针对统计操作的日志信息，日志服务器的内存数据库中存储针对实时查询操作的日志信息，文件系统中存储非实时查询操作的日志信息； 根据确定的存储位置查找到操作请求所针对的日志信息，并对该日志信息执行与操作请求对应的操作。
12.根据权利要求11所述的方法，其特征在于，根据操作类别判断查询请求所针对的日志信息的存储位置，具体包括: 当操作请求的操作类别为统计操作时，确定操作请求所针对的日志信息的存储位置为关系型数据库； 当操作请求的操作类型为实时查询操作时，确定操作请求所针对的日志信息的存储位置为日志服务器的内存数据库； 当操作请求的操作类型为非实时查询操作时，确定操作请求所针对的日志信息的存储位置为文件系统。
13.根据权利要求11所述的方法，其特征在于，所述方法还包括: 根据所述操作请求中对所针对的日志信息的索引关键字，在所述日志服务器建立的索引表中查找到所针对的日志信息的标识；则，根据确定的存储位置查找到操作请求所针对的日志信息，具体包括: 在所确定的存储位置中、根据所查找到的日志信息的标识查找到操作请求所针对的日
肩、。
14.根据权利要求11所述的方法，其特征在于，所述方法还包括: 以图形化的方式展示对日志信息信息进行操作的操作结果，并在日志信息中包括异常信息的情况下，以图形化的方式展示该异常信息。
15.根据权利要求11所述的方法，其特征在于，所述方法还包括: 在统计操作结果大于或等于预定的告警阈值的情况下，将该日志信息发送给告警处理 装直。
16.一种海量日志信息的处理装置，其特征在于，包括: 采集模块，用于采集所述装置所在日志客户端上新增的日志信息； 过滤模块，用于按照预 定的过滤规则对所述采集模块采集到的日志信息中的数据进行过滤； 实时性处理模块，用于根据预定的日志信息和实时性等级的对应关系，在所述过滤模块过滤后的日志信息中携带与日志信息相对应的实时性等级的实时性标识； 发送模块，用于根据日志信息中的实时性标识，将所述实时性处理模块处理得到的、实时性标识所代表的高实时性的日志信息实时发送给日志服务器，将实时性标识所代表的低实时性的日志信息延后发送给所述日志服务器。
17.根据权利要求16所述的装置，其特征在于，所述采集模块，具体用于: 通过爬虫程序采集所述日志客户端上新增的日志信息。
18.根据权利要求16所述的装置，其特征在于，所述过滤模块，具体用于: 按照所述过滤规则中包括的关键字或者关键字值，保留采集到的日志信息中包含有所述关键字或者所述关键字值的日志信息作为过滤得到的日志信息；其中，所述日志信息至少包括:日志标识、日志信息生成的开始时刻、结束时刻和日志信息的类别。
19.根据权利要求16所述的装置，其特征在于，所述发送模块，具体用于: 向所述日志服务器发送请求，在接收到来自所述日志服务器的等待响应后，等待预定的等待时间，在等待所述等待时间到时后，将实时性标识所代表的低实时性的日志信息发送给所述日志服务器；在接收到来自所述日志服务器的发送响应后，将实时性标识所代表的低实时性的日志信息发送给所述日志服务器。
20.一种海量日志信息的处理装置，其特征在于，包括: 接收模块，用于接收来自日志客户端的日志信息； 告警处理模块，用于根据预定的告警规则，判断所述接收模块接收到的日志信息为告警日志信息的情况下，将告警日志信息发送给告警处理装置； 存储模块，用于根据所述告警处理模块处理得到的非告警日志信息的类别和接收日志信息的时间，将非告警日志信息分别存储到关系型数据库、所述日志服务器的内存数据库或者文件系统，其中，日志信息的类别与针对日志信息进行操作的操作类别相对应，存储到关系型数据库中的日志信息为统计操作提供数据基础，存储到所述日志服务器的内存数据库中的日志信息为实时的查询操作提供数据基础，存储到文件系统中的日志信息为非实时的查询操作提供数据基础。
21.根据权利要求20所述的装置，其特征在于，所述接收模块，具体用于: 接收来自所述日志客户端实时发送的日志信息； 在接收到来自所述日志客户端的请求后，在所述日志服务器当前接收到的日志信息的数据量大于或等于预定的数据量阈值的情况下，向所述日志客户端返回等待响应；在所述日志服务器当前接收到的日志信息的数据量小于所述预定的数据量阈值的情况下，向所述日志客户端返回发送响应。
22.根据权利要求20所述的装置，其特征在于，所述装置，还包括: 索引建立模块，用于对所述接收模块接收到的日志信息建立索引表，该索引表中至少包括日志信息中的日志信息的标识、日志信息的生成时间、日志信息的结束时间和日志信息的类别，索引表用于为查询操作中查询条件提供索引。
23.根据权利要求20所述的装置，其特征在于，所述存储模块，具体用于: 在非告警日志信息的类别为统计日志信息的情况下，将该日志信息存储到关系型数据库中； 在非告警日志信息的类别为非统计日志信息的情况下，在从接收到该日志信息时间起的预定保存周期内，将该日志信息存储到所述日志服务器的内存数据库中，在所述日志服务器的内存数据库中的日志信息保存超过所述预定保存周期后，将保存超过所述预定保存周期的日志信息存储到所述文件系统中。
24.一种海量日志信息的处理装置，其特征在于，包括: 接收模块，用于接收用户输入的操作请求；操作请求中包括操作类别，操作类别包括统计操作和查询操作，所述查询操作包括实时查询操作和非实时查询操作； 判断模块，用于根据操作类别判断所述接收模块接收到的操作请求所针对的日志信息的存储位置；其中，日志信息的存储位置包括关系型数据库、所述日志服务器的内存数据库或者文件系统；所述关系型数据库中存储针对所述统计操作的日志信息，所述日志服务器的内存数据库中存储针对所述实时查询操作的日志信息，所述文件系统中存储所述非实时查询操作的日志信息； 查找模块，用于根据所述判断模块确定的存储位置查找到操作请求所针对的日志信息； 执行模块，用于对所述查找模块查找到的日志信息执行与所述接收模块接收到的操作请求对应的操作。
25.根据权利要求24所述的装置，其特征在于，所述判断模块，具体用于: 当操作请求的操作类别为统计操作时，确定操作请求所针对的日志信息的存储位置为关系型数据库； 当操作请求的操作类型为实时查询操作时，确定操作请求所针对的日志信息的存储位置为所述日志服务器的内存数据库； 当操作请求的操作类型为非实时查询操作时，确定操作请求所针对的日志信息的存储位置为文件系统。
26.根据权利要求24所述的装置，其特征在于，所述装置还包括: 索引查找模块，用于根据所述接收模块接收到的操作请求中对所针对的日志信息的索引关键字，在所述日志服务器建立的索引表中查找到所针对的日志信息的标识；则，所述查找模块，具体用于在所述判断模块所确定的存储位置中、根据所述索引查找模块所查找到的日志信息的标识查找到操作请求所针对的日志信息。
27.根据权利要求24所述的装置，其特征在于，所述装置还包括: 展示模块，用于以图形化的方式展示所述执行模块对日志信息信息进行操作的操作结果，并在日志信息中包括异常信息的情况下，以图形化的方式展示该异常信息。
28.根据权利要求24所述的装置，其特征在于，所述装置还包括: 告警处理模块，用于在所述执行模块执行统计操作得到的结果大于或等于预定的告警阈值的情况下，将该日志信息发送给告警处理装置。
29.—种海量日志信息的处理系统,其特征在于,包括:日志客户端、日志服务器和日志操作平台； 所述日志客户端，用于采集所述日志客户端上新增的日志信息；按照预定的过滤规则对采集到的日志信息中的数据进行过滤；根据预定的日志信息和实时性等级的对应关系，在过滤后的日志信息中携带与日志信息相对应的实时性等级的实时性标识；根据日志信息中的实时性标识，将实时性标识所代表的高实时性的日志信息实时发送给日志服务器，将实时性标识所代表的低实时 性的日志信息延后发送给所述日志服务器； 所述日志服务器，用于接收来自所述日志客户端的日志信息；根据预定的告警规则，判断接收到的日志信息为告警日志信息的情况下，将告警日志信息发送给告警处理装置；根据非告警日志信息的类别和接收日志信息的时间，将非告警日志信息分别存储到关系型数据库、所述日志服务器的内存数据库或者文件系统，其中，日志信息的类别与针对日志信息进行操作的操作类别相对应，存储到所述关系型数据库中的日志信息为统计操作提供数据基础，存储到所述日志服务器的内存数据库中的日志信息为实时的查询操作提供数据基础，存储到所述文件系统中的日志信息为非实时的查询操作提供数据基础； 所述日志操作平台，用于接收用户输入的操作请求；操作请求中包括操作类别，操作类别包括统计操作和查询操作，所述查询操作包括实时查询操作和非实时查询操作；根据操作类别判断操作请求所针对的日志信息的存储位置；其中，日志信息的存储位置包括所述关系型数据库、所述日志服务器的内存数据库或者文件系统；所述关系型数据库中存储针对所述统计操作的日志信息，所述日志服务器的内存数据库中存储针对所述实时查询操作的日志信息，所述文件系统中存储非实时查询操作的日志信息；根据确定的存储位置查找到操作请求所针对的日志信息，并对该日志信息执行与操作请求对应的操作。
【文档编号】G06F17/30GK103942210SQ201310021400
【公开日】2014年7月23日 申请日期:2013年1月21日 优先权日:2013年1月21日
【发明者】孙乐, 孙一凯, 邱晓波, 王晓东 申请人:中国移动通信集团上海有限公司