技术领域
本发明涉及数据处理技术，尤其是涉及一种海量日志信息的处理方法。
背景技术：
对于业务支撑网运营管理系统来说，随着支撑网络和业务的复杂性和多元性逐渐加强，业务监控的粒度也越来越细，由此产生的服务日志信息量越来越多，特别是业务服务日志的数据量更大。一个通信运营商一天的业务服务日志可能会超过200G，而且这些业务服务日志分布在几十台服务器上。同时，业务监控中心对告警信息的实时性要求越来越高。如何快速完成日志的采集、提炼处理、存储、高效查询成为业务支撑网运营管理系统关注的重点。
目前，针对日志信息的采集方法主要有两种方式来实现：
采集方法一：集中处理服务器（或称为服务器）上的处理程序通过Telnet采集（即远程控制命令采集）分布在各个日志服务器上的日志信息，或者通过日志服务器上的代理程序将日志信息收集到集中处理服务器上；集中处理服务器上的处理程序根据日志提炼规则或者提炼逻辑进行日志的提炼处理。
采集方法二：各个日志服务器（或称为客户端）对自身的日志数据进行净化处理，净化处理包括对日志信息的抽取、合并和保存等操作过程，并将净化处理后的日志数据上传到集中处理服务器，集中处理服务器将收到的日志数据文件根据时间周期合并为一个文件，进行提炼处理。
现有技术针对日志信息的存储和操作通过以下两种方式来解决：
存储和操作方法一：当日志信息提炼完成后，根据需要的要素保持到磁盘关系型数据库，通过SQL语句进行统计分析、告警信息过滤采集，通过标准SQL提供对外的查询；
存储和操作方法二：当日志信息提炼后，保存到文件中，提供相关的通用接口，通过对文件全量的扫描，提供对外的统计处理服务。
从上述采集方法中可以看出，现有的日志信息采集方法存在以下缺陷：
采集方法一存在显著日志处理性能瓶颈，集中处理服务器采集到的各个日志服务器上的日志信息中包括大量无效的日志信息，传输这些无效的日志信息占用了大量的网络传输带宽，极大地影响了日志信息的采集速度和采集周期；更重要的是，随着业务日志达到一定规模，无效的日志信息对集中服务器处理压力就变得更为显著，这样就造成集中处理服务器上的处理逻辑越来越复杂，处理日志信息、输出日志信息中的告警信息的及时性得不到保证；
采集方法二虽然在日志服务器上先对日志进行净化，净化处理包括抽取、合并和保存等操作过程，这就使得净化处理延长了日志信息采集的周期，同样极大地影响了日志信息的采集速度；以及在后续集中服务器对日志信息的存储查询处理中，输出日志信息中的告警信息的及时性得不到保证。
从上述存储查询方法中可以看出，现有的存储操作方法存在以下缺陷：
存储和操作方法一：将提炼处理后的日志信息保存在磁盘关系型数据库（比如Oracle）中，通过SQL语句对其中的海量数据进行检索和查询，对于复杂的数据分析场景，往往需要对多张大表做笛卡尔集合后再关联查询，造成等待响应的时间过长，无法满足对日志信息中的告警信息及时输出的要求；
存储和操作方法二：处理后的数据保存在文件中，通常文件根据时间段来组织的。故后续的分析处理，一般会对一个文件全量进行扫描处理，显然查询和分析处理的效率比较低，也无法满足对日志信息中的告警信息及时输出的要求。
可见，现有的针对海量日志信息的采集处理和存储查询处理方法，存在采集周期过长、无效日志信息占用过多传输带宽的问题，对海量日志信息的查询和统计处理的处理时间长、效率低，无法满足对日志信息中的告警信息及时输出的要求的问题。
技术实现要素：
本发明实施例提供一种海量日志信息的处理方法，包括：日志操作平台接收用户输入的操作请求；操作请求中包括操作类别，操作类别包括统计操作和查询操作，查询操作包括实时查询操作和非实时查询操作；根据操作类别判断操作请求所针对的日志信息的存储位置；其中，日志信息的存储位置包括关系型数据库、日志服务器的内存数据库或者文件系统；关系型数据库中存储针对统计操作的日志信息，日志服务器的内存数据库中存储针对实时查询操作的日志信息，文件系统中存储非实时查询操作的日志信息；根据确定的存储位置查找到操作请求所针对的日志信息，并对该日志信息执行与操作请求对应的操作。
根据本发明实施例的技术方案，在本发明实施例提供的用于日志信息采集的海量日志信息的处理方法中，日志客户端对采集到的新增的日志信息进行过滤，能够过滤掉采集到的日志信息中的无效日志信息，减少传输日志信息时无效日志信息所占用的传输带宽，并根据预定的日志信息和实时性等级的对应关系，在过滤后的日志信息中携带实时性标识，在将过滤后的日志信息发送给服务器的过程中，将实时性高的日志信息实时发送给服务器，将实时性低的日志信息延后发送给服务器，能够有效地缩短日志信息采集的周期；在本发明实施例提供的用于日志信息的存储的海量日志信息的处理方法中，日志服务器将告警日志信息及时发送给告警处理装置，能够快速地将告警信息发送给告警处理装置，能够满足对日志信息中的告警信息及时输出的要求，根据非告警日志信息的类别和接收日志信息的时间，将非告警日志信息分别存储到关系型数据库、所述服务器的内存数据库或者文件系统，并且，日志信息的类别与针对日志信息进行操作的操作类别相对应，使得日志操作平台在对日志信息进行操作的过程中，能够根据操作类别来判断出日志信息的存储位置，并且关系型数据库和内存数据库中对数据的读取速度较快，能够快速有效地缩短对对日志数据操作的处理时间、提高处理效率，从而能够解决现有技术中针对海量日志信息的采集处理和存储查询处理方法，存在采集周期过长、无效日志信息占用过多传输带宽的问题，对海量日志信息的操作处理时间长、效率低，无法满足对日志信息中的告警信息及时输出的要求的问题。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
图1是本发明实施例提供的海量日志信息的处理方法的一工作流程图。
具体实施方式
以下结合附图对本发明的实施例进行说明，应当理解，此处所描述的实施例仅用于说明和解释本发明，并不用于限定本发明。
图1示出了本发明实施例提供的一种海量日志信息的处理方法的工作流程图，该方法应用于日志操作平台对日志服务器存储的日志信息进行操作，该方法包括：
步骤101、日志操作平台接收用户输入的操作请求；操作请求中包括操作类别，操作类别包括统计操作和查询操作，查询操作包括实时查询操作和非实时查询操作；
步骤102、根据操作类别判断操作请求所针对的日志信息的存储位置；其中，日志信息的存储位置包括关系型数据库、所述日志服务器的内存数据库或者文件系统；关系型数据库中存储针对统计操作的日志信息，日志服务器的内存数据库中存储针对实时查询操作的日志信息，文件系统中存储非实时查询操作的日志信息；
具体地，当操作请求的操作类别为统计操作时，确定操作请求所针对的日志信息的存储位置为关系型数据库；当操作请求的操作类型为实时查询操作时，确定操作请求所针对的日志信息的存储位置为日志服务器的内存数据库；当操作请求的操作类型为非实时查询操作时，确定操作请求所针对的日志信息的存储位置为文件系统；
步骤103、根据确定的存储位置查找到操作请求所针对的日志信息，并对该日志信息执行与操作请求对应的操作。
进一步地，日志操作平台还可以根据操作请求中对所针对的日志信息的索引关键字，在所述日志服务器建立的索引表中查找到所针对的日志信息的标识；并在所确定的存储位置中、根据所查找到的日志信息的标识查找到操作请求所针对的日志信息；
更进一步地，对于对日志信息进行操作的操作结果，可以以图形化的方式进行展示，并在日志信息包括异常信息的情况下，以图形化的方式展示该异常信息，相比于现有技术中仅对异常信息进行文字显示或者声光告警提示，能够更为清楚明了地显示异常信息，为维护人员了解该异常信息提供便利。
更进一步，在对日志信息进行统计操作的情况下，将当前预定的统计周期内，对在当前统计周期内存储到所述关系型数据库中的日志信息与上一个统计周期内存储到所述关系型数据库中的日志信息进行对比统计，当对比统计结果大于或等于预定的告警阈值的情况下，将该日志信息发送给所述告警处理装置；其中，统计操作中具体包括统计两个相邻统计周期间的数据环比值、统计累计数据对比率的浮动范围。
根据如图1所示的方法，日志操作平台在对日志信息进行操作的过程中，根据操作类别来判断出日志信息的存储位置，存储位置包括关系型数据库和日志服务器的内存数据库和文件系统，其中，关系型数据库和内存数据库中对数据的读取速度较快，能够快速有效地缩短对对日志数据操作处理的时间、提高操作处理效率，从而能够解决现有技术中针对海量日志信息操作处理方法，存在对海量日志信息的操作处理时间长、效率低的问题。
基于相同的发明构思，本发明实施例还提供了一种应用在日志客户端上的海量日志信息的处理装置。
本领域普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器和光学存储器等）上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。