专利名称：信息分析方法及其设备的制作方法
技术领域：
本发明涉及数据业务技术领域，具体涉及数据或信息分析、统计及挖掘，尤其涉及通过流水式任意组合多种分析方法的信息分析方法及其设备。
背景技术：
随着涉及移动部门的业务量的日益增多，其内部的安全隐患也随之增大，对于内部人员的监管工作也日益成为移动部门的重点工作之一。日志(log)分析系统就是从海量的日志信息中提取有价值的信息，从而判断出是否存在违规操作，并且追寻出违规操作的责任人。目前，正在使用的日志分析系统可以满足一些初级的分析需求，例如中国移动集团4A分析系统的一期规范。这样的分析方式比较简单，分析范围相对狭窄。其基本过程是:用户在页面配置分析策略，分析模型根据用户配置的分析策略，生成相应的sql语句。在分析作业执行的时候，使用生成的sql语句查询数据库，得到的结果即为预警信息，预警信息存入数据库。在用户进行分析作业查询时，就查询预警表，得到某一条分析策略的分析结果，由用户手工确认该操作是否违规。现有的技术方案如图1所示。图1是示意性地描绘了现有的日志信息分析系统的基本结构的示意图。从图1中可以看出，现有的分析系统的分析过程是，从逻辑结构上来说，属于一个单一的处理过程，其输入和输出的模式是固定的，输入来自页面拼装的sql (structured query language)语句，输出是从数据库查询到的结果集(result set)。而这个结果集，就是该分析系统的最终结果。这个过程不能改变，其结果集也不能被再一次进行加工处理。从技术层面来看，现有的分析方案的关键技术是sql语句的生成。用户在页面配置各个条件表达式，由信息分析模型生成sql语句。因此，这种分析方法在严格意义上只是一种一次性的数据库查询操作，并没有真正的分析。再加上在设计初期，并没有将分析策略的复杂性考虑全面，而且移动集团规范也尚未成型，所以现有的信息分析模型实现的较为简单，只是支持了关键字查询的分析策略，而并没有统计或数据挖掘分析的功能。相应地，现有的信息分析模型至少存在如下缺陷:第一，现有模型所支持的信息分析策略较为简单，仅仅是关键字查询数据库。这样，事实上，这样的信息分析模型只完成了一个对数据库数据的过滤筛选的功能。第二，不能完成统计功能。例如，要统计某一天之内同一账号的不同ip登陆超过10次的事件，是无法得到支持的。这样，大大限制了信息分析模型的实用性。第三，不能挖掘出零散事件之间的联系。例如，账号管理员非法创建了一个账号，之后又用该账号做了一些不合法的操作。现有的分析模型根本无法将这些看似毫无联系的事件相互关联起来，大大降低了对于违规事件挖掘的有效性。第四，配置不够灵活，无法进行多层次、多维度的信息分析策略配置。本发明就是针对上述缺点而提出的，能够同时完成数据筛选分析、数据统计分析或数据挖掘分析，并且实现各种分析方法之间的任意组合。
发明内容
本发明的目的在于，提供一种信息分析方法及其设备，从而能够至少部分地克服上面提及的缺陷。根据本发明的一个方面，提供了一种信息分析方法。所述信息分析方法用于对海量日志信息进行数据筛选、数据分析、数据统计和数据挖掘中的至少一项处理。所述信息分析方法包括:通过配置文件，获取需要被加载的至少一个功能插件的内容、数目及加载顺序；按照所述配置文件中设置的加载顺序，在插件框架上分别通过至少一个插槽接口加载所述配置文件中指定的相应功能插件；在加载完全部所述需要被加载的功能插件之后，开始接收数据；所接收到的数据依次通过已加载的每个功能插件，并相互协同地完成每个功能插件的相应功能；以及输出在经过流水线的最后一个插槽接口对应的功能插件处理后的数据。优选的，所述至少一个插槽接口中的前一个插槽接口的输出作为后一个插槽接口的输入。优选的，通过改变所述配置文件中设置的加载顺序，改变所述流水线的走向。优选的，所述改变流水线的走向包括:继续通过当前插槽接口的后续的各个插槽接口 ；终止于当前插槽接口 ；或将当前插槽接口的输出数据存储。优选的，所述至少一个插槽接口中的每一个插槽接口都遵循统一的接口标准。根据本发明的另一方面，还提供了一种信息分析设备。所述信息分析设备适用于对海量日志信息进行数据筛选、数据分析、数据统计和数据挖掘中的至少一项处理。所述信息分析设备包括:插件信息获取单元，用于通过配置文件，获取需要被加载的至少一个功能插件的内容、数目及加载顺序；插件加载单元，用于按照所述配置文件中设置的加载顺序，在插件框架上分别通过至少一个插槽接口加载所述配置文件中指定的相应功能插件；数据接收单元，用于在加载完全部所述需要被加载的功能插件之后，开始接收数据；功能执行单元，用于使得所接收到的数据依次通过已加载的每个功能插件，并相互协同地完成每个功能插件的相应功能；以及数据输出单元，用于输出在经过流水线的最后一个插槽接口对应的功能插件处理后的数据。相应地，本发明所提供的流水式信息分析方法及其设备凭借这种流水式的信息分析结构，使得该信息分析模型更加灵活，易用性更强，能够适应更多不同的应用场景。其技术优点如下:第一，本发明所提供的流水式信息分析方法及其设备的核心是一个通用的插件框架，插槽接口及其功能插件的个数由配置文件决定，数据例如从左至右流经所有被加载了功能插件的插槽接口，前一个插槽接口的输出可作为下一个插槽接口的输入，类似流水线。这种可配置的结构大大增加了分析系统的灵活性。第二，各功能插件与插槽接口的接口标准遵循统一的标准，均可被插槽接口动态加载，被加载的具体功能插件由配置文件决定。可以通过调整配置文件中功能插件被加载的先后顺序，来改变数据被各功能插件的处理顺序。第三，每一个功能插件既可以互相组合，形成一个综合的分析引擎，也可以是一个独立的专项引擎，从而实现使用特定的分析方法对数据进行分析。
第四，不仅能实现数据筛选分析，还可以完成数据统计分析以及数据挖掘分析，甚至更加复杂的专项分析功能。
本发明的特征、实施例和优点，将参照附图在以下详细描述，其中:图1是示意性地描绘了现有的日志信息分析系统的基本结构的示意图；图2是示意性地描绘了根据本发明实施例的流水式信息分析模型的示意图；图3是描绘了根据本发明实施例的流水式信息分析方法的具体实现的流程图；以及图4是描绘了根据本发明实施例的流水式信息分析设备的功能框图。
具体实施例方式接下来，将结合附图进行详细描述本发明的实施例。只要可能，在整个附图中，相同的附图标记将指示相同的部件。系统分析模型根据本发明实施例的流水式信息分析方法至少具备数据筛选分析、数据统计分析、数据挖掘分析等多种分析方法。从实际应用的角度出发，并考虑扩展性和灵活性，设计了一套流水式的、基于多种分析方法的联合信息分析模型，该模型的基本结构如图2示意性地示出。如图2所示，插槽框架设置并预留了多个插槽接口，用于加载所需的功能插件，以进行处理来实现相应的功能。例如，从左至右起第一个插槽接口加载了数据筛选引擎插件。这里，本领域技术人员可以理解的是，插槽接口的个数可根据实际需求灵活配置，本发明并不以此为限。下面，将会参考图3详细说明根据本发明实施例的流水式信息分析方法的具体流程。流水式信息分析方法图3是描绘了根据本发明实施例的流水式信息分析方法的具体实现的流程图。如图3所示，根据本发明实施例的信息分析方法包括:首先，通过配置文件，获取通过插槽接口需要被加载到插槽框架上的功能插件的内容、数目及加载顺序(步骤S301)。这里，配置文件例如以XML格式实现，如下所示:
权利要求
1.一种信息分析方法，所述信息分析方法用于对海量信息进行数据筛选、数据分析、数据统计和数据挖掘中的至少一项处理，其特征在于，所述信息分析方法包括: 通过配置文件，获取需要被加载的至少一个功能插件的内容、数目及加载顺序； 按照所述配置文件中设置的加载顺序，在插件框架上分别通过至少一个插槽接口加载所述配置文件中指定的相应功能插件； 在加载完全部所述需要被加载的功能插件之后，开始接收数据； 所接收到的数据依次通过已加载的每个功能插件，并相互协同地完成每个功能插件的相应功能；以及 输出在经过流水线的最后一个插槽接口对应的功能插件处理后的数据。
2.根据权利要求1所述的信息分析方法，其特征在于，所述至少一个插槽接口中的前一个插槽接口的输出作为后一个插槽接口的输入。
3.根据权利要求1或2所述的信息分析方法，其特征在于，通过改变所述配置文件中设置的加载顺序，改变所述流水线的走向。
4.根据权利要求3所述的信息分析方法，其特征在于，所述改变流水线的走向包括: 继续通过当前插槽接口的后续的各个插槽接口； 终止于当前插槽接口 ；或 将当前插槽接口的输出数据存储。
5.根据权利要求1所述的信息分析方法，其特征在于，所述至少一个插槽接口中的每一个插槽接口都遵循统一的接口标准。
6.一种信息分析设备，所述信息分析设备适用于对海量日志信息进行数据筛选、数据分析、数据统计和数据挖掘中的至少一项处理，其特征在于，所述信息分析设备包括: 插件信息获取单元，用于通过配置文件，获取需要被加载的至少一个功能插件的内容、数目及加载顺序； 插件加载单元，用于按照所述配置文件中设置的加载顺序，在插件框架上分别通过至少一个插槽接口加载所述配置文件中指定的相应功能插件； 数据接收单元，用于在加载完全部所述需要被加载的功能插件之后，开始接收数据；功能执行单元，用于使得所接收到的数据依次通过已加载的每个功能插件，并相互协同地完成每个功能插件的相应功能；以及 数据输出单元，用于输出在经过流水线的最后一个插槽接口对应的功能插件处理后的数据。
7.根据权利要求6所述的信息分析设备，其特征在于，所述至少一个插槽接口中的前一个插槽接口的输出作为后一个插槽接口的输入。
8.根据权利要求6或7所述的信息分析设备，其特征在于，通过改变所述配置文件中设置的加载顺序，改变所述流水线的走向。
9.根据权利要求8所述的信息分析设备，其特征在于，所述改变流水线的走向包括: 继续通过当前插槽接口的后续的各个插槽接口； 终止于当前插槽接口 ；或 将当前插槽接口的输出数据存储。
10.根据权利要求6所述的信息分析设备，其特征在于，所述至少一个插槽接口中的每一个插槽接口都遵循 统一的接口标准。
全文摘要
公开了一种信息分析方法及其设备。该信息分析方法用于对海量日志信息进行数据筛选、数据分析、数据统计和数据挖掘中的至少一项处理，并包括通过配置文件，获取需要被加载的至少一个功能插件的内容、数目及加载顺序；按照所述配置文件中设置的加载顺序，在插件框架上分别通过至少一个插槽接口加载所述配置文件中指定的相应功能插件；在加载完全部所述需要被加载的功能插件之后，开始接收数据；所接收到的数据依次通过已加载的每个功能插件，并相互协同地完成每个功能插件的相应功能；以及输出在经过流水线的最后一个插槽接口对应的功能插件处理后的数据。
文档编号H04L12/24GK103166787SQ201110421180
公开日2013年6月19日 申请日期2011年12月15日 优先权日2011年12月15日
发明者徐良, 李杰毅, 包森成, 杨明, 陈勇, 段文国, 诸葛凌啸 申请人:中国移动通信集团浙江有限公司