本发明属于信息安全领域，更具体地，涉及一种对海量事件分布式关联匹配的方法及系统。
背景技术：
随着信息技术的飞速发展，政府和企事业单位的核心业务的信息化程度越来越高，信息设备也越来越多，同时，随着信息系统网络化的程度越来越高，当今的企业和组织在it信息安全领域面临比以往更为复杂的局面，这既有来自于企业和组织外部的层出不穷的入侵和攻击，也有来自于企业和组织内部的违规和泄漏。
信息系统相关的各种软硬件设备、主机、应用系统、安全防护设施都会产生日志，并且这些设备都分散在网络拓扑中的不同位置，它们各自产生日志，每种设备类型的日志格式都不相同，并且每个设备或应用系统都有自己的日志控制台，这对安全审计与分析人员而言简直就是噩梦，根本没有精力去查看这么多日志，更不要说去分析其中的相关性了。另一方面，为了加强内控，国家机关和行业的主管部门也相继颁布了各种合规和内控方面的法律法规和指引，在这种情况下，大部分相关企业与政府部门都布署了日志审计系统，日志审计系统采集了海量的日志信息，每天的数据可能达到数百gb。日志审计系统最主要的应用环境是日志的采集、范式化、保存、取证、查询等，安全分析人员常常需要对海量日志之间的相关性进行分析，在以往事件量较小时，常规的日志审计系统还可以对它们之间的相关性进行分析，但在目前事件量大幅增长的情况下，要对它们之间的相关性进行分析，对于常规的日志审计系统或安全管理平台来说，几乎是不可能完成的任务。
当前信息安全分析人员及安全管理平台面临的问题：(1)安全日志数量以指数级增长，每天必须对海量日志进行分析。(2)网络攻击的手段越来越多样化，攻击手法越来越隐蔽，并且攻击者可以借助不同的技术手段设置多重跳板，使安全分析人员对每一次攻击的追查变得无比困难。(3)大量的apt(高级持续性威胁)事件，只能通过对不同的事件之间的相关性进行分析才有可能发现。
目前业界对事件的关联匹配处理方法，主要是两种方案：(1)集中式处理，即只有一个关联匹配中心，处理所有事件之间的关系，这种方式的缺点就是对海量事件的处理，基本上无能为力，关联匹配成为整个事件处理系统的性能瓶颈；(2)分布式处理，但各个分布式节点之间是独立的，各自为阵，无法体现与处理各个分布式节点之间的事件的相互关联关系。
针对分布式关联匹配的研究，目前研究较多的主要是应用于数据挖掘，知识发现等相关领域，也有应用于日志分析的，但是其发明是由分布式节点与汇聚节点组成的，其中汇聚节点是该发明的核心组成部分，所有规则的匹配判断，都是基于汇聚节点来完成的，汇聚节点仍然可能成为关联分析的瓶颈。因此，有必要提供一种对海量事件分布式关联匹配的方法，提高关联匹配的处理性能。
公开于本发明背景技术部分的信息仅仅旨在加深对本发明的一般背景技术的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。
技术实现要素：
本发明的通过对事件流分布式处理，大大提高规则匹配性能，同时将部分规则匹配成功后的后续处理工作也交给分布式节点处理，充分利用分布式节点的计算资源，实现了对海量事件的分布式关联匹配。
根据本发明的一方面，提出了一种对海量事件分布式关联匹配的方法，所述方法可以包括：管理中心存储并将规则配置信息同步发送到分布式数据处理节点；所述分布式数据处理节点接收所述规则配置信息和事件流；所述分布式数据处理节点的规则匹配引擎根据所述规则配置信息判断使用的规则类型；所述分布式数据处理节点的关联匹配引擎根据所述规则类型对所述事件流进行关联匹配生成关联事件。
优选地，所述分布式数据处理节点的关联匹配引擎根据所述规则类型对所述事件流进行关联匹配包括：如果所述规则类型为第一规则，则在所述分布式数据处理节点上对所述事件流直接进行规则匹配；如果所述规则类型为第二规则，则将规则拆分成多个匹配条件，分别进行匹配，匹配其中任一条件的事件流均放入共有缓存，以存储规则处理的中间状态，然后再对共有缓存中的不同事件之间的关联关系进行关联匹配。
优选地，所述第一规则为简单规则，与其他所述分布式数据处理节点上的事件无关。
优选地，所述第二规则为复杂规则，需要根据其他所述分布式数据处理节点上的事件来决定是否匹配成功。
优选地，所述共有缓存建立在所有的所述分布式数据处理节点上。
优选地，所述规则配置信息的存储与同步方式设置为：所述规则配置信息存储在所述管理中心上，同时，以完全一致的方式存储在所述分布式数据处理节点和所述管理中心的内存中；通过所述管理中心进行的所述规则配置信息的任何变动，均实时同步到所述分布式数据处理节点。
优选地，所述分布式数据处理节点能够独立进行规则匹配。
优选地，所述事件流的发送方式包括：(1)均匀地发送给所述分布式数据处理节点；(2)依据不同的事件类型发送至不同的所述分布式数据处理节点。
根据本发明的另一方面，提出了一种对海量事件分布式关联匹配的系统，所述系统可以包括：管理中心及多个分布式数据处理节点；所述管理中心存储并将规则配置信息同步发送到分布式数据处理节点；所述分布式数据处理节点接收所述规则配置信息和事件流；所述分布式数据处理节点的规则匹配引擎根据所述规则配置信息判断使用的规则类型；所述分布式数据处理节点的关联匹配引擎根据所述规则类型对所述事件流进行关联匹配生成关联事件。
优选地，所述分布式数据处理节点的关联匹配引擎根据所述规则类型对所述事件流进行关联匹配包括：如果所述规则类型为第一规则，则在所述分布式数据处理节点上对所述事件流直接进行规则匹配；如果所述规则类型为第二规则，则将规则拆分成多个匹配条件，分别进行匹配，匹配其中任一条件的事件流均放入共有缓存，以存储规则处理的中间状态，然后再对共有缓存中的不同事件之间的关联关系进行关联匹配。
本发明的有益效果在于：通过对事件流分布式处理，大大提高规则匹配性能，同时将部分规则匹配成功后的后续处理工作也交给分布式节点处理，充分利用分布式节点的计算资源，实现了对海量事件的分布式关联匹配；同时，对于规则配置的任何新增、编辑、删除，均可以实时的体现在整个关联匹配系统中，不需要重新启动或停止整个系统。
本发明的其它特征和优点将在随后具体实施方式部分予以详细说明。
附图说明
通过结合附图对本发明示例性实施方式进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显，其中，在本发明示例性实施方式中，相同的参考标号通常代表相同部件。
图1示出了根据本发明的对海量事件分布式关联匹配的方法的步骤的流程图。
具体实施方式
下面将更详细地描述本发明的优选实施方式。虽然以下描述了本发明的优选实施方式，然而应该理解，可以以各种形式实现本发明而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本发明更加透彻和完整，并且能够将本发明的范围完整地传达给本领域的技术人员。
实施例1
在该实施例中，根据本发明的对海量事件分布式关联匹配的方法可以包括：管理中心存储并将规则配置信息同步发送到分布式数据处理节点；分布式数据处理节点接收规则配置信息和事件流；分布式数据处理节点的规则匹配引擎根据规则配置信息判断使用的规则类型；分布式数据处理节点的关联匹配引擎根据规则类型对事件流进行关联匹配生成关联事件。
该实施例通过对事件流分布式处理，大大提高规则匹配性能，同时将部分规则匹配成功后的后续处理工作也交给分布式节点处理，充分利用分布式节点的计算资源，实现了对海量事件的分布式关联匹配。
图1示出了根据本发明的对海量事件分布式关联匹配的方法的步骤的流程图。下面参考图1详细说明根据本发明的对海量事件分布式关联匹配的方法的具体步骤。
步骤101，管理中心存储并将规则配置信息同步发送到分布式数据处理节点。
具体地，系统启动时，由于管理中心存储规则配置信息，管理中心要先于分布式数据处理节点起动，管理中心节点存储规则配置信息，并同步发送到分布式数据处理节点；同时启动各个分布式数据处理节点上的规则匹配引擎。分布式数据处理节点分别采用独立的计算资源，在某些情况下，比如某台设备的计算资源非常强劲，也可以多个节点安装在同一台设备上，以共用计算资源。
管理中心和分布式数据处理节点在启动时，还会判断当前规则的类型，即简单规则，还是复杂规则，并自动对不同类型的规则分类，以便进行后续处理。
步骤102，分布式数据处理节点接收规则配置信息和事件流。
作为一个示例，规则配置信息的存储与同步方式设置为：规则配置信息存储在管理中心上，同时，以完全一致的方式存储在分布式数据处理节点和管理中心的内存中，以提高处理效率；规则配置信息的任何变动，入口均为管理中心，管理中心实时通知分布式数据处理节点，分布式数据处理节点更新内存中的配置信息。
具体地，规则配置信息存储在一台单独的计算设备上，其同步机制如下：
(1)新增、修改、删除的入口，均通过管理中心；
(2)管理中心把规则配置信息存储在数据库中，也可以存储在文件系统里；
(3)分布式数据节点和管理中心节点在系统起动的时候，首先从数据库中获取所有规则的配置信息，并将其存储在各自的内存中；
(4)管理中心节点上任何规则配置信息的修改，均需同时更新管理中心节点内存中的数据，同时更新分布式数据节点上内存中的数据，具体地，通过restapi调用来实现更新。
作为一个示例，事件流的发送方式包括：(1)均匀地发送给分布式数据处理节点；(2)依据不同的事件类型发送至不同的分布式数据处理节点。
具体地，事件流均匀的发送给分布式节点，或者不同的分布式节点处理不同类型的事件。
步骤103，分布式数据处理节点的规则匹配引擎根据规则配置信息判断使用的规则类型。
作为一个示例，第一规则为简单规则，与其他分布式数据处理节点上的事件无关；第二规则为复杂规则，需要根据其他分布式数据处理节点上的事件来决定是否匹配成功。
具体地，规则分成两类，第一规则是跟其他分布式节点上的事件无关，即基于条件的规则，我们将其称为简单规则；第二规则是需要根据其他分布式节点上的事件来决定是否匹配成功的规则，也即基于关联或计数的规则，我们称其为复杂规则。
步骤104，分布式数据处理节点的关联匹配引擎根据规则类型对事件流进行关联匹配生成关联事件。
作为一个示例，分布式数据处理节点的关联匹配引擎根据规则类型对事件流进行关联匹配包括：如果规则类型为简单规则，则在分布式数据处理节点上对事件流直接进行规则匹配；如果规则类型为复杂规则，则将规则拆分成多个匹配条件，分别进行匹配，匹配其中任一条件的事件流均放入共有缓存，以存储规则处理的中间状态，然后再对共有缓存中的不同事件之间的关联关系进行关联匹配。
作为一个示例，共有缓存建立在所有的分布式数据处理节点上。
作为一个示例，分布式数据处理节点能够独立进行规则匹配。
具体地，对于简单规则，匹配成功后，直接在分布式数据节点上生成关联事件，同时进行规则响应动作等后续处理；对于复杂规则，只要满足规则中的一个条件，即表示需要进行下一步匹配，将下一步匹配所需要的相关事件信息放入共有缓存，然后再对共有缓存中的不同事件之间的关联关系匹配，只有所有的关联关系匹配成功，才生成关联事件，同时触发告警响应。
对于基于条件的简单规则，规则匹配成功，则满足整个规则条件，生成一条关联事件，并进行后续响应处理，响应处理包括但不限于以下响应：事件重定义、邮件发送、短信发送、微信发送、syslog发送、snmptrap发送等。
对于基于多事件关联的规则，如果规则中的任一类事件匹配成功，根据不同的规则配置，将后续处理必需的最少事件属性发送给共有缓存，其有缓存区记录所匹配条件的事件属性与状态，以便进行后续匹配判断。优选地，可以周期性的对共有缓缓存区的数据进行关联关系匹配的判断，如果匹配成功，则进行后续的响应处理，响应处理跟简单规则一致。
所有的匹配过程与中间过程中，均需要把事件的唯一id记录，以便可以追溯，对于每一个匹配成功的规则，均需要可以追溯到满足该匹配的所有事件。
该实施例通过对事件流分布式处理，大大提高规则匹配性能，同时将部分规则匹配成功后的后续处理工作也交给分布式节点处理，充分利用分布式节点的计算资源，实现了对海量事件的分布式关联匹配；同时，对于规则配置的任何新增、编辑、删除，均可以实时的体现在整个关联匹配系统中，不需要重新启动或停止整个系统。
应用示例
为便于理解本发明实施例的方案及其效果，以下给出一个具体应用示例。本领域技术人员应理解，该示例仅为了便于理解本发明，其任何具体细节并非意在以任何方式限制本发明。
首先，系统启动，管理中心节点存储规则配置信息，并同步发送到分布式数据处理节点，同时启动各个分布式数据处理节点上的规则匹配引擎，自动对不同类型的规则分类；
其次，事件均匀的发送到分布式数据处理节点，分布式数据处理节点接收管理中心下发的规则配置信息和事件流；
然后，分布式数据处理节点的规则匹配引擎根据规则配置信息判断使用的规则类型，即是简单规则还是复杂规则。
最后，管理中心存储并将规则配置信息同步发送到分布式数据处理节点；分布式数据处理节点接收规则配置信息和事件流；分布式数据处理节点的规则匹配引擎根据规则配置信息判断使用的规则类型；分布式数据处理节点的关联匹配引擎根据规则类型对事件流进行关联匹配生成关联事件。
该应用示例通过对事件流分布式处理，大大提高规则匹配性能，同时将部分规则匹配成功后的后续处理工作也交给分布式节点处理，充分利用分布式节点的计算资源，实现了对海量事件的分布式关联匹配；同时，对于规则配置的任何新增、编辑、删除，均可以实时的体现在整个关联匹配系统中，不需要重新启动或停止整个系统。
本领域技术人员应理解，上面对本发明的实施例的描述的目的仅为了示例性地说明本发明的实施例的有益效果，并不意在将本发明的实施例限制于所给出的任何示例。
实施例2
根据本发明的实施例，提供了一种对海量事件分布式关联匹配的系统，系统包括：管理中心及多个分布式数据处理节点；管理中心存储并将规则配置信息同步发送到分布式数据处理；分布式数据处理节点接收规则配置信息和事件流；分布式数据处理节点的规则匹配引擎根据规则配置信息判断使用的规则类型；分布式数据处理节点的关联匹配引擎根据规则类型对事件流进行关联匹配生成关联事件。
作为一个示例，分布式数据处理节点的关联匹配引擎根据规则类型对事件流进行关联匹配包括：如果规则类型为简单规则，则在分布式数据处理节点上对事件流直接进行规则匹配；如果规则类型为复杂规则，则将规则拆分成多个匹配条件，分别进行匹配，匹配其中任一条件的事件流均放入共有缓存，以存储规则处理的中间状态，然后再对共有缓存中的不同事件之间的关联关系进行关联匹配。
该实施例通过对事件流分布式处理，大大提高规则匹配性能，同时将部分规则匹配成功后的后续处理工作也交给分布式节点处理，充分利用分布式节点的计算资源，实现了对海量事件的分布式关联匹配；同时，对于规则配置的任何新增、编辑、删除，均可以实时的体现在整个关联匹配系统中，不需要重新启动或停止整个系统。
本领域技术人员应理解，上面对本发明的实施例的描述的目的仅为了示例性地说明本发明的实施例的有益效果，并不意在将本发明的实施例限制于所给出的任何示例。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。