分布式事件关联系统的制作方法
【专利说明】
【背景技术】
[0001]计算机网络和系统已经变成现代企业不可或缺的工具。如今，实际上能够想到的每个主题的兆兆字节的信息通过网络存储和访问。在某些情况下，可能实时分析数据中的事件以作出决策。可存储及分析连续数据流中接收的大量数据，以作出与事件有关的决策。
【附图说明】
[0002]参照下面的图中示出的示例，在下面的描述中详细描述实施例。
[0003]图1图示分布式事件关联系统的示例。
[0004]图2图示安全信息和事件管理系统的示例。
[0005]图3图示用于创建集群的方法的示例。
[0006]图4图示用于将事件路由到集群节点的方法的示例。
[0007]图5图示用于将事件匹配到规则条件的方法的示例。
[0008]图6图示用于将集群修改成包括新的集群节点的方法的示例。
[0009]图7图示用于在集群节点离开集群时修改集群的方法的示例。
[0010]图8图示可用作分布式事件关联系统中的节点的平台的计算机系统的示例。
【具体实施方式】
[0011]为了简单和说明的目的，通过主要参照实施例的示例来描述实施例的原理。在下面的描述中，为了提供对实施例的全面理解，提出了许多具体细节。显然，可不受限于所有具体细节来实践实施例。此外，实施例可以以各种组合方式一起使用。
[0012]根据示例，分布式事件关联系统可关联多个事件。可由一个或多个设备生成包含存储在分布式事件关联系统中的事件的数据。包含事件的数据的量可随着从设备接收的新数据而持续增长。
[0013]分布式事件关联系统中的节点的集群可存储包含事件的数据，且可对事件实施计算密集型关联。可存储包括条件的规则以关联事件。分布式事件关联系统可将规则应用到事件，以检测某些类型的活动，以及响应于检测到活动而实施某些功能。
[0014]分布式事件关联系统能够实现跨节点的集群的事件数据的动态数据分区机制，且能够将进入事件路由到包含有效事件关联的相关数据的节点。分布式事件关联系统还能够实现分布式检查点以及恢复功能，允许集群依靠快速的故障转移从故障的任何单点存活。
[0015]事件可包括活动，例如动作。活动可在计算机上和/或计算机网络中发生或被实施。事件的事件数据可包括描述和/或与计算机上或计算机网络中实施的活动有关的任何数据。可由分布式事件关联系统关联并分析事件数据，以检测某些条件以及触发包括告警或其他操作动作的某些操作。
[0016]在一个示例中，可由分布式事件关联系统关联并分析事件数据，以识别网络或计算机安全威胁。通过事件关联检测的活动可以是恶意活动，例如尝试获得对计算机网络或计算机系统的未授权访问。事件的活动可能与用户(也称为行动者)关联，以识别安全威胁以及安全威胁的原因。活动还可包括登录、退出、通过网络发送数据、发送电子邮件、访问应用、读或写数据等等。安全威胁可包括确定指示可疑或不恰当的行为的活动，其可通过网络或在连接至网络的系统上实施。例如，关联可包括检测5分钟时间段内同一的用户在多个不同的机器上的失败的登录尝试。
[0017]事件数据的数据源可包括网络设备、应用、或下面描述的可操作用于提供可用于识别网络安全威胁的事件数据的其他类型的数据源。可在数据源生成的日志或消息中采集描述事件的事件数据。例如入侵检测系统、入侵防护系统、漏洞评估工具、防火墙、反病毒工具、反垃圾邮件工具、以及可生成描述由源实施的活动的日志的加密工具。可例如通过日志文件或系统日志服务器中的条目、告警、警报、网络包、电子邮件、通知页来提供事件数据。
[0018]事件数据可包括与生成事件的设备或应用有关的信息。事件源的标识符可以是网络端点标识符(例如，互联网协议(IP)地址或媒体访问控制(MAC)地址)和/或源的描述，可能包括与产品提供商和版本有关的信息。时间属性、源信息以及其他信息被用于将事件与用户关联，并针对安全威胁分析事件。
[0019]事件关联不限于检测网络安全威胁，且可应用于许多不同的应用。例如，可关联在线购物交易以检测某些条件，或者可关联银行金融交易以检测某些条件。事件关联可应用于接收大量数据的应用，这些大量数据为实施某些动作被实时关联以检测某些条件。可检测的活动不限于恶意活动，且可以是可通过对事件的规则的应用来检测的任何类型的活动。
[0020]图1图示分布式事件关联系统100的示例。分布式事件关联系统100可包括主节点110，用作包括集群节点121a-n的集群120的控制中心。节点可包括计算机平台，计算机平台包括至少一个处理器以及数据存储器。存储器可包括内存和/或其他类型的数据存储器。集群120为一组节点，例如，集群节点121a-n以及无关的集群节点122，集群节点121a-n存储分区的事件数据。主节点110可管理集群成员关系、创建并维护对存储在每个集群节点中的事件的分区进行识别的分区图、接收包括事件的进入事件数据，以及将每个事件的事件数据路由到存储对应于事件的分区的集群节点。可通过事件数据中的字段分区事件数据，例如用户ID、设备ID、事件时间等。例如，金融应用可具有非常大的交易数据集，可通过客户ID分区，因此，可为集群节点121a-n中的每个分配客户ID的块。进入的交易事件具有编码在事件字段中的一个字段的客户ID。根据分配给每个集群节点的客户ID，将事件数据存储到集群节点121a-n上，且每个集群节点可根据规则关联事件。
[0021]集群120可包括无关的集群节点122，其关联不具有与分区有关的数据的事件，例如，没有客户ID的事件。规则指定(RD)节点130可存储用于关联跨多个数据分区的事件的规则。分布式事件关联系统100可包括备用主节点140，其维护主节点的控制数据的备份，且如果主节点故障，其可接管主节点。
[0022]数据存储器111可包括数据库、在线分析数据存储系统或其他类型的数据存储系统。数据存储器111可包括硬件(例如硬盘、内存、处理电路等)，用于存储数据以及执行数据存储和获取操作。数据存储器111可存储分布式事件关联系统100使用的任何信息。数据存储器111可存储所有接收的事件数据(分区的和未分区的事件数据两者)。
[0023]分布式事件关联系统100可从一个或多个源接收事件115。事件115可包括事件数据，该事件数据包括与事件115有关的信息。事件115存储在数据存储器111中。此外，主节点110将每个分区的事件转发至对应的集群节点以供存储。例如，集群节点121a存储具有从1-10，000的客户ID的所有事件，集群节点121b存储具有从10，0001到11，000的客户ID的所有事件，等等。每个集群节点可根据RD节点130a-d提供的一个或多个规则关联事件。关联可包括转发至集群节点的事件115应用规则，以检测某些活动，这些活动可响应于活动的检测而触发动作117 (例如，告警、通知、报告、事件的进一步分析等等)。
[0024]集群节点121a_n表示集群120包括多个节点。节点的数量可随时间改变，且可基于要存储和要关联的数据的量而改变。此外，RD节点130可包括一个或多个节点。此外，主节点110可管理多个集群。此外，RD节点130以及数据存储器111被示出连接至集群120，以指示RD节点130以及数据存储器111可连接至集群120中的任何集群节点。此外，集群节点121a-n和122中的每一个可提示触发动作117的执行。
[0025]图2根据示例图示安全信息和事件管理系统(SIEM)环境210。图1中示出的分布式事件关联系统100可用于SIEM 210中，以处理事件数据，SIEM 210可包括实时事件处理。SIEM 210可处理事件数据以确定网络相关的条件，例如网络安全威胁。此外，通过示例的方式，SIEM 210被描述为安全信息和事件管理系统。
[0026]数据源201生成事件的事件数据，事件数据由SIEM 210收集并存储在数据存储器111中。数据源201可包括网络设备、应用、或可操作用于提供可分析的事件数据的其他类型的数据源。可在数据源201生