分布式事件关联系统的制作方法_2

文档序号:9422735阅读:来源:国知局
成的日志或消息中采集事件数据。数据源例如可包括:网络交换机、入侵防护系统(IPS)、漏洞评估工具、反病毒工具、反垃圾邮件工具、加密工具以及企业应用。事件数据例如从数据源日志获取,并存储在数据存储器111中。可例如通过日志文件或系统日志服务器中的条目、告警、警报、网络包、电子邮件或通知页来提供事件数据。数据源201可向包括事件数据的SIEM 210发送消息。
[0027]事件数据可包括与生成事件的源有关的信息以及描述事件的信息的事件字段。例如,事件数据可将事件识别为用户登录。事件数据中的其他事件字段可包括何时从事件源接收事件(“接收时间”)。接收时间是日期/时间戳。事件字段可描述源,例如事件源是网络端点标识符(例如,IP地址或MAC地址)和/或源的描述,可能包括与产品提供商和版本有关的信息。随后,日期/时间戳、源信息以及其他信息可用于事件关联系统100实施的关联。事件字段可包括事件的元数据,例如事件发生的时间、事件发生的地点、涉及的用户等等。
[0028]数据源201的示例在图1中示出为数据库(DB)、UNIX、Appl和App2。DB和UNIX是包括网络设备(例如,服务器)且生成事件数据的系统。Appl和App2是生成事件数据的应用。Appl和App2可为企业应用,例如信用卡和股票交易的金融应用、信息技术应用、人力资源应用、或任何其他类型的应用。
[0029]数据源201的其他示例可包括安全检测和代理系统、访问和策略控制、核心服务日志及日志集运商、网络硬件、加密设备以及物理安全。安全检测和代理系统的示例包括IDS、IPS、多用途安全装置、漏洞评估和管理、反病毒、诱捕系统、威胁响应技术以及网络监控。访问和策略控制系统的示例包括访问和身份管理、虚拟专用网(VPN)、缓存引擎、防火墙以及安全策略管理。核心服务日志和日志集运商的示例包括操作系统日志、数据库审计日志、应用日志、日志集运商、网页服务器日志以及管理控制台。网络设备的示例包括路由器和交换机。加密设备的示例包括数据安全性和完整性。物理安全系统的示例包括密钥卡读卡器、生物辨识、防盗自动警铃以及火灾警报。其他数据源可包括与网络安全无关的数据源。
[0030]连接器202可包括由从数据源向SIEM 210提供事件数据的机器可读指令组成的代码。连接器202可从数据源201中的一个或多个提供有效的、实时(或接近实时)的本地事件数据采集和过滤。例如,连接器202从事件日志或消息收集事件数据。事件数据的收集被示出为“EVENTS”,其描述来自数据源201的、向SIEM 210发送的事件数据。连接器可用于所有数据源201。
[0031]分布式事件关联系统100中的主节点110可从数据源201接收事件数据,并将事件存储到数据存储器111和集群120中。分布式事件关联系统100的集群节点121a-n可例如基于分布式事件关联系统100的RD节点130提供的规则关联事件。例如,关联包括:发现事件之间的关系,例如通过生成元事件来推断那些关系的重要性,排序事件和元事件,以及提供采取行动的架构。SIEM 210还支持响应管理、点对点(ad-hoc)询问方案、报告和电子取证分析的重放以及网络威胁和活动的图形可视化。
[0032]集群节点121a_n审查接收的事件,以确定特定的一个或多个事件涉及SHffi210中处理的各种规则中的哪个(如果有)。如果测试的事件具有满足或可能满足一个或多个规则的一个或多个属性,则认为涉及该规则。例如,如果测试的事件具有特定的源地址,该特定的源地址来自满足规则的条件的特定的子网,则可认为涉及该规则。在这个意义上,事件可以以与规则关联的指定的时间间隔保持兴趣且因此,通过知道这些时间窗事件,能够以正当理由存储及丢弃事件。SIEM 210可向用户传送或显示与事件和事件处理有关的报告或通知。
[0033]现在结合方法描述图1中示出的分布式事件关联系统100中各组件之间的交互的示例。图3中示出的方法300描述创建集群120。
[0034]在301处,主节点110将分区分配给每个集群节点。例如,主节点110将事件中的一个或多个字段(例如,客户ID)分成有序的连续块,并将每个块分配给一对集群节点。该对集群节点可包括主要集群节点和故障转移集群节点。例如,集群节点121a可以是事件的块的主要集群节点,且可以是事件的另一个块的故障转移节点。块分配可将事件均匀散布于集群节点121a-n且针对每个集群节点散布,块分配将事件均匀分发于故障转移节点上。任何节点故障后,随后的属性确保数据负载保持均衡。
[0035]此外,在301处,主节点110可等待直至集群120达到稳定状态,以确定分区。稳定状态例如包括预定数量的集群节点可用于集群120时。
[0036]在302处,主节点110根据分区确定分区图。分区图可识别每个分区、分区的事件字段值的块、主要集群节点、以及主集群节点的故障转移集群节点。分区图可包括元组的列表,例如{dim_start_value,dim_end_value,primary_node,failover_node}。对每个分区提供元组。Dim_start_value是维度开始值,dim_end_vlaue是维度结束值,例如,分别针对客户ID的O和10,OOO0维度例如是指事件中的字段,值O和10,000是客户ID的开始事件字段值和结束事件字段值的示例。值0-10,000表示分区的事件字段值的范围。
[0037]在303处,主节点110可将分区图传递至所有集群节点121a_n。分区图可存储在主节点110、集群节点121a-n中的每一个以及数据存储器111中。
[0038]在304处,集群节点121a_n中的每一个将其分配的分区的应用数据从数据存储器ill加载到其数据存储器(例如内存)中。应用数据可包括与可用于基于事件关联规则关联事件的事件数据有关的任何数据。应用数据的一个示例可以是与聚合的各事件有关的信息,例如客户的跨多个天、月或年的历史购买数据。在另一个示例中,应用数据可包括源IP地址的信任列表,或之前尝试未授权访问网络的源IP地址的不友好列表。应用数据可用于事件关联。例如,关联规则可包括:如果在某时间段内发生了预定数量的失败的登录尝试,则确定源IP地址是否在不友好列表上,以及如果失败的登录尝试中的一个或多个具有不友好列表上的源IP地址,则触发告警。如果分区是基于客户ID的,每个集群节点将其分区的应用数据(例如其客户范围)加载到其内存中。那样,在集群节点接收具有对应的客户ID的事件时,其能够用内存中的所有相关数据有效地处理分区的规则。
[0039]在305处,集群节点121a_n中的每一个将确认发送至指示其加载其应用数据的主节点110。主节点110已从所有集群节点121a-n接收确认之后,主节点110开始接受进入事件并将进入事件路由至集群节点121a-n。
[0040]如果在分布式事件关联系统100中使用多个RD节点,则主节点110可将集群节点121a-n中的每一个分配给RD节点中的一个。RD节点的分配被传送至集群节点121a_n。
[0041]图4中示出的方法400描述将进入事件路由至集群节点121a-n和122。在401处,主节点110从接收的事件提取用于确定分区的字段的事件字段值。事件可以是来自外部数据源(例如,图2中示出的数据源201中的一个)的进入事件。维度可以是通过其对事件数据进行分区的字段。事件字段值可以是字段中的值。
[0042]在402处,主节点110确定事件字段值是否是非空的。空值可能意味着事件字段中没有值,或事件字段中存在不合适的值,例如替代整数或预定范围外的值的字符串。如果事件字段值是非空的,则在403处,主节点110根据分区图识别事件字段值的对应的集群节点。例如,如果事件字段值是客户ID 9000,则主节点110根据分区图识别集群节点121a存储客户ID值0-10,000的事件。在404处,主节点110将事件发送至从事件字段值和分区图确定的对应的集群节点,且主节点110还将数据发送至数据存储器111。集群节点可根据规则关联事件。
[0043]在405处,如果事件字段值是空的或不在任
当前第2页1 2 3 4 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1