用于处理网络元数据的改进的流式处理方法及系统的制作方法_4

文档序号:9332661阅读:来源:国知局
除了 OpenFlow之外的协议及可运用除了 OpenStack之外的API以控制虚拟化计算资源。
[0086]按需NetFlow 信息
[0087]流信息数据非常多:如同思科ASR1000的单个中档路由器能够每秒产生400,000条NetFlow记录,这导致每天约1.6TB的数据。由于数据的高速率及容量,NFI策略中的许多经设计以合并及/或筛选数据且仅将大幅减少的本质信息报告到后端系统,例如(没有限制)SIEM系统。
[0088]通常,由NFI提供的经合并的信息对所述后端系统来说足够,但在特定情况下,尤其在与安全相关的情形下,所述后端系统可能需要更多关于紧接所关注事件之前的条件和紧接在所述事件之后的条件的信息。通过将事件背景考虑在内,后端系统可更从容地确定所观测到的事件的范围及后果。
[0089]举例来说,考虑SIEM系统接收到关于用户A对敏感装置D做的配置改变的通知的情况。乍一看,此事件不值得深究,因为用户A可被授权以配置装置D且具有足够的凭据以访问装置D且做出配置改变。但如果SIEM系统也从NFI接收数据,那么其现在能够使所述配置改变动作与网络上的发出配置改变请求的位置相关。从不同于在配置改变事件之时与用户A相关联的网络位置的网络位置发布配置改变请求的情况能够表示伪装攻击。
[0090]应了解,上文伪装攻击无法仅由鉴别及授权系统检测到。从鉴别及授权系统的观点来看,由于行为者持有有效访问凭据,所以所述配置改变完全合法。
[0091]本发明中揭示的NFI按需流信息机构的实施例使SIEM系统能够接收使网络信息与其它机器数据事后相关所需要的信息,而无需连续处理可为庞大的全部入站网络数据流。
[0092]参看图6,在另一示范性实施例中,NFI服务器110从一或多个网络装置接收NetFlow数据111。借助于NFI策略141的经配置的集合,NFI服务器110处理NetFlow数据111且以SIEM系统140理解的格式将合并的NetFlow数据142报告到SIEM系统140。
[0093]与此类动作同时,NFI服务器110将接收到的NetFlow数据111传播到短期存储装置145,其中NetFlow数据111被放置于最左时间窗144中。
[0094]在示范性实施例中,短期存储装置145为(可能)在RAM中、SSD或某其它快速及/或本地存储装置上的具有小存取时间的存储库。逻辑上,可将短期存储装置145分裂成可配置数目的区段,举例来说,时间窗144,时间窗144中的每一者含有在可配置周期At中接收到的NetFlow数据111信息。短期存储装置145通常实施滑动窗方案,其中在各周期A t之后,将扩增的NetFlow格式143的最右时间窗144转发到长期存储装置146,短期存储装置145逻辑移位且创建新的最左时间窗144以存储传入的NetFlow数据111信息。长期存储装置146的存取时间及存储容量通常大于或等于短期存储装置145的存取时间及存储容量。
[0095]应了解,扩增的NetFlow格式143可与原始NetFlow数据111相同或可含有额外标记信息以用于长期存储装置中。
[0096]在示范性实施例中,SIEM系统140可执行消耗由NFI服务器110供应的经合并NetFlow数据142及任选的其它机器数据153的一组策略150。如果在来自一组策略150的策略的执行过程中,SIEM系统140检测到在时间T发生的事件151,那么SIEM系统140可发出请求152到NFI服务器110以提供在时间间隔[T-t,T+t]期间由NFI服务器110接收到的额外NetFlow 111数据,其中t为由SIEM系统140选择的间隔半宽。
[0097]在接收到SIEM系统140的请求152时,NFI服务器110基于所请求的时间间隔[T-t,T+t]的开始时间及结束时间确定所请求的信息在存储装置中的位置。假设在请求152时,短期存储装置145含有对应于时间间隔[T1,T2]的NetFlow 111数据,Τ2彡Tl,且所请求的时间间隔[T-t,T+t]在短期存储装置145的时间间隔[Tl,T2]内,那么NFI服务器110检索来自短期存储装置145的所请求信息且将所检索的信息转发156到SIEM系统140 (任选地使用额外处理)。
[0098]如果所请求的时间间隔[T_t,T+t]超出短期存储装置145的时间间隔[T1,T2]的范围,那么NFI服务器110试图自长期存储装置146检索所请求的信息,且如果检索成功,在任选地使用额外处理之后,作为响应将所检索的信息转发156到SIEM系统140。
[0099]如果所请求的时间间隔[T_t,T+t]分裂到短期存储装置145的时间间隔[T1,T2]与长期存储装置146之间,那么NFI服务器110自短期存储装置146检索所请求的信息的第一部分及自长期存储装置146检索所请求的信息的第二部分,串接信息的第一经检索部分及第二经检索部分,且作为响应将所述经串接信息转发156到SIEM系统140 (任选地使用额外处理)。
[0100]在所请求的时间间隔[T-t,T+t]的右边界T+t超出长期存储装置146中的信息的时间范围或所请求的时间间隔[T-t,T+t]的左边界T-t超出短期存储装置145中的信息的时间范围的情况中,NFI服务器110检索截断的时间范围的信息且作为响应向SIEM系统通知所述截断156。
[0101]在所请求的时间间隔[T-t,T+t]超出由短期存储装置145及长期存储装置146覆盖的时间范围的情况中,NFI服务器110作为响应向SIEM系统通知错误条件156。
[0102]当分析需要立即报告或动作的事件时,与现有NetFlow收集器使用的传统单层NetFLow信息存储相比,本文揭示的新颖的多层NetFlow数据存储方法提供显著的优势。对于需要立即报告或动作的事件,在快速短期存储装置145中搜索所请求的信息明显比在较慢的长期存储装置146中快,此导致SIEM系统140的更好响应时间。
[0103]应了解,SIEM系统140对额外信息的请求152可包含除了指定时间间隔之外的其它参数,例如NetFlow记录的来源、特定流信息、例如(没有限制)源或目的IP地址或其组合。还应了解,短期存储装置145及长期存储装置146中的NetFlow信息可根据时间及根据基于与NetFlow有关的信息(例如(没有限制)源或目的IP地址、源或目的OSI层4端口等等)的零、一或多个键值而被索引。
[0104]进一步参看图7,应了解,可由NFI服务器110、除了最初经处理NetFlow数据111的NFI服务器110的实例之外的NFI服务器110的实例及/或除了 NFI服务器110之外的过程操作短期存储装置145及长期存储装置146。还应了解,可由NFI服务器110的不同实例或由除了 NFI服务器110之外的过程操作短期存储装置145及长期存储装置146。此夕卜,对短期存储装置145及长期存储装置146的存取时间可为相同的,且可存在多个两个以上存储层。还应了解,长期存储装置146为任选组件,且当短期存储装置145中的信息老化超过经配置的使用期限时可丢弃所述信息。
[0105]用于使网络与本文揭示的其它机器数据相关联的新颖的方法使得能够检测攻击,当仅把网络或其它机器数据考虑在内时所述攻击为不可检测的。用于本文揭示的网络信息存储的新颖方法允许在“仅当需要时”的基础上设置网络信息而无需任何初期处理。
[0106]基于地理空间分析的受僵尸网络控制的软件检测(见图8)
[0107]当复杂的恶意软件代理与他们的网络主站通信时,其运用复杂的躲避检测技术。举例来说,代理可以在随机时间间隔处联系网络主站,通过基于上次通信会话期间接收到的信息选择下个网络主站来与多个网络主站通信,使命令与控制信道流量模式混淆等等。
[0108]方法
[0109]使用内嵌聚类分析算法(BIRCH-使用阶层的平衡迭代减少及聚类)以分类出站流量。BIRCH因有效确定“异常值即,并非一般底层模式的部分的数据点而众所周知。
[0110]特征设定
[0111]S = {Si},Si e {freq(dist, az),app,fI, f2, f3, f4, T}
[0112]freq-通信频率
[0113]dist-到目的主机的物理距离
[0114]az-方位
[0115]app-L7应用id或L4目的端口
[0116]η-流速率,流/h
[0117]f2_每流的数据包数目
[0118]f3_数据包大小,B
[0119]f4_ 流量速率,bps
[0120]基于流记录中发现的源或目的IP地址计算“dist”及“az”。类似功能,“freq”为到特定地理区域的通信频率。应用程序被分类成群组,所述群组中的每一者与指派到受监视主机(“标准应用”)的类别相关联。
[0121]报告标准
[0122]对由非标准应用程序或具有不寻常流量特性的标准应用程序与对等体的独特或罕见通信进行警示。
[0123]渗透测试,配置验证器
[0124]随着网络的大小增长,其拓扑变得更加复杂。拓扑复杂度又增加配置复杂度且使其更趋向出错。存在帮助系统管理员评定在他的管理下的网络的配置及安全态势并检查其有效性的许多工具。这些工具使用多种方法以确定网络中的弱点。举例来说,渗透测试工具“攻击”组织的防火墙,配置验证工具试图找出鉴别及授权策略中的漏洞,I
当前第4页1 2 3 4 5 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1