用于处理网络元数据的改进的流式处理方法及系统的制作方法_2

文档序号:9332661阅读:来源:国知局
使得能够转换网络元数据,这使其适合于需要网络元数据混淆的部署。
[0024]根据本发明的另一实施例,可以流式处理方式来实施本方法及系统,S卩,当输入网络元数据到达时处理所述输入网络元数据(“实时或近实时”)而无需依靠所述网络元数据的持续存储。本发明的此实施例允许在具有有限存储器及存储容量的计算机上部署所述系统及方法,此使所述实施例尤其适合于在计算云中的部署。
[0025]根据一策略或多个策略处理类成员实例之后,本发明的实施例可提供用于将所述策略的应用结果转化成适合于由所述经转化的网络元数据或原始网络元数据的接收方进一步处理的零、一或多个表示(“转化器”)的有效方法。结果,本文揭示的系统及方法特别适合于其输出可被引向现有不同组件(例如,适于与系统日志元数据一起使用的SIEM系统)的现有环境中的部署。
[0026]本发明的实施例提供可为特定的一或多个类的网络元数据及/或输出格式定制的多种转化器,借此增加系统的吞吐量以更好地启用网络上的实时或近实时服务。此外,响应于大量的特定类或子类的网络元数据,经定制的工作线程及/或转化模块的多个实例可经实例化以并行操作,从而进一步提升系统性能及吞吐量。
[0027]此外,本发明的实施例能够通过附加消息鉴别码来保证经转化的网络元数据的完整性。本发明的此实施例使得复杂的网络元数据接收方能够验证所接收到的信息的真伪。
[0028]本发明的又另一实施例为以对现有网络生态系统来说透明的样式来部署所述系统及方法的能力。此实施例不要求现有网络组件的配置的任何改变。
[0029]本发明的另一实施例提供用于以视觉或以文本术语或其组合形式描述网络元数据处理及转化规则的方法及设备。在所述策略的描述完整且被验证为非矛盾后,适用到服从所述规则的类成员的策略及转化器可被实例化为从一或多个网络元数据处理及转化规则定义同时派生的一或多个可执行模块。结果,跨越多个模块实现系统策略一致性。此外,实施所述策略及转化规则的模块的二元性质使所述系统能够以明显超过解释相当的处理规则的环境中的处理速率的速率处理输入的网络元数据。
【附图说明】
[0030]为了更清楚地确定本发明,现在将参考附图通过举例的方式描述一些实施例,其中:
[0031]图1提供软件定义的网络系统的简化示意图,所述软件定义的网络系统包含产生能够根据本发明的实施例进行分析的元数据的多种网络装置;
[0032]图2提供软件定义的网络系统的简化示意图,所述软件定义的网络系统包含产生元数据的多种网络装置及根据本发明的实施例的用于在分析此类元数据的同时管理所述网络的系统;
[0033]图3提供基于云的网络系统的简化示意图,所述基于云的网络系统包含产生能够根据本发明的实施例的进行分析的元数据的多种网络装置;
[0034]图4提供基于云的网络系统的简化示意图,所述基于云的网络系统包含根据本发明的实施例的合作以使所述网络自动化同时分析元数据的多种处理模块;
[0035]图5提供包含根据本发明的实施例的合作以分析元数据的模块的软件定义网络及基于云的计算环境的稍微简化示意图;
[0036]图6为说明本发明的实施例的简化示意图,在所述实施例中为了提供按需NetFlow信息而并入有短期存储装置;
[0037]图7提供说明本发明的替代实施例的另一简化示意图,在所述替代实施例中为了提供按需NetFlow信息而并入有短期存储装置;以及
[0038]图8提供说明本发明的实施例的简化示意图,在所述实施例中可使用地理空间分析检测僵尸网络。
【具体实施方式】
[0039]一般来说,本发明涉及网络监视及事件管理。更特定来说,其涉及处理作为网络监视活动的结果而获得的网络元数据及所述元数据的随后处理,此可导致以及时方式将有用的信息报告到事件管理实体。
[0040]在以下描述中,仅出于说明的目的在网络元数据处理的背景下揭示本发明。然而,应了解,本发明适合于更广泛的多种应用及用途,且本发明的某些实施例适用于除了网络元数据处理之外的背景中。举例来说,在OpenFlow兼容环境中,系统可从网络接收NetFlow信息且输出指令到OpenFlow控制器。
[0041]在本发明的一个实施例中,可使用NetFlow到系统日志转化器(“NF2SL”)来实施所述方法及系统,NetFlow到系统日志转化器是使得能够将NetFlow版本I到8、NetFlowv9、jFlow、sflowd、sFlow、NetStream、IPFIX 及类似(“NetFlow”)产生方与能够处理系统日志的任何SIEM系统集成的软件程序。通过将由网络上的所述NetFlow产生方产生的网络元数据转化成网络监视系统的通用语-系统日志来实现所述集成。可根据由NF2SL管理员建立的策略、规则及优先权执行NetFlow信息到对应的系统日志信息的映射。
[0042]用于软件定义联网的NFI
[0043]软件定义联网(SDN)是将网络控制(关于数据包转发的决策)与网络拓扑(网络装置的物理连接性)分离的联网体系结构概念。所述SDN体系结构的典型实施方案将决策过程放在分离的计算装置(例如,服务器)上,且将数据包转发留在传统的网络装置(例如,交换机及路由器)上。
[0044]参看图1,在示范性实施例中,借助于OpenFlow协议100来实行控制平面与数据转发平面之间的通信。此协议使被称为OpenFlow控制器101的中央装置能够将流量引导通过其域中的一或多个OpenFlow兼容网络装置102。一般来说,OpenFlow控制器101可基于特定特性(例如,最少的跳跃数目、链路带宽或延时)来设立通信路径。
[0045]OpenFlow控制器101使用流表抽象(flow table abstract1n)设立通信路径,在所述流表抽象中,流由数据包字段的集合表示,横穿网络装置的各数据包被与所述数据包字段匹配。当经控制的网络装置102遇到不具有有关的转发指令的数据包时,网络装置102将所述数据包转发到OpenFlow控制器101以检查及提供关于将来如何处理类似数据包的指令。
[0046]OpenFlow控制器101基于OSI层2 (本地网络连接性)及OSI第3级(路由)网络级信息做出其决定。OpenFlow控制器101可用的信息范围使得不可能通过利用关于应用程序及网络用户的身份的信息更有效地充分利用网络基础架构容量。
[0047]通过引入根据由系统管理员设定的策略或一组策略消化更高级信息(例如,OSI层7信息(应用)及用户身份)且考虑到此类更高级信息来引导OpenFLow控制器101进行较低级网络数据包转发决定的额外组件,可缓解OpenFlow控制器101的此缺陷。
[0048]参看图2,在示范性实施例中,通过代理,NFI服务器110提供更高级信息,所述更高级信息包含(但不限于)OSI第7级应用级数据,所述应用级数据使OpenFlow控制器101能够做出涉及如何利用网络的更智能决定。
[0049]进一步参看图2,NFI服务器110处理由OpenFlow 100兼容联网装置102产生的NetFlow信息111,且将合并的流数据传达到实施为能够与OpenFlow控制器101通信的应用程序的NFI OpenFlow代理113。在示范性实施例中,可借助于支持NFI OpenFlow代理113与OpenFlow控制器101之间的双向通信的OpenFlow“北向”API 114来实施NFI OpenFlow代理113与OpenFlow控制器101之间的通信。
[0050]应了解,NFI OpenFlow代理113可与多个OpenFlow控制器101通信且可从多个NFI服务器110接收流相关信息。还应了解,NFI服务器110可将流相关信息发送到多个NFI OpenFlow 代理 113。
[0051]NFI OpenFLow代理113经由受保护的通信信道112从NFI服务器110接收关于所述流的信息,所述流信息包含(但不限于)0SI第7级应用程序信息及用户身份信息。
[0052]NFI服务器110接收由网络装置102产生的NetFlow消息中的OSI第7级应用程序信息,且从用户身份感知NetFlow消息(例如,NetFlow安全事件日志(NSEL)或在OSI层2扩展中(例如思科安全组标签(SGT)))派生用户信息。
[0053]可借助于分类(例如,伴有应用程序标识的PANA-L7或其它类似应用程序分类)供应OSI第7级应用程序信息。可由标准加密手段(例如,SSL/TLS或DTLS协议)保护通信信道112。
[0054]在示范性实施例中,NFI OpenFlow代理113能够借助于OpenFlow “北向”API 114从OpenFlow控制器101检索关于OSI层2 (本地网络连接性)及OSI层3 (路由)的信息。应了解,NFI OpenFlow代理113可从自NFI服务器110或通过其它构件接收到的流数据推断OSI层2(本地网络连接性)及OSI层3(路由)信息。
[0055]此外,NFI OpenFlow代理113能够将从NFI服务器110接收到的OSI第7级应用程序信息及用户身份信息映射到由系统管理员提供的策略,确定由网络装置102组成的网络的状态是否满足所述策略,且如果有需要就指示OpenFlow控制器101应用校正动作。
[0056]示范性NFI OpenFlow代理113策略可包含:如由与网络流量相关联的思科SGT所确定,强制将特定网络带宽分配到特定
当前第2页1 2 3 4 5 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1