用于处理网络元数据的改进的流式处理方法及系统的制作方法
【技术领域】
[0001]一般来说，本发明涉及网络监视及事件管理。更特定来说，其涉及通过网络监视活动获得的网络元数据的处理及所述元数据的随后处理，此可有效导致以及时方式向元数据的消费方报告有用信息。
【背景技术】
[0002]网络监视为企业及服务提供商通常使用的关键信息技术(IT)功能，其涉及监视在内部网络上发生的活动以找到与性能、行为不当主机、可疑用户活动等等相关的问题。由于由多种网络装置提供的信息使网络监视成为可能。所述信息通常已被称为网络元数据，即，描述网络上的活动的一类信息，其对通过网络传输的剩余信息起补充及互补作用。
[0003]系统日志为通常用于网络监视的一种类型的网络元数据。系统日志为用于记录程序消息的标准且为原本不能够通信的装置提供了向管理员通知问题或性能的手段。系统日志通常用于计算机系统管理及安全审核以及广义信息性、分析及调试消息。其由跨越多种平台的多种装置(如打印机及路由器)及接收器支持。因此，系统日志可用以将来自许多不同类型的系统的日志数据集成到中央存储库中。
[0004]近来，被各种供应商称为NetFlow、jFlow、sFlow等等的另一类型的网络元数据已被引入作为标准网络流量的一部分(下文通常称为“NetFlow”)。NetFlow是已成为流量监视的工业标准的用于收集IP流量信息的网络协议。可由(例如)路由器、交换机、防火墙、入侵检测系统(IDS)、入侵保护系统(IPS)、网络地址转换(NAT)实体及许多其它装置的多种网络装置产生NetFlow。然而，直到最近，NetFlow网络元数据仅被用于事后网络监督目的，例如网络拓扑发现、定位网络吞吐量瓶颈、服务水平协定(SLA)有效性检查等等。NetFlow元数据的此类有限使用可通常归因于由网络装置产生的信息的高容量及高递送速率、信息源的多样性及将额外信息流集成到现有事件分析器中的整体复杂性。更特定来说，在实时设定中NetFlow元数据产生方通常已产生比消费方能够分析及使用的信息更多的信息。举例来说，连接到网络上的大型交换机或路由器的单个介质可能每秒产生400，000条NetFlow记录。
[0005]现今的系统日志收集器、系统日志分析器、安全信息管理(SM)系统、安全事件管理(SEM)系统、安全信息及事件管理(SIEM)系统等等(下文统称为“SIEM系统”)要么不能够接收及分析NetFlow，要么限于处理NetFlow数据包中所含有的基本信息，要么以比通常产生NetFlow数据包的速率低很多的速率处理此类数据包。
[0006]可靠的网络监视协议(例如，NetFlow v9 (RFC 3954)及IPFIX (RFC 5101及相关的IETF RFC))的出现显著扩大了在网络安全及智能网络管理领域中使用网络元数据的机会。同时，由于上文所识别的约束，现今的SIEM系统对网络监视信息的利用一般不超出仅报告所观测到的字节及数据包计数的范围。
【发明内容】
[0007]网络管理者及网络安全专业人员不断地面对且力图解决业界中通常被称为“大数据”的问题。由所述大数据问题产生的一些难点包括不能够分析及存储通常以不同格式及结构存在的大量机器产生的数据。通常经历的问题可总结如下:
[0008]1.要实时分析太多数据以及时洞察网络条件。
[0009]2.数据以不同格式从网络上的不同装置类型到达，使来自不同装置类型的数据的相关变得困难且缓慢；以及
[0010]3.要存储太多数据(举例来说，用于后期分析及/或用于符合数据保持要求)。
[0011]本发明通过提供实时分析大量元数据、在单一监视系统中将大量元数据转化成允许与其它数据便捷地相关的通用格式及通过实时数据减少技术(例如，数据包有效性检查、筛选、聚合及重复数据删除)使传入数据的量的大幅减小的能力来提供能够解决与大数据相关联的全部上文识别的问题的系统及方法。
[0012]本发明的实施例能够核对网络元数据的传入数据包的有效性且丢弃格式错误或不适当消息。实施例还能够实时检查且筛选网络元数据的传入数据包以识别它们的信息内容及段的相关方面，或投送传入网络元数据的不同流以用于本发明的处理引擎内的差异化处理。此类差异化处理中包含了通过基于能够由网络管理者配置并在传入消息的早期检查期间确定的标准丢弃特定消息或选定的消息流来减小输出元数据流量的机会。此使网络管理者能够持续不断地或响应于特定网络条件临时地使网络分析集中。例如，网络管理者可选择集中精力于系统内仅由网络上的边缘装置产生的网络元数据以调查可能的入侵事件。
[0013]本发明的实施例进一步能够进一步聚合包含于网络元数据的传入数据包中的信息内容，且使用捕获相同信息但产生比原始元数据流小很多的下游显示、分析及存储要求的一个或少很多的其它数据包取代大量相关数据包。
[0014]本发明的实施例进一步能够对由网络装置产生的正常元数据流的内容进行重复数据删除。因为传入流量通常在网络内通过一系列网络装置投送到其目的装置，且因为各网络装置通常对于横穿其的每一流产生网络元数据，所以产生促成业界中的大数据问题的显著量的冗余元数据。
[0015]本发明涉及能够接收呈多种数据格式的任意结构的数据(举例来说，网络或机器产生的元数据)、有效处理所述网络元数据，且以多种数据格式转发所接收到的网络元数据及/或从原始网络元数据派生出的网络元数据的系统及方法。可由多种网络装置(例如，路由器、交换机、防火墙、入侵检测系统(IDS)、入侵保护系统(IPS)、网络地址转换(NAT)实体及许多其它装置)产生网络元数据。以包含(但不限于)NetFlow及其变体(举例来说，jFlow, cflowd、sFlow、IPFIX)、SNMP, SMTP、系统日志等等的许多格式产生所述网络元数据信息。本文所描述的方法及系统能够以包含(但不限于)NetFlow及其版本(jFlow、cflowd、sFlow、IPFIX)、SNMP, SMTP、系统日志、OpenFlow等等的许多格式输出网络元数据信息。另夕卜，本发明的实施例能够以足以允许提供实时或近实时网络服务的速率输出选定类型的网络元数据信息。结果，所述系统能够在具有网络元数据的N(N多I)个产生方及原始或派生网络元数据的M(M多I)个消费方的部署中提供有意义的服务。可了解，本发明的特定实施例与RFC 5982中所反映的IPFIX中介器的定义相符。
[0016]本发明的实施例提供用于识别接收到的网络元数据的性质、特性及/或类型(“类”)且将接收到的信息组织成类别或类的方法及系统。当与NetFlow v9及基于模板且可具有广泛多样的内容及用途的类似消息相关联使用时，此可特别有用。当被归类或分类后，可进一步根据零、一或多个类特定处理规则或根据默认处理规则(“策略”)处理每一个别类成员实例。本发明的此方面使得能够细粒度处理无限多种网络元数据类型。
[0017]通过在操作的早期阶段识别传入的网络元数据的类，实施例能够有效组织网络元数据的处理，且在适当的环境中，通过筛选、合并及/或消除系统管理员不感兴趣的网络元数据部分来减少所需要的处理量，借此有助于系统的实时或近实时操作且潜在减少网络元数据收集器处的存储要求。举例来说，当特定量的网络流量横穿网络中的多个装置时，可从每一所横穿装置产生含有冗余信息的网络元数据。取决于SIEM系统内定义的监视的焦点或区域，可希望从被转发到SIEM系统的元数据流筛选、聚合、合并或消除含有冗余信息的元数据记录。可引入从针对所述SIEM系统的网络元数据的某些类移除冗余而同时对于针对收集器的所述流保存全部此类元数据的策略。
[0018]因此，应了解，可以支持及/或与操作于网络内的SIEM系统及/或元数据收集器的策略或焦点区域合作的方式定义由本发明的实施例实施的策略。
[0019]为网络管理及安全目的，可引入为了检测可能指示安全攻击的重要或不平常网络事件、报告网络上的流量尖峰、检测网络上的攻击、促进更好使用网络资源及/或识别网络上运行的应用程序的目的的策略。策略可为通用或基于时间的，且可将其应用到通过网络的特定类或子组的网络元数据。本发明的实施例预期设置与多个策略模块合作操作的多条工作线程以增加系统吞吐量及性能。
[0020]可引入经特殊化或经调节以与特定类或子类的网络元数据一起使用的工作线程以进一步提升系统性能及吞吐量。此类特殊化工作线程及策略模块可并行对网络元数据流的不同部分执行处理操作以提升系统性能及吞吐量。此外，响应于巨量的特定类或子类的网络元数据，特殊化工作线程及/或策略模块的多个实例可被实例化以并行操作以进一步提升系统性能及吞吐量。
[0021]举例来说，本发明的实施例提供检测驻留在内部网络上的外部控制的网络主机(“僵尸网络构件”)的独特能力。考虑由中央控制器(“僵尸网络主站”)操作的受感染的网络主机。通常，检测网络主机上的恶性内容需要在那个主机上安装专用的插件模块。此方法无法防备不可由任何基于主机的手段检测到的复杂恶意代理(“rootkit”)。本发明的实施例引入能够识别内部网络上的僵尸网络主站与僵尸网络构件之间的通信动作且向安全系统通知所述动作的策略。
[0022]由于网络元数据信息的使用，由本发明提供的智能实现比暴露到网络流量的类似目的装置所提供的智能高的可信度。举例来说，暴露到恶意流量的内嵌入侵检测系统(IDS)或入侵检测系统(IPS)的安全可能受到危害或遭受拒绝服务(DoS)攻击，而本发明可部署在此类攻击者无法访问的内部网络上。
[0023]此外，本发明