动态检测网络中的业务异常的方法和系统的制作方法
【技术领域】
[0001]本发明的实施例涉及联网领域。更具体地，本发明的实施例涉及动态检测网络中的业务异常的方法和系统。
【背景技术】
[0002]在数据或计算网络中，业务异常检测是主要关注点。业务异常包括网络的业务水平中的不寻常和明显改变，其通常可以跨越多个链路和节点。诊断业务异常对于网络运营商和终端用户两者都是关键的。这因为必须从大量高维有噪数据(因为业务变化本质上是大的)提取并且解释异常模式而是困难的问题。
[0003]不管业务异常时有意还是无意的，理解网络中业务异常的本质由于至少两个原因而是重要的:
(a)业务异常可以在网络中形成拥挤并且给网络设备(例如，路由器或交换机)的资源利用施压，从而检测业务异常从操作角度来看是关键的；
(b)业务异常可以对客户或甚至最终用户产生巨大影响(例如，由于网络设备错配置引起的服务关闭)，即使它不一定影响网络也如此。
[0004]诊断业务异常中的明显问题是它的形成和原因可能变化很大:从拒绝服务(DoS)攻击到路由器错配置、到网络设备策略修改(例如，边界网关协议(BGP)策略改变)的结果等。例如，DoS攻击在从一个或多个主机发送的大量业务消耗网络中的大量资源(例如链路或web服务器)时发生。该人为增加的高负载拒绝(防止)对该资源的合法用户的服务。尽管在该区域中有许多学术提议，现今的互联网仍很少有保护机制来防止这样的攻击。此外，分布式DoS攻击(DDoS)甚至更危险。DDoS攻击也可以以个体web服务器以外的网络基础设施为目标。
[0005]为了识别业务异常，网络和系统管理员开始部署自动化响应系统来寻找可能是攻击的异常行为。然而，这些自动化响应系统可难以部署，这部分因为缺乏来自商用路由器/交换机供应商的支持。它们通常也非常沉重，这意指它们需要在网络中捕捉大量业务并且从而对网络管理系统和网络本身都引入大的开销。需要更好的检测业务异常的方法。
【发明内容】
[0006]公开在网络中实现的用于动态分配业务异常监测任务的方法。该方法以将网络的业务流分成多个业务聚集开始，其中每个业务聚集包含一个或多个业务流，并且其中每个业务聚集是用于监测的第一组的条目。对于用于监测的第一组的每个条目，方法从网络的网络设备收集第二组一个或多个网络设备来监测条目，其中该第二组一个或多个网络设备处理条目内包含的业务流。它从第二组一个或多个网络设备选择一个网络设备来就业务异常监测条目，其中从第二组一个或多个网络设备选择一个网络设备至少部分基于网络设备的监测计数，其中网络设备的监测计数是指派网络设备来监测的用于监测的第一组的多个条目的计数。
[0007]公开在网络中实现的用于动态检测业务异常的方法。该方法以所选的网络设备以第一采样速率在用于监测的第一组的条目内对业务流采样而开始。它确定是否存在业务异常。响应于业务异常可能以高概率存在这一确定，方法使第一采样速率增加到第二采样速率、将用于监测的第一组的条目分成第一数量的较小组并且选择该第一数量的较小组的第一子集用于监测。然后方法继续以第二采样速率对第一数量的较小组的第一子集采样、确定第一数量的较小组的第一子集内的业务百分比未超出从业务分布计算的业务百分比阈值。响应于第一数量的较小组的第一子集内的业务百分比未超出业务百分比阈值这一确定，方法使第二采样速率增加到第三采样速率、将第一数量的较小组的第一子集分成第二数量的较小组以及选择该第二数量的较小组的第二子集用于监测。然后它以第三采样速率对第二数量的较小组的第二子集采样、确定第二数量的较小组的第二子集内的业务百分比超出业务百分比阈值。响应于第二数量的较小组的第二子集内的业务的百分比超出业务百分比阈值这一确定，它报告用于监测的第二数量的较小组的第二子集是异常业务流。
【附图说明】
[0008]本发明通过示例而不是限制的方式在附图(其中类似的引用指示相似的元件)的图中图示。应注意在该说明书中对“一个”实施例的不同引用不一定指相同的实施例，并且这样的引用意指至少一个。此外，在连同实施例描述特定特征、结构或特性时，认为连同其他无论是否明确描述的实施例实现这样的特征、结构或特性，这在本领域内技术人员的知识内。
[0009]图1是图示根据本发明的一个实施例使用动态异常检测的网络的框图。
[0010]图2是图示根据本发明的一个实施例使用动态异常检测的SDN网络的框图。
[0011]图3A-D图示根据本发明的一个实施例在网络设备之间共享对于异常检测的负载的方法。
[0012]图4是图示根据本发明的一个实施例在网络设备之间共享对于异常检测的负载的方法的流程图。
[0013]图5是图示根据本发明的一个实施例在SDN网络的SDN交换机之间共享对于异常检测的负载的方法的伪代码程序。
[0014]图6是图示根据本发明的一个实施例的异常监测的动态放大的流程图。
[0015]图7是图示根据本发明的一个实施例对于SDN网络的异常检测的放大方法的伪代码程序。
[0016]图8是图示根据本发明的一个实施例包含处理器(其实现分配业务流的方法)的网络设备的框图。
[0017]图9是图示根据本发明的一个实施例包含处理器(其对于异常检测实现放大的方法)的网络设备的框图。
【具体实施方式】
[0018]在下列描述中，阐述许多具体细节。然而，理解本发明的实施例可在没有这些具体细节的情况下实践。在其他实例中，未详细示出众所周知的电路、结构和技术以便不使该描述难以理解。然而，本领域内技术人员将意识到本发明可在没有这样的具体细节的情况下实践。本领域内普通技术人员将能够实现适当的功能性而没有过度实验。
[0019]在说明书中对“一个实施例”、“实施例”、“示例实施例”等的引用指示描述的实施例可包括特定特征、结构或特性，但每个实施例可不一定包括该特定特征、结构或特性。此夕卜，这样的短语不一定都指相同的实施例。此外，当特定特征、结构或特性连同实施例描述时，认为连同其他无论是否明确描述的实施例实现这样的特征、结构或特性，这在本领域内技术人员的知识内。
[0020]在下列描述和权利要求中，可使用术语“耦合”和“连接”连同它们的派生词。要理解这些术语不规定为是彼此的同义词。“親合”用于指示彼此可或可不直接物理或电接触的两个或以上的元件彼此共同操作或相互作用。“连接”用于指示彼此耦合的两个或以上的元件之间的通信的建立。
[0021]如本文使用的，网络设备(例如，路由器或交换机)是联网设备件，其包括使网络上的其他设备(例如，其他网络设备、端系统)通信互连的硬件和软件。一些网络设备是“多个服务网络设备”，其提供对多个联网功能(例如，路由、桥接、VLAN(虚拟LAN)、交换、层2聚集、会话边界控制、服务质量和/或订户管理)的支持，和/或提供对多个应用服务(例如，数据、语音和视频)的支持。订户端系统(例如，服务器、工作站、便携式电脑、笔记本、掌上电脑、移动电话、智能电话、多媒体电话、互联网协议(V0IP)电话、用户设备、终端、便携式媒体播放器、GPS单元、游戏系统、机顶盒)访问通过互联网提供的内容/服务和/或在互联网上覆盖(例如，遂穿通过网络)的虚拟专用网(VPN)上提供的内容/服务。内容和/或服务典型地由属于服务或内容提供商的一个或多个端系统(例如，服务器端系统)或参与对等服务的端系统提供，并且可包括例如公共网页(例如，免费内容、店面、搜索服务)、私人网页(例如，提供电子邮件服务的用户名/密码访问的网页)和/或通过VPN的企业网。典型地，订户端系统耦合于(例如，通过耦合于接入网络(有线或无线)的客户端设备)边缘网络设备，其耦合于(例如，通过一个或多个核心网络设备)其他边缘网络设备，这些其他边缘网络设备耦合于其他端系统(例如，服务器端系统)。网络设备一般通过它的媒体访问(MAC)地址、互联网协议(IP)地址/子网络、网络套接字/端口和/或上层0SI层标识符来识别。
[0022]DoS预防和异常检测
互联网模型的不太有利的方面是连接到互联网的网络的接收器可无法控制代表它们消耗的资源:主机可以接收重复包流，而不管是否期望该包流。解决该弱点的一个方法是网络使通信局限于之前建立的模式，例如通过给予合法主机离线验证器，其准许它们与特定目的地通信。该方法未保护公共服务器，其一般不能在通信之前对合法发送者设置离线验证器。
[0023]另一个方法是通过分离客户端和服务器地址空间而使主机通信模式局限于仅仅客户端-服务器。提出的“默认关闭”法在精神上与方法相似。网络不允许任意两个主机在默认情况下通信，除非目的地明确请求从发送者接收。两个技术方案都使DoS攻击局限于私人端主机，但需要额外机制来保护开放的公共服务器。
[0024]除识别和防止DoS之外，通用业务异常检测对于网络管理是重要的。在现有技术中，基于规则的或统计技术用于将业务模式归类为友好或恶意的。现有异常检测方案对单个时间系列业务(例如从网络链路测量并且独立于网络中的其他链路上的业务)起作用。从而，这些技术在单个业务时间序列内利用时间模式来暴露异常。
[0025]这些现有的异常检测方法具有至少几个缺陷:
(a)现有异常检测机制一般在商用异常检测盒中实现，其使多个复杂功能性集成。从而，取得商用异常检测盒和操作它的成本通常是高的。
[0026](b)因为商用异常检测盒通常对于网络运营商是黑盒，它缺乏可编程性。商用异常检测盒通常由第三方商业公司开发。它与其他网络设备分离，并且它典型地就近供应、难以编程和配置。在大部分异常检测算法中，某些阈值用于将攻击业务模式与正常业务区分开。这些阈值通常从网络业务分布得到，其应在不同网络环境下调谐。利用黑盒，难以动态调整阈值。同样，频繁生成异常和恶意DoS攻击的新的变化，并且黑盒可不能及时更新来检测异常和攻击的较新变化。
[0027](c)商用异常检测盒通常位于网络的一个位点中，从而收集大量业务统计信息。独立盒典型地使用基于业务分接的方法来搜集网络状态和业务统计信息。它对网络生成额外开销。
[0028](d)现有异常检测机制难以集成异常检测和减轻。在现有方法中，一旦由异常检测引擎发起警报，网络运营商需要通过手动配置网络(例如重新路由、入口过滤或业务成型)来作出反应。人为干预不灵活、缓慢且昂贵。
[0029]网络配置和操作
本发明的实施例公开仅通过使用商业网络设备来检测业务异常的轻量化方法。方法是可扩展的并且可以在大型网络中使用。方法也是通用的并且可以应用于具有集中异常检测管理器的任何网络。在一个实施例中，方法首先收集粗粒业务统计信息。然后，基于该粗粒信息，它自适应地缩小至业务流的子集并且密切监测可能攻击。因为本发明的实施例基于进行中的业务特性来检测业务异常，它们在本文称为“动态随机检测”或“动态检测业务异常”方法。
[0030]图1是图示根据本发明的一个实施例使用动态异常检测的网络的框图。网络100包含网络管理器152。网络管理器152可以是网络管理系统(匪S)、元件管理系统(EMS)或网