用于计算机网络业务中的信任异常检测的方法及系统与流程

一般来说，本发明涉及网络监测及事件管理。更具体来说，本发明涉及处理通过网络监测获得的网络元数据，此可高效地导致有用信息以及时方式报告给元数据的消费者。

网络监测是企业及服务提供者常用的关键信息技术(IT)功能，其涉及观察正在内部网络上发生的活动以找出与性能相关的问题、行为不当的主机、可疑用户活动等。网络监测由于由各种网络装置产生及提供的信息而成为可能。所述信息一般称为网络元数据，即，作为经由网络发射的主信息业务的补充且与其互补的描述网络上的活动的一类信息。

系统日志(系统日志)是常用于网络监测的一种类型的网络元数据。系统日志已变成用于记录程序消息的标准格式且给原本不能通信的装置提供向管理者通知问题或性能的方式。系统日志常用于计算机系统管理及安全审核以及一般化信息分析及调试消息。系统日志受各种各样的装置(如打印机及路由器)及跨越多个平台的接收器支持。出于此原因，系统日志可用于将来自计算机系统中的许多不同类型的装置的日志数据集成为中央存储库。

最近，被各种供应商称为NetFlow、jFlow、sFlow等的另一类型的网络元数据也已作为标准网络业务的一部分被引入(下文中一般称为“NetFlow”)。NetFlow是用于收集已成为用于业务监测的行业标准的IP业务信息的网络协议。NetFlow可由例如路由器、交换器、防火墙、入侵检测系统(IDS)、入侵保护系统(IPS)、网络地址翻译(NAT)实体等各种网络装置及许多其它装置产生。然而，直到最近，NetFlow网络元数据排他地用于事后网络监督目的，例如网络拓扑发现、定位网络吞吐量瓶颈、服务级别协议(SLA)确认等。NetFlow元数据的此些有限使用可一般归因于由网络装置产生的高信息量及所述信息的高递送速率、信息源的多样性及将额外信息流集成到现有事件分析器中的总体复杂性。更特定来说，NetFlow元数据生产者通常产生消费者可在实时设定中分析及使用多的信息。举例来说，网络上的单个中到大交换器可产生400,000个NetFlow记录/秒。

当今的系统日志收集器、系统日志分析器、安全信息管理(SIM)系统、安全事件管理(SEM)系统、安全信息与事件管理(SIEM)系统等(本文中统称为“SIEM”系统)不能接收或不能分析NetFlow、局限于处理NetFlow包中所含的基本信息，或以比通常产生NetFlow包的速率低得多的速率处理此些包。

例如NetFlowv9(RFC 3954)及IPFIX(RFC 5101及相关IETF RFC)等稳健网络监测协议的出现大幅度地扩展了在网络安全及智能网络管理领域中使用网络元数据的机会。同时，由于上文所识别的约束，当今的SIEM系统一般不能超出简单报告所观察字节及包计数而利用网络监测信息。

对计算机网络的异常检测是识别不同于预期、所要或正常模式的项目、事件或行为。当在网络业务的情境中研究时，异常检测可广义地分类为两个类别：

a)中性操作环境中的网络业务异常；及

b)在存在恶意行动者的情况下的网络业务异常。

类型(a)网络业务异常在正常操作条件下由于自然超载的或有缺陷的网络装置或者“快闪族(在网络业务由于合法网络用户的大量涌入而充分增加时的良性事件)”而发生。

类型(b)事件可由外部力导致且可在性质上为恶意的。存在攻击者可造成恶意网络异常的若干种方式，但拒绝服务(DoS)攻击及其变体分布式拒绝服务(DDoS)攻击是目前为止最常见且最容易上演的。关于DoS攻击，攻击者的目的是使一或多个网络资源不可被合法用户访问且因此破坏组织的活动。根据2012年1,000IT专业人员调查，其组织遭受DDoS攻击的每小时造成受害者组织介于$10,000与$50,000之间的收益损失。

为了避免商业及收益的重大损失，应检测两种类型的网络业务异常、将其分类并以及时方式告知网络操作者。网络中断的问题在工业及军事网络中当失去通信可导致灾难性后果时变得甚至更严重。

然而，当受观察的项目的数目连同每一所观察项目的复杂性增加时，网络异常检测变得异常困难。检测网络业务中的异常是复杂异常检测问题的极端实例中的一者。

网络异常检测的传统方法需要创建历史基线模式，所述历史基线模式在评定与正常行为的偏差时与当前模式相当。代替以下考虑，此传统方法固有地是有问题的：

-网络业务是动态的，且很少只有单个模式描述其时间特性。此可导致创建在操作环境的稍微改变之后几乎立即过时的大量时间限制历史基线的复杂任务。

-网络自身是动态的，因为新装置总是被安装，旧装置总是被移除且操作装置总是可被取下以进行维修。在每一改变后，较早确立的基线失去其有效性且必须被重新确立以按每一新网络配置调整。

-例如软件虚拟化、软件定义网络(SDN)及网络功能虚拟化(NFV)等趋势通过创建能够跨越物理网络迁移的短暂虚拟网络而进一步增加网络的动态性质。即使在不存在任何物理网络改变的情况下，新网络业务生产者及消费者的实例化仍立即使所确立业务基线无效。

-网络生态系统的高改变速率使当前网络特性与历史数据的比较容易出错且极容易导致误报。

已知先前已利用两种方法来尝试检测DoS及DDoS攻击；(a)基于签名的方法及(b)基于基线业务的方法。最近宾夕法尼亚大学研究报告某些当今的DDoS检测系统(Snort、PHAD、MADAME及MULTOPS)以低效水平操作。特定来说，所述研究明确表达基于签名的系统(Snort、MADAME)对未知DDoS攻击的低检测率、依赖于基线业务信息的系统(PHAD)或依赖于关于业务量变曲线的任何先前假设的系统(MULTOPS)的高错误警报率及在业务改变时对完全重新训练依赖于基线业务信息的系统(PHAD)的要求。

背景技术：

本发明揭示用于检测网络业务异常并将网络业务异常分类的系统及方法。所述系统包含：输入模块，其接收含有与网络业务相关的信息的数据流；一个或多个数据流分析器及相关模块。所述相关模块接收由所述分析器进行的数据流分析的结果且确定潜在异常是假的还是真的。

参考

杰克逊希金斯K.(Jackson Higgings,K.)，DDoS会使你付出什么(What a DDoS Can Cost)，信息周刊黑暗阅读(Information Week Dark Reading)，2012年5月5日

林，D.(Lin,D.)，网络入侵检测及对拒绝服务攻击的缓解(Network Intrusion Detection and Mitigation against Denial of Service Attack)，宾夕法尼亚大学，2013年

马丹妮E.H.(Mamdani,E.H.)，使用语言综合将模糊逻辑应用于近似推论(Application of Fuzzy Logic to Approximate Reasoning Using Linguistic Synthesis)，IEEE计算机学报，第26卷，第12号，第1182页到第1191页，1977年12月

山野道夫(Sugeno,Michio)，模糊测量的进步：理论与应用(Advances in Fuzzy Measures:Theory and Applications)，第一届模糊信息处理国际会议，夏威夷，1984年7月

扎德L.A.(Zadeh L.A.)、科扎克J.(Kacprzyk,J.)，字计算(Computing with Words)，自然史出版社，海德尔堡，1999年

贝斯维尔,M.(Basseville,M.)、尼基弗罗夫,L(Nikiforov,L)，检测突然改变：理论与应用(Detection of Abrupt Changes:Theory and Application)，普伦蒂斯·霍尔出版社，1993年

崔(Chui)、查尔斯K.(Charles K.)，小波简介(An Introduction to Wavelets)，学术出版社，1992年

科尔特斯C,(Cortes,C,)、瓦普尼克V.(Vapnik,V.)，支持向量网络(Support-vector networks)，机器学习，第20卷，第273页到第297页，1995年

马可夫斯基I.(Markovsky,I.)、凡胡夫S.(Van Huffel S.)，总最小二乘方法概述(Overview of total least squares methods)，信号处理，第87卷，第2283页到第2302页，2007年

向农克劳德E.(Shannon,Claude E.)，数学通信理论，伊利诺斯州大学出版社，1949年

马丁纳撒尼尔F.G.(Martin,Nathaniel F.G.)、英格兰吉姆斯W.(England,James W.)，数学熵理论(Mathematical Theory of Entropy)，剑桥大学出版社，2011年

技术实现要素：

本发明通过消除对历史确立的基线或先前假设的依赖而解决了与传统基线异常检测方法相关联的许多问题。替代地，本发明的实施例能够通过检测瞬间改变及评估所观察业务特性的趋势而识别异常。

本发明的实施例通过以下方式引入新颖方法：计算所观察网络业务特性的趋势，及在多维论域的情形中，计算所观察网络业务特性的较高级趋势且将所计算较高级趋势分类为人类容易理解的语言类别。

本发明的实施例通过以下方式减少网络异常检测中所经历的误报的数目：一次评定多个网络业务特性，将多个数学异常检测方法应用于多个网络业务特性，及将网络节点健康的基于模糊逻辑的模型应用于由多个数学异常检测方法产生的结果。

本发明的实施例能够跟踪重要网络连结点(例如联网装置的接口)中的异常业务模式，评定网络装置及联网设施作为整体的当前健康，且确定网络元件健康的趋势，因此预测可能网络故障。基于网络健康趋势分析，操作者能够优化网络资源且避免中断。或者，可自动地做出网络优化或维护决策。

本发明的实施例进一步能够识别重要网络安全问题，例如实时检测拒绝服务(DoS)及分布式拒绝服务(DDoS)攻击。及时攻击检测在如由操作者确定或预定的攻击检测的信任水平充分时，准许缓解系统对此类攻击的自动或人工警告。

本发明的实施例可以流式传输方式操作而不寻求于事后分析，且实时提供关于关键网络元件状况的信息。应了解，本发明中所揭示的方法也适用于静止网络数据。

本发明的实施例还可迅速地部署到服务中，因为其不对操作者强加缓慢且高成本基线业务信息获取预处理。

附图说明

为更清楚地确定本发明，现在将参考附图以实例方式描述一些实施例，在附图中：

图1图解说明示范性简单计算机网络，其中例如但不限于路由器103及交换器102的网络装置提供例如物理主机计算机101或在物理主机计算机101上执行的虚拟机104等端点之间的连接性；

图2图解说明如图1上所展示的示范性计算机网络，其中添加了接收并分析呈流式传输模式的网络业务数据的业务数据分析器(NetFlow集成器(“NFI”))110及接收分析的结果的类属后端系统111；

图3图解说明可用于表征流动通过网络节点的网络业务的示范性模糊分类器；

图4图解说明将所观察业务参数语言值映射到注意力水平论域的示范性模糊推理矩阵；

图5提供在恒定业务量及呈5％增量的可变相对包速率下的注意力水平计算的示范性结果；

图6图解说明应用于取样观察数据集的CUSUM算法的结果；

图7图解说明应用于取样观察数据集的小波变换的结果；

图8图解说明应用于取样观察数据集的SVM方法的结果；

图9图解说明其中评估两个数据观察域A及B的改变的本发明的示范性实施例；

图10图解说明本发明的示范性实施例，其中使用数据收集间隔dtk与dtcur之间的所评定网络节点健康得分(NHS)值评估网络节点健康趋势；

图10(a)图解说明本发明的示范性实施例，其中使用最佳拟合线表达网络节点健康趋势以图解说明其中网络节点健康趋势落在下降类别中的情形；

图10(b)图解说明其中网络节点健康得分(NHS)经扩展以量化网络装置作为整体的健康的本发明的示范性实施例；

图10(c)图解说明其中网络节点健康得分(NHS)经扩展以量化网络服务的健康的本发明的示范性实施例；

图11图解说明应用于检测及报告DDoS攻击同时最小化误报的数目的本发明的实施例；

图12图解说明本发明的实施例，其中在从观察过程开始检测到第一改变点之后，所观察不完整TCP/IP会话的计数可变为用于后续测量的初始基线值；

图13图解说明本发明的实施例，其中在检测到一个或多个改变点之后，可检查紧接在最右边所检测改变点之后的接下来的K个观察是否比当前基线值超出预配置阈值；

图14图解说明本发明的实施例，其中当检测到后续改变点时，可确立新基线值且将前一当前基线值推到已知基线值堆上；

图15图解说明其中代理可报告在报告间隔内所观察不完整TCP/IP会话的数目的本发明的实施例；

图16图解说明其中采取步骤来评定网络业务异常的性质的本发明的实施例；

图17图解说明本发明的实施例，其中如果在数据收集间隔dtk、dtk-1或dtk+1中检测到新IP地址到达率中的改变点且检测到流计数中的改变点，那么可将数据收集间隔dtk指定为网络业务异常；

图18图解说明本发明的实施例，其中采取步骤来评定根据图17的实施例检测的网络业务异常的性质；

图19图解说明其中采取步骤来跟踪熵偏差的本发明的实施例；

图20图解说明本发明的实施例，其中当在观察间隔上检测到一或多个改变点时，代理采取最近所检测改变点且从检测到改变点时数据收集间隔处开始到当前数据收集间隔而计算熵值趋势；及

图21图解说明计算考虑到最近报告及由流信息源报告的先前事件的累积异常信任度量的本发明的实施例。

具体实施方式

一般来说，本发明涉及网络监测及事件管理。更具体来说，本发明涉及处理由于网络监测活动而获得的网络元数据及所述元数据的后续处理，其可导致有用信息以及时方式报告给操作者及/或事件管理系统。

现在将参考如附图中所图解说明的本发明的几个实施例而详细描述本发明。在以下描述中，陈述众多具体细节以便提供对本发明的实施例的透彻理解。然而，所属领域的技术人员将明了，可在不具有这些具体细节中的一些或全部细节的情况下实践实施例。在其它实例中，未详细描述众所周知的过程步骤及/或结构以便不会不必要地使本发明模糊。参考以下图式及论述可更好地理解实施例的特征及优点。

结合附图将更佳地理解关于以下描述的本发明的示范性实施例的各方面、特征及优点。所属领域的技术人员应明了，本文中所提供的本发明的所描述实施例仅为说明性的而非限制性的，仅以实例方式呈现。除非另有明确陈述，否则本描述中所揭示的所有特征可由充当相同或类似目的的替代特征代替。因此，预期本发明的修改的众多其它实施例，因为其属于如本文中所界定的本发明及其等效物的范围内。因此，绝对及/或顺序术语(例如，举例来说，“将”、“将不”、“应”、“不应”、“必须”、“不必”、“首先”、“最初”、“接下来”、“随后”、“之前”、“之后”、“最后”及“最终”)的使用不打算限制本发明的范围，因为本文中所揭示的实施例仅为示范性的。

在以下描述中，仅出于说明的目的而在网络元数据处理的情境中揭示本发明。然而，将了解，本发明适合于更广泛的各种应用及使用，且本发明的某些实施例适用于除网络元数据处理之外的情境。举例来说，本文中所揭示的方法可应用于通过调节十字路口处的交通灯的持续时间而控制城市交通流。在另一实例中，本文中所揭示的方法可适合于控制电力网。还应了解，本文中所揭示的方法在不具有关于实际网络业务自身的限制的情况下适用。

在本发明的一个实施例中，方法及系统可使用NetFlow集成器(“NFI”)(实现呈版本1到8、NetFlow v9、jFlow、sflowd、sFlow、NetStream、IPFIX的NetFlow业务及类似(“NetFlow”)业务的集成的软件程序)的一或多个实例与能够存储及/或处理呈系统日志格式的网络元数据的任何系统一起实施。所述集成可通过将由网络上的NetFlow生产者产生的网络元数据转化成网络监测系统(系统日志)的通用语而实现。NetFlow信息到对应系统日志信息的映射可根据由NFI管理者确立的策略、规则及优先权而执行。

应了解，使用系统日志来报告网络元数据是示范性的，且可使用其它数据表示及递送方法，例如但不限于CEF或JSON。

网络健康评定

图1图解说明示范性简单计算机网络，其中例如但不限于路由器103及交换器102的网络装置提供例如物理主机计算机101或在物理主机计算机101上执行的虚拟机104等端点之间的连接性。

典型计算机网络是其中可靠性随着联网装置的数目及网络业务量增加而降低的复杂系统。且随着网络大小增加，理解网络状态及评定个别网络节点的状况的任务两者均变得更困难及更重要。

图2图解说明如图1上所展示的示范性计算机网络，其中添加了接收并分析呈流式传输模式的网络业务数据的业务数据分析器(NetFlow集成器(“NFI”))110及接收分析的结果的类属后端系统111。在本发明的一个实施例中，使用NetFlow协议112收集关于网络业务的信息。

在本发明的一个实施例中，网络节点健康评定方法可遵守以下程序：

1.确立业务数据收集间隔dt。在所述方法的一个实施例中，可将数据收集间隔长度选择为介于10秒与60秒之间。

2.确立业务观察间隔T。T是dt的倍数：T＝N*dt。在所述方法的一个实施例中，将业务观察间隔长度选择为介于dt的20倍到40倍之间。在利用基于小波系列算法的改变检测方法的示范性实施例中，由于小波变换要求，所述倍数是N＝2n。因此在所述方法的一个实施例中，可选择N＝32。

3.在数据信息收集间隔dt内收集关于通过网络接口的业务的多元信息。在示范性实施例中，多个所收集网络业务参数在不具有限制的情况下由业务量及包速率测量组成。

4.可重复所述观察N次：R1、...、RN(其中Ri为在第i间隔期间收集的信息)。

5.在收集时间间隔N+1结束时，将至少一个改变检测方法直接(或在小波变换的情形中，联合用作模板的时间系列R1、...、RN)应用于时间系列R2、...、RN+1。

6.识别由每一所应用改变检测方法检测到的改变点，且针对从最右边所识别改变点数据收集间隔开始到当前数据收集间隔的每一数据收集间隔计算网络节点健康得分(“NHS”)。

7.估计网络接口NHS值作为针对当前数据收集间隔计算的NHS值。

8.基于在从最右边所识别改变点数据收集间隔开始到当前数据收集间隔的数据收集间隔内的NHS值变化模式而估计网络接口NHS趋势。

应了解，数据收集间隔dt的持续时间是可配置参数且可取决于用户的所要知晓及/或精确程度而微调。通过选择较短数据收集间隔，用户可受益于较早收到关于负NHS值趋势的通知，代价是可能接收到关于网络业务中可能不重要的短尖峰的外来通知。选择延长的数据收集间隔过滤掉短网络业务尖峰但可能延迟通知的递送。

应了解，本发明的此实施例的显著益处源于实现评定网络故障风险的对节点健康趋势的情境监测。还应了解，所揭示方法可在N+1个数据收集间隔之后完全操作，所述数据收集间隔在实践中可跨少至15到20分钟。因此，此实施例的方法及系统可经采用且在不具有与确立长且不可靠历史基线相关联的延迟的情况下几乎立即变得可操作。

所观察数据预处理

应了解，所观察网络数据的短暂急剧改变可导致增加的误报的出现。为了缓解此潜在问题，可将指数平滑过程应用于所观察数据：

其中

是经平滑第i观察值

X(t)是实际第i观察值

α是平滑系数。在示范性实施方案中，平滑系数可为α＝0.35或操作者基于例如对潜在网络麻烦的较可靠指示的期望对抗对较早指示的期望等因素而偏好的其它值。

网络节点健康得分(NHS)

在所揭示实施例中，节点健康得分(NHS)可为提供关于特定网络节点(例如网络装置接口)的状况的指导的单个度量。图3图解说明可用于表征流动通过网络节点的网络业务的示范性模糊分类器。每一模糊分类器的x轴可表示[0,1]间隔上的经分类参数的相对值，其中在参数达到其最大值时达到值1。每一模糊分类器的y轴可测量给定参数值属于特定语言分类的程度。

参考图3，业务量模糊分类器可表示流动通过网络节点的业务量的语言分类。标记为低120、中121及高122的区域分别对应于在语言上可表征为低、中及高的业务水平。

进一步参考图3，包速率模糊分类器可表示包流动通过网络节点的速率的语言分类。标记为低123、中124及高125的区域分别对应于在语言上可表征为低、中及高的包速率水平。

进一步参考图3，注意力水平模糊分类器可表示网络节点需要的操作者的注意力水平的语言分类。标记为低126及高125的区域分别对应于在语言上可表征为正常及麻烦的操作者的注意力的不同程度。

在网络节点健康评定的第一步骤中，所揭示方法可输入通过节点的所观察网络业务特性的相对值(“清晰输入(crisp input)”)且找出所观察值中的每一者属于其论域中的特定语言类别的程度。

在网络节点健康评定的第二步骤中，所揭示方法可输入所观察值中的每一者属于其论域中的特定语言类别的经计算程度，且使用图4上所呈现的模糊推理矩阵将这些值映射到注意力水平模糊分类器上。所述方法可包含(例如)使用马丹妮及山野模糊推理方法计算所需注意力水平值AL的步骤。节点健康系数可计算为：

NHS＝1-AL

参考图4，示范性模糊推理矩阵可将所观察业务参数语言值映射到注意力水平论域。在图4中所展示的示范性模糊推理矩阵中，行对应于所观察相对包速率值且列对应于通过节点的所观察相对业务量，其中每一单元表示对应模糊分类规则的语言值：

如果业务量是X且包速率是Y，那么注意力水平是Z

举例来说，当通过网络节点的业务量在语言上分类为低(“L”)且流动通过网络节点的包速率在语言上分类为低(“L”)，那么此节点的所需注意力水平可分类为高(“H”)，从而指示轻负载的网络节点正经历硬件问题的高概率。

图5提供在恒定业务量140及呈5％增量的可变相对包速率141下的注意力水平计算的示范性结果。使用马丹妮及山野方法按比例缩放到间隔[0,100]的注意力水平计算的结果分别呈现于列142及143中。在所揭示方法的示范性实施方案中，有效注意力水平值被计算为使用马丹妮方法计算的注意力水平值AL_M与使用山野方法计算的注意力水平值AL_S的平均值：

应了解，图3上所展示的模糊分类器是示范性的，且可包含其它语言分类(例如“极”)或具有总体的其它语言分类。还应了解，图4上所展示的模糊推理矩阵是示范性，且在不具有限制的情况下可包含额外语言分类及观察域。

计算相对节点负载

网络节点健康得分(NHS)计算可涉及以相对项目表达业务参数。在所揭示方法的示范性实施例中，通过网络节点的相对业务量可计算为：

其中

B是在数据收集间隔期间通过网络节点的双向IP等级3业务量(以字节为单位)

是节点的最大标称速度(以位/秒“bps”为单位)，且

dt是数据收集间隔(以秒为单位)。

在所揭示方法的示范性实施方案中，网络包流动通过网络节点的相对速率可计算为：

其中

是在数据收集间隔期间的平均网络包大小(以字节为单位)：

其中

P是在数据收集间隔期间观察的沿两个方向的包的数目

针对基于IP的网络，层2＝41-层2标题的大小(17字节)，帧间间隙的大小(12字节)及报头的大小(8字节)。层2信息的大小可取为标准层2标题(14字节)、具有VLAN标签的层2标题(16字节)及具有MPLS标记的层2标题(20字节)的平均值。

应了解，以上计算是示范性的，且相对业务量及网络包流动通过网络节点的相对速率可使用不同公式计算。

改变点检测算法

改变检测是尝试识别随机过程或时间系列的概率分布的改变的统计分析方法。一般来说，改变检测问题暗示检测是否已发生一或多个改变及识别此些改变的时间。

在示范性实施例中，累积求和(“CUSUM”)算法、小波变换(“小波”)及支持向量机(“SVM”)算法可应用于流动通过网络节点的网络业务的所观察业务特性。应用多个改变点检测算法的目的是实现对改变的信任检测。应了解，其它改变点检测算法可应用于所观察网络业务特性且CUSUM、小波及SVM算法的选择是示范性的。

累积求和(CUSUM)算法

图6图解说明应用于取样观察数据集151的CUSUM算法的结果。点150指示在所评估原始数据集151中通过CUSUM算法发现的改变点。进一步参考图6，在示范性再现中，y轴表示改变点信任度量(0到100)，此度量的值越接近100，越信任地识别出改变点。

小波变换算法

图7图解说明应用于取样观察数据集151的小波变换的结果。原始数据160的小波变换将所观察值151围绕y＝0正规化且过滤掉所观察值151中的高频率分量(通常称为噪声)。改变点是经变换数据的绝对值超出特定预设定阈值yT处的点，|yT|＝Δy，162。应了解，改变点检测概率随经变换数据yT的绝对值变大而增加。

由于在观察间隔开始时的认为突然改变，在几个最左边数据收集间隔Δx 163上识别的偏差优选地被丢弃。依据算法定义，小波变换应用于其的数据收集间隔N的数目应等于2n，其中n是整数(例如，N＝32，n＝5)。

支持向量机(SVM)算法

SVM是识别不同观察的类似性的分类方法。SVM使用第一数据集作为模板，且对照第一数据集将第二数据集分类。图8图解说明应用于取样观察数据集151的SVM方法的结果。

如同图7上所图解说明的小波变换，SVM分类算法包含选择阈值Δy 172以识别经变换数据170的突然改变。应了解，经选择用于通过SVM算法170变换的数据的阈值172与经选择用于小波变换算法的阈值163无关。

网络节点健康评定

参考图9，在所揭示方法的示范性实施例中，可针对以最右边所检测改变点开始到当前数据收集间隔的数据收集间隔dt 182计算网络节点健康度量。图9图解说明其中评估两个数据观察域A及B中的改变的方法的示范性实施例。本文中所揭示的方法可在不具有限制的情况下扩展到任意数目个数据观察域。

进一步参考图9，如果遇到其中在所有观察域中检测到改变点的情形，那么针对从在其上检测到改变点的最右边数据收集间隔开始的数据收集域计算NHS。举例来说，参考图9，如果在数据收集间隔dtk 183处检测到域A 180中的改变点且在数据收集间隔dtk-j 184(j>0)处检测到域B 181中的改变点，那么针对dtk与当前数据收集间隔之间(包含dtk及当前数据收集间隔)的所有数据收集间隔计算NHS。

在其中仅在一个数据域中存在改变点的情形中，可针对以在其上检测到所观察数据中的改变点的最右边数据收集间隔开始到当前数据收集间隔(包含最右边数据收集间隔及当前数据收集间隔)的所有数据收集间隔计算NHS。在其中未检测到改变点的情形中，可仅针对当前数据收集间隔计算NHS。

网络节点健康趋势评估

参考图10，在所揭示方法的示范性实施例中，使用数据收集间隔dtk 183与dtcur 198之间的所评定网络节点健康得分(NHS)值评估网络节点健康趋势，其中数据收集间隔dtk 183是在其上观察到当前观察间隔190中的最后改变点的数据收集间隔且dtcur 198是当前数据收集间隔。

进一步参考图10，网络节点健康趋势可与在点191之间绘制的最佳拟合线192的斜率相关联，点191表示以数据收集时间间隔183开始的每一数据收集时间间隔上的网络节点健康得分(NHS)值，其中检测到当前观察间隔190中的最后改变点。在示范性实施方案中，使用总最小二乘(“TLS”)方法计算最佳拟合线192。应了解，除TLS外的拟合方法可用于所述目的。

进一步参考图10，基于最佳拟合线192的斜率，网络节点健康趋势可分类成相异定性类别，例如，称作峰值195、改善194、中性193、降级196及下降197。在其中在当前数据收集间隔dtcur 198期间检测到当前观察间隔190中的最后改变点的退化情形中，网络节点健康趋势可分类为中性。

进一步参考图10，使用最佳拟合线192表达的示范性所描绘网络节点健康趋势图解说明当网络节点健康趋势落到改善194类别中时的情形。改善194趋势分类归因于NHS值191由于最近所观察改变点而继续稳定增长的事实。

参考图10a，使用最佳拟合线199表达的示范性所描绘网络节点健康趋势图解说明当网络节点健康趋势落到下降197类别中时的情形。下降197趋势分类归因于网络节点得分(NHS)值198由于最近所观察改变点而急剧下降的事实。

网络装置健康评定

参考图10b，网络节点健康得分(NHS)的概念可进一步扩展到量化网络装置400作为整体的健康。在网络装置的此计算NHS的示范性实施例中，可将NHSD评定为装置的网络节点401的最小NHS：

其中

是第i装置节点的网络健康得分，且

n是部署于装置上的网络节点的总数目。

进一步参考图10b，网络装置400NHS的以上示范性量化由以下事实证明为合理的：部署于装置400上的网络节点401是装置400的组成部分，且如此是相互依赖的，且每一网络节点401的性能受部署于装置上的其它网络节点的性能影响。

进一步参考图10b，应了解，可考虑用以量化网络装置400健康评定的其它方法，例如基于网络节点标称吞吐量而使每一网络节点401的相对加权相关联。

网络服务可用性评定

参考图10c，在本发明的论域中，网络装置410是将网络业务传递到网络服务411的一个或多个中介机构，例如但不限于路由器、交换器及防火墙。网络服务411是在经由应用层网络协议提供数据处理、存储、表示及其它能力的网络应用层处运行的应用。

进一步参考图10c，网络服务411可用性取决于将网络业务转发到网络服务411的网络装置410的可用性。在网络装置410性能不良的情形中或在网络装置410故障的情形中，网络服务的可用性降级或网络服务变得不可访问。由于网络服务411对企业商业的重要性，因此检测通向网络服务411的网络路径中的故障且基于所述网络路径的健康而量化其可用性是重要的。

进一步参考图10c，考虑具有m个网络路径412的网络服务411，经由所述网络路径网络业务流动到服务及从服务流动。在本发明的精神内，可使用网络节点健康得分(NHS)表达网络服务411的可用性。在示范性实施例中，网络服务411可用性的NHS值NHS_SVC可计算为将网络业务转发到所述网络服务411的每一网络装置410的NHS值的经加权平均值：

其中

是将网络业务转发到网络服务411的第i网络装置410的网络健康得分

m是将网络业务转发到网络服务411的网络装置410的总数目

ωi是通过每一网络装置410流动到网络服务411及从网络服务411流动的网络业务的份额。所述份额通过以下步骤计算：观察通过第i网络装置410去往及来自网络服务411的网络业务流Vi，累加在数据收集周期内在每一流中的网络业务量，及将其除以在数据收集周期内去往及来自网络服务411的总业务量V：

网络服务的NHS值计算提供用于向网络操作者报告联网资源的状况的稳健机制。

应了解，可考虑用以量化网络服务可用性的其它方法，例如在装置加权计算中包含网络装置的标称性能。

检测异常业务

拒绝服务(“DoS”)攻击是使网络资源不可用于其既定用户的尝试。分布式拒绝服务(“DDoS”)攻击是DOS攻击的变体，其中多个受危及系统用于将单个系统定为目标且导致DoS攻击。

在DDoS攻击期间，涌入目标的传入业务通常源于许多不同源，这使得难以区分合法用户业务与跨越大量源点传播的攻击业务。

在示范性实施例中，本文中所揭示的方法可应用于检测及报告DDoS攻击同时最小化误报的数目。参考图11，所揭示方法利用含有关于网络业务的信息及考虑到多个网络业务特性的网络业务描述212，所述多个网络业务特性中的每一者由多个专门模块(“代理”)210评估。实施所揭示方法的系统将描述网络业务的信息递送到每一代理210且每一代理210可以专门方式处理此信息。

进一步参考图11，一旦代理210收集足以做出结论的信息(或响应于计时器)，代理210便可将其发现报告给事件相关处理器(“ECP”)211，ECP 211发挥功能以做出关于事件是否是肯定的或事件是否是否定的最终决策。

应了解，在代理210中实施的将输入提供到ECP 211最终决策制定程序中的算法集合可变化，且除本文中所揭示的算法外的算法可用于提供此输入。还应了解，下文中所论述的代理210的列表仅出于图解说明的目的且不构成对所揭示方法的任何限制。

尽管如本文中所揭示的方法的示范性实施例分析贯穿网络的网络业务，但应了解，其可在不具有限制的情况下应用于到特定IP地址的网络业务，因此检测以特定网络服务或多个网络服务为目标的DDoS攻击。

代理A：TCP/IP业务分析器

进一步参考图11，代理A可专门用于检测基于TCP/IP的DoS淹没攻击及将观察报告给ECP 211。

TCP/IP淹没攻击是实践中可见的最普遍的DDoS攻击分类中的一者。最常见类型的TCP/IP淹没攻击是SYN淹没攻击，在SYN淹没攻击期间攻击者发送具有受破坏主机的源IP地址或受骗IP地址的大量TCP/IP SYN包。

当在两个通信对等点A与B之间起始TCP/IP会话时，发生标准TCP/IP SYN-SYN/ACK–ACK消息交换。此通信的发起者A首先发送TCP/IP SYN包且响应者B以TCP/IP SYN/ACK包响应。在正常情况下，发起者A然后以TCP/IP ACK包响应且可开始将数据发送到响应者B。在其中发起者A是恶意实体的情形中，其可抑制将TCP/IP ACK包发送到响应者B，因此捆绑住为了创建新TCP/IP会话而分配的响应者的资源。

应了解，存在其它类型的TCP/IP淹没攻击(例如反射型SYN/ACK淹没及TCP/IP FIN淹没)，且本文中所揭示的方法在不具有任何限制的情况下还适用于那些类型的攻击。

代理A监测不完整TCP/IP会话(即，其中响应者B未响应于所发送TCP/IP SYN/ACK包而接收到TCP/IP ACK包的所起始TCP/IP会话)的数目。举例来说，代理A可计算在每一数据收集间隔dt上未应答的TCP/IP SYN/ACK响应的数目。

在示范性实施例中，为了检测初期TCP/IP SYN淹没攻击，可选择滑动观察间隔T＝dt×N，N是整数。此选择形成分析其中的值改变的多个所观察数据。CUSUM算法此后可应用于针对每一数据收集间隔dt识别所述系列的不完整TCP/IP会话计数中的改变点。

参考图12，当从观察过程的开始检测到第一改变点220时，所观察不完整TCP/IP会话的计数可变为用于后续测量的初始基线值221b0。应了解，除选择对应于第一改变点220的值外的方法可用于确立初始基线值。本文中所描述的方法是示范性的，且可由设定固定初始基线值、采取在第一改变点220之前的数据收集间隔的平均值及/或其它方法代替。

参考图13，在其中检测到一个或多个改变点的情形中，可检查紧接在最右边所检测改变点223之后的接下来的K个观察222是否比当前基线值225超出预配置阈值δ(224)。代理A可在(举例来说)满足以下条件中的一者的情况下报告事件：

1)CK≥CK-1≥...≥C0

2)ave(Ci)≥CO，i＝1、...、K

其中

C0是改变点223处不完整TCP/IP会话的数目

Ci是在第i连续数据收集间隔dt(i＝1、...、K)期间不完整TCP/IP会话的数目

ave是平均函数。

参考图14，当检测到后续改变点230时，可确立新基线值231且可将前一当前基线值225推到已知基线值堆上。

考图15，代理A可报告在报告间隔240内所观察不完整TCP/IP会话的数目，报告间隔240可在所观察不完整TCP/IP会话的数目超出当前阈值241时的第一数据收集间隔处开始直到所观察不完整TCP/IP会话的数目下降到低于当前作用中基线242时的所检测减少改变点243为止。

进一步参考图15，当检测到减少改变点时，可提取已知基线值堆的顶部处的基线值且其值然后变成当前作用中基线242。在其中已知基线值堆非空的情形中，代理A可继续报告所观察不完整TCP/IP会话的数目。如果已知基线值堆是空的，那么代理A可停止报告。

代理B：类属网络业务特性分析器

代理B可为网络业务特性的智能分析器。代理B可监测并分析导致绝大多数DoS攻击的IP层协议的业务。在示范性实施例中，代理B监测并分析利用TCP/IP、UDP及ICMP协议的网络业务。应了解，代理B可在不具有限制的情况下监测例如GRE、IGMP及其它等其它IP层协议的业务特性。

当监测网络业务特性时，代理B对经合并信息单位(本文中称为“流”)操作。在示范性实施例中，流是由IP层协议以及其来源及目的地点表征的网络包的单向序列。应了解，例如服务类型(ToS)、自主系统号(ASN)或类似信息等其它网络业务特性可表征流。

可针对每一所监测IP层协议在每一收集时间间隔dt的持续时间内评定以下网络业务特性：

1)平均字节数目/包

2)平均包数目/流

3)平均字节数目/流，及

4)独特源IP地址的数目。

为了检测网络业务特性的改变，可选择滑动观察间隔T：

T＝dt×M，M＝2ⁿ，

其中n是整数。在观察时间间隔T结束时，可将小波变换应用于M个特性(1)到(4)的所收集序列中的每一者。优选地将在其上特性的经变换值超出阈值τ的收集时间间隔dt标记为可疑的。

在示范性实施例中，使用以下函数来计算所收集网络业务特性(1)到(4)中的每一者的信任值：

其中x_i是第i数据收集间隔dt，且

y_i是第i时间间隔上的经变换特性的值。

可将相关信任度量计算为个别信任值的和：

可将具有超出预设定阈值σ的信任度量的数据收集间隔指定为网络业务异常的候选点。

在示范性实施例中，除收集网络业务特性(1)到(4)外，还可在每一数据收集间隔dt上收集以下累积网络业务特性：

5)累积字节数目

6)累积包数目，及

7)累积所管擦流数目。

参考图16，为了评定网络业务异常的性质，可选择最近所观察候选改变点，且可计算网络业务特性(4)到(7)中的每一者的趋势250到253，然后可将每一所计算趋势线视为单位向量且将总体趋势254计算为网络业务特性趋势250到253的向量和。

进一步参考图16，为了评估网络业务特性的总体趋势254，将总体趋势254分类为多个定性特性，例如但不限于增加255、可持续256及减少257。如果将总体趋势254分类为增加255定性类别，那么代理B优选地报告网络业务异常事件以及当前网络业务特性(4)到(7)的值及总体趋势斜率值。

应了解，总体趋势分类可不同于示范性实施例中的分类，使得可持续256类别为任选的或分类框架可含有较多数目个定性类别。

代理C：新IP地址到达率分析器

由于DDoS攻击通常借助于受破坏网络主机或通过欺骗用于筹划攻击的网络包中的源IP地址而完成，因此DDoS攻击的开始通常由先前未见过的访问者的涌入表征。代理C可观察每一数据收集间隔dt中两个观察域中的改变：

8)新IP地址到达率，及

9)所观察流的数目。

为了检测此类网络业务特性改变，可选择滑动观察间隔T：

T＝dt×N

其中N是整数，且CUSUM算法可应用于识别每一数据收集间隔dt上的新IP地址的到达率及所观察流计数的改变点。

参考图17，在所揭示方法的示范性实施例中，如果在数据收集间隔dtk 260、dtk-1 262或dtk+1 263中在新IP地址到达率261中检测到改变点且在流计数264中检测到改变点，那么可将数据收集间隔dtk 260指定为网络业务异常。

应了解，通过分析网络业务特性(8)及(9)(如本文中所描述)，代理C能够提供用于区分DDoS攻击与归因于合法用户的涌入的称作“快闪族”的现象的机制。快闪族的典型实例是在发布新产品时到商业网站的业务增加或在工作日开始时网络业务中的尖峰。

进一步参考图17，代理C可通过强加在数据收集间隔dtk 260、dtk-1 262或dtk+1 263中的流计数264中的改变点伴随有新IP地址到达率261中的改变点的要求而区分快闪族与DDoS攻击。此相依性的原因是网络资源的合法使用导致与网络资源的较长交互，因此相比于DDoS攻击的情形形成较少流，在DDoS攻击期间会形成大量流。

参考图18，为了评定网络业务异常的性质，选择最近所观察改变点，且可计算网络业务特性(8)270及(9)271中的每一者的趋势，然后可将每一所计算趋势线视为单位向量且可将总体趋势274计算为网络业务特性趋势270及271的向量和。

进一步参考图18，为了评估网络业务特性的总体趋势274，可将总体趋势274分类成多个定性特性，例如但不限于增加275、可持续276及减少277。如果将总体趋势274分类为增加275定性类别，那么代理C优选地报告网络业务异常事件以及当前网络业务特性(8)及(9)的值及总体趋势斜率值。

应了解，总体趋势分类可不同于示范性实施例中的分类，使得可持续276类别是任选的，或分类框架可含有更多数目个定性类别。

代理D：业务熵分析器

熵是信息内容的不可预测性的量度。其还可解释为系统中的混乱的量度。熵H计算为：

其中是给定源IP地址实例的计数，N是观察的总数目(N>0)。

由于DDoS攻击通常借助于受破坏网络主机或通过欺骗用于筹划攻击的网络包中的源IP地址而完成，因此DDoS攻击的开始通常由所观察IP地址的数目的增加及在源IP地址欺骗的情形中每一源IP地址观察的小数目表征。由于以上考虑，熵分析器提供网络的信息一致性的稳健估计。

在示范性实施例中，代理D可计算每一数据收集间隔dt的熵。由于熵是随机变量，因此应计算其均值μ及偏差σ2。为了检测所观察网络熵的改变，优选地选择滑动观察间隔T：

T＝dt×N

其中N是整数，且CUSUM算法应用于识别每一数据收集间隔dt上所计算熵值中的改变点。熵均值μ及偏差σ可在第一所检测改变点处计算但优选地不早于发生观察间隔T的N个移位，且第一改变点计算在2N x dt数据收集间隔之后完成。

参考图19，为了跟踪熵偏差，将区μ±ασ指定为正常的，其中μ281表示均值且σ282表示偏差。系数α定义容限带280，其中网络业务内容被认为是充足的。举例来说，选择α＝2 283会将正常网络业务内容置于95百分位且将所有其它网络业务内容分类为异常。

参考图20，当在观察间隔上检测到一或多个改变点，代理D采取最近所检测改变点且以检测到改变点时的数据收集间隔开始到当前数据收集间隔而计算熵值趋势290。基于趋势线的斜率，所计算熵值趋势可分类为稳定291、增加292及降低293定性类别。如果针对当前数据收集间隔计算的熵值落在容限带外且趋势分类为增加292或降低293，那么代理D优选地报告网络业务异常及相应趋势分类。

代理D优选地针对每一后续数据收集间隔重复关于网络异常及趋势分类的信息直到熵值重新进入容限带为止。在熵值重新进入容限带后，代理D即刻优选地报告熵值减少。

网络业务异常事件相关处理器

参考图11，所揭示方法的基本优点中的一者是其同时研究网络业务描述212的多个方面的能力。所述研究由称作代理210的多个专门专家模块完成。每一代理分析多个网络业务参数且做出代理的论域中的网络业务是否异常的结论。如果代理发现异常，其向事件相关处理器(ECP)211报告其发现。

在示范性实施例中，ECP 211通过为用于分析的流信息源的网络装置的id而收集从代理接收的异常报告。在接收到异常报告后，ECP即刻优选地计算考虑到最近报告及由所述流信息源报告的先前事件的累积异常信任度量。

参考图21，可给每一所报告事件指派权重w。可给由ECP在时间tn 300观察的最后所报告事件En指派权重w(tn)＝1 303，其中n是所报告事件的序列号。针对所有先前所报告事件，权重优选地以指数方式衰减301：

其中μ是指数衰减常数。

累积信任度量计算为所有所观察事件的权重的和：

出于实际目的，在示范性实施例中，在先前所报告事件的权重变得小于0.01 302时累积信任度量计算终止。当特定流信息源的累积信任度量值C超出特定可配置阈值时，ECP 211优选地警告网络操作者。

应了解，可基于所报告事件类型给每一所报告事件指派权重ω。在示范性ECP实施例中，累积信任度量C可计算为：

其中

ω是与在时间ti处发生的特定事件类型相关联的权重。

还应了解，本文中所揭示的示范性ECP能够使跨越多个网络装置的网络业务异常相关且针对经历异常网络业务的多个网络装置发布警告。在此相关性的示范性实施例中，ECP可针对基于IP块分配数据库或通过一个或多个自主系统号(ASN)分组的特定地理区中的网络装置发布警告。

会聚网络业务异常检测及网络装置健康

应了解，例如掩模DDoS攻击的网络业务异常贡献于网络装置的较低网络节点健康得分(NHS)。参考图4，应注意，经增加网络业务水平130及包速率131映射到特定网络节点的高(“H”)注意力水平，且因此减小其NHS值，此又减小总体网络装置的NHS值。在示范性实施例中，具有低NHS值的一个或多个网络装置的出现可视为由事件相关处理器(ECP)处理的事件集合中所包含的另一事件。

还应了解，网络装置健康信息在由事件相关处理器(ECP)处理的事件集合中的输入可通过给网络装置健康信息指派权重而操纵，因此控制网络装置健康信息对异常网络业务识别的影响。

尽管已就几个实施例描述本发明，但仍存在归属于本发明的范围内的更改、修改、置换及替代等效物。虽然已提供子章节标题来辅助本发明的描述，但这些标题仅是说明性的且并不打算限制本发明的范围。

还应注意，存在实施本发明的方法及设备的许多替代方式。因此，打算将所附权利要求书解释为包含归属于本发明的真正精神及范围内的所有此些更改、修改、置换及替代等效物。