专利名称：网络流量异常检测方法和装置的制作方法
技术领域：
本发明涉及网络技术领域，更具体地说，涉及一种网络流量异常检测方 法和装置。
背景技术：
网络流量异常指的是网络的流量行为偏离其正常行为的情形。 引起网络流量异常的原因是多种多样的，例如网络设备的不良运行、网
络:捧作异常、突发访问(flash crowd)或网络入侵等。异常流量的特点是发 作突然、先兆特征未知，可以在短时间内给网络或网络上的计算机带来极大 的危害(例如有特定的攻击程序或蠕虫爆发所引起的突发访问行为)。因此， 准确、快速地检测网络流量的异常行为并做出合理的响应是保证网络正常运 行的重要前提。
现有技术存在多种针对网络流量异常的检测方法，如基于规则的方法、 统计分析的方法、有限状态机的方法、模式匹配的方法、Hurst系数分析方法 和子空间方法等。这些方法能够在一定程度上检测流量异常，但是由于网络 流量异常本身的复杂性，上述方法在检测的实时性、准确性等方面还存在一 些不足。
而随着研究的深入，研究者发现，几乎所有网络中的流量信号都具有多 尺度特性，也即正常网络流量的时变信号与异常网络流量的时变信号相比， 其频带范围一定是有区别的，也就是说，异常流量与背景流量在不同频带的 能量差是不同的，在某些频带上，异常流量的能量在总能量中所占比例较高， 于是，异常检测会变得相对容易。多分辨分析能提取任意时间、频率的信号 特征，很适合于探测信号的异常变化，近年来受到了国内外理论界的高度重 视。
2001年，P.Barford and D.PIonka发表了名为"Characteristics of network traffic flow anomalies (网络流量流异常的特征)，，的文章，其中公开了判断 网络流量是否异常的方案，该方案具体分为小波分析部分和冲全测部分，其中
小波分析部分
使用一定的小波通过多分辨分析(Muti-Resolution Analysis, MRA)对
时间级数信号进行分解，再从中选取不同的尺度重构为重、中、低三个频段， 然后将这分解出来的三个频段的信号送入到检测模块中。其中，高频、中频 和低频部分分别代表持续时间较短、 一般和较长的异常流量信号。
冲全测部分
首
先，归一化待检测的低频、中频和高频频段的方差，然后，分别计算 低频、中频和高频段落在一个事先指定大小的滑动窗口内的数据的方差，从 而得到对应频段的偏离分数。这些滑动窗的大小取决于想捕获的异常的时限 大小，如果用^。表示异常持续的时限，^表示滑动窗的大小，则在理想情况下 q^。", 1。若q太小，则所检测的异常可能会比较模糊甚至消失，而如果q 太大，则所检测的异常将不突出，也就是说，操作者不容易从检测的异常中 确定关注的异常，因此，在选择^时， 一般应使得比值q趋近于1,并且，高 频段、中频段和低频段的滑动窗的大小一般是不同的。
接着，将高中低三个频段的偏离分数使用一个加权和来进行结合，从而 产生一个结合的偏离分数信号。
于是，通过检测偏离分数是否超过一个预先设置的门限，来判断是否发 生了异常。
在实现本发明过程中，发明人发现上述方法至少存在如下问题
1、 小波包分解作为一种数学工具，能够弥补多分辨分析的缺陷，对信号 的高频和低频成分进行分解，但应用于解决异常检测过程中往往需要面对两 个问题 一是分解级数的确定，也就是自适应分解策略的选择，这种选择往 往是非常困难的；二是小波包为二进波，其频率分解能力往往是不够的，一 般只能对待分解信号的频带进行等宽度划分，虽然理论上二进波的分辨粒度 可以逼近无穷小，但这需要付出分解级次加大的代价，而加大分解级次会导 致计算复杂度上升，再说，由于受检测时间窗的长度限制，分解级次也不可 能很大。这些因素导致采用小波包分解的分析方法异常检测的准确性不高， 在检测过程中，容易发生虚警和漏检；
2、 该方案是基于异常信号持续时间进行的，在实际检测过程中，异常的 持续时间是事先无法得知的，因此该方案在实际检测中可操作性不强。
发明内容
有鉴于此，本发明实施例提供一种网络流量异常>^测方法和装置，以解 决现有技术异常检测准确性不高、可操作性不强的问题。
本发明实施例是这样实现的 一种网络流量异常才企测方法，包括 对用于检测的流量信号进行线调频小波变换，得到变换谱； 将变换谱划分为至少两个频谱^歐；
对各频谱段分别进行信号重构，利用偏离分数算法对重构后的信号进行 运算，得到偏离分数；
将所述偏离分数与预设门限进行比较，根据比较结果确定网络流量是否 异常。
本发明实施例同时还提供了 一种网络流量异常检测装置，包括 检测信号生成单元，用于生成用于检测的流量信号； 线调频小波变换单元，用于对所述流量信号进行线调频小波变换，得到 变换镨；
划分单元，用于将变换谱划分为至少两个频谱段； 重构单元，用于对各频谱段进行信号重构；
偏离分数算法单元，用于对重构的信号进行偏离分数算法处理，得到偏 离分数；
比较单元，将所述偏离分数与预设门限进行比较；
网络处理单元，用于获取所述比较单元的比较结果，根据比较结果确定 网络流量是否异常。
从上述的技术方案可以看出，与现有技术相比，本发明实施例引入线调 频小波变换，使得可以按照不同的时频分辨率进行分解，从而可以有效地检 测出长时的持续异常流量和短时的突变异常流量，并且，还能够检测出现有 的基于小波变换的网络流量异常检测方法所无法检测到的高频和中频攻击流 量。同时，通过信号自适应重构后的再次检测，进一步确认异常特征，提高 了检测的准确性。
为了更清楚地说明本发明实施例或现有^l支术中的^支术方案，下面将对实 施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下 面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲， 在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种网络异常检测方法的实施例的流程图2为信号频率空间进行划分示意图3为偏离分数算法滑动窗口的方差片企测的示意图4为攻击数据源和业务数据源的拓朴示意图5a为背景流量的功率谱图5b为攻击1的功率谱图5c为攻击2的功率"^普图5d为攻击3的功率:^普图6a为攻击1、攻击2和攻击3的流量信号图6b为图6a的流量信号的检测结果示意图7a为^重构信号的偏离分数示意图7b为^重构信号的偏离分数示意图7c为^重构信号的偏离分数示意图8a为^重构信号的偏离分数示意图8b为^重构信号的偏离分数示意图8c为^重构信号的偏离分数示意图9为本发明一种网络流量异常检测装置的实施例一的结构示意图； 图10为本发明一种网络流量异常检测装置的实施例二的结构示意图。
具体实施例方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行 清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而 不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作 出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例采用线调频小波变换作为分析手段，协助对网络流量异常 的检测。
线调频小波变换是一种时频分析方法，是小波变换和短时傅立叶变换的 一种扩展，结合和短时傅立叶变换和小波变换的优点，同时避免了它们的不
足。其与短时傅立叶变换和小波变换相比，具有以下优点
1、 信号线调频小波变换的分辨率与频率(尺度)有关；
2、 信号的线调频小波变换结果与其傅立叶谱保持直接的联系；
3、 基本小波不必满足容许性条件；
4、 能够将多个频段的变换谱合成后重构出原始信号，而不会出现频谙泄
5、其谱分解的任意性特点(即可以按需调整信号各个频段的分析尺度)， 可以按需调整信号各个频段的分析尺度，可以按需对信号的任意频段进行任 意程度的分解。
因此，针对现有技术存在的问题，本发明引入线调频小波变换，从而使 得操作者可以根据流量信号的频谱特征自动调整分频信号的频谱宽度，符合 异常特征，通过信号自适应重构后的再次检测，进一步确认异常特征，提高 了检测的准确性。
附图和实施例对本发明技术方案进行详细描述。
请参考图1,为本发明一种网络异常检测方法的实施例的流程图。 具体包括以下步骤
步骤S101、生成用于检测的流量信号。
用单位时间内通过路由器的数据包数量作为流量信号，设采样时间间隔 为r。秒，如果/(")作为第n个抽样点的值，则有 fO, w = 0
L(r。. (" -1),rD "]时间段内收集到的包数，otherwise
步骤S102、将所述流量信号进行线调频小波变换，得到变换谱。 步骤S103、按照能量均分的方式将变换语划分为低、中和高频谱段。 步骤S104、对各个频i普段的变换谱进行信号重构，利用偏离分数算法运 算得到偏离分数。
首先，对各个频谱段的变换谱进行时域信号重构，然后，进行偏离分数
算法对重构结果进行处理，得到偏离分数ra^。
步骤S105、判断偏离分数是否大于预设分解门限7;,也即是否rato〉7;， 若是，进入步骤S106,否则，进入步骤S107。
步骤S106、判断偏离分数是否大于预设报警门限7;,也即是否ra"o〉。 若是，进入步骤S108,否则，进入步骤S109。
步骤S107、排除异常，结束流程。
步骤S108、确认为异常，进行异常报警，结束流程。
步骤S109、将相应的频段进行下一级划分，然后进入步骤S104。
如果 ；〈ra"o〈7;,则还不能断定是否异常，所以需要对该子频段继续进 行下一级分解，不断深入分解直到达到"R警门限7;或者低于分解门限7;。
假设用于检测的流量信号为,则其短时傅立叶变换定义为
S77T (r，/)= r)e- , (1)
其中，g(O是一个时窗函数，随时间r的变化，g(,)所确定的时间窗在,轴 上移动，使信号"逐渐"被分析。
令(1 )中的时间函数g(,)为归 一化高斯窗函数
g(0 = ~7^e—^ (2)
其中，参数O"决定了时间窗的宽度。为了变换在信号低频段拥有较高的 频率分辨率，在高频段拥有较高的时间分辨率，令(7=1/|/卜则公式(1)可以写
成
… 「 -/X
丄 a/2;t
exp(-!.2祈)^ (3)
则式子(3)就是信号/7(0的线调频小波变换表达式，也就是说，在上述步
骤S101生成流量信号/zO)后，按照公式(1)、 (2)和(3)进行线调频小波变换处理。
在对信号频率空间进行划分的时候， 一般期望对信号高频和低频都进行 分析，但同时使得低频段频率分辨率高于高频段频率的分辨率，因为网络流 量本身是偏低频的信号，所以要求对低频进行更细致的划分。为了达到这个
原则是按照能量均分的方式将需要分解的变换谱划分若干段，例如可以分
为三段，分别为低频段、中频段和高频段，也就是使信号在这三个频段的能 量大小相等，各为分解前总能量的三分之一，因此对于每个子段频谱的长度 就是非均匀的。需要说明的是，在另外一些实施例中，如果实现基本确定攻 击的大概频率段(例如低频段和中频段)，即可将变换谱划分为两段即可。 如图2所示,如 果把初始的检测信号/")占据的总频带定义为r,经第一
级分解后被划分成三个子频带低频^、中频^和高频^;经第二级分解后，
^ 4皮戈l！分为「" 、「iW禾口 「^ , 「M净皮戈"I分为「W 、 「爐和「HM ， 净皮划分为「丄H 、
「柳和「册，根据情况，其中下标符号代表划分出来该频段的剖分次序，其次 序是先右后左，还可以对各划分出来的频段进行近一步细分。从图中可以看 出，每一层频带划分时，由于束用能量均匀的划分方式，各子频带的长度是 不相等的。
为了能完整可靠的检测出异常，须对语分解后的异常部分进行时域信号重 构。线调频小波变换的逆变换可以实现完全无损的时域信号重构，线调频小
波逆变换公式如下
<formula>complex formula see original document page 10</formula> (4)
在通过公式(4)对各个频段的变换谱进行信号重构后，将重构后的信号应 用于基于滑动时窗的偏离分数算法，计算得出偏离分数。
所述偏离分数算法用到两个滑动窗口 历史窗口 /^W"和^r测窗口 Dd肌"，如图3所示，这两个窗口都随着时间移动，实现对才企测结果实时更 新。在当前时刻"计算出检测窗口 ("De/肌w, /)中的样本数据的方差R, 及历史窗口(卜i^附w， O中历史数据的方差K，偏离分数rafe^R/p;,即是 检测窗口中的样本数据较历史正常数据的偏离。如果当前检测窗口内的信号 有异常，反映在ra/Zo这个参数上，就必然有一个幅度值得增长。正是基于此， 本文将偏离分数算法应用于重构信号，并依据偏离分数作为判决异常的依据。
下面将通过一个具体的实例对本发明技术方案进行进一步的描述。
假设，使用加州大学Berkeley分校的Lawrence Berkeley实验室采集的 数据作为背景流量，攻击数据源和业务邀:据源的拓朴如图4所示，其中，B 代表正常网络业务数据源即背景流量，Ax (x=1、 2..... 8)代表DDoS
(Distributed Denial of Service，分布式拒绝服务攻击)攻击数据源，R为受害 者主机前的核心路由器，V为受害者主机。
利用产生DDoS攻击作为异常流量，攻击源的攻击方式可以为^f氐频攻击、 中频攻击或高频攻击，其中
低频攻击就是8台攻击源主机以均值为10ms的exponential (指数) 分布发送数据包。中频攻击就是每台攻击源主机每隔10ms分别发送7、 5、 2、 0、 3个数据包。高频攻击就是每台攻击源主机每隔10ms分别发送2、 10、 1、 8、 5个数据包。
假设采样时间间隔为10，攻击1为低频攻击，加入背景流量的起始时间 为40-44s;攻击2为中频攻击，加入背景流量的起始时间为80-82s;攻击3 为高频攻击,加入背景流量的起始时间为160-161s,所述背景流量的功率谱 如图5a所示，攻击1 、攻击2和攻击3的功率谱如图5b、图5c和图5d所 示，加入攻击1 、攻击2和攻击3的流量信号如图6a所示。可以看出背景流 量的频带比较宽，能量分布较均匀，而攻击的频带相对较窄，能量分布在某 些范围比较集中，但如果直接在时域流量上做偏离分数(假设检测窗口取30) 来检测，则其结果如图6b所示，根本无法检测出任何攻击。
如果采用本发明实施例进行;f企测，贝'J:
首先，按能量均分的方式将流量数据进行1层多尺度分解，得到第一层 高频、中频和低频三个子频带^、 ^、 在对应各频带的重构时域信号上 做异常检测，则^重构信号的偏离分数在600-800之间超过了分解门限7;, 如图7a所示，需要对其进行下一级分解；^重构信号的偏离分数在720 - 780 之间超过了报警门限，确定为异常，这就是加入的中频攻击2，如图7b所示； ^重构信号的偏离分数在400-450之间也超过了报警门限，确定为异常， 这就是加入的高频攻击3，如图7c所示。
对发现疑似异常的^，同样按能量均分的方式进一步分解到第2层进行 检测，得到第2层高频、中频、低频三个子频带^、 「M、 ^。 ^重构信号的 偏离分数在600 - 680之间超过了报警门限，确定为异常，这就是所述攻击1, 如图8a所示，、和^重构信号的偏离分数没有超过分解门限，排除异常，如 图8b、 8c所示。
可以看出，本发明实施例与现有^支术相比，具有以下优点和特点
1、 本发明实施例按照不同的时频分辨率进行分解，可以有效地^r测出长
时的持续异常流量和短时的突变异常流量，并且，能够检测出现有的基于小 波变换的网络流量异常检测方法所无法检测到的高频和中频攻击流量。
2、 通过信号自适应重构后的再次检测，进一步确认异常特征，提高了检 测的可靠性。
3、 通过引入尺度可调整变换谱分解，解决了基于小波包分解的网络流量 异常检测无法按需调整分解尺度的问题。
4、 通过引入分解门限，避免了变换谱分解的盲目性。 针对上述方法部分的实施例，本发明还提供了可实现部分实施例的装置
结构示意图。
请参考图9，为本发明一种网络流量异常检测装置的实施例一的结构示意图。
网络流量异常检测装置包括检测信号生成单元10、线调频小波变换单 元20、划分单元30、重构单元40、偏离分数算法单元50、比较单元60和 网络处理单元70。
所述检测信号生成单元10，用于生成用于检测的流量信号用单位时间 内通过路由器的数据包数量作为流量信号，设采样时间间隔为r。秒，如果/(") 作为第n个抽样点的值，则有
t(K" —0,几."]时间段内收集到的包数，otherwise 所述线调频小波变换单元20,用于对所述流量信号进行线调频小波变换， 得到变换谱，设所述流量信号为/z(0,按照前文公式(1)、 (2)和(3)进行线调频 小波变换处理，得到变换谱。
所述划分单元30，用于对所述变换谱进行划分。 所述重构单元40，用于对划分的变换谱进行信号重构。 所述偏离分数算法单元50,用于对重构的信号进行偏离分数算法处理， 得到偏离分数，所述偏离分数算法是基于滑动时窗的偏离分数算法。具体过 程可参考前文方法部分的描述。
所述比较单元60,将所述偏离分数与预设门限进行比较。
其中:
所述网络处理单元70，用于获取比较单元60的比较结果，根据比较结
果确定网络流量是否异常。
图10示出了本发明一种网络流量异常检测装置的实施例二的结构示意图。
所述网络处理单元70包括第一处理单元71和第二处理单元72。 所述预设门限可以报警门限和分解门限，所述比较单元60将所述偏离分 数与报警门限和分解门限进行比较，所述第一处理单元71获取比较结果，并 当所述偏离分数大于所述报警门限时，进行异常报警；所述第二处理单元72 获取比较结果，当所述偏离分数小于报警门限，且大于分解门限时，指示所 述划分单元30对相应的频段进行进一步细分，指示重构单元40对细分的频 段进行重构，并由比较单元60进行比较，直到偏离分数小于所述分解门限， 或者大于所述报警门限为止。
能量均分的方式将变换镨划分成预设频谱段(划分的具体方式过程可参照前 文方法部分的内容)。
所述预设频谱段可以包含三段，分别为低频段、中频段和高频段，也就 是使信号在这三个频^敬的能量大小相等，各为分解前总能量的三分之一，因 此对于每个子段频谱的长度就是非均匀的。
另外还需要说明的是，在另外一些实施例中，如果实现基本确定攻击的 大概频率段(例如低频段和中频段)，即可将预设频谱可以仅包含两段即可。
本领域技术人员可以理解，可以使用许多不同的工艺和技术中的任意一 种来表示信息、消息和信号。例如，上述说明中提到过的消息、信息都可以 表示为电压、电流、电磁波、磁场或磁性粒子、光场或以上任意组合。
专业人员还可以进一步应能意识到，结合本文中所公开的实施例描述的 各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来 实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能 一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来 执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每 个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为 超出本发明的范围。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流 程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于 一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施
例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory, ROM )或随机存储记忆体(Random Access Memory, RAM )等。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发 明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的， 本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其 它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而 是要符合与本文所^^开的原理和新颖特点相一致的最宽的范围。
权利要求
1、一种网络流量异常检测方法，其特征在于，包括对用于检测的流量信号进行线调频小波变换，得到变换谱；将变换谱划分为至少两个频谱段；对各频谱段分别进行信号重构，利用偏离分数算法对重构后的信号进行运算，得到偏离分数；将所述偏离分数与预设门限进行比较，根据比较结果确定网络流量是否异常。
2、 如权利要求1所述的方法，其特征在于，所述预设门限为报警门限， 当偏离分数大于所述报警门限时，确定网络流量异常，并进行异常报警。
3、 如权利要求1所述的方法，其特征在于，所述预设门限为分解门限， 当偏离分数小于所述分解门限时，确定网络流量正常。
4、 如权利要求1所述的方法，其特征在于，所述预设门限包括分解门限 和报警门限，当所述偏离分数大于预设分解门限，且小于所述预设l艮警门限 时，将相应的频谱段进一步划分为至少两个频谱段，并进行信号重构，直到 偏离分数小于所述预设分解门限，或者大于所述才艮警门限为止。
5、 如权利要求1-4任意一项所述的方法，其特征在于，将变换谱划分为 至少两个频谱段具体为按照能量均分的方式将变换谱划分成低、中和高频 三个谱段。
6、 如权利要求5所述的方法，其特征在于各个频谱段的信号的能量相等。
7、 一种网络流量异常检测装置，其特征在于，包括 检测信号生成单元，用于生成用于检测的流量信号； 线调频小波变换单元，用于对所述流量信号进行线调频小波变换，得到变换谱；划分单元，用于将变换谱划分为至少两个频谱段； 重构单元，用于对各频谱段进行信号重构；偏离分数算法单元，用于对重构的信号进行偏离分数算法处理，得到偏 离分数；比较单元，将所述偏离分数与预设门限进行比较；网络处理单元，用于获取所述比较单元的比较结果，根据比较结果确定 网络流量是否异常。
8、 如权利要求7所述的装置，其特征在于，所述预设门限为报警门限， 所述网络处理单元包括第一处理单元，当所述偏离分数大于预设报警门限时，确定网络流量异 常，并进行异常报警。
9、 如权利要求7所述的装置，其特征在于，所述预设门限包括报警门限 和分解门限，所述网络处理单元包括第二处理单元，用于当所述偏离分数大于预设分解门限且小于所述预设 报警门限时，指示划分单元对相应的变换谱进行进一步划分为至少两个频谱 段。
10、 如权利要求9所述的装置，其特征在于，所述，所述低、中和高频 谱段的信号的能量相等。
全文摘要
本发明实施例公开了一种网络流量异常检测方法，包括对用于检测的流量信号进行线调频小波变换，得到变换谱；将变换谱划分为至少两个频谱段；对各频谱段分别进行信号重构，利用偏离分数算法对重构后的信号进行运算，得到偏离分数；将所述偏离分数与预设门限进行比较，根据比较结果确定网络流量是否异常。本发明实施例同时还公开了一种实现上述方法的装置。本发明实施例按照不同的时频分辨率进行分解，可以有效地检测出长时的持续异常流量和短时的突变异常流量，并且，能够检测出现有的基于小波变换的网络流量异常检测方法所无法检测到的高频和中频攻击流量，通过信号自适应重构后的再次检测，进一步确认异常特征，提高了检测的准确性。
文档编号H04L12/26GK101345664SQ20081013125
公开日2009年1月14日 申请日期2008年8月5日 优先权日2008年8月5日
发明者李宗林, 丹 杨, 松 杨, 胡光岷 申请人:成都市华为赛门铁克科技有限公司;电子科技大学