专利名称：一种自适应网络流量预测和异常报警方法
技术领域：
本发明涉及计算机网络管理技术领域，特别是一种自适应网络流量预测和异常报警方法。
背景技术：
网络技术的飞速发展和规模的不断扩大，网络业务复杂性日益提高。在这种环境中，资源分布程度和共享程度均迅速扩大，任何微小的故障都可能导致用户应用的失败。为了提高服务质量和降低运行成本，及时有效的发现网络流量的异常情况在网络管理中变得越来越重要。预测和报警是两个有效手段。
对网络流量的时间序列进行预测，经典的是基于Poisson过程的统计模型方法。在当前网络新业务不断涌现的环境下，流量特征已发生极大的改变，这种随机统计模型已不能真实有效的反应实际的网络行为了。
网络流量报警方面，传统的报警系统一般只是简单的根据系统配置的一个固定阈值来判断当前流量是否处于正常状态，如果流量小于该设置的阈值则认为当前流量状态正常，反之则产生报警。而在实际网络环境中，阈值的设置是很困难的，阈值太大则漏检率提高，阈值太小则误检率提高。
遗传算法(Genetic Algorithm，GA)是一类模拟生物进化的智能优化算法，常被用于工业过程中的优化问题。它借用了生物遗传学的观点，通过自然选择、遗传、变异等作用机制，实现各个个体的适应性的提高，这一点体现了自然界中“物竞天择、适者生存”的进化过程。与传统方法相比，遗传算法的具有不依赖于问题的具体领域，对问题的种类有很强的鲁棒性等优点。遗传算法已成为进化计算研究的一个重要分支。
遗传算法以一群个体为例，它们都有自己的DNA。然后衡量每一个个体的适应性(把它看作是适用于个体的DNA的功能来衡量)，并且使那些更适应的个体更有可能繁衍。而最不适应的个体将会被灭绝。每个幸存者都会有机会繁衍(重要的是任何幸存者都可能会繁衍，如果不太适应的话，仅仅是降低了可能性)。合并双亲的DNA，对合并后的DNA应用随机变异以模拟繁衍。理论上说来，新的个体是和双亲一样适应的，由于变异或增或减会有些微小的变化。然后循环会周而复始。
选择、交叉和变异是GA中最常用的算子(1)选择算子(Selection/Reproduction)选择算子从群体中按某一概率成对选择个体，某个体xi被选择的概率pi与其适应度值成正比。最通常的实现方法是轮盘赌(Roulette Wheel)模型。(2)交叉算子(Crossover/Recombine)交叉算子将被选中的两个个体的基因链按概率pc进行交叉，生成两个新的个体，交叉位置是随机的。其中pc是一个系统参数。(3)变异算子(Mutation)变异算子将新个体的基因链的各位按概率pm进行变异，对二值基因链(0，1编码)来说即是取反。
发明内容
本发明的目的和任务是对具体的不同网络，在网络历史流量性能信息的基础上，先从横向时间度利用遗传算法预测出下一时刻的流量状态后，再从纵向时间度根据历史流量信息中每一天该相同时段的流量样本，利用统计学方法来判断该流量的异常情况，并进行分级报警，从而达到预警的目的。
本发明提出的自适应网络流量预测应用了遗传算法。但是本发明是在计算机及计算机网络上，数据的传输，数据处理，使用了权利要求书的技术方案和技术手段，来达到和实现网络流量预测和异常报警的目的和效果。
下面具体阐述本自适应网络流量预测和异常报警方法的具体实现机制定义编码将历史流量信息的真实值转换成遗传算法各算子所能操作的二进制串。
种群历史流量信息的若干真实值即可形成一个种群。系统以当前时刻前一段时间内的流量信息为初始种群。
染色体(个体)流量真实值经过编码后生成的个体称为染色体。
基因二进制表示的染色体的每一位因子称为基因。
个体适应度是对染色体对网络环境的适值评估，个体适应度越大表面该个体对预测的贡献越大。
为了达到所要求的目的，本自适应网络流量预测和异常报警方法，解决方案在如上所提出的理论基础上，通过网络流量数据采集、网络流量数据处理与存储、网络流量预测、网络流量异常报警四个阶段来实现。
具体步骤如下一、网络流量数据采集采用SNMP的GET方法采集路由器的MIB信息，从而获得网络的真实流量性能信息。SNMP基本原理结构如图(4)。一般网络情况下系统只需每隔5分钟采集一次数据即可。(注利用SNMP来采集流量原始数据信息是国际的一个标准协议)二、网络流量数据处理与存储将从路由器上采集到的原始数据转化为流量速率(bps)并存储在数据库中。需要记下以下基本信息
yt|≤st时网络状况正常，下一时刻网络流量预测值相对历史流量偏差在允许范围内。
(2)当st＜|ft+1-yt|≤2st时产生初级预警，下一时刻网络流量预测值相对历史流量有较小偏差。
(3)当2st＜|ft+1-yt|≤3st时产生中级预警，下一时刻网络流量预测值相对历史流量有较大偏差。
(4)当3st＜|ft+1-yt|时产生高级预警，下一时刻网络流量预测值相对历史流量状况有很大偏差。
本发明的特点和积极效果在于(1)采用遗传算法对网络流量进行预测，相对其他预测算法，遗传算法的搜索始于历史流量数据的一个种群，采用概率的而不是确定状态的转移规则，而且具有较强的自适应性，在预测过程中能主动去除历史流量中的异常数据，从而预测出更准确的网络流量期望值。(2)分别从横向时间度来进行流量预测，从纵向时间度来预警网络流量的异常情况，大大提高了对网络流量变化趋势的灵敏度和准确性，具有更低的漏报率和误报率。
图1是自适应网络流量预测和异常报警方法的总体流程图。
图2是网络流量预测流程图。
图3是网络异常报警流程图。
图4是SNMP基本原理图。
具体实施例方式
图1的总体流程图中，系统通过S1-1，网络流量数据采集、S1-2，网络流量数据存储与处理、S1-3，网络流量预测、S1-4，网络流量异常报警四个阶段步骤来实现。
图2网络流量预测流程，系统从横向时间度对网络流量进行预测，其步骤如下S2-1编码一般网络流量预测只需精确到kbps，比如在一个千兆局域网内，则需要20位的串长。假设当前种群流量最大值Max和最小值Min，流量值x对应二进制编码为b则二者的关系式如下b=x-MinMax-Min*(220-1)]]>x=Min+b*(Max-Min)220-1]]>S2-2流量样本初始种群生成系统以当前时刻前5×n分钟(样本规模可根据具体网络情况而定)所采集的历史流量为样本，将每个流量数据x1，x2，...，xn转换成相应的二进制表示，这样就得到了初始染色体群b1，b2，...，bn。
S2-3个体适应度值计算适应度大的个体即有更大的繁衍概率。个体适应度主要取决于两个因素流量值的大小和与当前的时间差，构造个体适应度函数模型如下(适应度函数的构造方法并不唯一)F(xi)＝ρ(xi)·t(xi)其中，我们可以假设密度函数ρ(xi)和时间函数t(xi)如下ρ(xi)＝(Max-Min)-|xi-E(X)|t(xi)=αtxi-t0Δt(0<α<1)]]>α为时间相关度系数，根据具体网络情况设定(一般在0.7～0.9之间)。
S2-4选择重组系统的选择操作采用轮转法，从而选择出新的染色体群。
(1)根据前面个体适应度的计算结果，计算所有种群所有染色体的适值之和(pop_size为种群大小)F=Σi=1pop_sizef(xi)]]>(2)对各染色体xi，计算选择概率pxi=f(xi)F;i=1,2,...,pop_size]]>(3)对各染色体计算累积概率qxi=Σj=1ipj;i=1,2,...,pop_size]]>(4)在
区间内产生一个均匀分布的伪随机数r，若r≤q1，则选择第一个染色体x1；否则，选择第k个染色体xk(2≤k≤pop_size)，使得qk-1＜r≤qk成立。
(5)循环步骤4pop_size次后即可得到选择重组后的新染色体种群。
S2-5交叉选中个体中随机设定一个交叉点，实行交叉时，将选中染色体该点前后的两个部分结构分别互换，生成两个新个体。假设系统设定的交叉率为pc，具体实施方式
如下(1)在
区间内产生一个均匀分布的伪随机数r，如果r＜pc则选择交叉的双亲之一；否则执行步骤3；(2)若已选择出双亲，则产生一个随机整数pos(1≤pos≤染色体长度)作为断点，交叉双亲断点后的所有位，生成两个新染色体。
(3)若不满足终止条件则返回1，循环pop_size次。
S2-6变异变异的基本思想是对染色体上每一位依变异概率pm进行变异操作在二值基因链中，如果该位为0则变为1，为1则变为0。具体实现方法如下假设变异概率为pm，种群的基因数m为种群大小×染色体串长。为使每个基因有相同的几率发生变异，将染色体按顺序排列，并产生
间均匀分布的随机数序列rk(k＝1，2...，m)，若rk≤pm，则根据位址k推算出变异的染色体号和位号，对该位进行变异操作。
S2-7终止判定至此，就完成了遗传算法的一次迭代。若不满足终止条件则跳转到S2-3继续，否则结束，输出适应度最佳的值作为预测值ft+1。终止条件有两个，满足任意一个即可终止已到达系统设定的遗传代数；遗传预测流量值已趋于收敛。
图3网络异常报警流程，其步骤如下S3-1提取前t天同一时刻的流量样本从流量信息历史记录中提取出前t天与待预测相同时刻(比如前30天中13:40时段)的历史流量真实值为样本，假设样本是y1，y2，...，ytS3-2计算样本方差和标准差根据方差计算公式可得到该样本的方差st。流量移动样本方差和样本标准差的计算公式为
st2=1n-1Σi=0n-1(yt-i-y‾t)2]]>st=1n-1Σi=0n-1(yt-i-y‾t)2]]>其中y‾t=E(yt)=1n(y1+y2+···+yt)]]>S3-3异常分析(1)当|ft+1-yt|≤st时网络状况正常，下一时刻网络流量预测值相对历史流量偏差在允许范围内。
(2)当st＜|ft+1-yt|≤2st时产生初级预警，下一时刻网络流量预测值相对历史流量有较小偏差。
(3)当2st＜|ft+1-yt|≤3st时产生中级预警，下一时刻网络流量预测值相对历史流量有较大偏差。
(4)当3st＜|ft+1-yt|时产生高级预警，下一时刻网络流量预测值相对历史流量状况有很大偏差。
图4SNMP基本原理图。它是由IETF提出的，随着TCP/IP成为事实上的协议标准而广泛被使用。SNMP主要由三部分组成管理者、代理和MIB。MIB遵从SMI(Structure of Management Information)，存放设备或者网络运行状态的信息。管理者通过GetRequest，GetNextRequest，SetRequest，GetResponse，Trap等操作通过代理获得和设置MIB的参数值。
权利要求
1.一种自适应网络流量预测和异常报警方法，其特征在于，从横向时间度利用遗传算法预测出下一时刻的流量状态后，再从纵向时间度根据历史流量信息中每一天该时段内的流量样本，利用统计学方法来判断该流量的异常情况。
2.根据权利要求1的自适应网络流量预测和异常报警方法，其特征在于，通过网络流量数据采集、网络流量数据处理与存储、网络流量预测、网络流量异常报警四个阶段的步骤来实现。
3.根据权利要求1或2的自适应网络流量预测和异常报警方法，其特征在于，网络流量数据采集，采用SNMP的GET方法采集路由器的MIB信息，从而获得网络的真实流量性能信息。
4.根据权利要求1或2的自适应网络流量预测和异常报警方法，其特征在于，网络流量数据处理与存储，将从路由器上采集到的原始数据转化为流量速率并存储在数据库中。
5.根据权利要求1或2的自适应网络流量预测和异常报警方法，其特征在于，网络流量预测，采用遗传算法从横向时间度对网络流量进行预测。
6.根据权利要求1或2的自适应网络流量预测和异常报警方法，其特征在于，网络流量异常报警，对当前网络流量性能状态进行统计分析，利用遗传算法预测出的网络流量值ft+1后，系统从纵向时间度采用方差分析法进行网络性能预警。
7.根据权利要求2或5的自适应网络流量预测和异常报警方法，其特征在于，网络流量预测包括1)编码，是将种群数据的表现型转化为染色体的基因型表示；2)初始种群生成，以当前时刻前n分钟所采集的历史流量为样本，并对每个个体进行编码；3)个体适应度计算，计算种群中每个染色体的适应度值；4)选择，在交替的在编码空间和解空间中工作，在编码空间中对染色体进行遗传运算，而在解空间中对解进行评估和选择；5)交叉，交叉操作采用最常用的一点交叉法；6)变异，对染色体上每一位依变异概率pm进行变异操作；7)终止判定，至6)完成了遗传算法的一次迭代，若不满足终止条件则跳转到3)继续，否则结束，输出适应度最佳的值作为预测值ft+1。
8.根据权利要求2或5的自适应网络流量预测和异常报警方法，其特征在于，网络流量预测，其具体步骤如下S2-1编码，是将种群数据的表现型转化为染色体的基因型表示；S2-2初始种群生成，以当前时刻前n分钟所采集的历史流量为样本，并对每个个体进行编码；S2-3个体适应度计算，计算种群中每个染色体的适应度值；S2-4选择，系统采用轮转法来选择，从而产生新的染色体群；S2-5交叉，交叉操作采用最常用的一点交叉法；S2-6变异，对染色体上每一位依变异概率pm进行变异操作；S2-7终止判定，至S2-6，就完成了遗传算法的一次迭代，若不满足终止条件则跳转到S2-3继续，否则结束，输出适应度最佳的值作为预测值ft+1。
9.根据权利要求2或6的自适应网络流量预测和异常报警方法，其特征在于，网络流量异常报警，S3-1从流量信息历史记录中提取出前t天与待预测相同时刻的历史流量真实值为样本；S3-2计算样本方差和标准差；S3-3异常状态分析(1)当|ft+1-yt|≤st时网络状况正常，下一时刻网络流量预测值相对历史流量偏差在允许范围内；(2)当st＜|ft+1-yt|≤2st时产生初级预警，下一时刻网络流量预测值相对历史流量有较小偏差；(3)当2st＜|ft+1-yt|≤3st时产生中级预警，下一时刻网络流量预测值相对历史流量有较大偏差；(4)当3st＜|ft+1-yt|时产生高级预警，下一时刻网络流量预测值相对历史流量状况有很大偏差。
全文摘要
本发明涉及计算机网络管理技术领域，特别是涉及网络流量性能预测及异常报警的技术。本发明提出了一种基于遗传算法的新型自适应网络流量预测及异常报警的方法。不同于传统方法只根据系统设置的固定阈值来判断流量状态是否异常，而是对具体不同网络从横向时间度利用遗传算法预测出下一时刻的流量状态后从纵向时间度根据历史流量信息中每一天该相应时段内的流量样本，利用统计学方法来判断该流量的异常情况。通过网络流量数据采集、网络流量数据处理与存储、网络流量预测、网络流量异常报警四个阶段的步骤来实现。本发明相对已有预警系统大大提高了对网络流量变化趋势的灵敏度和准确性，具有更低的漏报率和误报率。
文档编号H04L12/24GK1617512SQ20041000985
公开日2005年5月18日 申请日期2004年11月25日 优先权日2004年11月25日
发明者李仰耀, 张国清 申请人:中国科学院计算技术研究所