专利名称：网络异常流量监测方法和监测系统的制作方法
技术领域：
本发明涉及一种网络监测技术，尤其涉及一种网络异常流量监测方法和监测系统。
背景技术：
随着软交换信令业务和话务、语音业务采用IP承载网承载，软交换与IP的联系日 益紧密。IP承载网的服务质量保证将与软交换业务息息相关，同时IP网络的引入也带来了 诸多安全问题，通过IP承载网承载的软交换信令流量和语音流量监测，可以为融合后的网 络提供一种有效的监控手段。 现有IP流量分析仪采用的技术存在如下缺陷流量分析仪采用固定阈值监测异 常流量，对于具有复杂的非线性特性和随机性，且随时间、事件、用户行为等因素影响较大 的软交换信令流量或语音流量，固定阈值的方法并不适用。由于软交换信令流量或语音流 量并不是恒定不变的一个常数，如果采用固定阈值监测异常流量，当阈值定义范围过小会 频繁产生虚警，造成维护人员不必要的工作量；当阈值定义范围过大将无法迅速捕捉到IP 异常流量，造成漏警，影响用户业务。
发明内容
本发明的目的在于，针对现有技术中IP流量分析仪在使用中出现虚警和漏警的 缺陷，提供一种准确监测网络中异常流量数据，避免虚警和漏警问题的网络异常流量监测 方法和监测系统。 该网络异常流量监测方法包括计算短时采样点与其之前的k个采样点的IP流量 数据的相关系数，将采样点的相关系数与预设的第一相关系数阈值进行比较，确定大于第 一相关系数阈值的采样点为第一样本空间的样本；根据第一样本空间计算IP流量数据的 短时预测值；根据短时预测值对新IP流量数据进行监测。 该网络异常流量监测系统包括监测控制模块，用于从网络采样IP流量数据，并 生成短时预测请求；IP流量数据库，用于存储IP流量数据；样本空间选择模块，用于计算短 时采样点与其之前的k个采样点的IP流量数据的相关系数，将采样点的相关系数与预设 的第一相关系数阈值进行比较，确定大于第一相关系数阈值的采样点为第一样本空间的样 本；短时预测模块，用于根据短时预测请求及第一样本空间生成短时预测值反馈到监测控 制模块；监测控制模块还用于将接收到的新IP流量数据与短时预测值进行比较，判断新IP 流量数据是否为异常数据。 本发明的网络异常流量监测方法和监测系统，通过短时预测值和长时预测值对IP 流量进行监测，不仅能够跟踪IP流量的异常随机变化情况；还能够随时间推移跟踪到IP流 量变化，捕捉到IP流量的异常缓慢变化。从而实现避免虚警和漏警，准确监测网络中异常 流量数据。
1是本发明第
2是本发明第一 3是本发明第 4是本发明第二 5是本发明第二 6是本发明第二 7是本发明第二 8a是本发明第 8b是本发明第 9a是本发明第 9b是本发明第 IO是本发明第
实施例网络异常流量监测系统的结构图； 实施例网络异常流量监测系统中监测控制模块的结构图； 实施例网络异常流量监测系统中样本空间选择模块的结构图 实施例网络异常流量监测方法流程图； 实施例同一端局IP流量的日变化曲线图； 实施例一日内每个趋势段内每个采样点的相关系数曲线图； 实施例每日IP流量的相关系数曲线图； 二实施例正常情况下实测IP流量与短时预测值的曲线值 二实施例正常情况下实测IP流量及长时预测值的曲线值 二实施例异常情况下实测IP流量与短时预测值的曲线值 二实施例异常情况下实测IP流量与长时预测值的曲线值， 三实施例网络异常流量监测系统中监测控制模块的结构图。
具体实施例方式
以下结合附图对本发明进行详细说明。
如图1所示，本发明第一实施例中网络异常流量监测系统包括 监测控制模块11，用于从网络监测IP流量，生成IP流量数据，并生成短时预测请
求和长时预测请求； IP流量数据库12，接收并存储IP流量数据； 样本空间选择模块13，读取IP流量数据库12中存储的IP流量数据，计算短时采 样点与其之前的k个采样点的IP流量数据的相关系数，将采样点的相关系数与预设的第一 相关系数阈值进行比较，确定大于第一相关系数阈值的采样点为第一样本空间的样本；
短时预测模块14，根据短时预测请求从IP流量数据库读取第一样本空间对应的 IP流量数据，并生成短时预测值反馈到监测控制模块11 ; 监测控制模块11根据短时预测值对接收到的新IP流量数据进行监测，判断新IP 流量数据是否为异常数据。 优选地，如图1和图2所示，第一实施例中网络异常流量监测系统还包括长时预测 模块15。其中，监测控制模块11还包括长时预测请求生成子模块，用于生成长时预测请求。 样本空间选择模块13还包括第二样本空间选择子模块，用于确定第二样本空间的样本。长 时预测模块15，根据长时预测请求从IP流量数据库读取第二样本空间对应的IP流量数据， 并生成长时预测值反馈到监测控制模块11。监测控制模块11将接收到的新IP流量数据与 长时预测值进行比较，判断新IP流量数据是否为异常数据。
其中，如图2所示，监测控制模块11包括 采样子模块112，从网络监测IP流量，等时间间隔采样IP流量，生成IP流量数据； 本实施例中，采样的时间间隔为5分钟； 短时预测请求生成子模块114，生成短时预测请求，第一实施例中，生成短时预测 请求的周期为5分钟； 长时预测请求生成子模块116，生成长时预测请求，第一实施例中，生成长时预测
6请求的周期为24小时； 比较子模块118，将接收到的新IP流量数据与短时预测值和长时预测值进行比
较，判断新IP流量数据是否为异常数据。 如图3所示，样本空间选择模块13包括 趋势段划分子模块132，用于按时间及流量变化对每日的采样点划分趋势段，每个趋势段内采样点的IP流量数据整体呈上升或下降趋势； 相关系数计算子模块134，用于计算第n个趋势段内每个短时采样点与其滞后k个采样点的IP流量数据的相关系数，第n个趋势段内第i个采样点与第i-k个采样点的相关
系数<formula>formula see original document page 7</formula>其中m为第n个趋势段内采样点个数，为第n个趋
势段内采样点IP流量数据平均值； 第一样本空间选择子模块136，包括第一比较器，将趋势段内每个采样点的相关系数r(i，i-k)与预设的相关系数阈值r'进行比较，当r(i，i-k) >r'时，确定该采样点为第一样本空间的样本，确定该趋势段的第一样本空间大小为K ; 第二样本空间选择子模块138，包括第二比较器，用于将相关系数r(i，i-k)与预设的第二相关系数阈值r〃进行比较，当r(i，i-k) >r〃时，确定该采样点为第二样本空间的样本；选择器，在多个日子中的同一趋势段内选取的相同的采样点作为所述第二样本空间的样本。 优选地，为保证样本的准确性，第一样本空间选择子模块136还包括第一滤波器，用于对该K个样本取平均值，滤除其中大于该平均值80%的样本数据以及小于该平均值80%的样本数据。 优选地，为保证样本的准确性，第二样本空间选择子模块138还包括第二滤波器，用于对该K*M个样本取平均值，滤除K*M个样本中大于该平均值80%的样本数据以及小于该平均值80%的样本数据。 第一实施例中，短时预测模块14根据短时预测请求和第一样本空间计算在第n个
趋势段内，第i点的短时预测值为<formula>formula see original document page 7</formula>K为第一样本空间中样本的个数。例如，
通过第一样本空间选择模块136得到第一样本空间中样本个数K = 5，要预测趋势段内第IO个点的值时，S卩i = 10时，该第IO个点的短时预测值为取第九个点(j = l，i-j = 10-1=9)，第八个点(j = 2， i-j = 10-2 = 8) ， ，第五个点(j = 5， i-j = 10-5 = 5)，这五个点的算术平均。 优选地，短时预测模块14还对短时预测值进行容错计算Sni* (1 ± tn% ) ， tn —般取值为20 30，可得第i个点的短时预测区域。 第一实施例中，长时预测模块15根据长时预测请求和第二样本空间计算长时预测值，第二样本空间表示为Zi = {Zl， z2， ... ， Zl}， i为第i个时间点，l为该时间点的样本空间大小，则第i点的长时预测值为T^ 7即，第二样本空间中样本的算术平均值。
7,. = ^-,
, / 更优地，长时预测模块15还对长时预测值进行容错计算Ti*(l±tn% ) ， k一般取值为20 30，可得第i个点的长时预测区域。以上长时预测同样适用于节假日，即样本选取节假日的历史数据。 监测控制模块11中的比较子模块128根据以上计算的短时预测区域和长时预测区域和新IP流量数据进行比较，判断新IP流量数据是否为异常数据。
如图4所示，本发明第二实施例的网络异常流量监测方法，其特征在于，包括
步骤402，计算短时采样点与其之前的k个采样点的IP流量数据的相关系数r(i，i-k); 步骤404，比较采样点的相关系数是否大于预设的第一相关系数阈值r'，如果是，执行步骤406 ; 步骤406，确定大于第一相关系数阈值r'的采样点为第一样本空间的样本；
步骤408，根据第一样本空间计算IP流量数据的短时预测值；
步骤410，；根据短时预测值对新IP流量数据进行监测。
其中，步骤402之前还包括 步骤402a，对IP流量数据进行等时间间隔的采样； 步骤402b，根据时间将每日的采样点划分为多个趋势段，每个趋势段内采样点的IP流量数据整体呈上升或下降趋势。 以某一端局的IP流量数据为例，将某一端局一天的IP流量数据按时间排列，数据采样间隔取5分钟，得到一组时间序列。如图5所示，在同一端局下每天某一时间段内IP流量的变化规律有着近似的上升或下降规律，因此IP流量数据序列是具有趋势性的。
将全天划分为多个趋势段，在每一分段内IP流量变化趋势近似线性，并且趋势段内数据具有相似的短时相关性。第二实施例中，将全天划分为5个趋势段，第一趋势段23:00 5:00，第二趋势段5:00 11:00，第三趋势段11:00 14:00，第四趋势段14:00 19:00，第五趋势段19:00 23:00。同一趋势段内数据整体呈线性上升(或下降)趋势。
步骤402中，计算短时采样点与其之前的k个采样点的IP流量数据的相关系数具体包括 计算第n个趋势段内每个采样点与其滞后k个采样点的IP流量数据的相关系数，趋势段内第i个采样点与第i-k个采样点的相关系数r(i， i-k)计算公式如下
m-A
-i)(x,一广？)r(/,/-" = ^^-,其中m为趋势段内采样点个数，为趋势段内采
,-=i x
样点IP流量数据平均值； 如图6所示，为该端局一天内各趋势段内IP流量数据相关系数分布图。相同趋势段内的数据相关系数rk曲线形式相似，时间上越接近的数据相关性越大。同时不同趋势段之间相关系数有所差别，23:00 5:00和5:00 11:00这两个趋势段内数据相关性较强，
8而其他趋势段内数据相关性相对较弱。 第二实施例中，为保证样本的准确性，步骤404确定IP流量数据的第一样本空间还包括滤除其中大于该平均值80%以及小于该平均值80%的样本数据。
步骤4Q6中，在第n个趋势段内，第i点的短时预测值为
<formula>formula see original document page 9</formula> 通过选定第n个趋势段内与第i个点相关性较强的K个点，并进行平滑滤波，得到了第i个点的短时预测值Sni，再进行容错计算Sni*(l±tn% ) ，tn—般取值为20 30，可得第i个点的短时预测区域。 通过短时跟踪算法，我们能够较为准确的跟踪到IP流量的变化，并利用控制窗口监测IP流量突变。但是仅利用短时跟踪算法无法捕捉到由于网络设备问题带来的流量缓慢恶化情况，因此我们还需要通过历史数据来确定长时预测值，在流量出现缓慢恶化，即连续多点超出长时预测窗口时，提示流量异常告警。 优选地，第二实施例网络异常流量监测方法步骤410之后还包括 步骤al，计算与长时采样点处于同一趋势段内的之前k个采样点与长时采样点的
IP流量数据的相关系数，例如，计算趋势段内第i个采样点与第i+k个采样点的相关系数
'〃 rv.
Z(x,. - i)(x,—「i)
r (i ， i-k)计算公式如下卜A)=
to, -W
,其中m为趋势段内采样点个数，
/=1
^为趋势段内采样点IP流量数据平均值； 步骤a2，比较采样点的相关系数是否大于预设的第二相关系数阈值r〃 ，如果是，执行步骤a4 步骤a3，确定大于第二相关系数阈值r〃的采样点为第二样本空间的样本；
步骤a4，在多个日子中的同一趋势段内选取的相同的采样点作为第二样本空间的样本； 步骤a5，根据第二样本空间计算长时预测值； 步骤a6，根据长时预测值对新IP流量数据进行监测。 将该端局每天的IP流量数据作为一组随机变量，分析每天IP流量之间的相关性。当天IP流量变化与历史IP流量相关程度的大小，可以用相关系数Rij表示，对于给定的样本X二 1，&，...^11}，其中乂1为该端局每天的1 流量，1 = 1，2，...，n;Xi GRn，iXi ={Xu， Xi2， . . . ， Xim} ， Xi和Xj之间的相关系数为Rij，通过下式计算 <formula>formula see original document page 9</formula> 式中X<formula>formula see original document page 9</formula>
相关系数越接近1，说明两组随机变量的相关程度越高。如图7所示，选取26天的IP流量数据进行相关性分析，可以看出数据间的相关程度表现出了一定的规律性，即工作日之间的相关系数高于工作日与节假日之间的相关系数。 第二实施例中，选取历史M个工作日，每个工作日中同一时间点前后相关性较强的K个IP流量数据作为样本，即共WM个样本。本实施例中，为保证样本的准确性，对该K*M个样本取平均值，滤除其中大于该平均值80%以及小于该平均值80%的样本数据。长时预测样本表示为Zi = {Zl， z2， . . . ， Zl} ， i为第i个时间点，1为该时间点的样本空间大小。则第i点的长时预测值为Ti
, / 通过长时预测值Ti，再进行不同时段的容错计算T^(l士tn^ )， tn—般取值为20 30，可得第i个点的长时预测区域。以上长时预测算法同样适用于节假日，即样本选取节假日的历史数据。 如图8a和图8b所示，短时预测上曲线80a和短时预测下曲线80b所组成短时预测区域，长时预测上曲线90a和长时预测下曲线90b所组成长时预测区域。当实测的新IP流量数据曲线70在短时预测区域及长时预测区域内，则该新IP流量数据为正常数据。
如图9a和图9b所示，短时预测上曲线80a'和短时预测下曲线80b'所组成短时预测区域，长时预测上曲线90a'和长时预测下曲线90b'所组成长时预测区域。如果实测的新IP流量数据曲线70'不在该短时预测区域或长时预测区域内，则该IP流量数据为异常数据。 如图10所示，本发明第三实施例的监测控制模块11还包括告警子模块119，当接收到新的IP流量数据为异常数据时，生成告警信号。 监测控制模块11还包括告警阈值存储子模块117，存储不同时段的短时告警阈值表和长时告警阈值表，表中记录不同时段超过窗口的阈值和超过阈值对应的告警。比较子模块118根据短时告警阈值表和长时告警阈值表判断接收到的新IP流量数据是否为异常数据。 对于短时预测，如图9a所示，以14:00 19:00为例，当新的IP流量数据一次超越短时预测区域50%的数据，或连续两次超越短时预测区域30% _50%的数据，比较子模块判断该新的IP流量数据为异常数据。 对于长时预测，如图9b所示，同样以14:00 19:00时段阈值为例，当有第一个IP流量数据数据超过长时预测区域30%时，系统开始计数，当连续有u个IP流量数据越限时，则会产生异常流量告警。u取值一般小于4，即20分钟以内可以发现缓变异常流量。
本发明的网络异常流量监测方法和监测系统，通过短时预测能够跟踪IP流量的随机变化情况；且通过长时预测值还能够随时间推移跟踪到IP流量变化，捕捉到IP流量的异常缓慢变化。 由于利用交换机自身历史数据，自适应不同时段流量变化规律，因此可以保证算法通用性。通过设置短时告警阈值表和长时告警阈值表，可以动态调整告警产生的条件，当设备和业务的实际运行环境改变，仅需要调整告警阈值表，就可以方便简单的定制。
10
本发明的网络异常流量监测方法和监测系统复杂度较低，实现简单，成本较低。
应说明的是以上实施例仅用以说明本发明而非限制，本发明也并不仅限于上述举例，一切不脱离本发明的精神和范围的技术方案及其改进，其均应涵盖在本发明的权利要求范围中。
权利要求
一种网络异常流量监测方法，其特征在于，包括计算短时采样点与其之前的k个采样点的IP流量数据的相关系数，将所述采样点的相关系数与预设的第一相关系数阈值进行比较，确定大于所述第一相关系数阈值的所述采样点为第一样本空间的样本；根据所述第一样本空间计算所述IP流量数据的短时预测值；根据所述短时预测值对新IP流量数据进行监测。
2. 根据权利要求1所述的网络异常流量监测方法，其特征在于，所述方法还包括 对IP流量数据进行等时间间隔的采样；根据时间将每日的采样点划分为多个趋势段，每个趋势段内所述采样点的IP流量数 据整体呈上升或下降趋势；在同一趋势段内选择所述短时采样点与其之前的k个采样点。
3. 根据权利要求2所述的网络异常流量监测方法，其特征在于，所述计短时采样点与 其之前的k个采样点的IP流量数据的相关系数的操作具体包括计算短时采样点与其之前的同一趋势段内k个采样点的IP流量数据的相关系数，所述趋势段内第i个采样点与第i-k个采样点的相关系数KW-A:)二"1^^-,其,-=i中m为所述趋势段内采样点个数，；为所述趋势段内采样点IP流量数据平均值。
4. 根据权利要求3所述的网络异常流量监测方法，其特征在于，所述确定大于第一相 关系数阈值的所述采样点为第一样本空间的样本的操作后还包括对所述第一样本空间中的IP流量数据取平均值；删除所述第一样本空间中IP流量数据大于所述平均值80%的采样点以及小于所述平 均值80%的采样点。
5. 根据权利要求1至4中任意一项所述的网络异常流量监测方法，其特征在于，所述短时预测值通过以下公式计算|jX'—; K为第一样本空间中样本的个数。
6. 根据权利要求2所述的网络异常流量监测方法，其特征在于，还包括 计算与长时采样点处于同一趋势段内的之前k个采样点与所述长时采样点的相关系数，将所述相关系数与预设的第二相关系数阈值进行比较，确定大于所述第二相关系数阈 值的所述采样点为第二样本空间的样本；在多个日子中的同一趋势段内选取的相同的采样点作为所述第二样本空间的样本；根据所述第二样本空间计算IP流量数据的长时预测值； 根据所述长时预测值对新IP流量数据进行监测。
7. 根据权利要求6所述的网络异常流量监测方法，其特征在于，所述计算与长时采样 点处于同一趋势段内的之前k个采样点与所述长时采样点的相关系数的操作具体包括计算所述趋势段内第i个采样点与第i_k个采样点的相关系数<formula>formula see original document page 3</formula>KW-W = ^^-，其中m为所述趋势段内采样点个数，为所述趋势段内采 <formula>formula see original document page 3</formula>样点IP流量数据平均值。
8. 根据权利要求7所述的网络异常流量监测方法，其特征在于，所述选取多个日子的同一趋势段内的相同采样点作为所述第二样本空间的样本的具体操作包括选取工作日的同一趋势段内的采样点，或选取休息日的同一趋势段内的采样点。
9. 根据权利要求7所述的网络异常流量监测方法，其特征在于，所述确定第二样本空间的操作后还包括对第二样本空间中的IP流量数据取平均值；删除IP流量数据大于所述平均值80%的采样点以及小于所述平均值80%的采样点。
10. 根据权利要求6至9中任意一项所述的网络异常流量监测方法，其特征在于，所述 长时预测值通过以下公式计算第二样本空间表示为Zi = {Zl， z2， . . . ， Zl} ， i为第i个时》间点，1为该时间点的样本空间大小，则第i点的长时预测值为 <formula>formula see original document page 3</formula>
11. 根据权利要求6所述的网络异常流量监测方法，其特征在于，所述根据所述短时预测值和所述长时预测值对新IP流量数据进行监测的具体操作包括根据所述短时预测值和所述长时预测值判断所述新IP流量数据是否为异常数据； 当所述新IP流量数据为异常数据时，进行告警。
12. 根据权利要求11所述的网络异常流量监测方法，其特征在于，所述进行告警的操 作前还包括根据预设的不同时段的短时告警阈值表和长时告警阈值表判断所述异常数据是否为 需要告警的异常数据。
13. —种网络异常流量监测系统，其特征在于，包括 监测控制模块，用于从网络采样IP流量数据，并生成短时预测请求； IP流量数据库，用于存储所述IP流量数据；样本空间选择模块，用于计算短时采样点与其之前的k个采样点的IP流量数据的相关 系数，将所述采样点的相关系数与预设的第一相关系数阈值进行比较，确定大于所述第一 相关系数阈值的所述采样点为第一样本空间的样本；短时预测模块，用于根据所述短时预测请求及所述第一样本空间生成短时预测值反馈 到所述监测控制模块；所述监测控制模块还用于将接收到的新IP流量数据与所述短时预测值进行比较，判 断新IP流量数据是否为异常数据。
14. 根据权利要求13所述的网络异常流量监测系统，其特征在于，所述监测控制模块 包括采样子模块，用于从网络等时间间隔采样IP流量数据； 短时预测请求生成子模块，用于生成所述短时预测请求；比较子模块，用于将接收到的新IP流量数据与所述短时预测值进行比较，判断新IP流 量数据是否为异常数据。
15. 根据权利要求14所述的网络异常流量监测系统，其特征在于，所述样本空间选择 模块包括趋势段划分子模块，用于按时间及流量变化对每日的采样点划分趋势段； 相关系数计算子模块，用于计算第n个趋势段内每个短时采样点与其之前的k个采样 点的IP流量数据的相关系数，第n个趋势段内第i个采样点与第i-k个采样点的相关系数<formula>formula see original document page 4</formula>其中m为第n个趋势段内采样点个数，为第n个趋势段<formula>formula see original document page 4</formula>内采样点IP流量数据平均值；第一样本空间选择子模块，用于将每个采样点的相关系数与预设的第一相关系数阈值进行比较，当采样点的相关系数大于所述第一相关系数阈值时，确定所述采样点为第一样 本空间的样本。
16. 根据权利要求15所述的网络异常流量监测系统，其特征在于，还包括长时预测模块，所述监测控制模块还包括长时预测请求生成子模块，用于生成所述长时预测请求； 所述样本空间选择模块还包括第二样本空间选择子模块，用于计算与长时采样点处于 同一趋势段内的之前k个采样点与所述长时采样点的相关系数，将所述相关系数与预设的 第二相关系数阈值进行比较，确定大于所述第二相关系数阈值的所述采样点为第二样本空 间的样本，并在多个日子中的同一趋势段内选取的相同的采样点作为所述第二样本空间的 样本；所述长时预测模块用于根据所述长时预测请求及第二样本空间生成长时预测值反馈 到所述监测控制模块；所述监测控制模块还用于将接收到的新IP流量数据与所述长时预测值进行比较，判 断新IP流量数据是否为异常数据。
17. 根据权利要求13至16中任意一项所述的网络异常流量监测系统，其特征在于，还 包括所述监测控制模块还包括告警子模块，用于当新IP流量数据为异常数据时，生成告 警信号。
18. 根据权利要求17所述的网络异常流量监测系统，其特征在于，所述监测控制模块 还包括告警阈值存储子模块，用于存储不同时段的短时告警阈值表和长时告警阈值表； 所述比较子模块根据所述短时告警阈值表和所述长时告警阈值表判断所述新IP流量 数据是否为异常数据。
全文摘要
本发明公开了一种网络异常流量监测方法和监测系统。其中网络异常流量监测方法包括计算短时采样点与其之前的k个采样点的IP流量数据的相关系数，将采样点的相关系数与预设的第一相关系数阈值进行比较，确定大于第一相关系数阈值的采样点为第一样本空间的样本；根据第一样本空间计算IP流量数据的短时预测值；根据短时预测值对新IP流量数据进行监测。本发明的网络异常流量监测方法和监测系统，通过短时预测值和长时预测值对IP流量进行监测，不仅能够跟踪IP流量的异常随机变化情况；还能够随时间推移跟踪到IP流量变化，捕捉到IP流量的异常缓慢变化。从而实现避免虚警和漏警，准确监测网络中异常流量数据。
文档编号H04L29/06GK101729301SQ200810172259
公开日2010年6月9日 申请日期2008年11月3日 优先权日2008年11月3日
发明者周江伟, 谭晖, 郭颖丽, 陈昊 申请人:中国移动通信集团湖北有限公司