本发明涉及一种基于有效频繁流特征的网络流量异常检测和分类方法。
背景技术：
：目前，网络流量数据规模的不断增加，对网络流量异常检测的检测效率和运行效率提出了更高的要求。基于时间片进行网络流量异常检测是目前通用的检测方法，此类方法通常采用将每个时间片内的网络流量变换成固定个数的度量值，进一步根据这些度量值进行网络流量异常检测和初步分类。但这种方法由于度量值较少，加上度量值本身对网络流量异常的敏感性不同，造成其对网络流量异常检测和分类比较粗糙、检测和分类的误差大、效率不高。利用频繁项挖掘进行网络流量异常检测是另一种有效的方法，其也可用于基于时间片的网络流量异常检测中，但此方法通常需要经过多轮计算而使计算开销较大，进而会影响检测系统的运行效率。技术实现要素：针对上述问题，本发明提供一种对网络流量异常进行快速、有效的检测和分类的基于有效频繁流特征的网络流量异常检测和分类方法ceff。ceff方法是一种基于有效频繁流特征(efficientfrequentflowfeature，eff)实例的变化进行检测的方法。为达到上述目的，本发明一种基于有效频繁流特征的网络流量异常检测和分类方法，所述的方法至少包括以下步骤：1)预先设定eff模式和筛选阈值；2)选取流数据并提取每条流对应组成eff的实际流特征内容，根据流特征确定这条流所属的时间片；3)根据提取的流特征内容对所有预先设定的eff进行实例化，生成初始eff实例，并将生成的初始eff实例和其对应的流数或者流量组成初始eff实例对；4)对每个时间片内的相同的初始eff实例对进行累加，得出每个时间片对应的备选eff实例对；5)将备选eff实例对的值与所述筛选阈值进行比较得到正式eff实例对；6)利用前一个或者几个时间片内正常的正式eff实例对的值计算下一时间片此eff实例对对应的预测值，进而得到当前时间片内所有eff实例对在下一时间片的预测值；7)根据预测值计算出eff实例对对应的检测阈值；8)将eff实例对的实际值与检测阈值进行比较并分类。较佳的，所述步骤1)中eff模式至少包括括源ip&目的ip&目的端口、目的ip&目的端口以及源ip&目的端口基于流数的eff模式；所述步骤4)中的备选实施例为<veff,value>，其中veff为一个eff实例的实例值，value的值为eff实例对的累加值，value采用eff实例对应的总的流数、数据包数、字节数等流数或者流量信息表示；所述eff实例对的累加规则：<veff,v1>+<veff,v2>＝<veff,v1+v2>；所述步骤5)的具体步骤为：将备选eff实例对中value的值与筛选阈值进行比较；若value的值大于筛选阈值，则备选eff实例对<veff,value>为一个正式的eff实例对；若value的值小于筛选阈值，则备选eff实例对<veff,value>被过滤掉，不能成为一个正式的eff实例对。较佳的，所述步骤8)的具体步骤为：将eff实例对的实际值与检测阈值进行比较大小；若eff实例对的实际值大于对应的检测阈值，则eff实例对判定为异常eff实例对，则具有异常eff实例对的时间片为异常时间片，与异常eff实例对相关的流量为异常流量，一个时间片内有多个不同类型的异常eff实例对，则eff实例对的异常类型为混合异常，eff实例对的异常类型为eff对应的异常类型；若eff实例对的实际值小于或者等于检测阈值，则eff实例对判定为正常eff实例对。较佳的，所述步骤1)的具体步骤为：预先选用源ip&目的ip&目的端口、目的ip&目的端口以及源ip&目的端口基于流数的eff，并设定时间间隔和筛选阈值。较佳的，所述步骤2)的具体步骤为：选取流数据，提取每条流对应组成eff的实际流特征对应的开始时间、结束时间、源ip、目的ip、源端口、目的端口以及流数组成对应的eff流特征内容vbegintime、vendtime、vsip、vdip、vspt、vdpt和vfn，并根据流结束时间划分每条流所属的时间片timebin，timebin＝vbegintime～vendtime/i，其中i为时间间隔。较佳的，所述步骤3)中的初始eff实例包括timebin/i&vsip&vdip&vdpt、timebin/i&vsip&vdip以及timebin/i&vsip&vdpt，所述的初始eff实例对包括<timebin/i&vsip&vdip&vdpt，vfn>、<timebin/i&vsip&vdip，vfn>、<timebin/i&vsip&vdpt，vfn>。较佳的，所述步骤6)的具体步骤为：设定固定的检测系数；对具有相同eff实例值的前面i个时间片的eff实例对effipn-i+1、……、effipn利用预测算法求得此eff实例对在下一时间片的预测值vi，其中i≥1；若时间片内无此eff实例对，即eff实例对的值小于筛选阈值，则计算预测值时使用此eff实例和筛选阈值组成的eff实例对代替；若时间片内eff实例对异常，则可以用其预测值或前一个时间片内的eff实例对值代替；将得到的每个eff实例对应的预测值乘以设定的检测系数得到每个eff实例对对应的检测阈值；所述预测算法包括平均值算法和加权平均算法。平均值算法公式为：加权平均算法公式为：其中，a1、a2……an均大于0，且a1+a2+......+an＝1。本发明利用eff实例对的突变来判断eff实例对的异常，然后根据异常eff实例对的类型来判断网络流量异常类型，实现了对网络流量异常进行快速、有效的检测和分类。附图说明图1是本发明一个时间片内基于流数的eff实例对的生成过程。具体实施方式下面结合说明书附图对本发明做进一步的描述。实施例1如图1所示，一种基于有效频繁流特征的网络流量异常检测和分类方法，所述的方法至少包括以下步骤：预先设定eff模式和筛选阈值；所述eff模式至少包括括源ip&目的ip&目的端口、目的ip&目的端口以及源ip&目的端口基于流数的eff模式；选取流数据，提取每条流对应组成eff的实际流特征内容，并根据流特征确定这条流所属的时间片；根据提取的流特征内容对所有预先设定的eff进行实例化，生成初始eff实例，并将生成的初始eff实例和其对应的流数或者流量组成初始eff实例对；；根据eff实例对的累加规则：<veff,v1>+<veff,v2>＝<veff,v1+v2>，对每个时间片内的所有符合累加规则的初始eff实例对进行累加，得出每个时间片对应的备选eff实例对集；将所有初始eff实例对的值和筛选阈值进行比较；若初始eff实例对的值大于筛选阈值，则此eff实例对被保留并成为正式的eff实例对，若初始eff实例对的值小于筛选阈值，则此eff实例对不保留；将每个时间片内所有的正式eff实例对组成这个时间片的正式实例对集；利用前时间片内正式eff实例对的值求出下时间片该eff实例对对应的预测值，根据预测值确定eff实例对对应的检测阈值；将实际eff实例对的值与eff实例对对应的检测阈值进行比较大小；若实际eff实例对的值大于eff实例对对应的检测阈值，则eff实例对判定为异常eff实例对，则具有异常eff实例对的时间片为异常时间片，与异常eff实例对相关的流量为异常流量，一个时间片内有多个不同类型的异常eff实例对，则eff实例对的异常类型为混合异常，eff实例对的异常类型为eff对应的异常类型；若实际eff实例对的值小于或者等于eff实例对对应的检测阈值，则eff实例对判定为正常eff实例对。实施例2基于实施例1，本实施例设定eff模式，所述eff模式至少包括括源ip&目的ip&目的端口、目的ip&目的端口以及源ip&目的端口基于流数的eff模式；预先选用源ip&目的ip&目的端口、目的ip&目的端口以及源ip&目的端口基于流数的eff，并设定时间间隔i和筛选阈值；选取流数据，提取每条流对应组成eff的实际流特征对应的开始时间、结束时间、源ip、目的ip、源端口、目的端口以及流数组成对应的eff流特征内容vbegintime、vendtime、vsip、vdip、vspt、vdpt和vfn，并根据流结束时间划分每条流所属的时间片timebin，timebin＝vbegintime～vendtime/i。所述的生成初始eff实例包括timebin/i&vsip&vdip&vdpt、timebin/i&vsip&vdip以及timebin/i&vsip&vdpt，所述的初始eff实例对包括<timebin/i&vsip&vdip&vdpt，vfn>、<timebin/i&vsip&vdip，vfn>、<timebin/i&vsip&vdpt，vfn>；设定固定的检测系数；对具有相同eff实例值的前面i个时间片的eff实例对effipn-i+1、……、effipn利用预测算法求得此eff实例对在下一时间片的预测值vi，其中i≥1；所述预测算法包括平均值算法和加权平均算法；平均值算法公式为：加权平均算法公式为：其中，a1、a2……an均大于0，且a1+a2+......+an＝1；若时间片内无此eff实例对，即eff实例对的值小于筛选阈值，则计算预测值时使用此eff实例和筛选阈值组成的eff实例对代替；若时间片内eff实例对异常，则可以用其预测值或前一个时间片内的eff实例对值代替；将得到的每个eff实例对应的预测值乘以设定的检测系数得到每个eff实例对对应的检测阈值。将实际eff实例对的值与eff实例对对应的检测阈值进行比较大小；若实际eff实例对的值大于eff实例对对应的检测阈值，则eff实例对判定为异常eff实例对，则具有异常eff实例对的时间片为异常时间片，与异常eff实例对相关的流量为异常流量，一个时间片内有多个不同类型的异常eff实例对，则eff实例对的异常类型为混合异常，eff实例对的异常类型为eff对应的异常类型；若实际eff实例对的值小于或者等于eff实例对对应的检测阈值，则eff实例对判定为正常eff实例对。实施例3eff是一个与流量异常有着对应关系的流特征组合，不同的eff可以组成eff集。流量异常源ip源端口目的ip目的端口effdos●●●源ip&目的ip&目的端口ddos●●目的ip&目的端口端口扫描●●源ip&目的端口表1如表1所示，dos攻击在流级的表现形式为具有相同源ip地址、目的ip地址、目的端口的流大量增加，即“源ip&目的ip&目的端口”的流特征组合与dos存在对应关系，所以，与dos对应的eff为“源ip&目的ip&目的端口”的流特征组合。如图1所示，每条流可以根据不同的eff生成对应的eff实例(effi)，然后每个eff实例和其对应的流数或者流量组成初始的eff实例对(effip)，然后对每个时间片内相同的eff实例进行累加可以得到备选eff实例对。eff备选实例对可以表示成<veff,value>的形式，其中，veff为一个eff实例值，是eff的实际值；value为eff实例对的累加值,采用这个eff实例对应的总的流数或者流量表示，但不局限与流数和流量；若此value的值大于事先设置的筛选阈值，则<veff,value>将成为一个正式的eff实例对；若value的值小于筛选阈值，则备选eff实例对<veff,value>被过滤掉，不能成为一个正式的eff实例对。针对每一个正式的eff实例对，利用前一个时间片或者前几个时间片内正常eff实例对的值，求出下一个时间片此eff实例对对应的预测值，然后根据此预测值确定检测阈值，如果eff实例对的值大于其对应的检测阈值，则此eff实例对被判定为异常，此eff实例对的异常类型为其eff对应的异常类型。实施例4流量异常源ip源端口目的ip目的端口effdos●●●源ip&目的ip&目的端口ddos●●目的ip&目的端口端口扫描●●源ip&目的端口表1如表2所示，本实施例为了检测表1所示的异常，采用表1中的eff进行网络流量异常检测和分类，包括：设定eff模式和检测参数：预先选用“源ip&目的ip&目的端口”、“目的ip&目的端口”、“源ip&目的端口”多种基于流数的eff，并设定时间间隔i、筛选阈值t和检测系数c；提取流特征：选取流数据，提取时间片内每条流对应的开始时间begintime、结束时间endtime、源ipsip、目的ipdip、源端口spt、目的端口dpt、流数fn组成eff的流特征内容vendtime、vsip、vdip、vspt、vdpt、vfn，并根据流结束时间划分每条流所属的时间片(timebin：timebin＝vbegintime～vendtime/i)；生成初始eff实例对：针对每条流，根据预先确定的eff生成eff实例：“timebin/i&vsip&vdip&vdpt”、“timebin/i&vsip&vdip”、“timebin/i&vsip&vdpt”，进一步组成初始eff实例对：<timebin/i&vsip&vdip&vdpt，vfn>、<timebin/i&vsip&vdip，vfn>、<timebin/i&vsip&vdpt，vfn>；生成备选eff实例对集：根据eff实例对的累加规则：对具有相同eff实例的eff实例对进行相加，求得每个时间片对应的备选eff实例对集；每一个备选eff实例对就只有一个eff实例和eff实例对应的流数和/或流量；但是一个时间片内有很多备选eff实例对，只有满足筛选条件的才能称为最终的eff实例对。获取正式eff实例对集：将所有eff实例对的累加值和筛选阈值t进行比较，若eff实例对的值大于t，则此eff实例对被保留并成为正式的eff实例对，然后每个时间片内所有的正式eff实例对组成这个时间片的正式实例对集；根据预测算法求每个eff实例对effipn在下一个时间片的预测值：对具有相同eff实例值的前面i个时间片的eff实例对effipn-i+1、……、effipn，利用任意一预测算法，所述预测算法包括平均值算法和加权平均算法；平均值算法公式为：加权平均算法公式为：其中，a1、a2……an均大于0，且a1+a2+......+an＝1；求得此eff实例对在下一时间片的预测值vi，若某个时间片内无此eff实例对，即eff实例对的值小于筛选阈值，则计算预测值时使用此eff实例和筛选阈值组成的eff实例对代替，若某个时间片内eff实例对异常，则可以用其预测值或前一个时间片内的eff实例对值代替；i≥1；eff实例对异常判断：将上面求得的每个eff实例对应的预测值乘以一个固定的检测系数c来得到每个正式eff实例对对应的检测阈值，若eff实例对的实际值大于检测阈值，则判定此eff实例对为异常eff实例对；流量异常判断：具有异常eff实例对的时间片为异常时间片，与异常eff实例对相关的流量为异常流量，异常类型为eff对应的异常类型，若一个时间片内有多个不同类型的异常eff实例对，则其异常类型为混合异常。实施例5基于上述实施例，本实施例提供一种带有具体数值的正式eff实例对生成过程，具体过程如下：针对同一时间片内每一条具体的网络流，提取所需流特征；如图1所示，首先根据eff“源ip&目的ip”生成初始eff实例：“1.1.1.2&2.1.1.12”、“1.1.1.2&2.1.1.22”、“1.1.1.2&2.1.1.23”……；进一步和其对应流数组合成初始eff实例对集：<1.1.1.2&2.1.1.12，1>、<1.1.1.2&2.1.1.22，1>、<1.1.1.2&2.1.1.23，1>……；对具有相同初始eff实例的eff实例对进行累加得到合并后的备选eff实例对集：“<1.1.1.2&2.1.1.12，10>”、“<1.1.1.2&2.1.1.22，100>”、“<1.1.1.2&2.1.1.23，10000>”……；eff实例对合并规则为：<veff,v1>+<veff,v2>＝<veff,v1+v2>；将筛选阈值设定为500并根据筛选阈值对备选eff实例对集进行过滤，备选eff实施例对集<1.1.1.2&2.1.1.12，10>、<1.1.1.2&2.1.1.22，100>对应的值分别为10和100，小于筛选阈值500，被过滤掉，不进入正式的eff实例对集；备选eff实施例对集<1.1.1.2&2.1.1.23，10000>对应的值为1000，大于筛选阈值500，成为正式eff实例对。本实施例1-5中所述eff的模式还包括如下表2中所示的常用的基于流数的eff模式和表3中所示的常用的基于流量的eff模式：表2流量异常源ip源端口目的ip目的端口eff流量burst●●源ip&目的ip流量burst●源ip流量burst●目的ip表3实施例1-5中预先选用“源ip&目的ip&目的端口”、“目的ip&目的端口”、“源ip&目的端口”多种基于流数的eff仅为其中的某几种形式。以上，仅为本发明的较佳实施例，但本发明的保护范围并不局限于此，任何熟悉本
技术领域：
的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求所界定的保护范围为准。当前第1页12