一种数据监测技术和分类网络流量异常的方法
【专利摘要】本发明公开了一种数据监测技术和分类网络流量异常的方法，属于网络流量监测分析领域，采用Winpcap进行数据包的抓获，然后利用因子分析法对流量进行分类，得到异常流量和正常流量。本方法具有较低的时间复杂度和存储开销，能够更好的对异常流量进行解释和分类。
【专利说明】一种数据监测技术和分类网络流量异常的方法
【技术领域】
[0001]本发明属于网络流量监测分析领域和分类方法，具体涉及一种捕获数据包方法和一种分类网络流量异常的方法。
【背景技术】
[0002]伴随着因特网的迅速发展，网络用户及规模猛增，对网络管理和网络安全提出了更大的挑战，各种网络攻击行为层出不穷，网络安全已经成为大家关注的热点。为了有效的遏制这种行为，我们必须对网络数据进行监测，并且发现网络流量异常行为，比如分布式DOS攻击，信息炸弹等，并且及时采取相应的防御措施。
[0003]如今的网络链路的速率迅速增长，已经开始从Mbit/s迈向Gbit/s，在不久的将来还可能达到50Gbit/s甚至是Tbit/s。前兆网卡和千兆交换机已经开始逐步进入主流市场，几乎每个新的局域网用户都会采用此项技术，一个普通家庭用户所能够获得的带宽比几年前一个公司获得的带宽还要大。面对高速网络，传统的流量监测和分析技术所依赖的数据包捕获方法遇到了许多的瓶颈，如PCI总线吞吐量、存储容量、内存访问速度、CPU处理能力、系统调用的开销、中断开销以及操作系统的任务调度机制等都对网络数据包捕获产生一定影响。
[0004]网卡具有4种工作模式:广播模式,多播传送模式,直接模式,混杂模式脚。网卡的缺省工作模式包含广播模式和直接模式，即它只接收广播帧和发给自己的帧。如果采用混杂模式，网卡将接受同一网络内所有主机所发送的数据包，这样就可以到达对所有数据包进行捕获的目的。而目前用windows平台下数据包捕获中，利用用户编写服务提供者接口程序SPI以及利用Windows驱动程序提供的分层结构模式，可将用户驱动程序挂到其他驱动程序上。第一种方法工作在用户级，效率不高，而且这两种只能截获发送到本机的数据包，不能截获发送到网卡的数据包，我们所要捕获的是网卡的数据包，故这两种方法都不适用。
[0005]目前，网络流量异常检测和分类方法多为对单条链路流量采用批处理方法。这就要求提前给定流量检测数据，然后用聚类等方法挖掘网络流量的异常行为模式。比如高能等人采用tcpdump获取链路上分组记录数据，提出一种基于数据挖掘的拒绝服务攻击检测技术；孙知信等人采用单个路由器捕获的流量作为数据源，应用聚类方法识别拒绝服务攻击行为；以及杨一等人采用抓包工具获取实验室网络出口流量数据，提出一种基于蚂蚁聚类的自适应拒绝服务供给监测技术等等。Lakhina等人首次利用流量矩阵作为数据源，用基于主成分分析的子空间方法使得单条链路上难以显现的异常行为在全网络视图上成功地被检测出来，但是主成分分析法存在没有明确和判断所有数据是否合作单独的主成分分析，使得判定结果并不是十分准确的，因子分析和主成分分析相比，由于因子分析可以使用旋转技术帮助解释因子，在解释方面更加有优势。
[0006]如何改变一种分析方法，使得所有的异常流量都被监测出来并准确的分类，是本文的内容。
【发明内容】
[0007]本发明目的在于提供一种实用的数据监测技术和分类流量异常的方法。
[0008]为解决上述问题，本发明采用如下技术方案:
[0009]本发明所述的数据监测技术和分类网络流量异常的方法，包括以下步骤:
[0010]一种数据监测技术和分类网络流量异常的方法，其特征在于包括以下步骤:
[0011]第一步、采用Winpcap进行流量采集；
[0012]第二步、构建以流量特征的熵为测度的流量矩阵；
[0013]第三步、利用Winpcap获得的流量向量以及因子分析模型，对因子进行旋转计算得分，然后分类异常流量:
[0014]上述技术方案中，所述流量特征的熵具体定义和计算方法如下:
[0015]随机观察流量特征X，样本总数S，不同的样本取值个数N，其中流量特征i(i e χ)出现了 Iii次，则该流量特征的样本熵定义为:
[0016]
【权利要求】
1.一种数据监测技术和分类网络流量异常的方法，其特征在于包括以下步骤: 第一步、采用Winpcap进行流量采集； 第二步、构建以流量特征的熵为测度的流量矩阵； 第三步，利用因子分析法分类异常流量。
2.根据权利要求1所述的一种数据监测技术和分类网络流量异常的方法，其特征在于:所述流量特征的熵具体定义和计算方法如下: 随机观察流量特征X，样本总数S，不同的样本取值个数N，其中流量特征i出现了 Iii次，i e X，则该流量特征的样本熵定义为:
其中
，当所有样本的取值相同时Η(χ) = O，当样本取值的分散程度最大化，SPII1= n2 =...= ηΝ 时，//(X) = 1n2' ,因此 O S //(x) < log)，相应定义源 IP 地址、目的 IP 地址、源端口和目的端口这4个流量特征的样本熵，分别为H(SrcIP)、H(DstIP)、H(SrcPort)和 H(DstPort) ο
3.根据权利要求1所述的一种数据监测技术和分类网络流量异常的方法，其特征在于:所述因子分析法分类异常流量包括如下步骤: ⑴将原始数据标准化，以消除变量间在数量级和量纲上的不同； ⑵求标准化数据的相关矩阵； ⑶求相关矩阵的特征值和特征向量； ⑷计算方差贡献率与累积方差贡献率； (5)确定因子: 设F1, F2,...，Fp为P个因子，其中前m个因子包含的数据信息总量不低于80%时，取前m个因子来反映原评价指标； (6)因子旋转: 若所得的m个因子无法确定或其实际意义不是很明显，这时需将因子进行旋转以获得较为明显的实际含义； ⑴用原指标的线性组合来求各因子得分: 采用回归估计法，Bartlett估计法或Thomson估计法计算因子得分； ⑶综合得分 以各因子的方差贡献率为权，由各因子的线性组合得到综合评价指标函数；
F = (W1F^W2F2+...+WmFm) / (WfW2+...+wm) 此处Wi为旋转前或旋转后因子的方差贡献率； ⑶得分排序:利用综合得分可以得到得分名次，分类异常流量。
【文档编号】H04L12/26GK104079452SQ201410304597
【公开日】2014年10月1日 申请日期:2014年6月30日 优先权日:2014年6月30日
【发明者】张小松, 向琦, 牛伟纳, 陈瑞东, 王东, 黄金, 戴中印, 赖特, 柯明敏, 张艺峰 申请人:电子科技大学