网络流量异常检测方法及检测装置的制作方法

文档序号:7740917阅读:188来源:国知局

专利名称::网络流量异常检测方法及检测装置的制作方法
技术领域
:本发明涉及网络管理与安全
技术领域
,具体涉及一种网络流量异常的检测方法和装置。(二)
背景技术
:网络流量异常是指网络攻击、网络病毒、网络突发访问、网络故障、网络新用户的加入等引起的异常。异常流量的特点是发作突然、先兆特征未知,可以在短时间内给网络和网络上的计算机带来重大损失甚至是致命危害(例如由特定的攻击程序或蠕虫爆发所引起的突发访问行为)。因此,准确、及时地检测出网络流量的异常行为并做出合理的响应对于维护网络的可用性,提高网络的可靠性和保证网络服务质量具有非常重要的意义。入侵检测技术根据检测方法的不同分为滥用检测方法和异常检测方法。滥用检测(MisuseDetection)方法通过特征匹配来检测是否发生入侵,能准确、快速地检测已知类型的入侵,但不能检测出未知类型的入侵;异常检测(AnomalyDetection)方法则是在建立正常模型的基础上,对网络流量进行采集,通过比较当前状态与正常状态的偏离程度来判断入侵行为。该方法不仅能检测出已知类型的入侵,还能检测出未知类型的入侵。目前异常检测已成为当前入侵检测系统的主要研究方向。异常检测技术自提出以来,经过几十年不断的发展,从最初的简单方法迅速发展成种类繁多的各种算法,如阈值检测方法、统计分析的方法、数据挖掘的方法、Hurst系数分析方法、贝叶斯网络分析方法和子空间方法等。这些方法能够在一定程度上检测流量异常,但是由于网络流量异常本身的复杂性,上述方法在检测的实时性、可操作性和准确性等方面还存在一些缺陷与不足。而随着研究的深入,研究者发现,信息熵可以用于网络流量异常检测。信息熵是信息论中用于度量信息量的一个概念,较高的熵值表示较大的信息量。数据集越随机化,熵值就越高,数据集越集中,熵值就越低。一段网络流的包或会活,可以看成是离散特征的序列(端口号、IP地址、数据包数目等),这些特征序列的信息熵可以反映网络通信的一致性。当网络中出现异常时,其会破坏特征分布的一致性,异常的熵值就可以作为判断网络异常的一个有效标识。另一方面,用信息熵来描述网络流量的表征信息,可以增强对低容量异常的监测能力。2005年,A皿koolLakhina等人发表了名为"MiningAnomaliesUsingTrafficFeatureDistributions"的文章,提出了流量特征分布的概念,首次使用信息熵来进行网络流量异常的监测。文中公开了如下所述的网络异常检测分析方法将流经每条0D流的包含IP地址和端口的数据包的特征分布用信息熵表示出来,然后再应用子空间方法进行异常诊断,最后使用聚类算法实现异常分类。但在该方法中,0D流级别的测量数据极大地增加了预处理时间,计算方法和异常类型的判断方法都很复杂,所以该方法在实际应用中可操作性不强。而国内的一些利用信息熵进行异常检测的方法中,多数是根据异常主机的熵值和预先设定的正常主机的熵值的比较结果来判定流量异常。这些方法可以检测出一些异常流量,但是正常主机的熵值会随着网络流量的变化而动态改变,所以这些方法在实际应用中灵活性较差。(三)
发明内容本发明的目的是提供可操作性强、灵活性高的一种网络流量异常检测方法。本发明的目的还在于提供一种网络流量异常检测装置。本发明的目的是这样实现的本发明的网络流量异常检测方法为选取待检测的网络指标数据,建立属性记录;考察网络中各个主机发起连接和被连接中的所述属性记录的各个属性的分布状况;当时间间隔到达设定的时间阈值时,根据所述属性分布状况获得观测信息熵;根据所述观测信息熵预测下一个时间间隔的网络指标数据的信息熵;根据所述观测信息熵和所述预测信息熵获得异常判决所需置信区间;分析所述观测信息熵在所述置信区间的分布,根据分析结果确定网络流量是否异常。本发明的网络流量异常检测装置由数据选取单元、分布分析单元、观测信息熵获得单元、预测单元、置信区间获得单元和异常判决单元顺序连接组成;数据选取单元选取待检测的网络指标数据,建立属性记录;分布分析单元考察网络中各个主机发起连接和被连接中的所述属性记录的各个属性的分布状况;观测信息熵获得单元用于当时间间隔到达设定的时间阈值时,根据所述属性分布状况获得观测信息熵;预测单元根据所述观测信息熵预测下一个时间间隔的网络指标数据的信息熵;置信区间获得单元根据所述观测信息熵和所述预测信息熵获得异常判决所需置信区间;异常判决单元分析所述观测信息熵在所述置信区间的分布,根据分析结果确定网络流量是否异常。从以上的技术方案可以看出,与现有技术相比,本发明实施例将经过监测点的宏观网络流量进行分解,变成以网络流为基本单位的微观结构,然后考察各个主机发起连接和被连接中的源/目的地址、源/目的端口的分布状况。另一方面,本发明实施例引入预测模型对网络流量信息熵进行预测,通过分析观测信息熵在由所述观测信息熵和所述预测信息熵确定的置信区间的分布来确定异常行为,是一种灵活、有效的自动化检测工具。从而,有效地提高了网络流量异常检测的准确性,大大减轻了网络管理人员的负担。(四)图1为本发明实施例一提供的网络流量异常检测方法流程图2为本发明实施例二提供的网络流量异常检测方法流程图;图3为本发明实施例提供的网络流量异常检测方法中检查属性记录的各个属性是否在属性列表中,并新建属性项的处理过程图;图4为本发明实施例提供的网络流量异常检测方法中对属性记录的各个属性进行统计计数的方法流程图;图5为本发明实施例一提供的网络流量异常检测装置结构6图6为本发明实施例二提供的网络流量异常检测装置结构图7为本发明实施例提供的实验网络拓扑图;图8a为本发明实施例提供的注入DDoS异常流量时基于目的IP地址信息熵的检测结果示意图;图8b为本发明实施例提供的注入DDoS异常流量时基于源IP地址信息熵的检测结果示意图。具体实施例方式为使本发明实施例的技术方案的优点更加清楚,下面结合附图对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例,基于本发明的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。本发明从各种异常事件和入侵行为导致的表示网络流量特征分布的信息熵的变化着手,进行实时检测与防范。在具体描述本发明的方法和装置之前,首先说明本发明所采用的信息熵。熵是热力学中微观多形性或均匀性的一种度量,反应了系统微观状态的分布几率。从通信的角度看,通信系统具有统计的特征,信息源可视为一组随机事件的集合,该集合所具有的随机性不确定度与热力学中微观态的混乱度是类同的,将热力学几率扩展到系统各个信息源信号出现的几率就形成了信息熵。假设Feature表示一个流量特征,例如源IP或目的端口;Featurei={(Xi,ni)i=1,2,...N}表示在测量数据中属性Xi发生了次,那么Featurei的信息熵为^(F^匿,)=—l;(》)iog.,(—》),s:f,表示所有属性发生的总次数。信息熵的取值范围为(0,1og2N),某个属性的信息熵为0时,表示这个属性的分布高度集中;而该属性的信息熵为1o&N时,表示这个属性的分布高度分散。一个系统越是有序,信息熵就越低;反之,一个系统越是混乱,信息熵就越高。网络流量的测量数据包括源/目的IP、源/目的端口、数据包数量等属性。把测量数据当作离散信息源,把测量数据中的各个属性看作是一组随机事件,这样就可以对它的信息熵进行分析。大规模网络流量异常则正好可以通过测量数据的源/目的IP、源/目的端口这四个属性的异常表征出来。表1给出了某主干网络发生一系列流量异常时,测量数据的信息熵分布变化趋势。其中,H(srcIP)、H(srcPort)、H(dstlP)和H(dstPort)分别代表源IP、源端口、目的IP和目的端口的信息熵值;"I"表示特征分布趋于集中,"t"表示特征分布趋于分散,"-"表示特征分布的变化不确定。从该图可以看出,各种异常行为所导致的网络流量特征分布的变化与其定义是相吻合的,并且各种异常行为都至少影响两个特征分布的信息熵。由此可见,在大规模网络中可以利用信息熵来进行异常流量的检测。表1各种网络异常对特征信息熵的定性影响7<table>tableseeoriginaldocumentpage8</column></row><table>本发明所提供的技术方案一种网络流量异常检测方法,如图1所示,该方法包括101、选取待检测的网络指标数据,建立属性记录;102、考察网络中各个主机发起连接和被连接中的所述属性记录的各个属性的分布状况;103、当时间间隔到达设定的时间阈值时,根据所述属性分布状况获得观测信息熵;104、根据所述观测信息熵预测下一个时间间隔的网络指标数据的信息熵;105、根据所述观测信息熵和所述预测信息熵获得异常判决所需置信区间;106、分析所述观测信息熵在所述置信区间的分布,根据分析结果确定网络流量是否异常。本发明实施例将经过监测点的宏观网络流量进行分解,变成以网络流为基本单位的微观结构。另一方面,本发明实施例引入预测模型对网络流量信息熵进行预测,通过分析观测信息熵在由所述观测信息熵和所述预测信息熵确定的置信区间的分布来确定异常行为,是一种灵活、有效的自动化检测工具。从而,有效地提高了网络流量异常检测的准确性,大大减轻了网络管理员人员的负担。下面对本发明实施例提供的网络流量异常检测方法进行详细说明,如图2所示。选取待检测的网络指标数据,建立属性记录。201、以旁路侦听方式捕获网络上的TCP/IP流量数据包。202、对捕获到的数据包进行属性分解,建立属性记录。在本发明实施例中,所述的属性分解,建立属性记录即为将捕获的网络数据包按照属性项进行分解归类,亦即通过捕获网络数据包的形式,产生每个数据包的属性记录,这8些记录的格式为R(Src.IP,Src.Port,Dst.IP,Dst.Port),其中,Src.IP代表源地址,Src.Port代表源端口,Dst.IP代表目的地址,Dst.Port代表目的端口。通过以上的属性项,系统将会在抓取到每一个TCP/IP数据包时记录一个属性记录R。考察网络中各个主机发起连接和被连接中的所述属性记录的各个属性的分布状况。分别考察所述属性记录的各个属性的分布状况,下面进行具体介绍。203、检查属性记录的各个属性是否在相应的属性列表中,若不存在则新建属性项,存入相应的属性表。如图3所示,下面结合附图对步骤203进行详细说明。301、检查所述属性记录的目的IP地址是否在源地址列表IPsrc中;302、所述属性记录的目的IP地址不在源地址列表IPsrc中,分配一个对应于该目的IP地址的源地址项S_IPsrc,并将S_IPsrc存入到IPsrc中;303、检查属性记录的源IP地址是否在目的地址列表IPdst中;304、所述属性记录的源IP地址不在目的地址列表IPdst中,分配一个对应于该源IP地址的目的地址项S_IPdst,并将S_IPdst插入到IPdst中;305、检查属性记录的源IP地址是否在源地址_源端口列表PTSsrc中;306、所述属性记录的源IP地址不在源地址_源端口列表PTSsrc中,分配一个对应于该源IP地址的源端口项S_PTSsrc,并将S_PTSsrc插入到PTSsrc中;307、检查属性记录的源IP地址是否在源地址_目的端口列表PTSdst中;308、所述属性记录的源IP地址不在源地址—目的端口列表PTSdst中,分配一个对应于该源IP地址的目的端口项S_PTSdst,并将S_PTSdst插入到PTSdst中;309、检查属性记录的目的IP地址是否在目的地址_源端口列表PTDsrc中;310、所述属性记录的目的IP地址不在目的地址_源端口列表PTDsrc中,分配一个对应于该目的IP地址的源端口项S_PTDsrc,并将S_PTDsrc插入到PTDsrc中;311、检查属性记录的目的IP地址是否在目的地址—目的端口列表PTDdst中;312、所述属性记录的目的IP地址不在目的地址—目的端口列表PTDdst中,分配一个对应于该目的IP地址的目的端口项S_PTDdst,并将S_PTDdst插入到PTDdst中。204、对属性记录的各个属性进行统计计数。如图4所示,下面结合附图对步骤204进行详细说明。401、对属性记录的各个属性进行哈希,设源/目的IP地址、源/目的端口的HASH值分别记为i,j,k和m。402、分别对源地址列表、目的地址列表、源地址_源端口列表、源地址_目的端口列表、目的地址_源端口列表、目的地址_目的端口列表中的对应项进行加1操作,亦即IPsrc[i][j]=IPsrc[i][j]+l,IPdst[j][i]=IPsrc[j][i]+l,PTSsrc[i][k]=PTsrc[i][k]+l,PTSdst[i][m]=PTSdst[i][m]+1,PTDsrc[j][k]=PTDsrc[j][k]+1,PTDdst[j][m]=PTDdst[j][m]+l。当时间间隔到达设定的时间阈值时,根据所述属性分布状况获得观测信息熵。205、当时间间隔到达设定的时间阈值T时,根据所述属性分布状况获得观测信息熵。在本发明实施例中,采用时间间隔选取定长的网络指标数据。时间间隔每达到设定的时间阈值T一次,对该时间间隔所包括的网络指标数据进行检测。检测方法的准确度和时间间隔大小的选取有关。通过实际网络环境的测试发现,时间阈值取10秒时异常判断准确度相对较高,所以本实施例中T二10秒。本发明实施例中,所述观测信息熵&(F^wt,)=-S(-》)log2(,其中,Feature表示一个流量特征,例如源IP或目的端口;Feature={(Xi,n》I=1,2,...N}表示在测量数据中属性Xi发生了次,S=f"表示7=1所有属性发生的总次数。根据所述观测信息熵预测下一个时间间隔的网络指标数据的信息熵。206、将网络指标数据的预测信息熵划分为两个部分平滑部分和趋势部分。所述平滑部分为&(/)=s①、,=2,其中,a为平滑因子,S。(t-1)为第t-1个时间间隔的网络指标数据的观测信息熵,St(t-1)为第t-1个时间间隔预测信息熵的趋势部分;所述趋势部分为fP.(S、(,)—S、(,—1))+(1—/)W_1),"2S,")=U二em,—V其中,P为平滑因子,Ss(t)为所述的第t-1个时间间隔的预测信息熵的平滑部分。207、根据所述平滑部分和趋势部分获得预测信息熵。所述的预测信息熵为:Sf(t)=&(麵(0,其中Ss(t)为所述的平滑部分,Sjt)为所述的趋势部分。根据所述观测信息熵和所述预测信息熵获得异常判决所需置信区间。208、获得所述观测信息熵和所述预测信息熵的偏移量。所述观测信息熵和所述预测信息熵的偏移量d(t)=YS。(t)-Sf(t)|+(1-Y)d(t-i),其中s。a)为实际观测的第t个时间间隔的信息熵,sfa)为预测的第t个时间间隔的信息熵,Y是平滑因子。209、根据所述偏移量计算置信区间。所述置信区间为(Sf(t)-S—'da-l),Sf(t)+S+'d(t-l)),其中,Sf(t)为预测的第t个时间间隔的信息熵,s+与S—是放縮比例,用来改变置信区间的大小,通常情况下,令S+=S—=s得到一个对称的置信区间。根据既定的假设和统计分布理论,s的合理范围为2与3之间,所以本实施例中取S+=S—=2.5。为了更一步说明偏移量、平滑部分和趋势部分,下面对本发明实施例采用的平滑因子a,P禾PY进行说明。—般所述平滑因子a,13和Y都是介于O到l之间的数,是根据过去数据点所占的权重计算得出的。取值较大表示近期观察网络指标数据所占比重大,取值较小表示历史门丄k丄一见^w,仏,,^,「log(l-w%)、朴丄+一^网络指标数据占较大的比重。平滑因子a,13J=l_exp-!--------------------,其中,log表不自VJ然对数,w表示权重的百分比形式,n表示所取时间序列数据点的数目。举例说明,如果希望过去45分钟内(每5min采集一次流量数据)的观测值占95%的权,则w=95%,n=9,计算得到平滑因子为0.28。本发明实施例取a=0.28,13=0.0035,y=0.1。分析所述观测信息熵在所述置信区间的分布,根据分析结果确定网络流量是否异常。所述确定网络流量是否异常的方法为若一个观测信息熵Y落在所述置信区间外,那么信息熵Y代表的网络流量是异常的,否则就是正常的。208、判断观测信息熵Y是否落在所述置信区间内。209、产生报警。本发明实施例还提供了一种网络流量界常检测装置,能够提高对网络流量异常检测的可操作性和灵活性。本发明实施例提供的技术方案为一种网络流量异常检测装置,如图5所示,该装置包括数据选取单元51,用于选取待检测的网络指标数据,建立属性记录;分布分析单元52,用于考察网络中各个主机发起连接和被连接中的所述属性记录的各个属性的分布状况;观测信息熵获得单元53,用于当时间间隔到达设定的时间阈值时,根据所述属性分布状况获得观测信息熵;预测单元54,用于根据所述观测信息熵预测下一个时间间隔的网络指标数据的信息熵;置信区间获得单元55,用于根据所述观测信息熵和所述预测信息熵获得异常判决所需置信区间;异常判决单元56,用于分析所述观测信息熵在所述置信区间的分布,根据分析结果确定网络流量是否异常。本发明实施例将经过监测点的宏观网络流量进行分解,变成以网络流为基本单位的微观结构。另一方面,本发明实施例引入预测模型对网络流量信息熵进行预测,通过分析观测信息熵在由所述观测信息熵和所述预测信息熵确定的置信区间的分布来确定异常行为,是一种灵活、有效的自动化检测工具。从而,有效地提高了网络流量异常检测的准确性,大大减轻了网络管理员人员的负担。如图6所示,本发明实施例提供的所述数据选取单元51包括数据捕获模块511,用于以旁路侦听方式捕获网络上的TCP/IP流量数据包;属性分解模块512,对捕获到的数据包进行属性分解,建立属性记录。本发明实施例中,所述的属性分解,建立属性记录即为将捕获的网络数据包按照属性项进行分解归类,亦即通过捕获网络数据包的形式,产生每个数据包的属性记录,这些记录的格式为R(Src.IP,Src.Port,Dst.IP,Dst.Port),其中,Src.IP代表源地址,Src.Port代表源端口,Dst.IP代表目的地址,Dst.Port代表目的端口。通过以上的属性项,系统将会在抓取到每一个TCP/IP数据包时记录一个属性记录R。本发明实施例提供的所述分布分析单元52包括属性检查模块521,用于检查属性记录的各个属性是否在相应的属性列表中,若不存在则新建属性项,存入相应的属性表;统计模块522,用于对属性记录的各个属性进行统计计数。本发明实施例中属性检查模块521的处理过程和统计模块522的方法流程可参考本发明的方法实施例中的图4和图5,此处不再赘述。所述预测单元54包括预测信息熵划分模块541,用于将网络指标数据的预测信息熵划分为两个部分平滑部分和趋势部分;预测信息熵获得模块542,用于根据所述平滑部分和趋势部分获得预测信息熵。本发明实施例中首先假设网络指标数据的预测信息熵可以划分为两个部分平滑部分和趋势部分,然后由这两个部分组合获得预测信息熵。所述置信区间获得单元55包括偏移量获得模块551,用于获得所述观测信息熵和所述预测信息熵的偏移量;置信区间计算模块552,用于根据所述偏移量计算置信区间。本发明装置实施例中各单元与模块的具体工作方法,可以参照本发明的方法实施例,此处不再赘述。下面将结合实验结果对本发明实施例的有益效果作进一步详细说明。在本发明实施例中,搭建的实验网络拓扑如图7所示。实验环境由一台华为5024P交换机,两台曙光服务器(CPUAMDOpteron,lG内存,73X2GSCSI硬盘,千兆网卡)和两台PC机组成。其中,曙光服务器分别作为IDS分析机和制造背景流量的发包机,一台PC机作为攻击源,一台PC机作为受害机,并且受害机是信息安全研究中心正常运行的主机。实验中使用的背景流量来源于加州大学Berkley分校的LawrenceBerkeley实验室采集的真实流量数据。在攻击机上,根据DDoS(DistributedDenial-of-Service,分布式拒绝服务)攻击原理,模拟仿真了大量的数据源作为攻击源,并让这些攻击源在较短时间内同时向被攻击方发送数据包。本发明实施例使用tcpr印lay软件作为网络背景流量回放工具,在不同的时间段注入DDoS攻击异常流量,如图8中的(a)和(b)中箭头所指处,注入异常流量的时间分别为2010-2020s和3020-3030s。一方面,DDoS异常流量数据包的目的IP地址分布高度集中,导致受害机基于目的IP地址的信息熵显著减少,超过了置信区间的范围,如图8(a)所示;另一方面,DDoS异常流量数据包的源IP地址分布高度分散,导致受害机基于源IP地址的信息熵显著增加,超过了置信区间的范围,如图8(b)所示。而在不存在异常的情况下,源IP和目的IP的熵值均在置信区间范围内。本发明中若一个观测信息熵Y落在所述置信区间外,那么信息熵Y代表的网络流量是异常的,否则就是正常的。本发明实施例通过分析目的IP地址和源IP地址的信息熵在置信区间的分布就可以准确地判断出DDoS攻击,当然本发明所能检测的异常流量并不局限于DDoS异常流量。由此可见,本发明的网络流量异常检测方法和装置能够检测出异常流量,并且具有很高的检测率。本发明的实施例还可有很多种,在不背离本发明的实施例精神及其实质的情况下,本领域技术人员当可根据本发明做出各种相应的改变和变形,但这些相应的改变和变形都应属于本发明的实施例所附的权利要求的保护范围。权利要求一种网络流量异常检测方法,其特征在于包括如下步骤选取待检测的网络指标数据,建立属性记录;考察网络中各个主机发起连接和被连接中的所述属性记录的各个属性的分布状况;当时间间隔到达设定的时间阈值时,根据所述属性分布状况获得观测信息熵;根据所述观测信息熵预测下一个时间间隔的网络指标数据的信息熵;根据所述观测信息熵和所述预测信息熵获得异常判决所需置信区间;分析所述观测信息熵在所述置信区间的分布,根据分析结果确定网络流量是否异常。2.根据权利要求1所述的网络流量异常检测方法,其特征在于所述选取待检测的网络指标数据,建立属性记录的步骤包括(1)以旁路侦听方式捕获网络上的TCP/IP流量数据包;(2)对捕获到的数据包进行属性分解,建立属性记录;所述网络指标数据包括TCP/IP流量数据包的源IP地址、目的IP地址、源端口和目的端口。3.根据权利要求2所述的网络流量异常检测方法,其特征在于所述考察网络中各个主机发起连接和被连接中的所述属性记录的各个属性的分布状况的步骤包括(l)检查属性记录的各个属性是否在相应的属性列表中,若不存在则新建属性项,存入相应的属性列表;(2)对属性记录的各个属性进行统计计数。4.根据权利要求3所述的网络流量异常检测方法,其特征在于所述根据所述观测信息熵预测下一个时间间隔的网络指标数据的信息熵的步骤包括(l)将网络指标数据的预测信息熵划分为两个部分平滑部分和趋势部分;(2)根据所述平滑部分和所述趋势部分获得预测信息熵;A''所述观测信息熵为X(&"f脏,)=-2(;)log2(,),其中,Feature表示一个流量特征,即源IP或目的端口;Featurei={(Xi,n》i=1,2,,了&次,S=$",表示所有属性发生的总次数;所述网络指标数据的预测信N}表示在测量数据中属性Xi发生熵的平滑部分为一l)+(1——1)+S(,-1》,,〉2a亚料m工&(0=jem—,'其中,a为平滑因子,s。(t-i)为第t-i个时间间隔的网络指标数据的观测信息熵,st(t-i)为第t-i个时间间隔预测信息熵的趋势部分;所述网络指标数据的预测信息熵的趋势部分为SW=:^、m^'、力,",其中,e为平滑因子,Ss(t-l)为所述的第t-l个时间间隔的预测信息熵的平滑部分;所述的预测信息熵为:Sf(t)=Ss(t)+St(t),Ss(t)为所述的平滑部分,St(t)为所述的趋势部分。5.根据权利要求4所述的网络流量异常检测方法,其特征在于所述根据所述观测信息熵和所述预测信息熵获得异常判决所需置信区间的步骤包括(l)获得所述观测信息熵和所述预测信息熵的偏移量;(2)根据所述偏移量计算置信区间;所述观测信息熵和所述预测信息熵的偏移量为d(t)=Y|S。(t)-Sf(t)|+(1-Y)d(t-l),其中S。(t)为实际观测的第t个时间间隔的信息熵,Sf(t)为预测的第t个时间间隔的信息熵,Y是平滑因子;所述偏移量计算得到的置信区间为(Sf(t)-S-d(t-l),Sf(t)+S+d(t-l)),其中,Sf(t)为预测的第t个时间间隔的信息熵,d(t-l)为第t-i个时间间隔的预测偏移量,S+与S—是放縮比例,用来改变置信区间的大小。6.根据权利要求2所述的网络流量异常检测方法,其特征在于所述属性分解,建立属性记录的方法为将捕获的网络数据包按照属性项进行分解归类,亦即通过捕获网络数据包的形式,产生每个数据包的属性记录,这些记录的格式为R(Src.IP,Src.Port,Dst.IP,Dst.Port),其中,Src.IP代表源地址,Src.Port代表源端口,Dst.IP代表目的地址,Dst.Port代表目的端口;通过以上的属性项,系统将会在抓取到每一个TCP/IP数据包时记录一个属性记录R。7.根据权利要求3所述的网络流量异常检测方法,其特征在于,所述的检查属性记录的各个属性是否在属性列表中,并新建属性项的处理过程包括检查属性记录的目的IP地址是否在源地址列表IPsrc中,若不存在,则分配一个对应于该目的IP地址的源地址项S_IPsrc,并将S_IPsrc存入到IPsrc中;检查属性记录的源IP地址是否在目的地址列表IPdst中,若不存在,则分配一个对应于该源IP地址的目的地址项S_IPdst,并将S_IPdst插入到IPdst中;检查属性记录的源IP地址是否在源地址—源端口列表PTSsrc中,若不存在,则分配一个对应于该源IP地址的源端口项S_PTSsrc,并将S_PTSsrc插入到PTSsrc中;检查属性记录的源IP地址是否在源地址_目的端口列表PTSdst中,若不存在,则分配一个对应于该源IP地址的目的端口项S_PTSdst,并将S_PTSdst插入到PTSdst中;检查属性记录的目的IP地址是否在目的地址_源端口列表PTDsrc中,若不存在,则分配一个对应于该目的IP地址的源端口项S_PTDsrc,并将S_PTDsrc插入到PTDsrc中;检查属性记录的目的IP地址是否在目的地址_目的端口列表PTDdst中,若不存在,则分配一个对应于该目的IP地址的目的端口项S_PTDdst,并将S_PTDdst插入到PTDdst中;所述对属性记录的各个属性进行统计计数的方法为对属性记录的各个属性进行哈希,然后分别对源地址列表、目的地址列表、源地址_源端口列表、源地址_目的端口列表、目的地址_源端口列表、目的地址_目的端口列表中的对应项进行加1操作。8.根据权利要求7所述的网络流量异常检测方法,其特征在于所述分析所述观测信息熵在所述置信区间的分布,根据分析结果确定网络流量是否异常的方法为若一个观测信息熵Y落在所述置信区间外,那么信息熵Y代表的网络流量是异常的,否则就是正常的。9.一种网络流量异常检测装置,其特征在于,由数据选取单元、分布分析单元、观测信息熵获得单元、预测单元、置信区间获得单元和异常判决单元顺序连接组成;数据选取单元选取待检测的网络指标数据,建立属性记录;分布分析单元考察网络中各个主机发起连接和被连接中的所述属性记录的各个属性的分布状况;观测信息熵获得单元用于当时间间隔到达设定的时间阈值时,根据所述属性分布状况获得观测信息熵;预测单元根据所述观测信息熵预测下个时间间隔的网络指标数据的信息熵;置信区间获得单元根据所述观测信息熵和所述预测信息熵获得异常判决所需置信区间;异常判决单元分析所述观测信息熵在所述置信区间的分布,根据分析结果确定网络流量是否异常。10.根据权利要求9所述的网络流量异常检测装置,其特征在于所述数据选取单元包括数据捕获模块和属性分解模块;数据捕获模块,用于以旁路侦听方式捕获网络上的TCP/IP流量数据包;属性分解模块,用于对捕获到的数据包进行属性分解,建立属性记录;所述分布分析单元包括属性检查模块和统计模块;属性检查模块,用于检查属性记录的各个属性是否在相应的属性列表中,若不存在则新建属性项,存入相应的属性列表;统计模块,用于对属性记录的各个属性进行统计计数;所述预测单元包括预测信息熵划分模块和预测信息熵获得模块;预测信息熵划分模块,用于将网络指标数据的预测信息熵划分为两个部分平滑部分和趋势部分;预测信息熵获得模块,用于根据所述平滑部分和趋势部分获得预测信息熵;所述置信区间获得单元包括偏移量获得模块和置信区间计算模块;偏移量获得模块,用于获得所述观测信息熵和所述预测信息熵的偏移量;置信区间计算模块,用于根据所述偏移量计算置信区间。全文摘要本发明是一种网络流量异常检测方法及检测装置。包括数据选取单元,用于选取待检测的网络指标数据,建立属性记录;分布分析单元,考察网络中各个主机发起连接和被连接中的所述属性记录的各个属性的分布状况;观测信息熵获得单元,用于当时间间隔到达设定的时间阈值时,根据所述属性分布状况获得观测信息熵;预测单元,根据所述观测信息熵预测下一个时间间隔的网络指标数据的信息熵;置信区间获得单元,根据所述观测信息熵和所述预测信息熵获得异常判决所需置信区间;异常判决单元,分析所述观测信息熵在所述置信区间的分布,根据分析结果确定网络流量是否异常。解决了现有技术用于网络流量异常检测时可操作性不强、灵活性较差的问题。文档编号H04L12/26GK101795215SQ20101010188公开日2010年8月4日申请日期2010年1月28日优先权日2010年1月28日发明者何晓冰,杨武,玄世昌,王巍,王晴,苘大鹏申请人:哈尔滨工程大学
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1