专利名称：基于模糊神经网络的异常检测方法
技术领域：
本发明涉及一种针对网络入侵的异常检测方法，属于计算机网络安全技术领域。
背景技术：
网络异常主要指网络环境不同于正常的网络行为的情形，可广泛地分为两大类第一类是与网络故障(如节点、链路故障)和管理员误操作等问题相关，第二类是与网络安全问题相关，网络安全的一个主要威胁就是对网络的攻击、破坏以及通过网络对信息系统的入侵。网络入侵可以定义为试图破坏信息系统的完整性，机密性或可用性的任何网络活动的集合。
传统的网络入侵检测方法是误用(misuse)检测，它能够准确地检测出列在特征库中的已知攻击类型，但对于特征库之外的新的入侵类型无能为力。中国专利公开号为CN1599334(一种入侵检测系统及其入侵检测方法，
公开日为2005.03.23)的申请案、开放源码Snort、Bro采用了这种方法。
异常(anomaly)检测作为另外一种网络入侵检测方法，可以检测出一些未知的网络入侵行为。中国专利公开号为CN1567810(网络安全入侵检测系统及方法，
公开日为2005.01.19)和CN1555156(基于自组织映射网络的自适应入侵检测方法，
公开日为2004.12.15)的申请案采用了这种方法，具有自适应能力，但是，它们并未解决以下问题1、特征变换问题。特征变换对于提高异常检测方法的运行效率及准确性是非常关键的。
2、检测阶段的输出值集合分类问题。CN1555156的申请案中采用了基于阈值的判别方法，这种方法极不灵活。
发明内容
本发明的目的在于克服已有异常检测方法中在特征变换、输出值集合分类过程中的不足，提供一种基于模糊神经网络的网络异常检测方法。采用本发明的网络异常入侵检测系统可视为一个黑箱，它的输入是从真实网络环境中提取的网络连接数据向量，输出就是0或1，这里0代表正常的，1代表异常的。
本发明的目的是通过以下技术方案达到的，本发明方法分为两大阶段训练阶段和检测阶段，首先，对模糊神经网络采用训练样本进行训练，达到稳定，然后，训练完毕后的模糊神经网络用于实际的网络异常检测任务，具体如下第一、训练阶段在训练阶段，首先从网络连接数据向量训练样本集获得输入网络连接向量，将其进行特征选择和特征变换后生成特征向量，然后将特征向量送入模糊神经网络，利用ANFIS，(自适应模糊神经推理系统)进行训练直至达到稳定，得到模糊神经网络模型。
获取输入特征向量的具体步骤为
STEP1从所捕获到的IP数据分组集构建网络连接数据向量，即单个网络连接数据向量中包括基本特征、内容特征和流量特征三大部分；STEP2特征选择，从网络连接数据向量中选择与网络异常检测相关的若干特征形成新的数据向量；STEP3特征变换，首先剔除奇异数据向量并将剩余的数据向量进行归一化处理，然后利用独立成分分析(PCA)对数据向量进行线性变换，降低数据向量的维度，从而获得输入特征向量。
第二、检测阶段在检测阶段，首先从网络连接数据向量训练样本集获得输入网络连接向量，将其进行预处理后生成特征向量，然后将特征向量送入训练完毕后的模糊神经网络模型中，得到相应的输出值，最后对输出值集合进行模糊聚类，从而分辨出所输入的网络连接数据向量样本是否为异常。其具体步骤为STEP1根据当前网络连接数据和上述的构造输入特征向量的方法构造输入样本集合X(x1，x2，…，xn)，送到训练完毕后的模糊神经网络中，得到对应的输出值集合Y(y1，y2，…，yn)。
STEP2利用模糊C-均值聚类(FCM)将输出值集合Y进行分类，如果yi(1≤i≤n)位于1类，则输入特征向量xi(1≤i≤n)对应的网络连接为异常，如果yi(1≤i≤n)位于0类，则输入特征向量xi(1≤i≤n)对应的网络连接为正常。
与现有的技术相比较，这种方法的优点在于1、综合使用了模式识别中的监督模式和非监督模式，在训练模糊神经模型使用的ANFIS为监督模式，而检测阶段的FCM则为非监督模式。
2、利用PCA线性变换有效的降低了输入向量的维数，提高了运行效率。
3、利用模糊C-均值聚类算法FCM解决了人工设定阈值的问题。
图1为基于模糊神经网络的异常检测方法的流程框架图。
具体实施例方式
下面结合附图对本发明进行进一步阐述。
如图1所示，基于模糊神经网络的异常检测方法的主要包括两大阶段训练阶段和检测阶段。在训练阶段，首先从网络连接数据向量训练样本集获得输入网络连接向量，将其进行特征选择和特征变换后生成特征向量，然后将特征向量送入模糊神经网络，利用ANFIS，(自适应模糊神经推理系统)进行训练直至达到稳定，得到模糊神经网络模型。在检测阶段，首先从网络连接数据向量训练样本集获得输入网络连接向量，将其进行预处理后生成特征向量，然后将特征向量送入训练完毕后的模糊神经网络模型中，得到相应的输出值，最后对输出值集合进行模糊聚类，从而分辨出所输入的网络连接数据向量样本是否为异常。
结合本发明提供以下典型的实施例在实施过程中为保证数据的准确性、典型性及数据集的规模，我们使用了国际上为专用于入侵检测研究的KDD99数据集，它包含DoS、Probing、R2L、U2R四类典型的攻击类型。主要步骤如下
1、考虑到Internet环境中网络入侵的实际情况，我们仅考虑DoS、Probing两类攻击.故在训练数据集中去除R2L和U2R两类的攻击。
2、特征选择.在训练数据集提供的41个特征中仅有8个被选，src_bytes，dst_bytes，count，srv_count，dst_host_count，dst_host_srv_count，st_host_same_src_port_rate，dst host_srv_diff_host_rate。
3、特征生成，利用PCA提取特征，提取后特征向量的维数由原先的8降为5。
4、利用ANFIS训练模糊神经模型。
5、检测。测试数据集由三类网络连接组成正常(60593个)；异常，曾出现在训练数据集(166041个)；异常，未出现在训练数据集(84395).对于正常类的检测率为96.94％，已出现的异常类检测率为99.81％，新出现的异常类检测率为73.01％。
权利要求
1.一种基于模糊神经网络的异常检测方法，它包括训练阶段和检测阶段，其特征在于，首先，对模糊神经网络采用训练样本进行训练，达到稳定，然后，训练完毕后的模糊神经网络用于实际的网络异常检测任务，具体如下第一、训练阶段在训练阶段，首先从网络连接数据向量训练样本集获得输入网络连接向量，将其进行特征选择和特征变换后生成特征向量，然后将特征向量送入模糊神经网络，利用自适应模糊神经推理系统进行训练直至达到稳定，得到模糊神经网络模型；第二、检测阶段在检测阶段，首先从网络连接数据向量训练样本集获得输入网络连接向量，将其进行预处理后生成特征向量，然后将特征向量送入训练完毕后的模糊神经网络模型中，得到相应的输出值，最后对输出值集合进行模糊聚类，从而分辨出所输入的网络连接数据向量样本是否为异常。
2.根据权利要求1所述的基于模糊神经网络的异常检测方法，其特征在于，所述获取输入特征向量的具体步骤为STEP1从所捕获到的IP数据分组集构建网络连接数据向量；STEP2特征选择，从网络连接数据向量中选择与网络异常检测相关的若干特征形成新的数据向量；STEP3特征变换，首先剔除奇异数据向量并将剩余的数据向量进行归一化处理，然后利用独立成分分析对数据向量进行线性变换，降低数据向量的维度，从而获得输入特征向量。
3.根据权利要求2所述的基于模糊神经网络的异常检测方法，其特征在于，所述网络连接数据向量中包括基本特征、内容特征和流量特征三大部分。
4.根据权利要求1所述的基于模糊神经网络的异常检测方法，其特征在于，所述检测阶段，具体包括以下步骤STEP1根据当前网络连接数据和上述的构造输入特征向量的方法构造输入样本集合X(x1，x2，…，xn)，送到训练完毕后的模糊神经网络中，得到对应的输出值集合Y(y1，y2，…，yn)；STEP2利用模糊C-均值聚类(FCM)将输出值集合Y进行分类，如果yi(1≤i≤n)位于1类，则输入特征向量xi(1≤i≤n)对应的网络连接为异常，如果yi(1≤i≤n)位于0类，则输入特征向量xi(1≤i≤n)对应的网络连接为正常。
5.根据权利要求1所述的基于模糊神经网络的异常检测方法，其特征在于，采用本方法实现的网络异常入侵检测系统可视为一个黑箱，它的输入是从真实网络环境中提取的网络连接数据向量，输出就是0或1，其中0代表正常的，1代表异常的。
全文摘要
本发明公开了一种基于模糊神经网络的异常检测方法，属于计算机网络安全技术领域。该方法包括训练阶段和检测阶段训练阶段，首先从网络连接数据向量训练样本集获得输入网络连接向量，将其进行特征选择和特征变换后生成特征向量，然后将特征向量送入模糊神经网络，利用ANFIS进行训练直至达到稳定，得到模糊神经网络模型；检测阶段，首先从网络连接数据向量训练样本集获得输入网络连接向量，将其进行预处理后生成特征向量，然后将特征向量送入训练完毕后的模糊神经网络模型中，得到相应的输出值，最后对输出值集合进行模糊聚类，从而分辨出所输入的网络连接数据向量样本是否为异常。本发明提高了运行效率和检测性能，对于检测资源耗尽性攻击特别有效。
文档编号H04L29/06GK101051953SQ20071002798
公开日2007年10月10日 申请日期2007年5月14日 优先权日2007年5月14日
发明者何海涛, 罗笑南 申请人:中山大学