一种基于非广延熵的网络异常检测方法
【技术领域】
[0001] 本发明涉及一种网络异常检测方法，特别是一种基于非广延熵的网络异常检测方 法。
【背景技术】
[0002] 随着互联网的普及和业务量的不断增长，大规模通信网络正在向高速化，多样化， 复杂化方向发展，网络中交换的数据量越来越大，网络异常流量的危害也越来越大。
[0003] 网络流量异常的特点是发作突然，先兆特征未知，大量消耗网络资源，导致网络拥 塞、网络链路利用率下降、显著降低网络服务质量，有可能在短时间内给网络运营商和客户 都产生极大的危害，因此实时检测和响应流量异常是防范攻击、制定网络配置策略以实现 合理利用网络资源的重要手段。
[0004] 网络流量异常检测根据使用者行为或资源使用情况的正常程度来判断是否网络 流量异常，而不依赖于具体行为，有助于网络管理人员及时发现问题，采取相应措施，减轻 异常流量的危害。然而，在大型网络中，要进行实时统计的数据量是巨大的，由于测量、分析 和存储等计算机资源的限制，无法实现全部网络流量的分析。异常检测算法的最终目标是 要从巨大且处于不断变化的正常流量中，检测到相对娇小的异常流量，而且要满足实时性 的要求，因而系统设计和实现的难度很大。
[0005]网络流量异常检测技术自提出以来，经过了几十年的不断发展，从最初的简单方 法迅速发展成种类繁多的各种算法，成为保证网络安全不可或缺的方法。近年来，常用的异 常检测方法主要有统计分析、神经网络、机器学习、数据挖掘等多种方法。
[0006] (1)基于统计学方法异常检测
[0007]统计分析方法：按一定的时间间隔对系统或用户的行为进行采样，对每次采集到 的样本得出的参数变量来对这些行为进行描述，产生行为轮廓，将每次采样后得到的行为 轮廓与已有轮廓进行合并，最终得到正常的行为轮廓。异常检测系统通过将当前采集到的 行为轮廓与正常行为轮廓相比较，来监测是否存在异常行为。
[0008] 该方法的优势在于所应用的技术方法在统计学中已经比较成熟且维护方便，其不 足在于门限值的确定是统计分析所面临的棘手问题，以及事件发生的顺序通常不能作为分 析引擎所考察的系统属性。
[0009] (2)机器学习异常检测
[0010]该方法通过机器学习实现异常检测，将异常检测归结为对离散数据临时序列进行 学习来获得个体、系统和网络的行为特征。主要学习方法包括原样记录、监督学习、归纳学 习、类比学习等。机器学习异常检测方法的检测速度快，且误报率低。然而，此方法对于用 户动态行为变化以及单独异常检测还有待改善。
[0011] (3)神经网络异常检测
[0012] 神经网络的处理包括两个阶段。第一阶段的目的是构造异常分析模型的检测器， 使用代表用户行为的历史数据进行训练，完成网络的构建和组装。第二阶段则是入侵分析 模型的实际运作阶段，网络接收输入的事件数据，与参考的历史行为相比较，判断出两者的 相似度或偏离度。神经网络方法的优点在于神经网络对所选择的系统度量不要求满足某种 统计分布条件，但用于异常检测中也存在一些问题，在很多情况下，系统趋向于形成某种不 稳定的网络结构，不能从训练数据中学习到特定的知识，另外神经网络对判断为异常的事 件不会提供任何解释或说明信息，这导致了用户无法确定入侵的责任人，也无法判定宄竟 是系统哪方面存在的问题导致了攻击者得以成功的入侵。
[0013] (4)数据挖掘异常检测
[0014]数据发掘异常检测技术从各种审计数据或网络数据流中提取相关的知识信息，这 些知识信息是蕴涵在数据之中的，对它们进行归纳总结成规则、模式等。该检测方法的优点 在于只需收集相关的数据集合，处理数据能力很强，缺点是系统整体运行效率较低、误警率 较高。
[0015] 上述方法有的可直接适用于网络流量异常检测，有的并非是针对网络流量异常， 但是对于研宄网络流量异常检测同样具有指导意义。
[0016] 熵是热力学中微观状态多样性或均匀性的一种度量，反映了系统微观状态的分布 几率。从通信角度来看，出于随机性的干扰是无法避免的，因此，通信系统具有统计的特征， 信息源可视为一组随机事件的集合，该集合所具有的随机性不确定度与热力学中微观态的 混乱度是类同的。将热力学几率扩展到系统各个信息源信号出现的几率就形成了信息熵。 信息熵标志着所含信息量的多少，是对系统不确定性程度的描述。因此信息的分散与集中 程度可以通过熵的变化趋势来反映。相比于传统使用幅值的流量异常检测方法，使用熵来 进行流量异常检测可以提高异常检测的实时性，精确性，使得报警意义更加明确。所以可以 采用熵值作为网络流量异常检测的量度。
[0017] 大规模网络流量异常会对源/目的IP、源/目的端口号这4个属性产生较为明显 的影响，所以把测量数据当作离散信息源，把测量数据中的各个属性看作是一组随机事件， 就可以对它的信息熵进行分析，X= {叫，i= 1，…，N}，表示在测量数据中属性i发生了叫 次。那么，香农熵公式如1-1，2, 3所示。
【主权项】
1. 一种基于非广延熵的网络异常检测方法，其特征在于：包括以下步骤： a、 存储9属性网络数据信息：将骨干网节点的Netflow数据转换为9个属性网络数据 信息； b、 对其中的源IP地址、目的IP地址、源端口号和目的端口号，这4个属性以及数据包 的字节数进行非广延熵的计算及归一化处理，得到非广延熵值； c、 搭建非广延熵值图谱；对骨干网节点的流量进行采样，纵坐标为经过归一化处理之 后的非广延熵值，得到流量非广延熵值随时间变化的折线图； d、 非广延熵符号化处理：从第一个采样点开始，依次对前后两个采样点进行非广延熵 值大小的对比，判断采样点非广延熵值是发生了增加还是减小，直到最后一个采样点为止， 将采样点非广延熵值变化进行符号化的处理：符号1代表非广延熵值增加，符号〇代表非广 延熵值减少，得到非广延熵符号表； e、 非广延熵模式匹配：根据4个属性的非广延熵符号表的数据变化，对各种网络异常 进行匹配； f、 输出异常检测结果：根据匹配结果得到疑似异常攻击。
2. 根据权利要求1所述的基于非广延熵的网络异常检测方法，其特征在于：步骤b中 的非广延熵的计算公式为：
其中，P (Xi)为测量数据中某种属性发生的概率，公式中q是非广延熵参数； 归一化处理公式为：
通过归一化处理，将所有q值情况下的所有测量数据的非广延熵转换为〇到1之间的 值。
3. 根据权利要求1所述的基于非广延熵的网络异常检测方法，其特征在于：非广延熵 模式匹配中，常见网络异常事件对非广延熵符号表熵值的影响： 分布式拒绝服务攻击：源IP地址为1、熵值增大，目的IP地址为0、熵值减小，目的端口 号为〇、摘值减小； 端口扫描：源IP地址为0、熵值减小，目的IP地址为0、熵值减小，目的端口号为1、熵 值增大； 网络扫描：目的IP地址为1、熵值增大，目的端口号为0、熵值减小； 蠕虫病毒：目的IP地址为1、熵值增大，目的端口号为0、熵值减小。
4. 根据权利要求1所述的基于非广延熵的网络异常检测方法，其特征在于：归一化处 理包括以下步骤：bl、对骨干网节点的Netflow数据文件的读取与存储：以升序形式读取文 件中的数据，并将九个属性网络数据信息依次存放于arr[0]-arr[8]数组中； b2、如果包数量==0,跳到下一组数据，否则求每个包的字节数； b3、针对字节数、源IP地址、目的IP地址、源端口号和目的端口号，执行hash运算，将 拥有相同关键字的包数量记录下来，然后计算字节数、源IP地址、目的IP地址、源端口号和 目的端口号的熵值，并记录下来； b4、用归一化公式处理熵值，将归一化后的非广延熵值进行保存，建立一个文本文件， 将得到的字节数、源IP地址、目的IP地址、源端口号和目的端口号，五组非广延熵存储下 来。
【专利摘要】本发明公开了一种基于非广延熵的网络异常检测方法，通过存储9属性网络数据信息，对其中的源IP地址、目的IP地址、源端口号和目的端口号，这4个属性以及数据包的字节数进行非广延熵的计算及归一化处理，得到非广延熵值；然后搭建非广延熵值图谱；进行非广延熵符号化处理；通过非广延熵模式匹配；输出异常检测结果。本发明基于非广延熵的网络异常检测算法通过非广延熵的引入，能够直接地表示网络流量的变化，能够明显地得到疑似异常产生的时刻和程度，能够较为准确地得到异常攻击的数量。
【IPC分类】H04L12-26
【公开号】CN104660464
【申请号】CN201510032422
【发明人】任阳阳, 张焕娜, 周令辉, 吴忠, 陈利民, 陆飙, 王玮, 熊诚, 李由, 龙诺亚, 胡航宇, 于富财, 张晓 , 杨耀, 张猛, 撒兴杰, 张菡, 郑元伟, 刘毅
【申请人】贵州电网公司信息通信分公司, 电子科技大学
【公开日】2015年5月27日
【申请日】2015年1月22日