一种网络攻击异常检测方法
【技术领域】
[0001] 本发明设及信息安全技术领域，尤其是一种基于行为特征的网络异常行为检测方 法。
【背景技术】
[0002] 在互联网迅速普及当中，人们在感受网络所带来的便利的同时，也面临着各种各 样的进攻和威胁:机密泄漏、数据丢失、网络滥用、身份冒用、非法入侵等。网络与系统存在 的漏桐给攻击者带来了可乘之机，随着计算机技术的不断发展，新的攻击层出不穷，给政 府、银行甚至军事系统带来了极大的损失。据最新的一项统计表明，在美国因数据泄露所引 发的安全事故平均带来的经济损失达到700多万美元。网络空间安全已上升到国家安全甚 至是军事安全层面，最大程度地保护网络和信息系统的安全已成为当今一个非常重要非常 迫切的任务。
[0003] 在网络入侵检测中，行为建模与异常检测是重要的技术手段。异常检测建立系统、 用户、网络或应用等正常行为模型，当待检测的行为在一定程度上偏离该模型，则认为存在 异常。在网络流量监测中，行为建模与异常检测不仅可W及时发现网络攻击行为，还能探测 到非法行为，如超大文件的P2P传送。同时，与误用检测相比，异常检测不仅能检测出已知的 网络攻击行为，还能探测到未知的或变种的网络攻击。
[0004] 在互联网应用中，基于web的应用不断增长。与此同时，与web有关的漏桐也与日俱 增。Cenz i C公司最新的调查报告显示，在2010年大约50 %的网络漏桐来自于Web，73 %的网 络管理员承认曾经遭受过Web攻击。拒绝服务攻击(Dos)、网络扫描、网络蠕虫等大型攻击给 关键系统及整个网络的正常使用带来极大的危害。因此，基于Web的攻击检测变得尤其重 要。同时，大数据时代的到来，我们面临的是高速的并且不断进化的海量数据流，如何从海 里数据流中找到网络攻击行为的蛛丝马迹也是一个难题。
[0005] 在异常检测方面，早期的异常检测主要是通过监听系统日志，如CPU使用率、用户 连接时间、访问的文件等，来实现对系统和用户行为的建模。Schonlau等人使用用户的命令 序列来检测内部的伪装攻击行为并发布了他们的数据。近10年来很多异常检测方法都已用 于该命令序列数据，如Oka等人使用EigenCo-Occurrence Matrix(^ECM)检测内部攻击。中科 院奮起滨教授带领的团队里面Markov模型进行异常行为检测。北京邮电大学的王伟教授带 领的团队基于命令序列数据成果应用了非负矩阵分解、主成分分析等方法来检测攻击，并 取得了较好的检测效果。同时，对网络行为建模W检测网络异常也得到了广泛的应用。 Heberlein等人第一次直接将网络数据包作为信息源检测入侵。Lee等人从DARPA提供的网 络数据中提取了 41个特征并建立网络入侵检测模型，运些特征集被发布为KDD'1999CUP数 据，并一度成为了网络入侵检测的研究中应用最广的标准数据集之一。国内中科院李洋等 人使用基于直推信度机的最近邻方法在K孤'1999数据上进行网络入侵检测。南京邮电大学 的徐冲等人集成改进的BP神经网络算法和支持向量机并将其应用于KDD'1999网络数据W 检测入侵。
[0006] 在对Web攻击检测方面，2003年Kruegel等人首次使用HTTP数据流来检测基于Web 的攻击。他们通过分析客户端的查询及其参数，使用6种不同的统计方法来检测潜在的异常 或攻击行为。In曲am等人收集了一些HTTP攻击，并基于Kruegel工作的基础上比较了几种 Web攻击检测方法。Song等人基于n-gram方法，利用混合Markov模型来识别Web攻击。
[0007] 同时，基于IP网络流量的异常检测是今年来的一个研究热点。Barford等人通过IP 流量分析了四种不同的网络异常。LakMna等人使用PCA检测基于化tflow的网络流量异常 行为。Ringberg等人和化auckhoff等人的研究表明PCA在检测异常时对参数设置较为敏感， 会带来检测的不稳定性。基于此问题，Brauc化off等人设计了一种扩展的PCA算法W试图解 决运个问题。北京大学和中科院的李臻等人提出了一种在网络数据链中发现大业务流的识 别方法。西安交通大学管晓宏等人提出了一种检测网络流量特征变化的方法。
[000引在自适应异常检测方面，Cretu等人尝试在训练环节让检测模型随着被保护对象 的行为变化而自适应地改变。Rehak等人通过不断插入新的网络流量对检测模型进行优化 W实现实时网络监测。Robertson等人试图解决异常检测中训练数据严重不足的问题，通过 提取HTT内青求中的参数值，在较大数据集上通过训练建立一个检测模型。
[0009] 近年来，在基于Web攻击的异常检测方面已取得了明显的进展，但在实际应用中还 存在W下一些问题：
[0010] 1.针对具体的攻击，目前已有的方法存在较高的误报率，过多的误报降低了检测 系统的可信度，运在一定程度上导致了运些检测方法的不可用性。
[0011] 2.在大数据时代，面临的都是高速的海量数据流，现有的方法在快速处理高维海 量数据流方面还存在问题。
[0012] 3.在正常行为建模方面，针对处理的数据是高速流动的，检测主体的行为也是多 样变化的，现有的很多检测方法采用离线标定、离线学习的方式进行建模，很难适应动态变 化的网络行为。
【发明内容】
[0013 ]为了克服上述现有方法的不足，本发明提供了一种Web攻击异常检测方法，通过在 网络层和应用层建立正常网络行为模型，在应用层上主要监听服务器上的80端口并WHTTP 流量作为信息输入，而在网络层上主要监听IP流量并W路由器收集到的化tflow流量作为 信息输入，利用大数据技术对Web异常行为进行挖掘。结合两个层面的检测结果进行综合分 析，可有效降低对Web攻击检测的误报率和漏报率。
[0014] 本发明所提供的一种Web攻击异常检测方法，包含W下步骤：
[0015] 步骤1:在网络流量汇聚节点部署流量数据采集设备；
[0016] 步骤2:从采集到的流量数据中提取网络行为特征值；
[0017] 步骤3:对网络行为特征值进行降维及标准化；
[0018] 步骤4:确定正常的网络行为特征值，基于正常的网络行为特征值的集合建立正常 行为模型；
[0019] 步骤5:基于正常行为模型对其他网络行为特征值进行检测，判断是否出现异常网 络行为；
[0020] 在进行异常网络行为检测的同时，根据新的正常网络行为特征值对所述正常行为 模型进行更新。
[0021] 优选地，步骤1中，流量数据采集设备包括应用层流量数据采集设备及网络层流量 数据采集设备；
[0022] 相应的，步骤4:分别确定正常的应用层网络行为特征值及正常的网络层网络行为 特征值，基于正常的应用层网络行为特征值的集合建立应用层正常行为模型；基于正常的 网络层网络行为特征值的集合建立网络层正常行为模型.
[0023] 步骤5:基于应用层正常行为模型对其他应用层网络行为特征值进行检测，判断是 否出现异常网络行为;基于网络层正常行为模型对其他网络层网络行为特征值进行检测， 判断是否出现异常网络行为；
[0024] 若应用层与网络层均检测到异常网络行为时则断定该事件为异常并告警;如果应 用层与网络层中只有一个检测到异常网络行为时则将该事件标定为可疑事件。
[0025] 优选地，对于从应用层流量数据提取的网络行为特征值:步骤4确定正常的应用层 网络行为特征值的集合，利用K-means聚类算法将集合中的特征值分为若干聚类，并确定运 些聚类的中屯、。
[0026] 进一步，逐一计算其他的应用层网络行为特征值与所述各个聚类中屯、的距离，当 该应用层网络行为特征值到各个聚类中屯、的最小值大于设定的阔值，则认为该应用层网络 行为特征值为异常。
[0027] 进一步，进行异常网络行为检测的同时，将确定为正常的新的应用层网络行为特 征值加入到原有的应用层正常网络行为特征值集合中，利用K-means聚类算法将应用层正 常网络行为特征值重新分为若干聚类，并确定运些聚类的中屯、从而得到更新后的应用层正 常行为模型。
[0028] 进一步，对于从网络层流量数据提取的网络行为特征值:步骤4确定正常的网络层 网络行为特征值的集合，计算集合中样本分布的均值[61，62，...61^]，4网络层网络行为特征 值的维度。
[0029] 进一步，逐一计算其他的网络层网络行为特征值[di，d2, .. .dk]是否与所述样本分 布的均值[ei，e2，...ek]同分布:计算/=X的-非/6,，判断X2是否大于X 2(Q),蝴预设的 置信水平，若大于则认为该网络层网络行为特征值为异常。
[0030] 进一步，进行异常网络行为检测的同时，将确定为正常的新的网络层网络行为特 征值加入到原有的网络层正常网络行为特征值集合中，重新计算该集合的样本分布均值， 从而得到更新后的网络层正常行为模型。
[0031] 用于采用了上述技术手段，本发明的有益效果是：
[00创 1.误报率低
[0033] 本发明通过采集应用层HTTP流量和网络层化tflow数据，结合两个层面的检测结 果进行综合分析，可有效降低对web攻击检测的误报率。
[0034] 2.具备自适应能力
[0035] 本发明基于动态聚类实现正常行为模型的构建和自适应调整，能够及时发现网络 行为的变化而自动对检测模型进行重建，并根据检测性能自动调整模型参数。
【附图说明】
[0036] 本发明将通过例子并参照附图的方式说明，其中：
[0037] 图1为本发明提供的一种Web攻击异常检测方法实施流程图。
[0038] 图2为本发明提供的一种Web攻击异常检测方法中的流量数据采集设备的部署图。
【具体实施方式】
[0039] 本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥 的特征和/或步骤W外，均可W W任何方式组合。
[0040] 本说明书中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的 替代特征加 W替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子 而已。
[0041] 如图1所示，本发明提供的一种web攻击异常检测方法，包括W下步骤：
[0042] 步骤1:在网络流量汇聚节点部署流量数据采集设备；
[0043] 步骤2:从采集到的流量数据中提取网络行为特征值；
[0044] 步骤3:对网络行为特征值进行降维及标准化；
[0045] 步骤4:确定正常的网络行为特征值，基于正常的网络行为特征值的集合建立正常