一种面向web的攻击检测方法及系统的制作方法
【技术领域】
[0001] 本发明涉及网络安全领域，具体涉及一种面向WEB的攻击检测方法及系统。
【背景技术】
[0002] 基于攻击特征的检测是目前常用的一种对web访问请求的攻击检测方法。这种方 法是通过对已知的web攻击请求进行分析，提取出一系列对应于不同攻击特征的防护规则 对新的访问请求进行匹配。
[0003] 基于攻击特征的检测方法优势在于部署简单、检测速度快，开源软件lorg、scalp 都是使用这种方法对访问日志进行攻击检测。但其缺陷也是非常明显：第一，它只能针对已 知的攻击进行检测，对于未知的攻击没有任何效果，产生大量的漏报；第二，当被访问资源 当中含有能被规则匹配的内容时，则会造成大量的误报。目前有很多与基于攻击特征检测 有关的专利，而并没有对这种检测方法的改进做相关工作。申请专利号为：201310455652. X，201310098783. 7,200880115316. 8的发明专利，其中都只是在所提出的系统内部利用规 则进行过滤，并未考虑结果的准确性。
[0004] 综上所述，在进行web访问请求异常分析时，仅基于攻击特征的检测是不够的。需 要提出一个改进的系统，对该种检测进行优化，提升方法的准确率。
【发明内容】
[0005] 本发明提出了一种面向WEB的攻击检测方法及系统，以用户的WEB访问请求数据 为源，通过特征检测、误报分析、漏报分析、异常指数计算四个阶段实现面向WEB的攻击检 测。
[0006] 为了实现上述目的，本发明采用以下技术方案：
[0007] -种面向WEB的攻击检测方法，具体步骤如下：
[0008] 1)提取用户的WEB访问请求数据信息，得到WEB信息元组X=〈访问ip，访问 UserAgent，访问域名，访问url，referrer，访问返回码〉；
[0009] 2)通过对用户访问url进行攻击特征检测，将得到的有攻击行为的访问请求存入 异常访问库，没有攻击行为的访问请求存入正常访问库；
[0010] 3)对异常访问库中的数据进行误报分析，从异常访问库中去掉误报数据；
[0011] 4)结合正常访问库对异常访问库中的数据进行漏报分析，向异常访问库中增加漏 报数据；
[0012] 5)根据上述步骤得到的异常访问库，计算用户异常指数，实现面向WEB的攻击检 测。
[0013] 进一步地，步骤2)中利用正则表达式对用户访问url进行攻击特征检测。
[0014] 更进一步，所述误报分析，包括网站资源分析与爬虫分析两步，具体如下：
[0015] 1)网站资源分析，目的是辨别访问url是否属于网站的内嵌资源：
[0016] a)统计异常访问库中各个访问url的访问ip数，访问ip数大于阈值w0,视为 误报，前三个字段相同的访问ip视为相同ip，前两个字段相同的访问ip视为相似度为 1-wl(wl为O到1之间的常数），访问ip数增加wl，其他情况视为不同ip，访问ip数增加 1 ;
[0017] b)统计referrer所在的域名数；
[0018] c)在访问ip数足够大或者referrer域名数足够小的情况下，判定该访问url为 误报数据，将其加入误报库。
[0019] 2)爬虫分析，目的是辨别访问url是否为知名爬虫进行的访问：
[0020] a)将异常访问库中各个访问url的访问ip与知名爬虫库中的ip地址进行匹配；
[0021] b)对访问ip中未匹配到的ip以及已匹配到的ip，根据不同的访问UserAgent建 立访问url的字符特征向量；
[0022] c)根据已匹配到的ip的字符特征向量，和与其（已匹配到的ip)具有相同访问 UserAgent的未匹配到的ip的字符特征向量计算余弦相似度；
[0023] d)余弦相似度高于设定阈值时，认定该访问ip为知名爬虫，将其加入知名爬虫 库；
[0024] e)用更新后的知名爬虫库进行最终匹配，从异常访问库中删除匹配成功的访问请 求。
[0025] 更进一步，所述漏报分析，具体步骤如下：
[0026] 1)提取异常访问库中的用户未被检测出来的访问记录；
[0027] 2)分析上述访问记录，若满足如下条件，则标记为异常：
[0028] a)referrer与request请求相同；
[0029] b)referrer为空，但request请求不是最早的；
[0030] c)referrer的域名与用户的WEB访问请求数据的访问域名相同，但用户并未对 referrer戶斤指url进行访问。
[0031] 更进一步，所述计算用户异常指数，包括异常统计和异常评分，用于评价用户的异 常程度，步骤如下：
[0032] 1)根据经过误报分析与漏报分析处理的异常访问库，计算出用户对各个域名的攻 击数，实现异常统计，攻击数量越多，以及攻击的域名数越多，则异常程度越高；
[0033] 2)根据上述结果，统计出用户对各个域名的攻击数之和作为用户异常访问的总次 数；
[0034] 3)计算每个用户的异常指数，实现异常评分，评分越高，异常程度越高：
[0035] a)统计出所有用户异常访问的总次数的最大值max及均值mean;
[0036] b)如果用户异常访问的总次数n小于均值mean，则异常指数为n/mean;否则异常 指数为n/max与权值w(w> = 1)之和。
[0037] 本发明还提出了一种面向web的攻击检测系统，包括：特征检测模块、误报分析模 块、漏报分析模块、异常统计模块、异常评分模块，其中：
[0038] 所述特征检测模块，用于提取WEB信息元组X=〈访问ip，访问UserAgent，访问域 名，访问url，referrer，访问返回码〉，并对访问url进行攻击特征检测，得出异常访问库。
[0039] 所述误报分析模块，主要完成网站资源分析与爬虫分析两部分误报处理功能，从 异常访问库中去掉误报数据。其一，通过某访问url的访问ip数和referrer所在的域名 总数，判断其是否为网站资源，从而去掉该访问url产生的误报；其二，通过知名爬虫库ip地址和访问记录与知名爬虫的访问相似度来判断访问ip是否为知名爬虫ip，从而去掉该 访问ip产生的误报。
[0040] 所述漏报分析模块，分析正常访问库及异常访问库中用户的非异常访问记录，通 过"referrer与url相同或者referrer为空且非最早访问或者referrer属于内部域名但 并未被访问过"来判断访问异常，从而向异常访问库中补充漏报数据。
[0041] 所述异常统计模块，统计用户对网站的攻击次数，用于用户的异常程度评价。
[0042] 所述异常评分模块，计算每个用户的异常指数，用于用户的异常程度评价。通过对 异常统计模块的输出进行处理，得到用户异常访问的总次数，再计算每个用户的异常访问 次数与整体的均值的比值或与最大值的比值加上某一权值w(w> = 1)，得到用户的异常评 分。
[0043] 本发明的有益效果
[0044] 本发明在对访问url进行攻击特征检测的基础上，处理了网站内嵌资源和网络爬 虫产生的误报，有效提升了检测准确度；再者，我们在检测到的异常用户的基础上，对这些 用户其他的访问记录采取了有效的方式进行分析，降低了漏报率。经过本发明的误报与漏 报处理，面向WEB的攻击检测方法的效率有了明显提升。本发明也提出了异常统计与异常 评分两个模块，可以从统计数据当中，得出用户的异常指数。
【附图说明】
[0045