基于网络会话统计特征的大规模网络扫描检测方法
【专利摘要】本发明提供了一种基于网络会话统计特征的大规模扫描行为的检测方法，属于互联网安全技术领域。本发明对捕获的原始网络数据，按协议类型筛选分类；再从数据中还原每个会话，将会话按照源IP聚类；统计每个IP所有会话的异常返回值数目，计算出异常返回值与正常返回值的数目比值；分析每个IP所有会话的请求模式，观察异常返回值对应的请求模式是否一致；根据比值和请求模式判断是否有攻击行为，当有攻击行为时，获取攻击者和攻击目标的IP信息，并相应地做出处理措施。本发明的实际可行性十分高，检测方法具有普遍性，可以识别出攻击者对任意IP做扫描的情况，并有机率检测未知的攻击方式。
【专利说明】
基于网络会话统计特征的大规模网络扫描检测方法
技术领域
[0001]本发明属于互联网安全技术领域，具体是指一种基于网络会话统计特征的大规模网络扫描检测方法。
【背景技术】
[0002]随着互联网的不断发展和计算机技术的普及，全球经济增长越来越快，人们的生活也越来越便利，但与此同时也带来了各式各样的网络安全问题与隐患。互联网技术的发展使得网络攻击的风险性与机会日益增多，而一旦发生大规模的网络攻击行为，其造成后果也将越严重。如何做好网络安全防御工作越来越被人们所重视。应对网络攻击的最理想方法即是建立一个完全安全的系统，但这样要求所有的用户都能认证自己且得采用各种各样的加密方法和访问控制措施来保护数据，这在实际看来是几乎不可能的事。基于此，网络攻击检测技术对于网络安全就显得十分重要了，只要在网络流量中存在恶意行为时，能够最大限度且准确地检测到，然后采取相对应的处理措施，便能将这一恶意行为造成的影响降得尽可能低。
[0003]黑客在做网络攻击时，扫描往往是第一步。要完成一次成功的网络攻击，首先就是要收集目标的各种信息，然后攻击者可以根据这些信息对目标进行分析，找到目标系统存在的漏洞，从而便能利用这些漏洞或权限进行下一步行动。如果能检测到黑客的扫描行为，就可以在攻击还没造成实质性危害时修复漏洞，预防接下来可能的攻击行为。但随着大数据时代的来临，相应产生的网络流量也在急剧增加，如何鉴别异常流量，并在这海量数据中准确而高效地检测出扫描攻击行为，是现在网络安全领域中的一大难题。
[0004]目前，关于通过流量分析网络当中存在的网络恶意行为的研究已经有一部分成果。有许多文献从不同角度提出了网络攻击检测的方法。对已有的文献进行检索、比较和分析，筛选出了如下几篇与网络攻击检测相关的技术信息:
[0005]参考文献1:张萌萌在2011年9月28日公开的《用于网络入侵检测系统的快速匹配方法》，提出了一种基于snort规则的快速字符串匹配方法，利用网络正常数据流几乎不与任何病毒数据名相匹配的事实，来检测出网络入侵行为。
[0006]参考文献2:王平辉、郑庆华、牛国林等在2008年4月21日公开的《基于流量统计特征的端口扫描检测算法》中，以主机数和端口数的比值及被访问主机端口集合之间的相似度为基础，采用非参数累积和cusum方法对流量统计特征进行分析，判断是否有端口扫描行为。
[0007]目前很多文献都详细分析了网络攻击的方式，针对这些方式，只是提出了一系列防范的思路，但许多思路并未应用到实际中，可用性较差。另外，很多文献提出来的攻击检测方法只能检测出针对某个单一系统或目标的攻击行为。面对大规模的网络扫描攻击，解决方案并不是很多。并且已有的很多网络攻击检测技术只能针对某一种特定的攻击方式进行检测，例如参考文献2中提出的方案只能检测出针对端口的扫描，有一定的局限性。
【发明内容】
[0008]本发明的主要目的在于提供一种基于网络会话统计特征的大规模扫描行为的检测方法，分析网络中的会话，利用在实际中总结出的大规模网络扫描行为特征，对攻击检测问题进行分解与简化，判断流量中是否有攻击数据，并识别出攻击行为，同时尽可能地提高判断准确率、降低误报率。
[0009]本发明提供的基于网络会话统计特征的大规模扫描行为的检测方法，包括如下步骤:
[0010]步骤101:从节点捕获原始网络数据流；
[0011 ]步骤102:按协议类型将数据进行筛选分类；
[0012]步骤103:从数据中还原每个会话，将会话按照不同源IP聚成不同的类；
[0013]步骤104:统计每个IP所有会话的异常返回值数目M，并计算出异常返回值与正常返回值的数目比值K;M、K均为正数；
[0014]用户可针对不同协议自定义请求模式和异常返回值；
[0015]步骤105:分析每个IP所有会话的请求模式，观察异常返回值对应的请求模式是否一致；
[0016]步骤106:判断数据中是否攻击行为，如果有，执行步骤107;如果没有，转步骤108执行；
[0017]步骤107:获取攻击者和攻击目标的IP信息，并相应地做出处理措施；
[0018]步骤108:检测结束。
[0019]所述的步骤106中，判断是否有攻击行为具体方法是:设定阈值A和阈值B，A、B均为正数，当异常返回值数目超过阈值A，且比值K超过阈值B时，进一步查看异常返回值对应的请求模式是否达到90%的一致，若是，认为存在异常流量，有攻击行为;否则，认为没有攻击行为。
[0020]利用本发明提供的方法进行网络扫描检测，具有以下优点与积极效果:
[0021](I)本发明方法的实际可行性十分高，可以将检测的每一个步骤都实现至计算机程序当中，从而实现自动化检测功能，效率比起人工检测要高很多，且可以节省资源。
[0022](2)本发明方法并不只是针对会话中特定的字段来进行检测，只要是有返回值和请求模式的协议会话，均可使用本发明方法来检测，具有普遍性。
[0023](3)本发明方法中并没有对流量中的IP做限制，它可以识别出攻击者对任意IP做扫描的情况，从而可以检测出大规模的网络扫描行为。
[0024](4)由于本方法并不针对某种特定的已知的攻击模式来检测，从而有机率检测未知的攻击方式。
【附图说明】
[0025]图1是本发明的基于网络会话统计特征的大规模网络扫描检测方法流程示意图。
【具体实施方式】
[0026]下面将结合附图和实例对本发明作进一步的详细说明。
[0027]本发明通过分析总结出了黑客针对不同协议进行扫描的行为特征，将关注点锁定在流量中的返回值和请求模式上。针对这两点，提出了基于网络会话统计特征的大规模扫描检测方法。通过对异常返回值的定义和请求模式的比对，判断流量是否符合攻击行为特征，从而识别出可能存在的攻击行为。同时将网络扫描在请求时间上体现出来的特性，加入检测机制当中，提高了分析结果的准确率。
[0028]首先将抓取到的原始流量按网络协议进行分类，然后针对不同协议提出符合该协议的攻击特征，并将流量与攻击特征相匹配，当有流量满足特征时，则判断存在攻击行为，接着进一步分析该部分流量，得到攻击者和被攻击者的信息。
[0029]如图1所示，本发明的基于网络会话统计特征的大规模网络扫描检测方法包括步骤1I?步骤108，各步骤描述如下:
[0030]步骤101:从节点捕获原始网络数据流；
[0031 ]步骤102:按协议类型将数据进行筛选分类，例如有HTTP(超文本传输协议)、FTP(文件传输协议)、IMAP(Internet邮件访问协议)、SNMP(简单网络管理协议)等协议；
[0032]步骤103:从数据中还原每个会话，将这些会话按照不同源IP聚成不同的类；
[0033]步骤104:统计每个IP所有会话的异常返回值数目，并计算出异常返回值与正常返回值的数目比值K;用户可针对不同协议自定义异常返回值和对应的请求模式。K为正数。
[0034]步骤105:分析每个IP所有会话的请求模式，观察异常返回值对应的请求模式是否一致；
[0035]步骤106:判断数据中是否攻击行为。如果有，则转步骤107;如果没有，则转步骤108；
[0036]步骤107:经分析后，拿到攻击者的IP、攻击者的攻击目标IP信息等;对攻击行为，则可相应地做出处理措施。
[0037]步骤108:本次检测结束。
[0038]只要协议对相同请求模式的不同请求结果均有相应返回值，即可使用本方法进行分类检测。
[0039]步骤104?105中，本发明针对HTTP、FTP、SNMP协议定义了相应请求模式和异常返回值，本发明定义的这几种返回值和请求模式应用到大规模网络扫描检查中均有较好的效果O
[0040](I )HTTP协议:HTTP协议对应的返回值即为每次HTTP请求的返回值，包括200，302，304，401，403，404等，其中401，403，404定义为异常返回值;对应的请求模式为每次!11113请求对应的URL (统一资源定位符)。即若某个IP发出的HTTP请求的URL基本相同，返回值却大部分异常，则符合攻击特征。
[0041 ] (2 )FTP协议:FTP协议对应的返回值即为每次提交的返回FTP命令的返回值，包括230，220，210，150，331等，其中331(需要登陆账户)，530(未登入)定义为异常返回值;对应的请求模式为不断输入用户名和密码，尝试连接FTP服务器。即若某IP在短时间内不断尝试登入不同FTP服务器，却未能成功，则认为它符合攻击特征。
[0042] (3) S匪P协议:每次SNMP请求都会对应一个oid，SWP协议对应的请求模式即为每次s n m P请求中相应的ο i d (系统的对象标识符)，像IB M为{1.3.6.1.4.1.2}，C i s c ο为{1.3.6.1.4.1.9}，这些公司自己定义有各个系统资源的ο id，有sy stem，name，tcp等，例如1.3.6.1.4.1.1.2.1.4就代表系统用户名；对应的异常返回值为o i d相应的返回信息(value)。即若某个IP不断对不同设备发送相同ο id号的snmp request请求，且为同一个或者同几个oid，从而拿到一大堆系统或设备信息，则认为它符合攻击特征。
[0043]对于上面本申请对http、f tp、snmp这三种协议的定义，经实验，有较好的检测效果。其他协议的请求模式和异常返回值，分析人员可以参考这三种协议自行定义。
[0044]优选的，在步骤106中，本发明将采用以下机制来降低检测方法的误报率。首先，考虑到访问网站或者服务器出现异常的情况，只有在异常返回值比例较大时才认为流量中可能存在异常流量;设阈值A和阈值B，A、B均为正数，当异常返回值数目M超过阈值A，且比值K超过阈值B时，认为有可能存在异常流量。然后再判断异常返回值对应的请求模式是否基本一致，若达到90 %的一致，则判定为存在大规模扫描，数据有攻击特征，请求发起者为攻击方。另外，通常攻击者使用辅助程序来做大规模扫描，这种程序扫描的流量和正常流量有一个较大的区别，即每次请求的时间间隔都很短，所以可以进一步的分析疑似流量的请求是否都集中在某一设定长度的时间内，若是，才认为这部分流量为攻击流量。
[0045]优选的，步骤106中，本发明统计了异常返回值数目，经分析统计，当异常返回值出现超过1000条，且比例超过70%时，认为有可能是在做大规模的扫描行为，存在攻击行为。
[0046]优选的，以上所有步骤均可通过程序来实现，只要将写好的程序部署在某个流量节点上，便可对这些流量进行自动化的检测。使用该程序检测比起人工检测，它具有处理海量数据的能力，检测的效率也比较高。
[0047]本发明的实例中，从某一单位的网口捕获到了该网口的所有数据流量，发现某一IP的HTTP请求的返回值中有许多404和401，然后按照本发明的检测步骤关注这些请求的URL，发现这些URL基本一致，均为login.html，且每次请求的时间间隔都很小，符合本发明定义的网络扫描特征，判断该部分流量为网络扫描流量，该IP为攻击者IP。
[0048]后对原始流量进行分析验证，发现该IP确实是利用了某特定型号的家用路由器漏洞在作做大规模的扫描。
【主权项】
1.一种基于网络会话统计特征的大规模扫描行为的检测方法，其特征在于，实现步骤如下: 步骤101:从节点捕获原始网络数据流； 步骤102:按协议类型将数据进行筛选分类； 步骤103:从数据中还原每个会话，将会话按照不同源IP聚成不同的类； 步骤104:统计每个IP所有会话的异常返回值数目，并计算出异常返回值与正常返回值的数目比值K，K为正数； 步骤105:分析每个IP所有会话的请求模式，观察异常返回值对应的请求模式是否一致； 步骤106:判断数据中是否有攻击行为，如果有，执行步骤107;否则转步骤108执行； 判断是否有攻击行为具体方法是:设定阈值A和阈值Β，Α、Β均为正数，当异常返回值数目超过阈值Α，且比值K超过阈值B时，进一步查看异常返回值对应的请求模式是否达到90%的一致，若是，认为存在异常流量，有攻击行为;否则，认为没有攻击行为； 步骤107:获取攻击者和攻击目标的IP信息，并相应地做出处理措施； 步骤108:检测结束。2.根据权利要求1所述的一种基于网络会话统计特征的大规模扫描行为的检测方法，其特征在于，所述的异常返回值与请求模式，在HTTP、FTP和SNMP协议中的定义如下: (I )HTTP协议:HTTP协议对应的返回值为每次HTTP请求的返回值，定义异常返回值包括401、403和404;对应的请求模式为每次HTTP请求对应的URL，URL表示统一资源定位符； (2)FTP协议:FTP协议对应的返回值为每次提交的返回FTP命令的返回值，定义异常返回值包括331和530;对应的请求模式为不断输入用户名和密码，尝试连接FTP服务器； (3)S匪P协议:每次SNMP请求都会对应一个oid，oid为系统的对象标识符，S匪P协议的请求模式为每次snmp请求中相应的oid，对应的异常返回值为oid相应的返回信息;若某个IP不断对不同设备发送相同oid号的snmp request请求，且为同一个或者同几个oid，则认为它符合攻击特征。3.根据权利要求1所述的一种基于网络会话统计特征的大规模扫描行为的检测方法，其特征在于，所述的步骤106中设置阈值A为1000条，阈值B为70 %。4.根据权利要求1所述的一种基于网络会话统计特征的大规模扫描行为的检测方法，其特征在于，所述的步骤106中，当异常返回值数目超过阈值A，且比值K超过阈值B，且异常返回值对应的请求模式达到90%的一致时，判断该数据流程的请求是否都集中在某一设定长度的时间内，若是，则判定该数据流量为攻击流量，否则，判定该数据流量不是攻击流量。
【文档编号】H04L29/06GK106027559SQ201610523216
【公开日】2016年10月12日
【申请日】2016年7月5日
【发明人】李应博, 张伟, 孙波, 房婧, 姜栋, 蒋卓键, 武斌, 李轶夫, 鲁骁, 张建松, 盖伟麟, 司成祥, 杜雄杰, 刘成
【申请人】国家计算机网络与信息安全管理中心, 北京邮电大学