专利名称：一种基于流量特征分析的分布式入侵检测方法
一种基于流量特征分析的分布式入侵检测方法
技术领域：
本发明提出一种高性能的基于异常的分布式入侵检测方法，用于检测计算机网络 系统遭受的各种攻击。
背景技术：
入侵检测是指通过从计算机网络或计算机系统中若干关键点收集信息并对其进 行分析，从中发现网络或系统中是否存在违反安全策略的行为和遭到攻击的安全技术。技 术上，入侵检测方法分为基于异常的检测和基于误用的检测两类。基于误用的检测方法只 能针对已知入侵行进行有效检测，无法检测新的入侵行为。而传统的基于异常的检测方法 也存在异常行为难以定义和判断而导致的误报率高的缺陷。在入侵检测技术方面，近年来，人们进行了大量的研究和试验，提出了多种检测方 法，并将其他领域的技术引入到入侵检测上，这些方法对于特定入侵和攻击行为的检测具 有一定的适用性。但总的来说，入侵检测方法还有待进一步研究和完善，面对日益复杂的高 速网络与越来越新颖的入侵和攻击手段，检测精确度和速度成为影响入侵检测系统性能的 主要因素，误检与漏检仍然是实施入侵检测的关键难点问题。基于流量的入侵检测方法是近年来提出的较新的基于异常的入侵检测方法，它主 要通过对网络流量的异常分析来发现和识别入侵行为，但目前基于流量的网络入侵检测系 统仍然不够成熟，主要面临如下问题(1)检测效率和检测速度的问题网络安全设备的处理速度一直是影响网络性能的一大瓶颈。虽然IDS通常以并联 方式接入网络，但如果其检测速度和网络数据传输速度不匹配，检测系统就会漏掉其中的 部分数据包，从而导致漏报而影响系统的准确性和有效性。在IDS中，截获网络的每一个数 据包，并分析、匹配其中是否具有某种攻击的特征需要花费时间并消耗系统资源，因此，单 纯依靠单个节点或设备实施入侵检测任务难以满足入侵检测的复杂模型和处理能力的要 求。同时，应用系统越来越复杂，许多主体活动很难以简单的统计模型来刻画，而现有的复 杂的统计模型在计算量上不能满足实时的检测要求。需要提出新的理论模型、检测方法和 体系结构来对网络流量活动进行实时有效的统计分析与建模。分布式入侵检测方法可以有 效提高单一检测节点的检测效率问题。(2)入侵检测系统的漏报和误报率较高基于异常发现的入侵检测系统通过流量统计分析建立系统正常行为的轨迹，当系 统运行时的数值超过正常阈值，则认为可能受到攻击，这种简单的判断方法容易导致其漏 报误报率较高。另外，大多IDS是基于单包检查的，协议分析不足，难以识别伪装或变形的 网络攻击，也易造成漏报和误报。同时，统计方法中的阀值难以有效确定，阀值过小会产生 大量的误报，过大则会产生大量的漏报。因此，如何提高监测的准确度是基于流量的入侵检 测系统必须解决的问题。(3)入侵检测算法的有效性问题
入侵检测系统的检测方法有特征检测、异常检测、状态检测、协议分析等。实际中 的商用入侵检测系统大都同时采用几种检测方法。但是入侵检测系统不能处理加密后的 数据，如果数据传输中被加密，即使只是简单的替换，入侵检测也难以处理，例如采用SSH、 HTTPS、带密码的压缩文件等手段，都可以有效的防止检测。所以在基于网络流量统计分析 的入侵检测研究中考察的网络信息应该是内容无关的。
发明内容为了克服传统入侵检测方法检测准确率和检测效率低的问题，本发明专利提出一 种基于特定流量检测算法的分布式入侵检测方法，主要包括两部分；一是提出一种高效的 基于流量特征分析的入侵检测算法；二是提出一种分布式多Agent体系结构，利用分布式 框架和体系结构提高入侵检测效率。算法方面，利用网络的自相似特性来对网络的异常行为进行检测，针对网络流量 中实时的Hurst参数估计算法将被进行详细的分析与评估，据此提出测量度量指标。通过 非参数CUSUM算法对网络流量中不同统计特征量，包括流量带宽、新源IP地址等进行综合 监测来实现网络入侵检测；同时，为克服非参数CUSUM算法对入侵结束时刻判断迟缓的特 点，提出阈值回归算法对非参数CUSUM算法进行改进，从而大大提高检测的灵敏度和准确 性。体系结构方面，针对入侵检测效率问题，本发明利用基于JADE的分布式架构带来 的高性能、高灵活性等特点，引入分布式多Agent入侵检测框架，通过多AGENT方法提高系 统的检测效率。具体技术方案描述如下1.基于JADE的分布式入侵检测框架本发明专利提出的入侵检测方法基于JADE平台，将系统中的代理分为两类智能 决策分析代理和数据采集、独立入侵条件监测代理。其中，数据采集、独立入侵条件监测代 理主要针对入侵特征明确的网络入侵行为进行检测；而智能决策分析代理作为本入侵检测 系统的重点，本发明通过非参数CUSUM算法负责对网络流量中不同统计特征量，包括流量 带宽、新源IP地址等进行综合监测并结合数据采集、独立入侵条件代理传送的相关信息实 现网络异常检测，特别是针对DOS或DDOS攻击的检测。系统体系结构如图1所示。2.阈值回归算法非参数CUSUM算法在实际应用中能够有效地检测出监测统计量的突变时间点，但 是当网络入侵停止时，整体监测统计量的算术均值不能迅速及时地到门限值以下。这就造 成使用非参数CUSUM算法进行入侵检测难以及时判断网络入侵行为的停止时刻，由此会造 成对于网络入侵行为的误报。系统产生如图2所示的网络入侵流量特征时，系统的yn值与网络流量之间的关系 如图3所示。在这一情况下由于攻击结束的时候7 值的回归速度较慢，这样导致200秒处 发生第二次攻击时yn值仍然大于阈值N，这导致系统会将两次攻击错误地识别成一次。为解决这一问题，本发明提出阈值回归算法。算法的思想类似于TCP协议在拥塞 控制问题上的方法。即为yn值设置一个时间窗在该时间窗内计算7 值函数随时间变化的 斜率。如果在时间窗内，Q个连续时间间隔ΔTk中7 值的变化斜率连续为负值且在特定斜
4率阈值Y (Y <0)区间内则将7 值减半，即有如下公式Ω, = (Yk-Yk^1)/Δ Tk (k = 0,1,2...)
Countk =\2 0,^ = 0,1,2..·)
k= O^ I Ω, - Q^1 |< γ^ζ , > 0)Countk>Q^yn=yn_J2DOS或DDOS攻击这一类通过增加网络带宽负载迫使攻击目标服务器不能正常为 合法用户提供服务的网络入侵行为，在攻击发生时的相应统计量特征具有一定程度的相似 性。以SYNflood攻击为例，攻击发生时SYN半连接数据包数量为正常值的数十倍，其他增 加网络带宽负载的拒绝服务攻击在攻击时会向目标服务器发送高过带宽数倍乃至数十倍 的非法数据信息。当这些攻击行为停止时，相应的流量特征数值会骤减，恢复至攻击发生前 的平均正常水平。这一情况在非参数CUSUM算法所监测的统计量数值的计算结果中体现为 Zn恢复到特定的负值范围内。由yn的递归公式，Zn值的恢复会造成监测数值以特定范围的 速率下降，因此只要监测到这一个下降趋势就可以初步断定网络攻击的结束。根据初步判 定结果，将yn数值试探性减半，进行进一步判定。如果判定失误，攻击仍在继续7 值会迅 速恢复到攻击报警时的yn值水平；如果判定正确yn值会进一步减半直至恢复至零值状态。 上述公式正是利用这一原理来加速yn值的回归。本发明提出的入侵检测系统选取如下网络流量统计特征指标(1)外部网络与内 部网络之间第一英里路由的下行网络流量；(2)新源IP地址；(3) SYN包数量、FIN包及RST 包的数量之和在总数据包中的比例。外部网络与内部网络之间第一英里路由的下行网络流量，这一特征指标可以反映 出一类以增加网络带宽负载对网络服务器实现攻击的网络入侵行为。当这一类攻击发生 时，受害网络的第一英里路由下行网络流量会急剧增加，超过合法网络带宽上限，造成网络 拥塞致使受攻击网络瘫痪无法为合法用户提供正常的网络服务。新源IP地址分为三种。第一种是正常网络流量模式，此时没有网络攻击或拥塞情 况发生。第二种情况是瞬间拥挤模式，这种情况当大量合法用户开始连接如一个网站时发 生。最后一种情况也就是分布式拒绝服务攻击下的模式。设A为在一个时间间隔内网络数 据包的数量，B为在该时间间隔内新出现的源IP地址数量。NTMP为网络流量监测点的位置。因此通过监测新源IP地址可以有效地区分出这三种网络流量模式，进一步降低 入侵检测系统的误报率。SYN包数量、FIN包及RST包的数量之和在总数据包中的比例，这一特征指标的监 测主要用于应对SYNflooding攻击。正常情况下TCP数据包中带有SYN标志位的数据包数 量与带有FIN或RST标志位的数据包数量大致相当。也就是说在正常网络数据流当中SYN 包数的量与FIN包及RST包数的量之和应该是大致相当的，两者在总数据包中的比例的差 值应该是一个近似于零的数。而当发生SYNflooding攻击时这一差值会为正且远大于正常 值。正是利用这个原理，通过检测差值的变化情况从而判断出检测端是否受到SYNflooding 攻击。
本发明将高效的入侵检测算法与多Agent分布式入侵检测架构相结合，提出基于 流量分析的分布式多Agent入侵监测方法。该方法在分布式框架环境中实现入侵检测，利 用非参数CUSUM入侵检测方法，通过对外部网络与内部网络之间第一英里路由的下行网络 流量；新源IP地址；SYN包数量、FIN包及RST包的数量之和在总数据包中的比例这三类网 络流量特征指标进行监测，达到及时准确地检测网络入侵行为的目标。本发明提出的入侵 检测方法针对一般的网络入侵行为，特别是分布式拒绝服务攻击DDOS具有高效检测能力。
图1是分布式入侵监测系统体系结构；图2是附加攻击流量特征；图3是7 值与网络流量之间的关系；图4是入侵检测系统部署图；图5是系统软件功能框架图；图6是智能分析Agent内部结构；图7是分布式入侵检测系统的活动图。
具体实施方式本发明提出的入侵检测体系结构和流量特征算法等方法的实施通过一个实际的 入侵检测系统来实施，入侵检测系统的部署结构如图4所示。图4中，入侵检测系统包括两种类型的节点(1)部署智能分析和决策Agent的节点该类型节点设置了局域网连接外部网络 的路由端口镜像，即从该类节点可以分析或捕捉到整个网络的上行或下行网络流量。在该 节点部署智能分析和决策Agent，这样Agent的网络流量分析模块可以对整个网络的流量 特征统计量进行采集，交由智能分析模块应用CUSUM算法进行分析。在该节点处的接口主 要有流量数据采集接口、其他代理通信接口、管理员操控接口。(2)部署单一特征入侵检测Agent的节点该类型节点可以捕捉到对端类型的网 络攻击，在该类节点处部署单一特征入侵检测Agent对上述类型攻击新型检测。该节点处 的主要接口有数据包分析接口、终端报警接口。入侵检测系统的软件系统结构层次如图5所示。明确特征检测Agents包括通信 模块、Land攻击检测代理、Ping of Death攻击检测代理、WinNude攻击检测代理、SYNflood 攻击检测代理、扫描攻击检测代理。其中Land攻击是一种拒绝服务攻击，Ping Of Death攻 击是一种拒绝服务攻击，WinNuke攻击是一种拒绝服务攻击，SYN food攻击是一种拒绝服务 攻击。图5中，入侵检测系统构建在JADE分布式平台之上，包括多个智能分析引擎，利用 智能Agent实现，智能Agent内部模块结构图如图6所示。网络数据采集模块实时监听并搜集网络流量信息，从收集到的信息中筛选出用于 网络异常判断的特征统计量。在这个过程中系统需要对每个流经路由端口的网络数据包按 封装层次进行分析。随后特征统计量信息被传输至决策模块，决策模块中应用非参数CUSUM 算法进行异常判断并将判断结果送入控制终端，即用户图形接口显示报警信息。
各个入侵检测之间的代理依靠通信模块进行通信，明确特征入侵检测代理向智能 分析决策模块发送实时检测数据，由决策模块做出判定之后发送至IDS控制台显示判定结 果。该判定结果还根据网络流量采集分析模块的数据给出最终检测结论，其活动图如图7 所示。
权利要求
一种分布式入侵检测方法，包括一种改进的流量检测算法——阈值回归算法，一种分布式部署方式，其特征是基于JADE平台，将系统中的代理分为两类智能决策分析代理和数据采集、独立入侵条件监测代理。其中，数据采集、独立入侵条件监测代理主要针对入侵特征明确的网络入侵行为进行检测；智能决策分析代理通过阈值回归算法对网络流量中不同统计特征量，包括流量带宽、新源IP地址等进行综合监测并结合数据采集、独立入侵条件代理传送的相关信息实现网络异常检测，有效提高入侵检测效率和准确性。
2.根据权利要求1所述的分布式入侵检测方法，其特征是入侵检测方法选取如下三 个网络流量统计特征指标，外部网络与内部网络之间第一英里路由的下行网络流量；新源 IP地址；SYN包数量、FIN包及RST包的数量之和在总数据包中的比例。
3.根据权利要求1所述的分布式入侵检测方法，其特征是采用智能决策分析代理和 数据采集、独立入侵条件监测代理实施入侵检测数据采集、独立入侵条件监测代理针对入 侵特征明确的网络入侵行为进行检测，包括两类Agent节点，一类是部署智能分析和决策 Agent的节点设置局域网连接外部网络的路由端口镜像，即从该类节点可以分析或捕捉到 整个网络的上行或下行网络流量。另一类是部署单一特征入侵检测Agent的节点捕捉对端 类型的网络攻击，在该类节点处部署单一特征入侵检测Agent对上述类型攻击新型检测。 该节点处的主要接口有数据包分析接口、终端报警接口。
全文摘要
一种基于流量特征分析的分布式入侵检测方法，基于JADE平台，采用智能决策分析代理和数据采集、独立入侵条件监测代理实施入侵检测数据采集、独立入侵条件监测代理针对入侵特征明确的网络入侵行为进行检测；智能决策分析代理通过改进的非参数CUSUM算法——阈值回归算法，将网络流量中不同统计特征量，包括流量带宽、新源IP地址等进行综合监测并结合数据采集、独立入侵条件代理传送的相关信息实现网络异常检测，有效提高入侵检测效率和准确性。该方法通过监测新源IP地址可以有效地区分不同的网络流量模式，进一步降低入侵检测系统的误报率。
文档编号H04L29/06GK101980506SQ20101052551
公开日2011年2月23日 申请日期2010年10月29日 优先权日2010年10月29日
发明者姚淑珍, 王颖轩, 谭火彬, 黄河 申请人:北京航空航天大学