专利名称：一种isp异常流量检测方法及系统的制作方法
技术领域：
本发明涉及信息安全领域，特别是一种ISP异常流量检测方法及系统。
背景技术：
传统的网络异常流量检测技术包括基于特征码的检测技术和异常检测技术。基于 特征码的网络异常流量检测技术(如DDOS攻击流量、端口扫描攻击流量等)，仅当其特征库 中事先保存有危险网络数据流特征码的情况下才能检测到，否则将会逃过检测；传统异常 检测技术通过建立正常行为模型，然后与建立的正常行为模型进行比对，如果超过一定的 阈值，则检测到异常，否则正常。因此异常检测技术具有未知异常流量的能力，常用的异常 检测方法有MULT0PS方法、D-WARD方法、预测方法、基于统计的方法、基于数据挖掘的方法 等。传统异常检测技术存在以下主要缺点(1)存在较高的误报率，由于实际用户行为模型经常发生变化，所以建立的正常行 为模型会缺乏自适应性或自适应性较差，常将正常网络流量识别为异常网络流量。(2)缺乏对由于大量突发正常网络访问导致的网络流量异常的检测能力，如黑客 操纵大量僵尸机发起正常HTTP访问。(3)缺乏网络流量异常流量的容忍机制。针对ISP(Internet Service Provider)，如果由于误报而阻断了用户的网络连 接，将直接导致正常用户网络业务被中断。因此，如何使ISP具备一定程度的异常流量容忍 能力并有效地检测异常流量，给ISP提出了很大挑战。
发明内容
本发明的目的是针对现有技术存在的缺点，提供一种ISP异常流量的检测方法及 检测系统，可以解决误报率较低、自适应能力差或无自适应能力的问题，还采用了网络流量 异常流量的容忍机制，使其具有大量突发正常网络访问导致的网络流量异常的检测能力。本发明的目的是通过以下技术方案实现的本发明的一种ISP异常流量检测方法，其检测方法包括步骤Si，捕获网络数据包；步骤S2，对捕获的网络数据包进行危险网络数据流的识别，确定危险区域；步骤S3，提取发送至危险区域的危险网络数据流的危险模式；步骤S4，将危险网络数据流的危险模式与记忆检测器进行匹配，同时更新记忆检 测器抗体浓度；步骤S5，根据记忆检测器抗体浓度确定网络异常流量风险值。所述网络异常流量 风险值包括某一类网络异常流量风险值和计算机整体网络异常流量风险值。具体的，在上述的步骤S2中，对捕获的网络数据包进行危险网络数据流的识别方 法包括方法一，首先，计算并确定某数据流净载荷的区间范围；其次，计算t时刻该数据 流净载荷字节数与其在[t_l，t]时间范围内数据流净载荷字节数的差值；再次，判断该差
4值是否在该数据流净载荷的区间范围内，如果在，则该数据流不存在危险，否则该数据流存 在危险。方法二，首先，通过计算并确定某数据流阈值；其次，计算t时刻该数据流与其在 [t_l，t]时间范围内数据流字节数的差值；再次，判断该差值是否小于数据流阈值，如果是 则该数据流存在危险，否则该数据流不存在危险。本发明的数据流净载荷的区间范围和数 据流阈值的计算与确定中，都利用异常容忍因子。具体的，在上述的步骤S2中，确定所述危险区域的方法包括步骤S21，从所有危 险的数据流中提取出这些数据流的目标IP地址；步骤S22，将这些IP地址区域标识为危险 区域；具体的，在上述的步骤S4中，所述的记忆检测器由检测器进化而来，其演化过程 及方法包括步骤S41，检测器与危险网络数据流的危险模式进行匹配；步骤S42，判断匹 配是否成功，如果是则执行步骤S45，否则执行步骤步骤S43，检测器存活时间减少；步 骤S44，判断检测器存活时间是否为零，若为零，则删除该检测器，否则返回步骤S41 ；步骤 S45，检测器存激活度增加；步骤S46，判断检测器激活度是否大于记忆检测器阈值，若大 于，则进化为记忆检测器，否则返回步骤S41。所述记忆检测器抗体浓度的更新方法包括 步骤S41'，记忆检测器在抗体浓度保持周期内与网络危险数据流的危险模式进行匹配； 步骤S42'，判断匹配是否成功，若匹配成功，则该记忆检测器的抗体浓度增加，并同时配置 该记忆检测器的存活时间为0，否则该记忆检测器的抗体浓度减少，同时该记忆检测器的存 活时间加1。本发明的一种ISP异常流量检测系统，所述ISP异常流量检测系统部署在ISP出 口位置处，将ISP出口路由器的网络数据旁路到所述ISP异常流量检测系统，所述ISP异常 流量检测系统包括网络数据包捕获模块，还包括危险识别模块将网络数据包捕获模块捕获的数据包进行数据流分析，判断网络 数据流中是否存在危险，对存在危险的网络数据流交由危险区域识别模块处理；危险区域识别模块提取存在危险的网络数据流的目标IP地址，将这些IP地址标 识为危险区域，并提取发送至标识为危险区域的危险网络数据的危险模式，将提取的危险 模式交由网络异常流量模式识别模块进行处理；网络异常流量模式识别模块对危险模式进行匹配识别，如果匹配不成功则说明 网络数据流中没有异常，否则产生告警并交由危险评估模块进行危险评估；危险评估模块对网络异常流量模式识别模块输出的告警进行风险评估。具体的，本发明的一种ISP异常流量检测系统，还包括免疫响应模块，所述免疫响 应模块根据危险评估模块的评估结果，采取相应的措施减少网络异常流量带来影响。由于本发明采用了以上的技术方案，因此办发明可以达到以下的有益效果1、本发明在采用危险识别后，在危险值高于设定的阈值时对网络数据流流量进行 进一步的识别，并且采用经检测器对危险数据流进行检测，可以有效的降低误识率。2、本发明采用检测器淘汰机制，在检测器匹配不成功的话就减少检测器的存活时 间，当检测器存活时间减少为0时淘汰检测器；当检测器匹配成功的话就增加检测器的激 活度，当检测器的激活度大于记忆检测器的阈值时就进化为记忆检测器，这种淘汰机制在 保证降低误识率的同时，还具有自适应能力。3、本发明采用了网络流量异常流量的容忍机制，因此具有大量突发正常网络访问导致的网络流量异常的检测能力。
本发明将通过例子并参照附图的方式说明，其中图1是本发明ISP异常流量检测方法流程图。图2是危险模式识别原理图。图3是检测器生命周期模型图。图4是检测器编译原理框图。图5是本发明ISP异常流量检测系统在网络系统中设置位置的原理图。
具体实施例方式本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥 的特征和/或步骤以外，均可以以任何方式组合。本说明书(包括任何附加权利要求、摘要和附图)中公开的任一特征，除非特别叙 述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只 是一系列等效或类似特征中的一个例子而已。在介绍本发明具体实施技术方案前，先介绍一下本发明基于的一种理论。生物免 疫系统危险理论指出生物免疫系统基于“危险信号”产生免疫反应，而不是基于自体/非自 体辨识。生物体的免疫保护机制，它能有效地保护生物机体的安全，并具有耐受性、自学习、 分布式并行处理、多样性、自组织、鲁棒性、自适应和免疫记忆等优良特性。它能快速记住以 前的病原体，当同一或类似的病原体再次相遇时能快速识别。计算机网络系统中异常流量 的产生主要来源于黑客控制的大量傀儡机，这些傀儡机产生的异常流量可以由大量的正常 网络访问构成，如HTTP请求，也包括由大量直接的DDOS攻击流量构成，如ICMP攻击等。危 险理论与网络异常流量检测的相似性可将生物免疫系统危险理论的机制应用于网络异常 流量检测，可有效解决网络异常流量检测中的技术难题。针对网络异常流量中存在的检测速度、耐受异常流量、准确识别已知和未知异常 流量等技术难题，依据生物免疫系统危险理论原理，本发明提出一种基于危险理论的ISP 异常流量检测方法。与传统网络异常流量检测方注重直接针对网络攻击异常流量检测、缺 乏容忍机制与未知异常流量识别能力相比，本发明更注重网络异常流量的容忍能力、危险 识别能力、危险模式的快速识别能力与未知危险模式的识别能力。在详细说明之前，首先定义系统中使用的一些名词、符号以及一些公式(1)字符串集合Ω = {^^}'，其中c为字符集合。
i=l(2)告警将网络告警Alarm定义为一个四元组Alarm = (Time, Destination, Type)。其中，Time是告警时间，Destination为导致告警产生的目的IP，Type为告警类 型。告警分为凋亡告警和坏死告警，凋亡告警是由于“正常”网络服务请求导致的网络流量 异常，这种“正常”网络流量异常可能是无意的(如由于某种事件导致大量用户访问痛一个 网页)或是恶意的(如黑客操纵傀儡机发起大量正常网络访问请求到某一目标服务器)； 坏死告警是由于直接网络攻击导致网络异常流量而产生的告警。
(3)危险区域在网络异常流量中，通过对发出的危险信号进行分析锁定其目标 IP地址，将这些IP地址范围确定为危险区域。危险区域是给下一级高级检测进行识别的区 域，危险区域是告知检测系统应进行难点防范的区域。(4)检测器定义检测器集合为 D = {<g，s, count) g e Ω , s, age, count e Ζ}。 其中，g为字符串，由IP包头、TCP头、UDP包头、应用层部分内容等组成的字符串；S为检测 器存活时间，count为检测器生命周期内匹配的危险模式数。(5)记忆检测器记忆检测器 T = {<g，s，count, co> | g e Ω，s，count e Z，co e R} 为检测器在其生命周期内，当匹配的危险模式在于或等于一个给定的阈值λ是，该检测器 进化为记忆检测器，记忆检测器的存活时间为无穷大。其中，CO为记忆检测器的抗体浓度， 初始值为I。下面，结合附图对本发明的技术方案做详细的说明。如图1所示，是本发明一种 ISP异常流量检测方法的流程图，一种ISP异常流量检测方法，其检测方法包括步骤Si，捕获网络数据包。网络数据包捕获模块将在网络上捕获的数据包交给“危 险误别模块”进行危险识别。步骤S2，对捕获的网络数据包进行危险网络数据流的识别，确定危险区域。本发明 的对于捕获的网络数据包进行危险网络数据流的识别的方法是方法一(1)对捕获的网络数据流按目标IP地址进行分类，计算并确定t时刻流向每一个 ip地址数据流中包含的以字节为单位的字节数ω ；(2)计算并确定[t_l，t]时刻每一个目标IP地址的^&⑴的平均值《⑴。(3)判断该差值是否在该数据流净载荷的区间范围内，如果在，则该数据流不存在 危险，否则该数据流存在危险。如果以Xh* X1表示网络数据流净载荷的上界值和下界 值，其中Xh=C1Xpsa, A1 = C2Xpsa, C1为网络数据流净载荷异常数据流的上界容忍因 子，C2网络数据流净载荷异常数据流的下界容忍因子，C3为异常数据流的容忍因子，Psa为 网络数据流净载荷标准差，如果Λ <stipi( -sf~pi(t)>Λ，则该数据流不是危险数据流，否
则为危险数据流。方法二(1)对捕获的网络数据流按目标IP地址进行分类，计算并确定t时刻流向每一个 ip地址数据流净载荷(应用层数据)中包括的以字节为单位的字节数(2)计算[t-Ι，t]时刻每一个目标IP地址⑴的平均值。(3)判断该差值是否小于数据流阈值，如果是则该数据流存在危险，否则该数据流 不存在危险。如果以识为数据流阈值，其中P = C3XP^c3为异常数据流的容忍因子，Pst网络 数据流标准差，如果&< φ，则该数据流不是危险数据流，否则为危险数据流。步骤S3，提取发送至危险区域的危险网络数据流的危险模式。如图3所示，是提取 危险网络数据流的危险模式的原理图，在危险网络数据流传送至危险区域时，危险区域的 危险区域监视器将网络危险数据流进行危险模式提取。步骤S4，将危险网络数据流的危险模式与记忆检测器进行匹配，同时更新记忆检 测器抗体浓度。
(1)首先由记忆检测器进行识别，如果记忆检测器匹配成功，则产生告警，并进行 危险(风险值)评估。(2)如果记忆检测器没有成功匹配，则交由一般检测器进行进一步识别，如果匹配 成功，则产生告警，并进行危险(风险值)评估。(3)如果以上两步都没有匹配成功，则说明网络数据流中没有异常。记忆检测器是由检测器进化而来，在下一次遭遇同样危险模式时能快速匹配并迅 速做出反应。为了加快检测速度和引入新的检测器以检测新的危险模式，与此同时，受计算 资源的制约不可能实现检测器数据的不断增长。因此，为了保持检测器的良好检测性能， 引入竞争与淘汰机制，确保好的检测器保留下来，并淘汰劣质检测器，即在检测器生命周期 内，如果检测器没有匹配成功，则该检测器被删除；如果激活度达到记忆检测器阈值，则进 化为记忆检测器，检测器生命周期模型如图3所示，所述记忆检测器由检测器进化而来，其 演化步骤包括步骤S41，检测器与危险网络数据流的危险模式进行匹配；步骤S42，判断匹配是否成功，如果是则执行步骤S45，否则执行步骤步骤S43，检测器存活时间减少；步骤S44，判断检测器存活时间是否为零，若为零，则删除该检测器，否则返回步骤 S41 ；步骤S45，检测器存激活度增加；步骤S46，判断检测器激活度是否大于记忆检测器阈值，若大于，则进化为记忆检 测器，否则返回步骤S41。为有效检测新的未知网络流量危险模式，需要持续更新检测器，一方面通过生成 新的检测器加入到检测器集合中，另一方面更重要的是通过检测器的变异生成新的检测 器，在网络异常识别中检测器的变异主要采用检测器的重组生成新的检测器，其重组方式 为在每个危险区域的检测器集合包含有多个检测器，每两个检测器集合中的检测器可以 以任何方式进行重新组合生成新的检测器集合。如图4所示是检测器变异原理的一个实施 例方式。所述记忆检测器抗体浓度的更新是进行风险值评估的依据，其记忆检测器抗体浓 度的更新方法包括步骤S41 ‘，记忆检测器在抗体浓度保持周期内与网络危险数据流的危险模式进 行匹配；步骤S42'，判断匹配是否成功，若匹配成功，则该记忆检测器的抗体浓度增加，并 同时配置该记忆检测器的存活时间为0，否则该记忆检测器的抗体浓度减少，同时该记忆检 测器的存活时间加1。步骤S5，根据记忆检测器抗体浓度确定网络异常流量风险值。所述网络异常流量 风险值包括某一类网络异常流量风险值和计算机整体网络异常流量风险值。在确定网络异 常流风险值以后，可以根据风险值采取响应的措施减少网络异常流带来的损失。可以采取 的措施包括如果网络异常流量是由于过量正常网络流量形成的网络异常流量，则可以采 取限制网络访问带宽等措施；如果是由于大量DDOS攻击形成的网络异常流量刚应该采取 直接切断网络连接等措施。
8
本发明的一种ISP异常流量检测系统，如5所示，所述ISP异常流量检测系统部署 在ISP出口位置处，将ISP出口路由器的网络数据旁路到所述ISP异常流量检测系统，所述 ISP异常流量检测系统包括网络数据包捕获模块用于捕获网络数据包，并将捕获的网络数据包交由危险识 别模块进行处理；危险识别模块将网络数据包捕获模块捕获的数据包进行数据流分析，判断网络 数据流中是否存在危险，对存在危险的网络数据流交由危险区域识别模块处理；危险区域识别模块提取存在危险的网络数据流的目标IP地址，将这些IP地址标 识为危险区域，并提取发送至标识为危险区域的危险网络数据的危险模式，将提取的危险 模式交由网络异常流量模式识别模块进行处理；网络异常流量模式识别模块对危险模式进行匹配识别，如果匹配不成功则说明 网络数据流中没有异常，否则产生告警并交由危险评估模块进行危险评估；危险评估模块对网络异常流量模式识别模块输出的告警进行风险评估。更为具体的，所述ISP异常流量检测系统还包括免疫响应模块，所述免疫响应模 块根据危险评估模块的评估结果，采取相应的措施减少网络异常流量带来影响。本发明并不局限于前述的具体实施方式
。本发明扩展到任何在本说明书中披露的 新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。
9
权利要求
一种ISP异常流量检测方法，其特征在于，其检测方法包括步骤S1，捕获网络数据包；步骤S2，对捕获的网络数据包进行危险网络数据流的识别，确定危险区域；步骤S3，提取发送至危险区域的危险网络数据流的危险模式；步骤S4，将危险网络数据流的危险模式与记忆检测器进行匹配，同时更新记忆检测器抗体浓度；步骤S5，根据记忆检测器抗体浓度确定网络异常流量风险值。
2.根据权利要求1所述的ISP异常流量检测方法，其特征在于，所述对捕获的网络数 据包进行危险网络数据流的识别方法包括计算并确定某数据流净载荷的区间范围；计算 t时刻该数据流净载荷字节数与其在[t-l，t]时间范围内数据流净载荷字节数的差值；判 断该差值是否在该数据流净载荷的区间范围内，如果在，则该数据流不存在危险，否则该数 据流存在危险。
3.根据权利要求1所述的ISP异常流量检测方法，其特征在于，所述对捕获的网络数据 包进行危险网络数据流的识别方法包括计算并确定某数据流阈值；计算t时刻该数据流 与其在[t-i，t]时间范围内数据流字节数的差值；判断该差值是否小于数据流阈值，如果 是则该数据流存在危险，否则该数据流不存在危险。
4.根据权利要求1所述的ISP异常流量检测方法，其特征在于，确定所述危险区域的方法步骤S21，从所有危险的数据流中提取出这些数据流的目标IP地址； 步骤S22，将这些IP地址区域标识为危险区域。
5.根据权利要求1所述的ISP异常流量检测方法，其特征在于，所述记忆检测器由检测 器进化而来，其演化步骤包括步骤S41，检测器与危险网络数据流的危险模式进行匹配； 步骤S42，判断匹配是否成功，如果是则执行步骤S45，否则执行步骤 步骤S43，检测器存活时间减少；步骤S44，判断检测器存活时间是否为零，若为零，则删除该检测器，否则返回步骤S41 ；步骤S45，检测器存激活度增加；步骤S46，判断检测器激活度是否大于记忆检测器阈值，若大于，则进化为记忆检测器， 否则返回步骤S41。
6.根据权利要求1所述的ISP异常流量检测方法，其特征在于，所述记忆检测器抗体浓 度的更新方法包括步骤S41'，记忆检测器在抗体浓度保持周期内与网络危险数据流的危险模式进行匹配；步骤S42'，判断匹配是否成功，若匹配成功，则该记忆检测器的抗体浓度增加，并同时 配置该记忆检测器的存活时间为0，否则该记忆检测器的抗体浓度减少，同时该记忆检测器 的存活时间加1。
7.根据权利要求1所述的ISP异常流量检测方法，其特征在于，所述网络异常流量风险 值包括某一类网络异常流量风险值和计算机整体网络异常流量风险值。
8.一种ISP异常流量检测系统，所述ISP异常流量检测系统部署在ISP出口位置处， 将ISP出口路由器的网络数据旁路到所述ISP异常流量检测系统，所述ISP异常流量检测 系统包括网络数据包捕获模块，其特征在于，还包括危险识别模块将网络数据包捕获模块捕获的数据包进行数据流分析，判断网络数据 流中是否存在危险，对存在危险的网络数据流交由危险区域识别模块处理；危险区域识别模块提取存在危险的网络数据流的目标IP地址，将这些IP地址标识为 危险区域，并提取发送至标识为危险区域的危险网络数据的危险模式，将提取的危险模式 交由网络异常流量模式识别模块进行处理；网络异常流量模式识别模块对危险模式进行匹配识别，如果匹配不成功则说明网络 数据流中没有异常，否则产生告警并交由危险评估模块进行危险评估；危险评估模块对网络异常流量模式识别模块输出的告警进行风险评估。
9.根据权利要求8所述的ISP异常流量检测系统，其特征在于，所述ISP异常流量检测 系统还包括免疫响应模块，所述免疫响应模块根据危险评估模块的评估结果，采取相应的 措施减少网络异常流量带来影响。
全文摘要
本发明公开了一种ISP异常流量检测方法及装置，属于信息安全领域。其方法包括捕获网络数据包的步骤；进行危险网络数据流的识别，确定危险区域的步骤；提取发送至危险区域的危险网络数据流的危险模式的步骤；将危险模式与记忆检测器进行匹配，同时更新记忆检测器抗体浓度的步骤；根据记忆检测器抗体浓度确定网络异常流量风险值的步骤。本发明的系统包括网络数据包获取模块、危险识别模块、危险区域识别模块、网络异常流量模式识别模块、危险评估模块。本发明可以解决误报率较低、自适应能力差或无自适应能力的问题，还采用了网络流量异常流量的容忍机制，使其具有因大量突发正常网络访问导致的网络流量异常的检测能力。
文档编号H04L12/26GK101945112SQ201010289260
公开日2011年1月12日 申请日期2010年9月21日 优先权日2010年9月21日
发明者唐伟文, 曾金全 申请人:四川通信科研规划设计有限责任公司