专利名称：一种网络多步攻击识别和预测方法
技术领域：
本发明涉及的是一种信息安全技术，具体地说是一种根据网络中的历史报警挖掘 发现多步攻击序列，进而实时识别新的多步攻击序列并预测下一步将要发生的攻击的方 法。
背景技术：
随着因特网的发展，越来越多的企业、政府、学校、科研院所以及家庭等用户将计 算机连入到互联网。由于互联网的开放性以及各种协议设计的问题，用户就不可避免遭受 到不法分子的攻击。为了减少网络攻击给用户带来的损失，各个校内网、企业内部网等都在内部配置 了入侵检测系统、防火墙、杀毒软件等安全设备，并配有专业的网络管理员对网络进行管 理。但是，各种安全设备在保护网络的同时产生了海量的报警，不利于管理员对网络进行管 理。所以针对安全设备产生的报警，研究人员提出了安全事件关联与分析技术。安全事件关联与分析技术，是根据各安全设备中报警记录，分析报警事件的关系。 目前，安全事件关联与分析技术主要包括两个方面基于报警相似概率的重复报警去除和 基于因果关系的多步攻击关联。斯坦福研究院的Andersson等人在不规则实时干扰事件的监测和响应 (EventMonitoring Enabling Responses to Anomalous Live Disturbances, EMERALD) 项目中提出了基于告警属性相似度的安全报警关联系统，利用入侵事件间概率相似度 和极小匹配规则来构建安全事件关联分析系统(A. Valdes and K. Skinner. Adaptive, Model-Based Monitoringfor Cyber AttackDetection. RAID 2000 Conf，Oct. 2000 : 80-92P)。Cuppens等在法国国防部的入侵探测、报警、自动跟踪项目中的报警聚合部分使 用了类似的聚类方法(F Cuppens, Manageing Alerts in a multi intrusion detection environment. 17th Annual ComputerSecurity Applications Conference. New-Orleans， December 2001 :22_31P)。这类方法能够对同源的攻击进行聚类，减少呈递给管理员的报 警。但是这类方法不能够揭示报警间的因果关系，不利于管理员对网络可能遭受攻击进行 主动防御。鉴于报警相似概率方法的局限性，在此基础上，科研人员又展开了基于因果关系 的多步攻击关联。Templeton等提出通过分析攻击间的因果关系进行多步关联分析。他们 首先对攻击建模，定义每类攻击的前提条件和结果，然后通过比较先发生的攻击的结果和 后发生攻击的先决条件对两个告警进行关联(S. J. Templeton and K. Levit t. A requires/ provides modelfor computer attacks. In Proceedings of the New Security Paradigms Workshop 2000，Corklreland，2000 :31-38)。P. Ning在他的用于入侵报警分析的可视化 工具包(a Visual Toolkitfor Intrusion Alert Analysis, TIAA)系统中事先定义了 各种攻击可能发生的前因和后果的知识库，通过对报警实例之间前因和后果的匹配，形成 告警关联图(P. Ning, Y. Cui, andD. S. Reeves. Constructing attack scenarios throughcorrelation of intrusion alerts. In Proc. Of the ACM Symposium on Computer and Communications Security. Washington, DC, United States, 2002 :245-254)。Cuppens 等也采用相似的方法并利用I^rolog谓词逻辑语言对攻击进行描述，再根据这些攻击描述 的前提条件和后果自动产生关联规则，通过这些关联规则来发现告警之间的关联关系，进 而实现攻击场景的构建(Fre' de ‘ ric Cuppens. Managingalerts in multi-intrusion detection environment. In Proceedings 17th annual computersecurity applications conference. New Orleans，2001 :22-31)。这类方法的能够根据报警的因果关系，对攻 击场景进行构建，但是因果关系大多是根据专家经验得出的，过多地被人为因素所干扰。 Wenke Lee等在2004年提出的利用葛兰杰因果关系检验(Granger CausalityTest, GCT) 的统计时序算法来挖掘攻击场景片段，再把攻击片段连接成完整的攻击场景(Q. Xinzhou and L. ffenke. Discovering novel attack strategies from INFOSECalerts. Sophia Antipolis，France，ES0RICS 2004 :439-456)。这类方法能够较少依赖专家经验，并能够发 现未知的多步攻击。
发明内容
本发明的目的是提供一种不过多依赖于专家经验的，更为准确的网络多步攻击识 别和预测方法。本发明的目的是这样实现的1)网络报警和整理将入侵检测系统、防火墙和杀毒软件等多种安全设备的报警 存入数据库，并将报警按照入侵检测消息交换格式(The Intrusion Detection Message ExchangeFormat, IDMEF)进行归一化处理；2)攻击序列转化将数据库中的报警按照攻击类型转化为多步攻击序列，并根据 攻击时间滑动窗口转化为多个长度不同的子攻击序列；3)攻击转化频率计算统计各个子攻击序列中的攻击相互转化的频数，并生成攻 击转化频率矩阵；4)多步攻击序列挖掘对多攻击序列进行挖掘，结合攻击转化频率矩阵，生成历 史多步攻击序列；5)新的多步攻击序列识别和预测通过分析网络中新的报警，依据历史多步攻击 序列进行匹配，识别和预测多步攻击。所述的攻击序列转化方法，其步骤是1)将入侵检测系统、防火墙等安全设备报 警库中的报警集合按照时间属性顺序排列，形成报警序列；幻设定一个攻击类型集合，根 据报警具有攻击类型将前一步中的报警序列转化为对应的攻击序列；幻从攻击序列的初 始节点开始向后遍历整个攻击序列，将时间窗口内的攻击归为一个子序列，生成多个个子 攻击序列；所述的攻击频率计算方法，其步骤是1)依次遍历所有子攻击序列，统计各个子 攻击序列中，计算出攻击之间相互转化的频数，再将各个攻击序列中相对应的攻击频数相 加，得出报警库中攻击转化频数；幻根据前面计算出所有的攻击之间转化的频数，并将所 有的频数作为元素构成攻击频数转化矩阵；幻根据攻击频数转化矩阵，计算攻击转化的频 率，具体方法是用矩阵中的每一项除以该项所在行所有元素之和，所得的结果就是该项对
6应的攻击转化的频率，如果该项所在行所有元素之和为零，则该项所对应的攻击转化频率 也为零；4)部分转化频率值接近于零。按照概率论的观点，这些攻击转化为不可能事件。如 果攻击转化频率小于最小转化可信度，将该项置为零，得到了攻击频率转化矩阵。所述的多步攻击序列挖掘方法，其步骤是1)遍历整体攻击序列，将第一个攻击 放入匹配队列中；幻取后续的攻击，比较该攻击与匹配队列的队尾元素，如果后续攻击和 队尾元素的时间差小于时间窗口，且转化频率不为零，则将该攻击放入匹配队列尾部；3) 从整体攻击序列中删除第一个攻击，如果整体攻击序列没有遍历完，继续步骤1)，直至整体 攻击序列遍历完，生成多个匹配序列；4)所得的多个匹配序列中可能会有某个序列是另一 个序列的包含序列。根据序列最大的原则去除包含序列的算法，形成新的多步攻击序列集合。所述的新的多步攻击序列识别和预测方法，其步骤是1)接收入侵检测系统等安 全设备的报警，将报警转化为对应的攻击，记录该攻击的攻击类型，IP地址和攻击发生时 间；2)遍历多步攻击序列集合中的每一个元素，若攻击存在于某一个多步攻击序列中，则 标识攻击序列及其元素；若攻击存在于多个攻击序列，则将所有的攻击序列标识；幻继续 接收等安全设备的报警，并依据1)中所述转化成攻击，遍历已经标识的攻击序列，若该攻 击与某个攻击序列中最后被标识的元素的时间差小于最小时间，且这两个攻击的攻击转化 频率不为零，则在攻击序列中标识新的攻击；然后，该攻击遍历其余的序列，重复2)的过 程；4)设第某个攻击序列中最后被标识的元素发生时间后最小时间内，没有下一个攻击加 入到该攻击序列中，则说明该攻击序列不能发生，擦去该攻击序列标识；5)当某一个多步 攻击序列中出现多个个连续的攻击步骤时，若这多个攻击的目的IP地址是一样的，则这多 个攻击步骤是多步攻击的一部分。若共有多个多步攻击序列中出现了连续的攻击步骤，则 下一步会有多个可能。计算每一个个多步攻击序列中下一步的攻击转换频率，得出多步攻 击序列的下一步攻击的发生概率；特殊的，若只有一个多步攻击序列含有这几个步骤，则该 攻击序列转到下一步的概率为1。本发明的效果在于，通过本发明，可以自动搜集网络中各安全设备的报警信息，形 成历史报警库，从中挖掘出针对本网络的多步攻击序列，并实时从新的报警中识别多步攻 击序列，并预测将要发生的攻击，为网络管理员配置网络提供决策依据。本发明的实施不依赖于特定的网络安全设备，可广泛配置在企业内部网，校园网， 政府网等网络。本发明可广泛应用与信息安全、网络监控和网络安全态势分析等领域。
图1是本发明的整体结构图；图2是一种网络多步攻击识别和预测方法的详细流程图；图3是实施发明的典型应用环境。
具体实施例方式下面结合附图实例对本发明做更详尽的说明相关符号说明AS 报警集合；
S 报警序列；Si (i = 1，2，. . .，η)报警序列S的第i个报警；A 攻击类型集合；Bj (j = l，2，...，m)攻击类型集合A的第j个元素；f(Si) =iij:f是映射关系，表明报警报警Si具有攻击类型a」(其中SiGS^jG Α)；SA:攻击类型序列；Sai (i = 1,2, ... ,η)攻击类型序列SA的中间步骤；T 攻击时间滑动窗口；SAi (i = 1，2，· · ·，k)第 i 个子攻击序列；na,b 报警库中攻击a转化为攻击b的频数；na,b(i)第i个子攻击序列中，攻击a转化为攻击b的频数；ARR 攻击频数转化矩阵；fa, b 攻击a转化为攻击b的频率；MT 最小转化可信度；Sequence 攻击队列； NewSequence 新的攻击队列。图1所述的是一种多步攻击识别和预测方法整体结构图，包括网络报警和整理用于将入侵检测系统，防火墙，杀毒软件等安全设备的报警存入 数据库，并将报警按照IDMEF格式进行归一化处理。攻击序列转化用于将数据库中的报警按照攻击类型转化为多步攻击序列，并根 据攻击时间滑动窗口转化为多个长度不同的子攻击序列。攻击转化频率计算用于统计各个子攻击序列中的攻击相互转化的频数，并生成 攻击转化频率矩阵。多步攻击序列挖掘用于多攻击序列进行挖掘，结合攻击转化频率矩阵，生成历史 多步攻击序列。新的多步攻击序列识别和预测用于分析网络中新的报警，依据历史多步攻击序 列进行匹配，识别和预测多步攻击。图2给出了实施一种多步攻击识别和预测方法的原理流程图，它包含以下步骤第一步，攻击序列的建立现实中入侵者的攻击是多种多样的，不利于我们的分析。但是每一种攻击都有特 定的类型，而攻击类型的种类是有限的。这里根据报警的类型属性将报警序列转化为对应 的攻击序列。攻击序列构建的步骤如下所示(1)将入侵检测系统、防火墙等安全设备报警库中的报警集合AS按照时间属性顺 序排列，形成报警序列S = S1, &，. . .，Sn，其中Si(i = 1，2，. . .，η)是序列S的中间步骤。(2)设定一个攻击类型集合A= Ia1, ，...，，根据下面的关系f (Si) = 报 警Si具有攻击类型…(其中Si e S，Bj e A)，将(1)中的报警序列转化为对应的攻击类型 序列 SA = sa1 sa2. . . san，其中 Sai ^ A0这样，将报警序列转化为对应的攻击序列。多步攻击是由多个单步攻击构成的，而相邻的两个单步攻击在属性上具有更强的关联性，在时间上距离也较近。而攻击类型序列SA是的时间跨度比较大，为此我们引入了 攻击时间滑动窗口 T的概念。从Sa1开始一直到san，将其后攻击时间滑动窗口 T的攻击构成一个子序列，这样原 来的攻击序列SA转化为多个子攻击序列SA1;SA2，. . .，SAk。在每个子攻击序列SAi = Isai,
Saii2, · SaiiJ 中 I Saiill. time-saia. time | ≤ Τ。SAi = saia, sai 2, . . .，sai n这样我们就得到了 k个子攻击序列SA1, SA2, ...，SAk。第二步，攻击转换频率计算统计各个子攻击序列中的攻击相互转化的频数，并生成攻击转化频数矩阵，在此 基础上计算攻击转化的频率，并生成攻击转化频率矩阵，其步骤是(1)依次遍历所有子攻击序列SA1, SA2,...，SAk,记第i个子攻击序列中，攻击a转 化为攻击b的频数为na, b (i)，则在报警库中攻击a转化为攻击b的频数na, b可用如下方法 求出
权利要求
1.一种网络多步攻击识别和预测方法，其特征是(1)网络报警和整理将入侵检测系统、防火墙和杀毒软件等多种安全设备的报警存 入数据库，并将报警按照入侵检测消息交换格式进行归一化处理；(2)攻击序列转化将数据库中的报警按照攻击类型转化为多步攻击序列，并根据攻 击时间滑动窗口转化为多个长度不同的子攻击序列；(3)攻击转化频率计算统计各个子攻击序列中的攻击相互转化的频数，并生成攻击 转化频率矩阵；(4)多步攻击序列挖掘对多攻击序列进行挖掘，结合攻击转化频率矩阵，生成历史多 步攻击序列；(5)新的多步攻击序列识别和预测通过分析网络中新的报警，依据历史多步攻击序 列进行匹配，识别和预测多步攻击。
2.根据权利要求1所述的一种网络多步攻击识别和预测方法，其特征是所述的攻击序 列转化的步骤是1)将入侵检测系统、防火墙等安全设备报警库中的报警集合按照时间属 性顺序排列，形成报警序列；幻设定一个攻击类型集合，根据报警具有攻击类型将前一步 中的报警序列转化为对应的攻击序列；幻从攻击序列的初始节点开始向后遍历整个攻击 序列，将时间窗口内的攻击归为一个子序列，生成多个个子攻击序列；
3.根据权利要求1或2所述的一种网络多步攻击识别和预测方法，其特征是所述的攻 击频率计算的步骤是1)依次遍历所有子攻击序列，统计各个子攻击序列中，计算出攻击 之间相互转化的频数，再将各个攻击序列中相对应的攻击频数相加，得出报警库中攻击转 化频数；幻根据前面计算出所有的攻击之间转化的频数，并将所有的频数作为元素构成攻 击频数转化矩阵；幻根据攻击频数转化矩阵，计算攻击转化的频率，具体方法是用矩阵中 的每一项除以该项所在行所有元素之和，所得的结果就是该项对应的攻击转化的频率，如 果该项所在行所有元素之和为零，则该项所对应的攻击转化频率也为零；4)部分转化频率 值接近于零。按照概率论的观点，这些攻击转化为不可能事件。如果攻击转化频率小于最 小转化可信度，将该项置为零，得到了攻击频率转化矩阵。
4.根据权利要求1或2所述的一种网络多步攻击识别和预测方法，其特征是所述的多 步攻击序列挖掘的步骤是1)遍历整体攻击序列，将第一个攻击放入匹配队列中；幻取后 续的攻击，比较该攻击与匹配队列的队尾元素，如果后续攻击和队尾元素的时间差小于时 间窗口，且转化频率不为零，则将该攻击放入匹配队列尾部；幻从整体攻击序列中删除第 一个攻击，如果整体攻击序列没有遍历完，继续步骤1)，直至整体攻击序列遍历完，生成多 个匹配序列；4)所得的多个匹配序列中可能会有某个序列是另一个序列的包含序列。根据 序列最大的原则去除包含序列的算法，形成新的多步攻击序列集合。
5.根据权利要求3所述的一种网络多步攻击识别和预测方法，其特征是所述的多步攻 击序列挖掘的步骤是1)遍历整体攻击序列，将第一个攻击放入匹配队列中；幻取后续的 攻击，比较该攻击与匹配队列的队尾元素，如果后续攻击和队尾元素的时间差小于时间窗 口，且转化频率不为零，则将该攻击放入匹配队列尾部；3)从整体攻击序列中删除第一个 攻击，如果整体攻击序列没有遍历完，继续步骤1)，直至整体攻击序列遍历完，生成多个匹 配序列；4)所得的多个匹配序列中可能会有某个序列是另一个序列的包含序列。根据序列 最大的原则去除包含序列的算法，形成新的多步攻击序列集合。
6.根据权利要求1或2所述的一种网络多步攻击识别和预测方法，其特征是所述的新 的多步攻击序列识别和预测的其步骤是1)接收入侵检测系统等安全设备的报警，将报警 转化为对应的攻击，记录该攻击的攻击类型，IP地址和攻击发生时间；幻遍历多步攻击序 列集合中的每一个元素，若攻击存在于某一个多步攻击序列中，则标识攻击序列及其元素； 若攻击存在于多个攻击序列，则将所有的攻击序列标识；3)继续接收等安全设备的报警， 并依据1)中所述转化成攻击，遍历已经标识的攻击序列，若该攻击与某个攻击序列中最后 被标识的元素的时间差小于最小时间，且这两个攻击的攻击转化频率不为零，则在攻击序 列中标识新的攻击；然后，该攻击遍历其余的序列，重复幻的过程；4)设第某个攻击序列中 最后被标识的元素发生时间后最小时间内，没有下一个攻击加入到该攻击序列中，则说明 该攻击序列不能发生，擦去该攻击序列标识力)当某一个多步攻击序列中出现多个个连续 的攻击步骤时，若这多个攻击的目的IP地址是一样的，则这多个攻击步骤是多步攻击的一 部分；若共有多个多步攻击序列中出现了连续的攻击步骤，则下一步会有多个可能，计算每 一个个多步攻击序列中下一步的攻击转换频率，得出多步攻击序列的下一步攻击的发生概 率；特殊的，若只有一个多步攻击序列含有这几个步骤，则该攻击序列转到下一步的概率为 1。
7.根据权利要求3所述的一种网络多步攻击识别和预测方法，其特征是所述的新的 多步攻击序列识别和预测的其步骤是1)接收入侵检测系统等安全设备的报警，将报警转 化为对应的攻击，记录该攻击的攻击类型，IP地址和攻击发生时间；幻遍历多步攻击序列 集合中的每一个元素，若攻击存在于某一个多步攻击序列中，则标识攻击序列及其元素；若 攻击存在于多个攻击序列，则将所有的攻击序列标识；3)继续接收等安全设备的报警，并 依据1)中所述转化成攻击，遍历已经标识的攻击序列，若该攻击与某个攻击序列中最后被 标识的元素的时间差小于最小时间，且这两个攻击的攻击转化频率不为零，则在攻击序列 中标识新的攻击；然后，该攻击遍历其余的序列，重复幻的过程；4)设第某个攻击序列中 最后被标识的元素发生时间后最小时间内，没有下一个攻击加入到该攻击序列中，则说明 该攻击序列不能发生，擦去该攻击序列标识；5)当某一个多步攻击序列中出现多个个连续 的攻击步骤时，若这多个攻击的目的IP地址是一样的，则这多个攻击步骤是多步攻击的一 部分；若共有多个多步攻击序列中出现了连续的攻击步骤，则下一步会有多个可能，计算每 一个个多步攻击序列中下一步的攻击转换频率，得出多步攻击序列的下一步攻击的发生概 率；特殊的，若只有一个多步攻击序列含有这几个步骤，则该攻击序列转到下一步的概率为 1。
8.根据权利要求4所述的一种网络多步攻击识别和预测方法，其特征是所述的新的 多步攻击序列识别和预测的其步骤是1)接收入侵检测系统等安全设备的报警，将报警转 化为对应的攻击，记录该攻击的攻击类型，IP地址和攻击发生时间；幻遍历多步攻击序列 集合中的每一个元素，若攻击存在于某一个多步攻击序列中，则标识攻击序列及其元素；若 攻击存在于多个攻击序列，则将所有的攻击序列标识；3)继续接收等安全设备的报警，并 依据1)中所述转化成攻击，遍历已经标识的攻击序列，若该攻击与某个攻击序列中最后被 标识的元素的时间差小于最小时间，且这两个攻击的攻击转化频率不为零，则在攻击序列 中标识新的攻击；然后，该攻击遍历其余的序列，重复幻的过程；4)设第某个攻击序列中 最后被标识的元素发生时间后最小时间内，没有下一个攻击加入到该攻击序列中，则说明该攻击序列不能发生，擦去该攻击序列标识；5)当某一个多步攻击序列中出现多个个连续 的攻击步骤时，若这多个攻击的目的IP地址是一样的，则这多个攻击步骤是多步攻击的一 部分；若共有多个多步攻击序列中出现了连续的攻击步骤，则下一步会有多个可能，计算每 一个个多步攻击序列中下一步的攻击转换频率，得出多步攻击序列的下一步攻击的发生概 率；特殊的，若只有一个多步攻击序列含有这几个步骤，则该攻击序列转到下一步的概率为 1。
9.根据权利要求5所述的一种网络多步攻击识别和预测方法，其特征是所述的新的 多步攻击序列识别和预测的其步骤是1)接收入侵检测系统等安全设备的报警，将报警转 化为对应的攻击，记录该攻击的攻击类型，IP地址和攻击发生时间；幻遍历多步攻击序列 集合中的每一个元素，若攻击存在于某一个多步攻击序列中，则标识攻击序列及其元素；若 攻击存在于多个攻击序列，则将所有的攻击序列标识；3)继续接收等安全设备的报警，并 依据1)中所述转化成攻击，遍历已经标识的攻击序列，若该攻击与某个攻击序列中最后被 标识的元素的时间差小于最小时间，且这两个攻击的攻击转化频率不为零，则在攻击序列 中标识新的攻击；然后，该攻击遍历其余的序列，重复幻的过程；4)设第某个攻击序列中 最后被标识的元素发生时间后最小时间内，没有下一个攻击加入到该攻击序列中，则说明 该攻击序列不能发生，擦去该攻击序列标识；5)当某一个多步攻击序列中出现多个个连续 的攻击步骤时，若这多个攻击的目的IP地址是一样的，则这多个攻击步骤是多步攻击的一 部分；若共有多个多步攻击序列中出现了连续的攻击步骤，则下一步会有多个可能，计算每 一个个多步攻击序列中下一步的攻击转换频率，得出多步攻击序列的下一步攻击的发生概 率；特殊的，若只有一个多步攻击序列含有这几个步骤，则该攻击序列转到下一步的概率为 1。
全文摘要
本发明提供的是一种网络多步攻击识别和预测方法。将入侵检测系统、防火墙和杀毒软件等多种安全设备的报警存入数据库，并将报警按照入侵检测消息交换格式进行归一化处理；将数据库中的报警按照攻击类型转化为多步攻击序列，并根据攻击时间滑动窗口转化为多个长度不同的子攻击序列；统计各个子攻击序列中的攻击相互转化的频数，并生成攻击转化频率矩阵；对多攻击序列进行挖掘，结合攻击转化频率矩阵，生成历史多步攻击序列；通过分析网络中新的报警，依据历史多步攻击序列进行匹配，识别和预测多步攻击。本发明的实施不依赖于特定的网络安全设备，可广泛应用与信息安全、网络监控和网络安全态势分析等领域。
文档编号H04L29/06GK102075516SQ20101056155
公开日2011年5月25日 申请日期2010年11月26日 优先权日2010年11月26日
发明者刘珊, 李学真, 杨武, 玄世昌, 王岩, 王巍, 苘大鹏 申请人:哈尔滨工程大学