一种基于大数据分析的威胁检测和预警的方法及系统的制作方法
【技术领域】
[0001] 本发明涉及信息安全技术和大数据技术领域，尤其涉及到信息系统的威胁检测和 预警的方法与系统。
【背景技术】
[0002] 本发明中包含的英文简称如下： IDS 〖Intrusion Detection Systems 入侵检测系统。
[0003] CIDS 〖Cooperative Intrusion Detection Systems 协作的入侵检测系统 EWS :Early Warning Systems 预警系统 CCM :Causal Correlation Matrix 因果关联矩阵 DAG :directed acyclic graph 有向无环图 CE :Critical episodes 关键场景 BE :Benign Episode 善意场景 随着技术的不断进步和各种IT服务的上线运营，产生了海量的数据。这方面的主要挑 战就是针对各种威胁提供网络保护服务。到目前为止，已提出了许多技术来应对这些威胁， 都有一个共同的目标，预防攻击者破坏IT业务的正常运行。
[0004] 如今，IDS的使用大大地提高了政府和企业计算机系统的安全性。入侵检测系统 的主要目的是检测和识别可能在计算机系统或网络已存在的攻击和安全问题，并报告给系 统管理员。因此，预防攻击和入侵不是IDS的职责（即：IDS没有预警的功能)，它在计算机 系统和网络的安全加固方面起到不可否认的重要作用。
[0005] 然而，入侵检测系统自身也有缺陷：误报率高，在实时应用中效率低下，即使是检 测哪些未知的攻击，也显得无能为力和效率低下。
[0006] 尽管入侵检测系统存在上述种种问题，但是，研究人员认为，IDS在分布式环境中 的协作将能够克服上述问题。于是就产生了协作入侵检测系统（CIDS)。然而，全方位地检 测政府和企业信息系统的威胁，预警系统（EWS)新时代的到来。
[0007] 预警系统能够检测未知的威胁，这种检测是基于早期的事件。EWS作为IDS的一个 补充，也是基于一种被动的方法来应对各种安全威胁，系统的潜在行为早期被检测到，评价 这种行为的影响范围，最后，对检测到的安全事件采取适当的响应。
[0008] EWS的另一个功能，就是将EWS运用到政府和企业的信息系统中。被设计成这种用 途的EWS的目标，就是对安全事件的早期检测和预报信息系统的安全威胁。EWS接收各种安 全设备上报的安全事件和告警，分析所采集的告警，实时地生成预警及预警报表。
[0009] EWS的核心组件是它的告警关联分析引擎。告警关联分析是一个通过分析告警和 了解入侵的过程。通过处理安全设备产生的告警，并发现它们之间的逻辑关系，告警关联分 析引擎就为系统管理员产生了一些高层次的告警。本专利给出了一种非常有效的告警关联 分析算法。该算法检测攻击场景，显示正在实施攻击的下一个动作，产生预警。本专利所提 供的告警关联分析框架分为两种工作模式：离线和在线，使用一种统计和流挖掘的混合方 法。在离线模式下所提供的知识，可以为在线模式实时地预测正在实施攻击的下一个动作。 [0010]目前，已有的告警相关性分析技术，主要采用基于规则的模型。这种技术将网络攻 击的各种特征提取出来，形成攻击特征描述库，并基于描述库将一次网络攻击从开始到结 束整个过程的特征，构建出一个分析用的自动机模型，从而得出关联分析规则，并以该关联 分析规则应用到信息安全检测中。然而，基于规则模型的关联分析技术主要采用状态机的 方法，这种"状态机"式关联分析具有很强的实时性和时序，必须与事件发生的真正时序一 致，对触发事件的时序要求很高。在复杂网络环境中，受网络传输延时和前端处理延时的影 响，安全事件进入引擎的时序可能发生颠倒，而导致"状态机"无法触发，关联分析引擎出现 错报或漏报。因此，现有的基于规则模型的关联分析技术精确度存在缺陷，难以满足诸如信 息安全运维管理云平台环境下的大数据量的关联分析需求。
[0011] 为此，如何解决信息安全运维管理云平台环境下的信息安全事件关联分析所面临 的问题，以及设计出一种基于信息安全运维管理云平台的信息安全事件自动关联分析的方 案，即成为尤其是信息安全运维管理平台设计上必须要解决的一个重要课题。
【发明内容】
[0012] 有鉴于此，本发明的主要目的在于提供一种威胁检测和预警的方法及系统。采用 大数据技术，对遭受的网络攻击进行预警。
[0013] 为达到上述目的，本发明的技术方案是这样实现的： 本发明提供的一种基于大数据分析的威胁检测和预警的方法及系统，包括：告警聚合 组件，场景提取组件，学习和检测组件，预测组件，新攻击的策略挖掘组件。
[0014] 上述方案中，所述告警聚合组件，就是将信息安全设备上报的告警进行聚合，生成 超级告警(或聚合告警)。
[0015] 上述方案中，所述场景提取组件，所提取的场景至少包括关键场景和善意场景。
[0016] 上述方案中，所述学习和检测组件，包括离线模式和在线模式，至少包括构建攻击 树和更新CCM过程。
[0017] 上述方案中，所述预测组件，使用所述攻击树和依据下一步动作发生的概率预测 下一步攻击动作。
[0018] 上述方案中，所述新攻击的策略挖掘组件，识别是安全设备产生的误报还是新的 恶意攻击。
[0019] 本发明所提供的方法与系统，能够从安全设备产生的告警序列中检测出误报和恶 意攻击，并进行实时地预警，大大缩减了政府和企业的IT业务所遭受的影响。
【附图说明】
[0020] 图1为本发明所述的使用场景窗口实现场景提取示意图； 图2为本发明所述的告警关联框架； 图3为本发明所述的连续场景的一个例子； 图4为本发明所述的连续场景e2的一个子场景el ; 图5为本发明所述的一个告警序列的例子(在一个场景窗口）； 图6为本发明所述的基于CCM的场景分类； 图7为本发明所述的学习和检测组件的离线模式的（a)和在线模式（b); 图8为本发明所述的攻击树的例子（a)关键场景el，e2，e3和e4，（b)e2(包含el) 插入到攻击树中，（c) e2、e3和e4均插入到攻击树中。
[0021] 图9为本发明所述的攻击树的例子（a)离线攻击树的一个例子，（b)插入场景<A>， (b)插入场景 <A> 和〈A, D>，（c)插入场景 <A>、〈A，D> 和〈A, D，F>。
[0022]
【具体实施方式】
[0023] 下面是根据附图和实例对本发明的进一步详细说明： 用于告警相关性分析存在许多方法，但是，它们中的每一个都存在许多缺陷。本专利所 提供的方法，提供了一种非常适合EWS的告警相关性分析的实时算法。
[0024] 本专利所提供的告警相关性分析框架，它采集IDS、IPS等各种安全设备的日志 信息。由于它们是由不同的设备生成的日志信息，因此需要对它们进行归一化处理和按照 时间先后顺序进行告警排序。然后，主要的攻击场景检测算法发挥其作用。信息安全设 备产生了大部分的告警，为了方便分析，先将告警序列分为批次（batches)然后再将批次 (batches)分成更小的部分，即：场景窗口（episode windows)。图1给出了使用场景窗口 实现场景提取的示意图。
[0025] -旦接收到一批告警，则告警按照发生时间的先后顺序进行排序，那么告警序列 如图1所示的那样进行告警被汇总，并被分成一个又一个的场景窗口。场景提取模块被用 来提取可疑的场景，这个可能是某些正在实施攻击的一部分。其