专利名称：基于场景的关联引擎系统及其数据处理方法
技术领域：
本发明属于计算机安全防护技术领域，特别是一种基于场景的关联引擎系 统，用于对包括路由器、交换机、防火墙、入侵检测系统和服务器在内的网络设 备产生的安全数据进行处理。
背景技术：
近年来，计算机网络已经从原先仅仅作为一种通信方式，发展为被普遍使用 的计算机环境基础设施，尤其是Internet,已经成为政府、企业、金融机构和成 千上万的用户所依赖的一个重要的基础设施。
与此同时，对于这个计算机网络的安全监控和管理也成为一个重要的问题。 很长一段时间，人们采用入侵检测系统IDS产品来解决这个问题，IDS监控主机 系统或者网络上的信息，通过对网络数据包、操作系统调用、审计记录以及应用 程序产生的日志文件进行査询，査找恶意行为的特征，以期发现攻击行为的发生。
IDS使用基于统计的攻击检测和基于模式的攻击检测两种方式处理事件队 列在基于统计的攻击检测系统中，系统活动状态的历史数据、进程和用户的预 期行为都用于构造一个正常系统操作的描述，然后，入侵检测系统试图去发现偏 离正常状态描述的攻击行为，该系统的优点在于它能识别事先未知的攻击，但也 随之付出了较高误报率的代价，此外，当一个系统应用在一个动态复杂的环境时， 很难描述它的正常状态；基于模式的检测系统提供一种相反的方法，模式检测系 统预先设置了一系列的攻击模式描述，这些攻击模式描述用来会匹配相关的审计 数据，并识别攻击行为，该系统关注于分析审计数据，通常这类产品有着较低的 误报率，但同时，它也只能识别有限的、模型化的攻击行为。
目前，随着人们安全意识不断增强，安全设备部署越来越广泛，安全事件越 来越多，面对海量安全数据的管理和安全事件的高误报率，迫切需要安全信息的 集中统一管理和监控，应用于安全管理中心SOC的关联引擎分析技术通过综合 运用某种或多种关联模式和关联算法，找出来自不同区域的不同安全设备上报的 经过规范化为统一格式的安全事件之间的安全相关性及其相关程度，对潜在威胁预警发现。
当前关联引擎分析技术包括规则关联、统计关联、漏洞关联和行为关联。
该规则关联通过关联规则描述不同安全事件之间的安全相关性，但对不断涌现出
来的新的、未被发现过的入侵攻击却无能为力；该统计关联术的关键是如何建立
安全数据基线和安全阈值以及如何修正安全数据基线和安全阈值，如果阈值设置
得过小，导致误报问题；反之，导致漏报问题；该漏洞关联中，如果安全事件涉
及的目标系统存在安全漏洞，并且安全事件涉及的服务基于该安全漏洞，那么， 安全事件涉及的行为就可能是利用该系统漏洞的攻击；该行为关联通过定义不符
合正常行为规则库中的行为模式，判断用户行为是否异常，但正常和异常之间的 差别不大，容易产生误报和漏报。关联引擎的技术水平在很大程度上决定了安全 管理中心抵御威胁的能力。
安全管理中心是一种基于事件关联的安全管理系统，它使用大量分布的事件 采集器，这些事件采集器配置了大量的攻击模型，用于分析所采集的安全事件。 目前，安全厂商的安全管理产品繁多，它们应用于不同应用领域，或者不同的操 作系统，但都不同程度的具有存在以下问题
1. 固定的事件来源，缺乏可扩充性；
2. 静态的攻击行为检测模式，无法动态加载和扩充；
3. 静态的响应方式，无法有效的满足用户网络环境不断变化的需求； 现有的各类网络安全管理产品都为了特定的应用领域或者环境开发的，其中
事件采集器，行为检测模式和响应方式都是针对已经存在的、具体的安全技术来 实现其监视、控制与管理， 一旦有新的安全技术兴起或是网络环境中有非主流的 安全需求时，只有得到网络安全管理产品生产厂商的认可并经过产品升级后，这 些新技术才能得到应用，很难配置、扩展和远程控制。
发明内容
本发明的目的在于克服上述已有技术的不足，提供一种模块化的基于场景的 关联引擎技术系统及其数据处理方法，把对计算机系统的攻击渗透认为是一系列 分解的安全事件叠加而导致的结果，并将整个攻击过程描述为一个不断进行状态 变换的攻击场景，以此对各入侵检测传感器如入侵检测系统、防火墙、操作系统、 应用系统和防病毒系统上报的告警消息进行统一的关联分析和处理,最终形成入 侵行为判定，并做出相应的响应，从而实现各入侵检测传感器的协同工作，提高系统的检测性能，增强系统的灵活性和可扩展性。
为实现上述目的，本发明的基于场景的关联引擎系统，包括 核心模块，用来实现关联引擎描述语言的逻辑功能，并根据插件模块采集来 的安全事件对场景状态进行变迁操作；
插件模块，用于为核心模块加载不同的功能插件，使关联引擎从一个与应用 无关的核心模块扩展成为拥有特定功能、检测特定攻击的关联引擎，并通过安装 或升级核心模块中的不同插件实现对关联引擎功能的升级和扩充；该插件模块通 过关联引擎描述语言把具体攻击的检测、识别、响应处理过程转化为一种统一的 格式，然后由核心模块利用场景状态的变迁进行逻辑分析，实现对安全事件的处 理。
所述的插件模块包括-
事件格式扩展插件，用于定义关联引擎中涉及的安全状态、安全事件、转移 条件的名称和数量，并为其赋予特定的表示意义，用于连接其他各类插件，使之 在统一的定义下协同工作；
事件采集插件，作为关联引擎的输入，用于监视被保护的系统及各个入侵检 测传感器的告警信息，从中采集安全事件，并将其转化成统一的格式，传送到安 装在核心模块中的场景分析插件，所述的入侵检测传感器包括入侵检测系统、防 火墙、操作系统、应用系统和防病毒系统；
场景分析插件，用于构造一个随安全事件发生而进行状态变化的场景，它根 据关联引擎需要实现的功能，将独立的安全状态、安全事件和转移条件元素联系 起来，以检测攻击或渗透过程，模拟出被保护系统的安全状态随安全事件发生而 变化的场景，该场景分析插件插入到核心模块对事件采集插件提供的安全事件进 行处理，并将处理结果返回给响应输出插件；
响应输出插件，用于关联引擎的结果输出，它依据关联引擎要实现的具体功 能，在当前安全转移到某些特定的状态时，根据场景分析插件的处理结果，判定 检测到相应的攻击或渗透行为，从而做出响应，输出统一格式的报警信息。
所述的核心模块包括
事件队列，用于存储事件采集插件发送来的安全事件数据；
管理中心，用于记录当前状态，通过调度安全事件、判断并触发转移条件来驱动当前状态的变迁，给出该事件的处理结果； 信息队列，用于存储管理中心的处理结果；
该事件队列获取到数据之后交给管理中心，管理中心通过场景分析插件对该 事件进行分析，并发送分析结果给信息队列。
所述的关联引擎描述语言，用于提供一套特定的语法描述对计算机系统的攻
击过程，并将攻击过程转换成基于状态/变迁的场景模型，它采用一组预定义的
安全状态来表示计算机系统在某一时刻的资源状况和安全相关状态，把某种特定
的计算机渗透过程描述为一系列的安全事件，当安全事件满足预定义的转移条件
时，系统当前的安全状态发生变迁，所有与该渗透过程有关的安全状态、安全事
件、转移条件以及它们之间的关系构成攻击场景。
关联引擎语言作为一种扩展语言，能够被快速方便的应用在不同的应用环
境，描述各种渗透与攻击过程，并能在不改变其它插件和核心模块的前提下进行
系统扩展，该扩展方式包括
当现有的入侵检测传感器保持不变，但有新的关联分析方式提供时，只需编 写的场景分析插件即可；
当现有的入侵检测传感器和关联分析方式保持不变，但有新的响应策略需要 部署时，只需编写的响应输出插件即可；
当有新的入侵检测传感器加入时，只需编写与其匹配的事件采集插件，并修 改格式扩展插件即可。
为实现上述目的，本发明的基于场景的关联引擎数据处理方法，包括 A.初始化步骤
(Al)运行核心模块，并为其加载事件格式扩展插件，使其它各插件协同工
作；
(A2)为核心模块加载事件采集插件，并初始化事件队列，使核心模块接收 事件采集插件发送的安全事件；
(A3)为核心模块加载并激活场景分插件，定义场景，指明对各种安全事件 处理和分析的规则，并使之生效；
(A4)为核心模块加载并激活响应输出插件，定义响应策略，并使之生效；
(A5)激活事件采集插件，事件采集插件开始工作，安全事件将会陆续产生， 关联引擎进入对安全事件的关联分析阶段；B.关联处理步骤
(Bl)事件采集插件从被保护的系统和入侵检测探测器的告警信息中采集到 安全事件，提交给核心模块；
(B2)核心模块对各个事件采集插件发来的安全事件进行调度，依次传送给 场景分析插件；
(B3)场景分析插件在安全事件的驱动下工作，当安全事件和相关的信息满 足场景中设定的转移条件时，则将当前的安全状态变换到该转移条件的终点状 态，当安全状态转移到特定的位置时，通知核心检测到攻击，并将场景内的信息 传送给核心模块；
(B4)核心模块调度场景分析插件发来的通知以及信息，将其发给特定的响 应输出插件；
(B5)响应输出插件接收核心模块发来的信息，按照响应策略做出响应。
图1为本发明的系统结构图2为本发明实施例设定的系统结构图3为本发明实施例设定的场景状态示意图4为本发明实施例设定的数据处理流程图。
具体实施例方式
参照图l，本发明的基于场景的关联引擎系统包括
核心模块，用于实现关联引擎描述语言的逻辑分析功能，根据输入的数据信 息，记录当前安全状态、收集和调度安全事件、判断并触发转移条件、驱动当前 状态的变迁，并根据最终变迁的状态给出处理结果，是关联引擎的底层实现基础， 与具体应用无关；
插件模块，用于为核心模块加载不同的插件，使关联引擎从一个与应用无关 的核心模块扩展成为拥有特定功能、检测特定攻击的关联引擎，并通过安装或升 级核心模块中的插件实现对关联引擎功能的升级和扩充，具有安全事件定义、安 全数据检测、安全事件处理和处理响应的功能；该插件模块通过关联引擎描述语 言把具体攻击的检测、识别、响应处理过程转化为一种统一的格式，然后把获取 信息数据格式化后交给核心模块进行处理，核心模块利用场景状态的变迁进行逻 辑分析，实现对安全事件的处理，并把处理结构反馈给插件模块。所述的插件模块，包括事件格式扩展插件、事件采集插件、场景分析插件和 响应输出插件四类插件。该事件格式扩展插件是所有插件协同工作的基础，连接 其他各插件，并定义了核心模块中涉及的安全状态、安全事件、转移条件等元素 的名称、数量，并为其赋予了特定的表示意义；该事件采集插件用于关联引擎系 统的输入，用来监视被保护的系统及接收各个入侵检测传感器发送的告警信息， 从中采集安全事件，通过关联引擎描述语言将其转化成统一的格式，并传送到核 心模块中的事件队列；该场景分析插件依据关联引擎要实现的具体功能，将独立 的安全状态、安全事件、转移条件等元素联系起来，构成一个攻击场景，模拟出 被保护系统的安全状态随安全事件的发生而变化的场景，然后根据事件队列输入 的安全事件对场景状态进行驱动，来检测特定的攻击或渗透过程；该响应输出插 件用于关联引擎的输出，它依据关联引擎要实现的具体功能，在当前安全状态转 移到某些特定的状态时，判定为检测到相应的攻击或渗透行为，依据管理中心发 出的处理信息做出响应，输出统一格式的报警信息。
所述的核心模块包括事件队列、管理中心和信息队列。该事件队列用于存储 事件采集插件发送来的安全事件数据，并转交给管理中心；该管理中心利用事件 队列输入的安全事件对安装的场景分析插件进行驱动，并根据最终变迁的状态， 检测特定的攻击或渗透过程，最终的给出该事件的处理结果，并发送给事件队列； 事件队列收到处理结果后，存储并发送给事件响应模块。
所述的关联引擎描述语言是一套应用无关的特定语法，用于描述对计算机系 统的攻击，将攻击过程转换成基于状态/变迁的场景模型；该语言用一组预定义 的安全状态来表示计算机系统在某一时刻的资源状况和与安全相关的状态，把某 种特定的计算机渗透过程描述为一系列有顺序的攻击行为，并且把所有与该渗透 过程有关的安全状态、安全事件、转移条件以及它们之间的关系构成攻击场景， 当安全事件满足预定义的转移条件时，系统当前的安全状态发生变迁，该语言作 为一种扩展语言，能够被快速方便的应用在不同的应用环境，描述各种渗透与攻 击过程，并能在不改变其它插件和核心模块的前提下进行系统扩展该扩展方式包 括当现有的入侵检测传感器保持不变，但有新的关联分析方式提供时，只需编 写的场景分析插件即可；当现有的入侵检测传感器和关联分析方式保持不变，但 有新的响应策略需要部署时，只需编写的响应输出插件即可；当有新的入侵检测 传感器加入时，只需编写与其匹配的事件采集插件，并修改格式扩展插件即可。下面以实现对SSH 口令猜测攻击的检测与响应为例，具体说明基于场景的关 联引擎系统的数据处理方法。
常用的检测SSH 口令猜测攻击的方式是监视系统中关于SSH登陆失败的日 志，并设定一个门限， 一旦发现某IP登陆失败的次数超过门限，就判定为一次 SSH 口令猜测攻击，该方式难以平衡误报率和漏报率；而本发明的处理方法通过 对SSH攻击的行为特征进行分析，将检测网络扫描的基于网络的入侵检测探测 器和检测登陆失败的基于主机的入侵检测探测器的告警消息结合起来进行关联 分析，就能准确的识别SSH 口令猜测攻击。
参照图2，用本发明组建的检测SSH 口令猜测攻击实施例的关联引擎系统， 其配置关系为
A. 安装一台运行SSH服务的计算机C到计算机网络N中，并在该计算机 中安装用于监视计算机系统日志的入侵检测探测器S1，同时在网络中安装用于检 测网络扫描的入侵检测探测器S2;
B. 通过对SSH攻击的行为特征进行分析，在关联引擎的格式扩展插件E中 设定关联引擎内部存放信息的格式及"安全"、"敏感"、"受攻击"三个安全状态和 "发现扫描"、"认证失败"、"超时"三个转移条件。该"安全"状态表示系统处于安全 状态，"敏感"表示系统处于可能被攻击的状态，"受攻击"状态表示系统处于被攻 击状态，"发现扫描"表示计算机网络N被扫描，"认证失败"表示计算机C在登 陆时身份认证失败，"超时"表示在设定时间内没有新的事件发生。
C. 在关联引擎中，按照格式扩展插件E所定义的格式，生成与入侵检测器 Sl、 S2相匹配的事件采集插件P1和P2，分别用于接收S1和S2发送的信息，并 对接收来的信息进行格式化，生成对应的安全事件；
D. 在安全引擎中配置基于格式扩展插件E的场景分析插件，并参照图3生 成一个检测SSH 口令猜测攻击的场景，该场景由"安全"、"敏感"、"受攻击"三个 安全状态和"发现扫描"、"认证失败"、"超时"三个转移条件组成，系统初始处于"安 全"状态，当触发转移条件"发现扫描"时，系统状态变迁到"敏感"状态；在"敏 感"状态时，当触发转移条件"超时"，系统状态变迁到"安全"状态，当触发转移 条件"认证失败"，系统状态变迁到"受攻击"状态；
E. 在关联引擎中配置基于格式扩展插件E的响应输出插件，当场景分析插 件的安全状态处于"受攻击"时，向管理员报警，并对计算机C进行操作控制。参照图4，对本发明组建的实施例的数据处理方法，包括
1. 将场景分析插件S的初始安全状态为置为"安全"，表示系统当前没有遭 受攻击；
2. 当入侵检测探测器S1检测到计算机C中SSH登陆失败日志时，发送告 警信息及发起登陆请求的远程主机的地址给Ph当入侵检测探测器S2发现网络 扫描攻击时，发送告警信息及发起扫描的远程主机的地址给P2;
3. 当P1收到S2发送的告警信息后，生成"认证失败"安全事件，并提取 发起扫描的远程主机的地址A，发送到关联分析引擎S;
4. 当场景分析插件收到当收到P2发送的远程地址A的"发现扫描"安全事 件时，就将当前的安全状态从"安全"转移到"敏感"，同时启动一个计时器；
5. 如果在计时器结束之前，没有收到P1发送的对应远程地址A的"认证 失败"安全事件，则将当前安全状态转移回"安全"；如果在计时器结束之前，收 到Pl发送的对应远程地址A的"认证失败"安全事件，则将当前的安全状态 从"敏感"转移到"受攻击"，此时判定发现了一次从地址A发起的SSH 口令猜测 攻击，并发送分析结果给响应输出插件；
6. 响应输出插件在发现SSH口令猜测攻击时，向管理者发送报警信息，同 时切断计算机C同攻击者所在地址A的通信。
权利要求
1.一种基于场景的关联引擎系统，包括核心模块，用于实现关联引擎描述语言的逻辑功能，并根据插件模块采集来的安全事件对场景状态进行变迁操作；插件模块，用于为核心模块加载不同的功能插件，使关联引擎从一个与应用无关的核心模块扩展成为拥有特定功能、检测特定攻击的关联引擎，并通过安装或升级核心模块中的不同插件实现对关联引擎功能的升级和扩充；所述的插件模块通过关联引擎描述语言把具体攻击的检测、识别、响应处理过程转化为一种统一的格式，然后由核心模块利用场景状态的变迁进行逻辑分析，实现对安全事件的处理。
2. 根据权利要求1所述的关联引擎系统，其中所述的插件模块包括事件格式扩展插件，用于定义关联引擎中涉及的安全状态、安全事件、转移 条件的名称和数量，并为其赋予特定的表示意义，用于连接其他各类插件，使之在统一的定义下协同工作；事件采集插件，作为关联引擎的输入，用于监视被保护的系统及各个入侵检 测传感器的告警信息，从中采集安全事件，并将其转化成统一的格式，传送到安 装在核心模块中的场景分析插件；场景分析插件，用于构造一个随安全事件发生而进行状态变化的场景，它根 据关联引擎需要实现的功能，将独立的安全状态、安全事件和转移条件元素联系 起来，以检测攻击或渗透过程，模拟出被保护系统的安全状态随安全事件发生而 变化的场景，该场景分析插件插入到核心模块对事件采集插件提供的安全事件进 行处理，并将处理结果返回给响应输出插件；响应输出插件，用于关联引擎的结果输出，它依据关联引擎要实现的具体功 能，在当前安全转移到某些特定的状态时，根据场景分析插件的处理结果，判定 检测到相应的攻击或渗透行为，从而做出响应，输出统一格式的报警信息。
3. 根据权利要求l所述的关联引擎系统，其中所述的核心模块包括 事件队列，用于存储事件采集插件发送来的安全事件数据；管理中心，用于记录当前状态，通过调度安全事件、判断并触发转移条件来驱动当前状态的变迁，给出该事件的处理结果； 信息队列，用于存储管理中心的处理结果；该事件队列获取到数据之后交给管理中心，管理中心通过场景分析插件对该 事件进行分析，并发送分析结果给信息队列。
4. 根据权利要求1所述的关联引擎系统，其中所述的关联引擎描述语言， 用于提供一套特定的语法描述对计算机系统的攻击过程，并将攻击过程转换成基 于状态/变迁的场景模型，它采用一组预定义的安全状态来表示计算机系统在某 一时刻的资源状况和安全相关状态，把某种特定的计算机渗透过程描述为一系列 的安全事件，当安全事件满足预定义的转移条件时，系统当前的安全状态发生变 迁，所有与该渗透过程有关的安全状态、安全事件、转移条件以及它们之间的关 系构成攻击场景。
5. 根据权利要求2所述的关联引擎系统，其中所述的入侵检测传感器包括入侵检测系统、防火墙、操作系统、应用系统和防病毒系统。
6. 根据权利要求4所述的关联引擎系统，其中所述的关联引擎语言作为一种扩展语言，能够被快速方便的应用在不同的应用环境，描述各种渗透与攻击过 程，并能在不改变其它插件和核心模块的前提下进行系统扩展，该扩展方式包括当现有的入侵检测传感器保持不变，但有新的关联分析方式提供时，只需编 写的场景分析插件即可；当现有的入侵检测传感器和关联分析方式保持不变，但有新的响应策略需要 部署时，只需编写的响应输出插件即可；当有新的入侵检测传感器加入时，只需编写与其匹配的事件采集插件，并修 改格式扩展插件即可。
7. —种基于场景的关联引擎数据处理方法，包括 A.初始化步骤(Al)运行核心模块，并为其加载事件格式扩展插件，使其它各插件协同工作；(A2)为核心模块加载事件采集插件，并初始化事件队列，使核心模块接收 事件采集插件发送的安全事件；(A3)为核心模块加载并激活场景分插件，定义场景，指明对各种安全事件 处理和分析的规则，并使之生效；(A4)为核心模块加载并激活响应输出插件，定义响应策略，并使之生效； (A5)激活事件采集插件，事件采集插件开始工作，安全事件将会陆续产生， 关联引擎进入对安全事件的关联分析阶段； B.关联处理步骤(Bl )事件采集插件从被保护的系统和入侵检测探测器的告警信息中采集到 安全事件，提交给核心模块；(B2)核心模块对各个事件采集插件发来的安全事件进行调度，依次传送给 场景分析插件；(B3)场景分析插件在安全事件的驱动下工作，当安全事件和相关的信息满 足场景中设定的转移条件时，则将当前的安全状态变换到该转移条件的终点状 态，当安全状态转移到特定的位置时，通知核心检测到攻击，并将场景内的信息 传送给核心模块；(B4)核心模块调度场景分析插件发来的通知以及信息，将其发给特定的响 应输出插件；(B5)响应输出插件接收核心模块发来的信息，按照响应策略做出响应。
全文摘要
本发明公开了一种基于场景的关联引擎系统及其数据处理方法，主要解决现有安全管理中心存在的扩展性和灵活性差的缺点。该系统主要由插件模块和核心模块组成，插件模块通过配置和安装事件格式扩展插件、事件采集插件、场景分析插件和响应输出插件来实现关联引擎系统的不同功能；核心模块通过管理中心将整个攻击过程描述为一个不断进行状态变换的攻击场景，对各检测传感器上报的告警消息进行关联分析和处理，实现了各检测传感器的协同工作和统一管理。本发明具有配置灵活、易于扩展和检测率高的优点，适用于各种安全管理中心和入侵检测系统的数据处理和分析。
文档编号H04L29/06GK101599958SQ200910023168
公开日2009年12月9日 申请日期2009年7月2日 优先权日2009年7月2日
发明者钰 尹, 张卫东, 辉 朱, 晖 李 申请人:西安电子科技大学