专利名称：一种日志关联分析系统与方法
技术领域：
本发明涉及一种网络安全管理系统及方法，具体涉及一种日志关联分析系统与方法。
背景技术：
随着网络的迅速普及，网络安全管理逐渐成为一个重点，其中，通过日志获取网络系统情况是网络安全管理的一个重要分支。复杂网络系统由种类繁多的安全设备、网络设备、主机系统及其应用等组成，每天产生大量日志信息。如何对之进行统一管理，通过对它们分析及时了解系统状况，发现潜在威胁和攻击，并在第一时间对异常事件做出快速响应，是网络与系统管理亟待解决的问题，也是提高网络系统化整体安全性能的关键。基于日志的安全事件管理和分析关联系统就是为达到这一目标而诞生的只能反馈部件，其连接了评估、检测、防护、响应、恢复这些关键点安全过程，把海量的日志数据转化为人们可理解可管理的安全知识，从而促进安全闭环反馈系统的形成。该系统的难点在于 (1)日志信息来源各异，格式存在诸多差异，如防火墙日志、IDS日志、安全审计系统相互间无法比较。
(2)日志数据信息量巨大，真实安全时间存在于大量的冗余日志中，仅依靠人工分析，建立日志时间关联将费时费力，故需要借助安全事件关联分析技术快速有效的从中挖掘有用的信息，找出事件的关联，及时响应和应对安全问题。
(3)网络系统中各部件运行环境各异，没有一套统一的协议规则来协调，无法实现各部件整体应对安全事件。
(4)安全产品大都基于单数据包进行检测，而网络攻击行为仅仅通过单一安全组件无法检测到，需要将各组件产生的时间报警进行关联分析和综合判断，才能准确发现并及时制止这些攻击。
目前，针对事件关联分析，有攻击建模的规则关联方法和聚类关联技术。其中攻击建模的规则关联方法包括建立详细的攻击描述库，从条件、环境等多个角度对每种攻击进行描述；建立用于分析攻击特性的自动机，对攻击描述库进行处理，产生关联规则；建立报警匹配机，根据关联规则对原始报警时间进行模式匹配并产生安全事件。
但其缺点是在于依赖于对攻击场景预先进行合理准确的描述，如果攻击过程中包含未知的或未被检测的攻击步骤，则无法进行关联处理，因此对于新的或未知的攻击方式没有防范能力 聚类关联技术，采用的是一种算法，而不是规则匹配的方式关联。这种方法的处理方式如下针对实践中的每个字段设计相似性函数，用于计算两个事件的对应之间的相似程度；在上一步的基础上，针对事件本身设计相似性函数，用于计算两个事件之间相似的程度；处理原始报警事件时，将彼此相似的事件关联起来，利用调节函数参数的方法，从不同角度得到不同层次的结果。
此方法的缺点在于采用统计的方式进行处理，得出的结果往往缺乏明确的实际意义。
发明内容
本发明的目的在于克服现有技术中的不足之处，提供一种可有效地减少了虚警，具有高风险评估客观性的日志事件关联分析方法和系统。
为实现上述目的，本发明提供了一种日志事件关联分析方法，其包括以下步骤 收集日志数据； 通过预设的正则表达式提取日志数据的特征数据； 根据提取到的特征数据构建统一格式的日志事件； 查询日志事件的处理策略； 根据策略指示对事件进行交叉关联分析和事件流逻辑关联分析；以及， 进行日志事件风险评估并自动响应。
优选的是，所述特征数据，至少包含服务器、时间、源IP、源端口、目的IP、目标端口、协议、探测器标识、事件标识、可信度和优先级；所述探测器用于采集设备状态和性能参数，侦测安全弱点，并提交日志数据，其标识统一分配；所述事件标识用于表明事件的具体类型；所述探测器在提交日志数据中，明确了所述事件标识；所述可信度，用于标识所述日志事件的自信程度；所述优先级，由于标识所述日志事件的关注程度。
本发明所述一种日志事件关联分析方法中，所述处理策略，用于指导所述事件的处理，包括源地址、目标地址、优先级、端口组、探测器、时间范围、交叉关联标志、逻辑关联标志和风险评估标志；所述查询日志事件的处理策略，是依据所述日志事件的源IP、目的IP、目标端口、探测器标识和事件标识属性的组合为条件，查找处理策略表。
优选的是所述交叉关联分析包括漏洞关联分析和资产关联分析；所述漏洞关联分析，是通过所述日志事件中所携带的目的IP查找相应资产后，将事件与所述资产上已发现的漏洞关联；以及，所述资产关联分析，是依据所述日志事件中所携带的事件标识查找到漏洞所针对的操作系统和应用信息后，将事件与所述资产上的操作系统、应用服务以及活动端口与协议关联；以及，关联分析后，依据预设的规则，更新所述日志事件的可信度和优先级。
本发明所述一种日志事件关联分析方法中，所述事件流逻辑关联分析，包括 (a)测试所述日志事件是否从属于当前已有事件链的后续事件；所述日志事件的探测器标识和事件标识属性与所述事件链的活动关联规则所要求的标识相匹配后，再比较所述日志事件的源IP、目的IP、源端口和目标端口属性与所述事件链中上已有事件的源IP、目的IP、源端口和目标端口比较；完全匹配时，构造并提交新的日志事件；或 (b)测试所述日志事件是否可用于新建事件链；所述日志事件的探测器标识和事件标识属性与所有预设的事件链规则的第一个关联规则比较，匹配成功后，所述日志事件为事件链事件；以及， 所述关联规则，包括事件源IP、源端口、目的IP、目的端口、新事件标识、新事件描述、探测器标识、日志事件标识、时间间隔和重复次数；所述关联规则，通过“和关系”，和/或“或关系”组成关联规则树，用于将所述日志事件关联成事件链，并产生新的事件； 本发明所述一种日志事件关联分析方法中，日志事件风险评估，包含 利用所述日志事件的优先级、可信度和所述日志事件所针对的目标主机的价值结算而成的攻击威胁值，通过查找风险等级映射表，计算出攻击风险等级；更新目标主机以及目标网络的攻击威胁值；以及 利用所述日志事件的优先级、可信度和所述日志事件源主机的价值结算而成的危害威胁值，通过查找风险等级映射表，计算出危害风险等级；更新源主机以及源网络的危害威胁值；以及 以所计算的攻击威胁值和危害威胁值间的大者作为所述日志事件的风险值，并对风险值大于特定阈值，如1，的日志事件示警；且依据所述日志事件的事件标识自动响应。
本发明还提供了一种日志事件关联分析系统，其包括日志采集模块、日志规范化模块、关联分析模块、事件风险评估模块和告警模块； 所述日志采集模块用于采集网络设备、主机设备、终端以及各类业务应用的日志数据，提交到所述日志规范化模块； 所述日志规范化模块用于集中处理日志数据，转化为统一格式的日志事件后，提交到关联分析模块； 所述关联分析模块用于对规整化后的日志事件进行分析，包括更新日志事件的可信度和优先级；并在事件流中挖掘出新的事件；将分析后的事件提交到事件风险评估模块； 所述事件风险评估模块用于依据事件的可信度和优先级，并基于事件目标资产的价值，计算该事件的攻击威胁值，并计算攻击威胁风险等级；基于事件源主机的价值，计算该事件的危害威胁值，并计算危害威胁风险等级；以计算所得的攻击威胁值和危害威胁值间的大者为该事件的威胁值，提交事件到所述告警模块； 所述告警模块用于事件告警，并依据事件的事件标识属性值，自动响应。
优选的是，所述的日志事件关联分析系统，还包括数据库模块，用于保存所述管理分析模块、所述风险评估模块以及所述告警模块所需要的漏洞信息、资产数据、策略信息和事件信息。
优选的是，所述关联分析模块，包括关联引擎模块、交叉关联模块和逻辑关联模块；所述关联引擎模块，用于为所述日志事件分配处理策略，以牵引事件处理；所述交叉关联模块，用于对所述日志事件进行事件与漏洞关联、事件与资产关联，以更新该事件的优先级和可信度；所述逻辑管理模块，用于对所述事件进行事件链关联，以挖掘新事件，并提交到关联引擎模块。
优选的是，所述日志采集模块，可部署在日志服务器上，也可部署在专用主机上，用于采集设备的运行日志和运行状态数据，以及侦测安全弱点； 所述告警模块，分服务端与客户端，所述服务端与所述系统的其它模块部署在同一主机上，用于分发告警；所述客户端部署在指定终端上，用于声光示警和自动响应。
本发明提供了部署不同的探测器用于收集指定设备的运行状态合和日志数据，以及侦测指定设备，包括网络，的安全弱点的方法，既专注于需保护的核心资产，又因为探测器已标识了日志事件的类型标识，因此在风险评估时，可以快速进行事件与漏洞关联、事件与资产关联，提高了计算速度； 本发明提供了在事件与漏洞关联后，再进行事件与资产关联的方法，从而有效地减少了虚警，提高了风险评估的客观性；其告警对用户具有更高的实际指导性。
图1是本发明所述日志事件关联分析系统的功能模块示意图 图2是本发明所述日志事件关联分析方法流程图 图3是所述的漏洞关联流程图 图4是所述的资产关联流程图 图5是所述的逻辑关联流程图 图6是所述的事件风险评估流程图
具体实施例方式 核心思想是构造一个日志事件关联分析系统，该系统利用不同的探测工具，采集设备的运行状况数据和日志数据，并侦测安全弱点，提交标准的日志数据；基于预设的正则表达式提取日志数据中特征数据组成标注日志事件，并对日志事件进行事件与漏洞关联、事件与资产关联以及事件链关联分析，以减少虚警，同时挖掘出新事件；再对分析后的事件进行基于事件可信度、优先级以及事件所涉及源资产、目标资产的价值，计算出事件针对源资产的危害威胁值与风险等级，以及对目标资产的攻击威胁值与风险等级后，对威胁值大于阈值1的事件进行示警，并依据该事件的事件类型标识进行响应。
如图1所示，是本发明所述日志事件关联分析系统的功能模块示意图，本系统包括 日志采集模块11、日志规范化模块12、关联分析模块13、数据库模块14、事件风险评估模块15和告警模块16。
日志采集模块11收集来源于防火墙、网络设备、安全工具(如IDS、AV)、以及各类服务器上传的各类数据，包括日志、各类资产状态信息、请求/响应事件。简单规整化后，将原始事件提交到日志规范化模块12； 日志规范化模块12对源自日志采集模块11的各类日志数据通过预定的正则表达式，提取特征数据，并依据特征数据组建规范化的日志事件，提交到管理分析模块13。
规范化后的日志事件基本特征包括如下字段服务器名称、起始日期、源IP、源端口、目的IP、目标端口、协议、探测器标识和日志事件种类标识、可信度值、优先级值。
关联分析模块13用于对日志事件进行事件与漏洞关联分析、事件与资产关联分析和事件链关联分析，以减少虚警，同时挖掘新事件，包括关联引擎131、交叉关联模块132、逻辑关联模块133。
其中，关联引擎131依据数据库模块14中策略库预存的策略，核定事件处理过程，并提交至交叉关联模块132，和/或逻辑关联模块133； 交叉关联模块132包括漏洞关联和资产关联两部分，所述漏洞信息主要来源于系统漏洞数据库，通过事件与事件所涉及目标资产上已发现的漏洞进行比较，并依据预设的规则更改事件可信度。所述资产关联通过比对事件所关联的漏洞所针对的操作系统类型、端口、协议、应用服务和服务版本数据，与事件所涉及的目标资产上的相应属性数据比较，并依据预设的规则对更新事件的可信度。
所述逻辑关联模块133将事件与预设的事件链规则相匹配，若事件与某个活动规则相匹配，则产生新事件；否则，如果事件与某个事件链的首个规则匹配，则产生新的活动事件链； 日志事件经关联分析模块13调整可信度后，被提交到事件风险评估模块15。风险评估模块15针对事件的优先级、可信度、事件对应资产价值计算出事件相应的攻击威胁值和危害威胁值，并计算该事件的风险值。
如果该模块计算出来的风险值大于等于1，则标记事件为告警事件，并提交到告警模块16。告警模块16产生告警，并发送到监控终端，监控终端将对不同类型的事件执行相应响应动作。
具体实施时，在日志服务器，即syslog服务器上，部署日志采集模块11；同时，将网络设备、主机等的syslog的服务器指向该日志服务器后，日志服务器上的日志将由日志采集模块11定期读取，并简单规整化后，提交到日志规范化模块12；同时，针对不支持syslog协议的设备，如果其上可部署日志采集模块11，则直接将日志采集模块11安装在该设备上；否则，将日志采集模块11安装在独立的主机上，且该日志采集模块11利用snmp协议采集设备的运行状况参数，同时接收snmp trap消息；数据库模块16部署在一台单独主机上；告警模块16分客户端与服务端2部分，其中服务端与日志规范化模块12、关联分析模块13、事件风险评估模块15部署在同一主机上，客户端部署在终端上。
本发明所述一个日志事件关联分析系统，其内部利用日志关联分析方法处理日志事件，从而实现日志数据分析，并最终更新主机及网络风险。如图2所示，是本发明所述日志事件关联分析方法流程图，包括 步骤A1日志采集模块采集事件，并发送到日志规范化模块； 针对支持syslog协议的设备，如网络设备，配置syslog服务器，强制其将日志统一输出到指定的服务器上；在该服务器上部署日志采集模块11；该日志采集模块11将不间断地采集日志，并向日志规范化模块12提交格式正确的日志事件数据； 针对不支持syslog协议，但允许安装系统的设备，如主机类设备，在其上部署日志采集模块11，采集操作系统日志、防火墙日志、文件完整性日志，、杀毒软件日志、入侵检测系统日志信息，并提交格式正确的日志事件数据到日志规范化模块12； 针对特殊设备(如未提供系统日志服务的设备、不支持syslog的设备等)，使用不同的日志采集模块11采集其运行状况数据，并将采集到的信息转换为系统日志。例如针对支持SNMP的设备，可采用snmptrapfmt工具，将snmptrap信息数据转换为系统日志数据。然后，采集转换后的系统日志数据，并提交到日志规范化模块12。
步骤A2日志数据格式规范化，即日志规范化模块转化统一日志格式； 日志规范化模块12对源自日志采集模块11提交的各类日志事件进行集中处理后，转化为统一数据格式，并将事件保存到事件列队中，以提交关联分析处理，转步骤A3。
日志数据格式规范化处理，主要通过定义提取系统日志信息的正则表达式来提取敏感数据，并依据敏感数据构成规范化后的日志事件。
例如，针对snort工具产生的日志信息，定制正则表达式，即可提取到信息，具体如表一所示 表一 规范化后的日志事件基本特征包括如下字段服务器名称、起始日期、源IP、源端口、目的IP、目标端口、协议、探测器标识与事件标识。在上表所示的示例中，服务器名称为“host1”，起始日期为“May 1 11:12:08”，源IP为“192.168.7.125”，源端口为“1763”，目的IP为“192.168.7.191”，目标端口为“22”，协议为“TCP”，探测器标识为“1”与事件标识为“1”。
将统一格式的日志事件按照事件来源做分类，具体可以分为普通事件、操作系统类型事件、介质访问控制事件(MAC)和服务事件； 所述普通事件可以源自网络中安装的各种安全工具实体，如路由器，防火墙，操作系统，杀毒软件、各种入侵检测(IDS)上报的事件；所述操作系统类型事件可以源自收集被动特征探测器类实体的日志事件。经格式化提交给关联分析模块，并存放在事件库主机操作系统表中。在资产关联分析过程，将从该表取得所需的信息。所述被动特征探测器(PassiveOperation system Fingerprinting)基于嗅探远程主机上的通信来代替主动式查询远程主机，抓取从远程主机上发送的信息包，根据每个操作系统的IP堆栈的不同特征，分析鉴别远程主机操作系统间不同之处。进而判断远程主机的操作系统。所述介质访问控制(MAC)事件可以源自地址解析(ARP)探测器类实体的日志事件。针对此类事件的处理描述如下地址解析探测器类实体在其运行中不断地将探测到的数据保存到一个预设的文件中，日志采集模块定期读取该数据文件，经格式化提交给关联分析模块，然后存放在事件库主机介质访问控制表中。MAC变化事件有助于探测ARP欺骗层2(layer 2)攻击；所述服务事件，可以源自扫描器类安全工具实体(如端口扫描工具)上报的事件，此类事件可以用于持续地更新相应网络资产所开放的服务端口，从而可用于对网络资产进行服务关联分析。
步骤A3关联分析； 关联分析是对规范化后的日志事件，进行基于资产、基于漏洞的关联处理。关联分析模块中关联引擎不间断地从事件队列头取得事件数据，也就是优先处理最先收到的事件。
关联分析内部子步骤具体描述如下 步骤A31检索处理策略；策略用于指导关联分析的操作步骤，以便更快速地进行事件风险评估，是用于指导具体的计算的规则。策略包括源地址、目标地址、优先级、端口组、探测器、时间范围、交叉关联标志、逻辑关联标志、风险评估标志；查找事件的处理策略方法描述如下首先通过事件的源IP、目标IP、目标端口、探测器标识为条件，查找策略，如果存在策略且在该策略的有效时间内，则优先级最高的策略为当前事件的处理策略；否则，依次删除最后一个条件项，再次查找策略；直到条件项为空。
在本实施例中，若日志事件匹配了某一特定策略，则更改事件的优先级属性为相应策略的优先级别。所述策略的优先级别是在配置策略时手工预置。当事件查无匹配策略时，则启用缺省策略，即对该事件需要进行交叉关联、逻辑管理、风险评估。
步骤A32交叉关联；交叉关联通过事件所携带的IP地址查找资产数据，使事件与资产的漏洞、操作系统类型、服务(端口，协议、版本)关联，改变该事件的优先级和可信度值。该类关联只处理有目标IP属性的事件，分漏洞关联和资产关联所述交叉关联需要关联存放于数据库的目标资产的属性，由于目标资产需要依靠IP地址来确定，所以交叉关联只处理有目标IP的事件；所述漏洞关联，是根据漏洞关联的结果调整可信度。其中漏洞信息主要来源是系统漏洞数据库。这些特征信息统一保存在主机与安全漏洞对应关系表中。其中，通过漏洞库该表中记录的安全工具标识和日志事件标识，来描述一个事件对应的漏洞、OS类型、开放的端口；通过比较日志采集模块产生的事件的探测器标识和日志事件标识，判断事件的可信度。
具体实施时，首先测试事件处理策略的交叉关联标志是否为真，如果为假，转A33；否则，才执行本步骤。
漏洞关联的基本处理规则是如果入侵检测系统发现针对某个IP的攻击事件，且之前的漏洞扫描结果也显示该IP对应的主机资产存在受该攻击事件影响的漏洞，那么该攻击事件的可信度将被提高到10。
如图3所示，是所述漏洞关联分析的流程图，其步骤具体为 步骤S1测试事件所针对的目标资产是否存在；以事件所携带的目标IP属性值为条件，在资产数据表中查找资产信息，如果资产不存在，则结束，否则转步骤S2； 资产信息表是自动维护的，通过IP扫描工具扫描到设备后，将新资产插入临时资产信息表中，包括MAC地址集合(有些设备可能有多个网络接口)，以及与MAC地址相连接的IP地址集合(有些MAC地址可能配置多于1个IP地址)。操作员通过确认后，将资产信息自动从临时资产表转移到资产数据表中。
采用如下方法测试设备是否为一个新资产以MAC地址为条件在资产数据表，如果不存在，则认为是新资产，在插入临时资产信息表前，将包含了该MAC地址的条目删除掉。
步骤S2测试目标资产的活动漏洞是否为空；以所检索出的目标资产的标识为条件，在主机与安全漏洞关系表中检索到所有的安全漏洞，包括发现此漏洞的安全工具的类型标识、日志事件标识；如果安全漏洞为空，则结束，否则，转步骤S3； 所述主机与安全漏洞关系表是由安全工具自动维护的，安全工具对目标主机进行检测，并发现存在安全风险(如存在漏洞)后，自动将目标主机IP地址、安全工具的类型ID、以及安全工具为此漏洞分配的日志事件标识保存到此表中；所有日志事件标识、安全工具标识全统一维护。
安全工具是用来检测弱点的。安全工具首先是利用扫描的方法识别出漏洞，并为所有漏洞维护统一的漏洞实体标识表。
步骤S3测试需要专注的安全事件是否为空；以步骤S2检索出来的安全工具的类型标识、日志事件标识为条件，检索探测工具与安全工具关联表，查找需要关注的威胁事件，如果为空，则结束，否则，转步骤S4； 探测工具与安全工具关联表是手工维护的，内部包括日志事件的探测工具类型标识、探测工具所标注的事件标识、与探测工具配合的安全工具的标识，以及安全工具能识别的事件标识。探测工具类型统一分配，如IDS为“IDS”；而事件标识需要依据现场实际事件自动进行分配，所有日志事件实体标识都是预设的，探测工具只能上报自己所能支持的日志事件类别的事件；探测工具是用来检测日志事件的。
操作员在有新的安全工具，和/或新的漏洞，和/或探测工具，和/或新的日志事件类型时，都需要在威胁事件关联表新增数据；同时，操作员可以在确定安全工具，和/或漏洞，和/或探测工具，和/或日志事件类型被取消后，需要将相关信息从表中剥离，以便提高查找效率。
步骤S4修正当前事件的可信度；以事件所携带的探测工具类型标识、日志事件标识为条件，在步骤S3所检索出来的威胁事件集合中进行检索，如果为空，则结束，否则，该事件属于目标资产的可确定威胁事件，直接提高该事件的可信度为10，并确认是攻击行为。
资产关联的目标是消除虚警。因为在漏洞关联后，只是确定该事件确实与资产上的已有漏洞相吻合，但是，该漏洞是否能真正触发，还需要进行事件与资产关联分析，从漏洞所依赖的操作系统、应用名称、应用版本上进行检测，以验证是否真的能触发漏洞。
资产关联依然需要策略库中主机与安全漏洞对应关系表和策略库中探测工具与安全工具关系表，同时，还需要主机端口属性，该信息保存在资产库主机服务表中，且该表是自动维护的，端口扫描工具(归属于安全工具类)定期对预设的主机群进行扫描，并将扫描结果更新到此表中，包括IP、端口、协议、版本信息、端口状态。每次更新前，将目标主机IP相关的端口状态都复位，每更新一记录，则端口状态置位；插入的新记录，其端口状态置位；版本信息包括应用程序以及详细版本。如图4所示，是所述资产关联流程图，具体包括 步骤1以事件所携带的目标IP属性值为条件，在资产数据表中查找目标资产是否存在，如果不存在，则结束；否则，获得目标资产的全部活动服务端口信息，转2； 步骤2以事件所携带的服务端口属性、使用协议为条件，在步骤1所检索出的活动端口信息中再次进行检索，如果为空，则结束；否则，获得应用服务的版本信息，转3； 步骤3以事件所携带的探测工具类型标识、事件标识、以及安全工具类型为“漏洞工具”为条件，检索探测工具与安全工具引用关系表，如果为空，则结束；否则，获得所有漏洞标识，转步骤4； 步骤4以漏洞标识为条件，检索应用与漏洞关系表，如果为空，则结束，否则，获得与日志事件相对应的全部应用程序；如果所获得的应用程序中包括了步骤2所获得版本信息中的应用程序，则该当前待处理事件的威胁可信度加1，转5；否则，结束； “漏洞工具”用于扫描主机漏洞，其内携带了一个应用与漏洞信息表，用于维护日志事件、应用程序间关系，此表是手工维护的，在漏洞工具能发现新的漏洞后，往该表内增加一新记录。
步骤5以步骤3检索出的漏洞标识为条件，检索漏洞条目信息表，如果为空，则结束，否则，获得与日志事件相对应的所有应用程序版本；如果版本中包括了与步骤2所获得版本信息中的版本信息，则当前待处理事件的威胁可信度置9，确信这是真正的攻击。
资产关联时，事件可信度的变化可由表二来描述。
表二 首先比较日志事件所匹配漏洞的操作系统类型与目标资产的操作系统类型，如果一致，则该事件的可信度加1，否则，如果不匹配，则该事件的可信度置0；否则，该事件的可信度保持不变； 其次比较日志事件的端口与协议是否与目标资产上活动端口与协议，如果不匹配，则可信该事件的可信度置0；否则，保持不变； 再其次比较日志事件所匹配漏洞的应用服务与目标资产的应用服务，如果交集不为空，则该事件的可信度加3；否则，保持不变 最后比较日志事件所匹配漏洞的应用版本与目标资产的应用版本，如果完全匹配，则事件的可信端更新为9；否则，保持不变。
例如，事件所对应目标资产的操作系统是OpenBSD，且安装了Apache服务版本为1.33；经过通过漏洞扫描工具扫描后，发现该资产上存在针对版本为1.33的Apache的漏洞，且该漏洞与操作系统无关。此后，IDS检测到针对Apache的攻击事件，该事件利用80端口，TCP协议承载。在通过事件标识找到漏洞信息后，首先比较操作系统，因为漏洞信息表明该漏洞与操作系统无关，故OpenBSD与漏洞条件匹配，事件可信度加1；Apache服务启动后，缺省的将侦听TCP 80端口，故事件的端口与协议与目标资产相符；接着比较应用名称，漏洞针对Apache，而目标资产上有Apache服务，故事件的可信度加3；最后比较版本信息，漏洞描述中表明该漏洞针对1.33版本有效，而目标资产上Apache服务的版本为1.33，故该事件的可信度更新为9，确认是攻击。
步骤A33逻辑关联逻辑关联用于对事件流进行基于预设规则的关联分析，以挖掘出新事件。首先测试事件处理策略的逻辑关联标志是否为真，如果为假，转A4；否则，执行如图5所示的内部流程。如图5所示，为本发明所述逻辑关联流程图，包括如下步骤 步骤A331关联规则维护。所述关联规则分为三个大类，包括木马规则、蠕虫规则、一般攻击规则。规则的属性包括规则事件编号、名称、超时情况、发生次数、源地址、目标地址、探测器类型、日志事件标识、可信度和事件数据域。规则来源于经验，也可以来源于第三方产品的事件关联规则，操作员可以在任何时候维护规则。有效的规则以树的方式保存在系统中，即有效规则由一个顶层子规则、以及多个通过“且关系”，和/或“或关系”拼接的子关系聚合而成。
步骤A332在当前已激活的规则树集中验证事件是否与某个树中的某个活动规则相匹配。如果全部不匹配，则转步骤A334；否则，转步骤A333； 匹配过程具体为首先测试当前事件的探测器标识与事件标识是否包含在规则所要求的探测器类型、日志事件标识内；匹配成功后，再依据规则指示，将事件的具体内容与已匹配的历史事件的对应域进行匹配，若规则指示为“ANY”，则此域不参与比较。
步骤A333创建新日志事件，即依据关联规则构建关联事件。所述关联事件的探测器标识为“逻辑关联模块标识”，日志事件标识为“规则事件编号”，服务器名称、起始日期、源IP、源端口、目的IP、目标端口和协议直接拷贝当前事件的相应属性，并将关联事件提交到待处理事件队列；将事件的源IP、源端口、目标IP、目标端口内容保存到当前匹配规则的事件数据域上，更新活动规则指针，将当前匹配规则的所有直接儿子规则加入活动规则链，并调整活动规则的链首指针指向最左儿子规则。
特殊的，如果当前匹配规则为叶子规则，或超时，则将规则树从活动规则树缓存区中清除。
步骤A334事件与所有关联规则树的根规则匹配，即在全部预设的规则树中查找相匹配的规则。首先将当前事件的探测器标识、事件标识依次同每个有效规则的根子规则比较，验证事件的探测器标识、事件标识是否包含在根规则所要求的范围内，如果是，则匹配成功并结束比较；否则继续比较下一个规则的根子规则，直到全部比较完。其次，如果成功匹配，则将该有效规则树拷贝到步骤A332所述的已激活的规则树集中，并将当前事件的源IP、源端口、目标IP、目标端口内容保存到该树的根规则的事件数据域上，并将根规则的直接儿子规则加入该树的活动规则链中。
步骤A4事件风险评估； 事件风险评估针对事件的优先级、可信度、事件对应资产价值调整确认，通过风险评估算法计算风险值后，转步骤A5。
首先测试事件处理策略的风险评估标志是否为真，缺省的，如果事件处理策略的交叉分析标志为真，则风险评估标志必须为真。如果为假，转A5；否则，执行如图6所示的内部流程，如图6所示，为本发明所述事件风险评估流程图，包括下边步骤 步骤A41确认并调整事件的优先级。
检测事件的优先级是否为0，如果为0，则首先利用事件所携带的探测器标识和日志事件标识属性，查找探测工具表，取得该探测工具的优先级，并将当前事件的优先级值替换为检索到的优先级数值；否则，当前事件的优先级保持不变。
探测工具表保存了所有探测类安全工具的属性，包括分类标识、事件标识、优先级、可信度等属性，所有数据由手工维护。
步骤A42确认事件的可信度。检测事件的可信度是否为0，如果为0，则利用事件的探测器标识，检索探测工具表，获取该探测器的可信度；将事件的可信度更新为所取得的探测器的可信度值。
步骤A43计算资产的价值，包括 首先根据事件的源IP分别取得源主机信息以及包含该源IP的源网络信息；根据事件的目标IP分布取得目标主机信息以及包含该目标IP的目标网络信息。
其次查询事件的源IP对应资产的价值；包括，通过从源主机信息中取得源主机的价值，从源网络信息中取得源网络的价值； 最后查询事件的目标IP对应资产的价值；包括，通过从目标主机信息中取得目标主机的价值，从目标网络信息中取得目标网络的价值。
资产的价值是由操作员手工设定的，缺省的，业务价值低于2万者为0，2～100万者为1，100～200万者为2，200～500万者为3，500～1200万者为4，大于1200万者为5。
步骤A44计算事件的风险值。利用前面3步取得事件优先级、事件可信度以及资产的价值，代入下边计算公式，计算出风险值。
攻击风险的计算公式为RiskA＝(Priority*Reliability*DestinationAsset)/25；危害风险的计算公式为RiskC＝(Priority*Reliability*SourceAsset)/25；其中Priority指日志事件的优先级(0-5)，Reliability是事件的可信度(0-10)，DestinationAsset指目标资产价值(0-5)，SourceAsset是源资产价值(0-5)。取MAX(RiskA，RiskC)作为当前待评估事件的风险值。
如果事件的风险值大于1，则事件的风险标志置位。
步骤A45更新主机及网络的风险等级。如果事件的风险值不大于1，则直接跳转到A5；否则，首先，更新主机风险；本实施中使用主机风险等级列内存表维护所有主机的“C&A”风险值，如果主机已经在该列表中，则直接将事件的RiskA累加到目标主机的“A”值上， 将事件的RiskC累加到源主机的“C”值上；并同步更新数据库中主机风险度量表中事件源主机资产的C类风险和目标主机的A类风险值；否则使用事件的IP(源IP，和/或目标IP)，以及计算所得的RiskA和RiakC值创建一个新的主机风险对象，并添加到主机风险等级列内存表中；同时，往数据库中主机风险度量表中插入一新记录，包括IP、C类风险值、A类风险值、风险等级、时间。
主机风险评估中采用表三计算事件的风险等级，主机当前的风险等级由所有与之相关联的日志事件的最高风险等级确定；同时主机资产上保存各等级的事件的统计数。
表三 所述C&A”风险值，其中“C”是危害等级，在本发明中，用来描述事件所涉及源资产的风险等级，如发起攻击的机器，其“C”值将提升，表示其危害程度在提高。如被木马控制的机器，甚至是安装了安全扫描工具的机器，其“C”值都会较高。其中“A”是攻击等级，本发明中，用来描述事件所涉及目标资产的风险等级，如被DOS攻击的机器，其“A”值将提升。以攻击为例，A值越高，表示攻击一旦成功，其危害性越高。
其次，更新网络风险。网络风险就是当电子信息在网络上传输时，由于网络设备的故障、缺陷或没有将内部网络与互联网进行物理隔断导致遭受外界侵袭造成的风险。本实施中使用网络风险等级内存表维护所有网络的“C&A”风险值，如果网络已经在该列表中，则直接将事件的RiskA累加到目标网络的“A”值上，将事件的RiskC累加到源网络的“C”值上；并同步更新数据库中网络风险度量表源网络资产的C类风险和目标网络的A类风险值；否则使用事件的IP所确定的网络(包括源IP，和/或目标IP所确定网络，该网络是包含源IP，或目标IP的最小网络，即子网掩码mask最大者)，以及所计算的RiskA和RiakC值创建新的网络风险对象，并添加到网络风险内存表中；同时，往数据库中网络风险度量表中插入新记录，包括网络IP，C类风险值、A类风险值、风险等级、时间。
网络风险评估中采用表四计算事件的风险等级，网络当前风险等级以所关联的日志事件的最高风险等级所决定；同时网络资产上保存各等级的日志事件的统计数。
表四 步骤A5事件告警； 如果事件被标记为告警事件，即该事件的告警标志置位，则把该事件压入告警事件队列。此类事件将发送到监控终端，监控终端将对不同类型的事件标识执行相应响应动作，首先展示告警，并播放不同的预设语音；然后执行外部程序，如直接结束进程、配置防火墙规则等；或者发送EMAIL到预设的管理员邮箱；或者通过QQ或MSN机器人发送及时消息到管理员。
以上所述的具体实施例，仅用于例释本发明的特点及功效，而非用于限定本发明的可实施范畴，在未脱离本发明上述的精神与技术范围的情况下，任何运用本发明所揭示内容而完成的等效改变及修饰，均仍应被上述的权利要求所涵盖。
权利要求
1.一种日志事件关联分析方法，其特征在于，包括以下步骤
收集日志数据，
通过预设的正则表达式提取日志数据的特征数据；
根据提取到的特征数据构建统一格式的日志事件；
查询日志事件的处理策略；
根据策略指示对事件进行交叉关联分析和事件流逻辑关联分析；以及
进行日志事件风险评估并自动响应。
2.根据权利要求1所述的日志事件关联分析方法，其特征在于所述特征数据，至少包含服务器、时间、源IP、源端口、目的IP、目标端口、协议、探测器标识、事件标识、可信度或优先级中的一种或多种。
3.根据权利要求1所述的日志事件关联方法，其特征在于，所述处理策略用于指导所述事件的处理，包括源地址、目标地址、优先级、端口组、探测器、时间范围、交叉关联标志、逻辑关联标志和风险评估标志；所述查询日志事件的处理策略，是依据所述日志事件的源IP、目的IP、目标端口、探测器标识和事件标识属性的组合为条件，查找处理策略表。
4.根据权利要求3所述的日志事件关联方法，其特征在于，所述交叉关联分析包括漏洞关联分析和资产关联分析；所述漏洞关联分析，是通过所述日志事件中所携带的目的IP查找相应资产后，将事件与所述资产上已发现的漏洞关联；
所述资产关联分析，是依据所述日志事件中所携带的事件标识查找到漏洞所针对的操作系统和应用信息后，将事件与所述资产上的操作系统、应用服务以及活动端口与协议关联；以及
关联分析后，依据预设的规则，更新所述日志事件的可信度和优先级。
5.根据权利要求4所述的日志事件关联方法，其特征在于，所述事件流逻辑关联分析，包括测试所述日志事件是否从属于当前已有事件链的后续事件；所述日志事件的探测器标识和事件标识属性与所述事件链的活动关联规则所要求的标识相匹配后，再比较所述日志事件的源IP、目的IP、源端口和目标端口属性与所述事件链中上已有事件的源IP、目的IP、源端口和目标端口比较；完全匹配时，构造并提交新的日志事件；或测试所述日志事件是否可用于新建事件链；所述日志事件的探测器标识和事件标识属性与所有预设的事件链规则的第一个关联规则比较，匹配成功后，所述日志事件为事件链事件；以及
所述关联规则，包括事件源IP、源端口、目的IP、目的端口、新事件标识、新事件描述、探测器标识、日志事件标识、时间间隔和重复次数；所述关联规则，通过和关系，和/或或关系组成关联规则树，用于将所述日志事件关联成事件链，并产生新的事件。
6.根据权利要求1所述的日志事件关联方法，其特征在于，日志事件风险评估，包含
利用所述日志事件的优先级、可信度和所述日志事件所针对的目标主机的价值结算而成的攻击威胁值，通过查找风险等级映射表，计算出攻击风险等级；更新目标主机以及目标网络的攻击威胁值；
利用所述日志事件的优先级、可信度和所述日志事件源主机的价值结算而成的危害威胁值，通过查找风险等级映射表，计算出危害风险等级；更新源主机以及源网络的危害威胁值；以及
以所计算的攻击威胁值和危害威胁值间的大者作为所述日志事件的风险值，并对风险值大于特定阈值的日志事件示警；且依据所述日志事件的事件标识自动响应。
7.一种日志事件关联分析系统，其特征在于包括日志采集模块、日志规范化模块、关联分析模块、事件风险评估模块和告警模块，其中
所述日志采集模块用于采集网络设备、主机设备、终端以及各类业务应用的日志数据，提交到所述日志规范化模块；
所述日志规范化模块用于集中处理日志数据，转化为统一格式的日志事件后，提交到关联分析模块；
所述关联分析模块用于对规整化后的日志事件进行分析，包括更新日志事件的可信度和优先级；并在事件流中挖掘出新的事件；将分析后的事件提交到事件风险评估模块；
所述事件风险评估模块用于依据事件的可信度和优先级，并基于事件目标资产的价值，计算该事件的攻击威胁值，并计算攻击威胁风险等级；基于事件源主机的价值，计算该事件的危害威胁值，并计算危害威胁风险等级；以计算所得的攻击威胁值和危害威胁值间的大者为该事件的威胁值，提交事件到所述告警模块；且
所述告警模块用于事件告警，并依据事件的事件标识属性值，自动响应。
8.根据权利要求7所述的日志事件关联分析系统，其特征在于，还包括数据库模块，用于保存所述管理分析模块、所述风险评估模块以及所述告警模块所需要的漏洞信息、资产数据、策略信息或事件信息。
9.根据权利要求7所述的日志事件关联分析系统，其特征在于，所述关联分析模块，包括关联引擎模块、交叉关联模块和逻辑关联模块；
所述关联引擎模块，用于为所述日志事件分配处理策略，以牵引事件处理；
所述交叉关联模块，用于对所述日志事件进行事件与漏洞关联、事件与资产关联，以更新该事件的优先级和可信度；
所述逻辑管理模块，用于对所述事件进行事件链关联，以挖掘新事件，并提交到关联引擎模块。
10.根据权利要求7所述的日志事件关联分析系统，其特征在于，还包括
所述日志采集模块，可部署在日志服务器上，也可部署在专用主机上，用于采集设备的运行日志和运行状态数据，以及侦测安全弱点；
所述告警模块，分服务端与客户端，所述服务端与所述系统的其它模块部署在同一主机上，用于分发告警；所述客户端部署在指定终端上，用于声光示警和自动响应。
全文摘要
本发明提供了一种日志事件关联分析方法，其包括收集日志数据；通过预设的正则表达式提取日志数据的特征数据；根据提取到的特征数据构建统一格式的日志事件；查询日志事件的处理策略；根据策略指示对事件进行交叉关联分析和事件流逻辑关联分析；以及进行日志事件风险评估并自动响应的步骤。本发明的方法有效地减少了虚警，提高了风险评估的客观性，且其告警对用户具有更高的实际指导性。本发明还提供了一种对应上述方法的日志事件关联分析系统。
文档编号H04L29/06GK101610174SQ200910157310
公开日2009年12月23日 申请日期2009年7月24日 优先权日2009年7月24日
发明者戚建淮, 曾旭东, 娟 唐, 云 刘, 马诗真 申请人:深圳市永达电子股份有限公司