一种复杂网络体系下异构安全日志信息的自适应提取方法及系统的制作方法
【技术领域】
[0001] 本发明涉及信息安全领域，具体涉及一种复杂网络体系下异构安全日志信息的自 适应提取方法及系统。
【背景技术】
[0002] 电力系统是国民经济和人民生活的重要基础设施，其网络和应用系统的安全是电 力系统安全运行及对社会可靠供电的保证，直接关系到我国各行各业的发展、社会的安定 和人民的生活水平。电力系统安全防护的主要目标是防止关键业务信息系统数据或信息被 窃取或篡改，防止网络被恶意渗透或监听，确保不发生因信息安全引发的电网事故和大面 积停电事故，实现信息安全风险可控、能控、在控。国家非常重视电力系统的信息安全，建立 了电力系统信息安全纵深防御体系，部署了大量不同类型的安全设备，各种设备的日志记 录了设备运行状态，各类用户执行的操作等等详细信息。在目前的网络环境中，各种设备的 日志已经成为海量数据，SYSL0G作为主要的日志类型，被各种操作系统，网络设备和安全设 备广泛支持，成为日志的重要标准，对于其他类型的日志，也可以转换为SYSL0G日志格式， 便于统一分析。
[0003] 由于不同类型安全设备报送的SYSL0G日志格式千差万别，因此，需要对日志进行 格式归一化，才能够对日志进行规则处理分析和有效的统计分析。目前业界常用的安全日 志信息提取和分析方式是基于解析模板技术，每一个新的日志类型都需要人工编写解析模 板，这种方式下项目实施成本高，且人工编写出错概率高，对复杂网络环境SYSL0G信息提 取的适应性差。
【发明内容】
[0004] 为了解决上述问题，本发明提出了一种复杂网络体系下异构安全日志信息的自适 应提取与分析方法及系统，能够降低成本，提高对复杂网络环境SYSL0G信息提取的适应 性。
[0005] 为了达到上述目的，本发明提出了一种复杂网络体系下异构安全日志信息的自适 应提取方法，该方法包括以下步骤：
[0006] A、持续采集异构安全日志数据，采用分词工具对。日志数据结构进行分拆，根据预 置的常用日志字段正则匹配字典表对。日志数据中指定位置的字段数据进行内容属性匹 配，构建日志信息提取决策树LIDT，作为。异构安全日志信息的提取规则；LITD树的信息随 着新的日志结构的加入不断更新。
[0007] B、对构建的。LITD树的信息在计算机内存中进行缓存，该缓存根据LITD树的更新 实时更新。
[0008] C、对新采集的异构安全日志数据，根据LITD树按照日志报送地址、日志类型以及 日志各位置字段的顺序逐层解析，提取异构安全日志信息。
[0009] D、将形成的规范格式的异构安全日志数据存储进入数据库系统。
[0010]优选地，步骤A中具体包括以下步骤：
[0011] A1、通过系统日志SYSL0G协议获得异构安全日志数据，通过对异构安全日志数据 的头部分解析获取SYSL0G日志的报送设备互联网协议IP，以报送设备IP作为LITD树的一 级节点。
[0012] A2、采用分词工具对SYSL0G日志中代表原始日志的MSG字段进行分词，并按顺序 对分词结果进行索引。
[0013] A3、通过各分词字段的属性和对应索引计算日志解析指纹，将日志解析指纹作为 LITD树的二级节点。
[0014] A4、将各分词字段的索引和内容属性作为LITD树的三级节点。
[0015] A5、返回步骤A1。
[0016] 优选地，步骤C具体包括以下步骤：
[0017] C1、采集SYSL0G日志，解析报送设备IP信息，将报送设备IP信息与LITD树的一 级节点中的报送设备IP进行比较，定位SYSL0G日志对应的LITD树的二级节点，如果所采 集的SYSL0G日志的报送设备IP信息与LITD树中的所有报送设备IP都不匹配，则进入学 习阶段A，构建该SYSL0G日志对应的LITD树；如果在当前的LITD树的一级节点中找到了 与所采集的SYSL0G日志的报送设备IP信息匹配的所述报送设备IP，则进入步骤C2。
[0018] C2、采用分词工具对SYSL0G日志中代表原始日志的MSG字段进行分词，并按顺序 对分词结果进行索引。
[0019] C3、计算获得SYSL0G日志的日志解析指纹，将日志解析指纹与LITD树的二级节点 中的日志解析指纹进行比较，定位SYSL0G日志对应的LITD树的三级节点，如果所采集的 SYSL0G日志的日志解析指纹与LITD树中的所有日志解析指纹都不匹配，则进入学习阶段 A，构建该SYSL0G日志对应的LITD树；如果在当前的LITD树的二级节点中找到了与所采集 的SYSL0G日志的日志解析指纹匹配的日志解析指纹，则进入步骤C4。
[0020] C4、通过将SYSL0G日志的分词数据信息与决策树三级节点中的分词数据信息进 行比较，获得对SYSL0G日志的解析结果。
[0021] 优选地，计算日志解析指纹包括以下步骤：
[0022] 对文本字符串形式的原始日志信息进行分词。
[0023] 在分词后，获得各个分词字段的索引Si;其中，i = 0, 1，2, 3…n ;n是分词字段的 总个数。
[0024] 并获得各个分词字段对应的内容正则解析规则Ri;其中，i = 0, 1，2, 3…n ;n是分 词字段的总个数。
[0025] 根据各个分词字段的索引Si和内容正则解析规则Rp依据下式计算日志解析指 纹：
[0026] SoRo-SiRfSA-S^…SnRn。
[0027] 优选地，经过LITD树进行信息提取后的异构安全日志数据的规范格式包括：事件 名称、事件摘要、事件分类、采集类型、等级、网络协议、网络应用协议以及属性信息；LITD 树在计算机内存中的存储数据结构为以多层HashMap嵌套的方式实现。
[0028]本发明还提出一种复杂网络体系下异构安全日志信息的自适应提取系统，该系统 包括：学习模块、缓存模块、提取模块、入库模块。
[0029] 学习模块：用于持续采集异构安全日志数据，采用分词工具对日志数据结构进行 分拆，根据预置的常用日志字段正则匹配字典表对日志数据中指定位置的字段数据进行内 容属性匹配，构建日志信息提取决策树LIDT，作为异构安全日志信息的提取规则；并随着 新的日志结构的加入对LITD树的信息不断更新。
[0030] 缓存模块：用于对构建的LITD树的信息在计算机内存中进行缓存，并根据LITD树 的更新实时更新；以文本形式存储于硬盘，存储信息周期性更新。
[0031] 提取模块：用于对新采集的异构安全日志数据，根据LITD树按照日志报送地址、 日志类型以及日志各位置字段的顺序逐层解析，自适应提取异构安全日志信息。
[0032] 入库模块：用于将形成的规范格式的异构安全日志数据存储进入数据库系统。
[0033] 优选地，学习模块通过以下步骤完成所述LITD树的构建：
[0034] A1、通过系统日志SYSL0G协议获得异构安全日志数据，通过对异构安全日志数据 的头部分解析获取SYSL0G日志的报送设备互联网协议IP，以报送设备IP作为所述LITD树 的一级节点。
[0035] A2、采用分词工具对所述SYSL0G日志中代表原始日志的MSG字段进行分词，并按 顺序对分词结果进行索引。
[0036] A3、通过各分词字段的属性和对应索引计算日志解析指纹，将日志解析指纹作为 LITD树的二级节点。
[0037] A4、将各分词字段的索引和内容属性作为LITD树的三级节点。
[0038] A5、返回步骤A1。
[0039] 优选地，提取模块通过以下步骤完成异构安全日志信息的提取：
[0040] C1、采集SYSL0G日志，解析报送设备IP信息，将报送设备IP信息与LITD树的一 级节点中的报送设备IP进行比较，定位SYSL0G日志对应的LITD树的二级节点，如果所采 集的SYSL0G日志的报送设备IP信息与LITD树中的所有报送设备IP都不匹配，则进入学 习阶段A，构建该SYSL0G日志对应的LITD树；如果在当前的LITD树的一级节点中找到了 与所采集的SYSL0G日志的报送设备IP信息匹配的报送设备IP，则进入步骤C2。
[0041] C2、采用分词工具对SYSL0G日志中代表原始日志的MSG字段进行分词，并按顺序 对分词结果进行索引。
[0042] C3、计算获得SYSL0G日志的