智能设备日志处理系统及方法与流程

本发明涉及物联网智能设备日志处理系统技术领域，特别是指智能设备日志处理系统及其处理方法。

背景技术：

目前日志的审计方法有很多种，其中包括基于规则库、基于数据挖掘、基于免疫系统和基于神经网络的审计方法等。基于规则库的审计检测准确率高，但不适用于多变的网络攻击行为。基于数据挖掘的审计可处理大规模数据文件，但准确率需要调优。基于进化算法的审计可通过多维度进行有效审计优化，但无法检测同时发生的攻击行为。基于免疫系统的审计可以对具有记忆的攻击和病原体进行检测，但无法判断条件竞争、身份伪装的攻击。其中，常用的且已有一定成果是基于规则库的审计方法以及由于大数据热潮而得到关注的数据挖掘算法。涉及生物学的神经网络算法、遗传算法和进化算法仍待进一步研究。对于数据挖掘而言，针对日志的分析主要分为监督学习和无监督学习，主要取决于日志是否有标。监督学习主要采用分类算法，而无监督学习主要采用聚类算法，通过聚类分析将收集到的原始日志分为正常日志和可疑日志两大类，然后再分别对两类日志进行关联规则挖掘，得出正常操作规则和异常操作规则。

目前主流的日志分析工具发展比较成熟，但是其局限性在于，收集日志时需要在采集对象上部署采集软件或加装日志收集工具，对于智能设备而言，在其上进行软件部署复杂、难度较大。对于日志采集常用协议，部分智能设备并不支持，增加了对智能设备日志获取的难度。

在对获取到的日志进行审计时，目前主流的手段依旧是基于规则进行匹配，这种方法效率较高、简单直观，但是随着攻击手段的增多，对于不在安全规则库中的攻击手段而言，日志审计效果不好，而且对于大规模的日志数据无法挖掘出规则以外的信息。

技术实现要素：

有鉴于此，本发明的目的在于提出智能设备日志处理系统及其处理方法，用于解决背景技术中智能设备日志获取难度大，日志审计效果不好的问题，其具有日志获取简单，审计效果出色的特点。

本发明提供了一种智能设备日志处理系统，包括：

日志获取器：用于根据智能设备的参数，获取智能设备的原始日志；

日志解析器：用于接收所述原始日志，将非结构化或半结构化的所述原始日志解析成结构化日志，并生成日志序列；

安全规则库：包含日志分析规则；

日志分析引擎：用于接收所述结构化日志和日志序列，并根据所述安全规则库的日志分析规则对所述结构化日志进行规则匹配，并对日志序列进行层次聚类；

日志分析报告器：用于根据所述日志分析引擎的结果和所述安全规则库，将分析结果生成报告；

用户接口模块：用于与用户交互，接收智能设备所述参数，及将所述报告输出给用户。

可选的，所述日志获取器通过智能设备提供的接口识别智能设备的品牌和型号，确定智能设备所采用的协议以及通信方式，根据智能设备所采用的协议和交互方式向智能设备对应的IP发送请求，并通过解析智能设备返回的响应获取智能设备运行过程生成的原始日志。

可选的，所述日志解析器包括：

日志清洗器：用于将所述原始日志中的冗余信息去除，将所述原始日志解析为所述结构化日志；

事件抽取器：用于提取出解析后的所述结构化日志记录的操作事件；

日志组合器：用于根据所述结构化日志发生的时间和所述操作事件，将单条所述结构化日志按照上下文进行组合，生成对应的日志序列。

可选的，所述日志分析引擎包括：

规则匹配器：用于根据用户配置的规则和所述安全规则库中的日志分析规则，从所述结构化日志中匹配出相应日志记录，并对日志记录进行汇总和整理；

聚类分析器：用于对所述日志解析器生成的所述日志序列进行层次聚类，根据聚类结果发现大聚簇和孤立点，由大聚簇分析设备运行规律，由孤立点发现异常行为，获得结构化日志中规则外蕴含的信息；

日志分析接口：用于根据所述规则匹配器和所述聚类分析器的结果与所述日志分析报告器进行交互。

基于相同的发明创造，本发明还提供了一种智能设备日志处理方法，包括：

根据接收的智能设备的参数，获取智能设备非结构化或半结构化的原始日志；

将所述非结构化或半结构化的原始日志解析成结构化日志，生成日志序列；

根据安全规则库的日志分析规则对所述结构化日志进行规则匹配；

对所述日志序列进行层次聚类；

根据所述日志序列的规则匹配结果以及层次聚类结果生成报告；以及输出所述报告。

可选的，所述原始日志解析包括：

将所述原始日志中的冗余信息去除，将所述原始日志解析为所述结构化日志；

提取解析后的所述结构化日志记录的操作事件；

根据所述结构化日志发生的时间和所述操作事件，将单条所述结构化日志按照上下文进行组合，生成对应的日志序列。

可选的，所述规则匹配和层次聚类包括：

根据用户配置的规则和所述安全规则库中的日志分析规则，从所述结构化日志中匹配出相应日志记录；

对所述日志序列进行层次聚类，根据聚类结果发现大聚簇和孤立点，由大聚簇分析设备运行规律，由孤立点发现异常行为，获得结构化日志中规则外蕴含的信息；

根据所述规则匹配器和所述聚类分析器的结果与所述日志分析报告器进行交互。

可选的，所述从所述结构化日志中匹配出相应日志记录包括：通过规则匹配器，利用用户自定义规则和安全规则库中规则对结构化日志进行匹配，统计命中数量，记录命中日志。

可选的，所述对日志序列进行层次聚类包括：

对于所述日志序列进行预处理，将日志序列转换成向量数据；

使用改进的余弦相似度算法利用向量数据生成距离矩阵，输入层次聚类算法，生成聚类树；

针对不同聚簇数量计算相关评价指标参数，选取最佳参数对应的聚簇数量作为聚簇数目；

遍历每个聚簇数目内的日志，统计各聚簇数目内日志数量和类型。

对规则匹配和层次聚类的结果进行归纳分析和关联分析，生成新的安全规则并补偿入所述安全规则库。

基于相同的发明创造，本发明还提供了一种智能设备日志处理系统的保密安全检查方法，包括：

提交待测智能设备参数；

进入待测智能设备日志处理系统，并获得留存的日志审计报告；

检测日志审计报告；

基于检测结果，通过风险定位、风险排查和溯源对违规操作溯源。

由上述所述本发明具有如下优点：

本系统利用智能设备提供的接口与日志获取器连接，首先识别智能设备品牌和型号，生成对应实例，根据不同设备的协议和交互方式向指定IP发送请求，通过解析响应自动化地获取设备运行日志，不需要通过恢复智能设备存储介质或是在智能设备上加装日志采集装置来获取日志，日志获取高效、简单、准确。

本系统除利用安全规则库进行日志处理外，还引入了聚类方法，能够挖掘规则外内容，如智能设备运行规律、用户使用习惯以及孤立点对应的异常事件，并能够将异常事件动态补偿给安全规则库，提升了日志的审计效果。

附图说明

图1为本发明实施例所述的智能设备日志处理系统的结构框图；

图2为本发明实施例所述的智能设备日志处理方法流程图；

图3为本发明实施例日志分析引擎处理流程图；

图4为本发明实施例所述的智能设备日志处理系统进行保密安全检查的方法流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

本发明的主要目标是开发一套针对物联网智能设备的日志安全处理系统，该系统可以根据用户输入的智能设备型号自动化地获取设备运行日志，根据用户配置的安全规则在日志中寻找用户感兴趣的事件，同时利用聚类手段对日志进行分析，反映设备运行规律，利用孤立点定位异常，并报告给用户。智能设备第一步考虑支持市场主流数码复印机品牌及其子型号。

本发明实施例所述的智能设备日志处理系统，包括：

日志获取器：用于根据智能设备的参数，获取智能设备的原始日志；

日志解析器：用于接收所述原始日志，将非结构化或半结构化的所述原始日志解析成结构化日志，并生成日志序列；

安全规则库：包含日志分析规则；

日志分析引擎：用于接收所述日志序列，并根据所述安全规则库的日志分析规则对所述结构化日志进行规则匹配，并对日志序列进行层次聚类；

日志分析报告器：用于根据所述日志分析引擎的结果和所述安全规则库，将分析结果生成报告；

用户接口模块：用于与用户交互，接收智能设备所述参数，及将所述报告输出给用户。

本系统利用智能设备提供的接口与日志获取器连接，首先识别智能设备品牌和型号，生成对应实例，根据不同设备的协议和交互方式向指定IP发送请求，通过解析响应自动化地获取设备运行日志，不需要通过恢复智能设备存储介质或是在智能设备上加装日志采集装置来获取日志，日志获取高效、简单、准确。

本系统除利用安全规则库进行日志审计外，还引入了聚类方法，能够挖掘规则外内容，如智能设备运行规律、用户使用习惯以及孤立点对应的异常事件，并能够将异常事件动态补偿给安全规则库，提升了日志的审计效果。

如图1所示，在一些实施例中，智能设备日志处理系统包括：

日志获取器：用于根据智能设备参数，获取智能设备的原始日志。

在本发明的实施例中，上述智能设备参数可以包括智能设备型号、设备IP和用于自定义规则。

在本发明的实施例中，上述日志获取器可以通过智能设备提供的接口识别智能设备的品牌和型号，确定智能设备所采用的协议以及通信方式，从而生成与智能设备对应的实例；根据智能设备所采用的协议和交互方式向智能设备对应的IP发送请求，并通过解析智能设备返回的响应自动化地获取智能设备运行过程生成的原始日志。

日志解析器：用于接收所述原始日志，将所述原始日志进行处理和解析，从而将非结构化或半结构化的所述原始日志解析成结构化日志，并生成日志序列。

日志分析引擎：用于对所述日志解析器生成的内容进行分析，具体分为根据安全规则库内的日志分析规则对结构化日志进行规则匹配，以及对日志序列进行层次聚类。

安全规则库：用于为所述日志分析引擎提供日志分析规则。

在本发明的实施例中，上述安全规则库还可以进一步为所述日志分析引擎提供对应的安全风险支持。具体表现为安全规则库中保存有两种内容：一是用户配置的规则，如对于涉密单位而言，对于涉密设备进行U盘操作属于敏感操作，应该预先配置在安全规则库中；二是经系统处理后由审计人员判定为异常或非安全的日志操作行为，应该以规则形式补充到安全规则库中。

在本发明的实施例中，上述安全规则库还可以用于提供风险改进策略报告，具体表现为规则中会有一个字段记录规则的安全等级，如高危、中等、普通等，这个字段由用户或审计人员指定，生成报告时，敏感事件的安全等级会被反映在报告中，从而对风险进行评估。

日志分析报告器：用于根据所述日志分析引擎的结果和安全规则库，将分析结果生成报告。

在本发明的实施例中，上述分析结果可以包括用户感兴趣规则、设备运行规律和发现的安全风险等。

用户接口模块：用于与用户交互，一方面接收智能设备所述参数，另一方面将所述报告输出给用户。

本系统利用智能设备提供的接口与日志获取器连接，首先识别智能设备品牌和型号，生成对应实例，根据不同设备的协议和交互方式向指定IP发送请求，通过解析响应自动化地获取设备运行日志，不需要通过恢复智能设备存储介质或是在智能设备上加装日志采集装置来获取日志，日志获取高效、简单、准确。

本系统除利用用户自定义规则和安全规则库进行日志审计外，还引入了聚类方法，能够挖掘规则外内容，如智能设备运行规律、用户使用习惯以及孤立点对应的异常事件，并能够将异常事件动态补偿给安全规则库。

在一些实施例中，所述日志解析器可以包括：

日志清洗器：用于将所述原始日志中的冗余信息去除，将所述原始日志解析为所述结构化日志；

事件抽取器：用于提取出解析后的所述结构化日志记录的操作事件，具体地，操作事件指在部分智能设备中，用户的一次操作行为会被分解成一系列操作事件，如在用户利用数码复印机进行复印操作时，复印行为在数码复印机中对应登录、复印、登出三个操作事件；

日志组合器：用于根据所述结构化日志发生的时间和操作事件，将单条所述结构化日志按照上下文进行组合，生成对应的日志序列。

在一些实施例中，所述日志分析引擎包括：

规则匹配器：用于根据用户配置的规则和安全规则库中的日志分析规则，从所述结构化日志中匹配出相应日志记录，并对日志记录进行汇总和整理，具体表现为对命中数量进行记录、对命中内容高亮显示；

聚类分析器：用于对所述日志解析器生成的所述日志序列进行层次聚类，根据聚类结果发现大聚簇和孤立点，由大聚簇分析设备运行规律，由孤立点发现异常行为，从而获得结构化日志中规则外蕴含的信息；

日志分析接口：用于根据所述规则匹配器和所述聚类分析器的结果与日志分析报告器进行交互。

基于相同的发明创造，本发明还提供了一种智能设备日志的处理方法。如图2所示，该方法包括以下步骤：

S11：根据接收的智能设备的参数，获取智能设备非结构化或半结构化的原始日志；

S12：将所述非结构化或半结构化的原始日志解析成结构化日志，生成日志序列；

S13：根据安全规则库的日志分析规则对所述结构化日志进行规则匹配；

S14：对所述日志序列进行层次聚类；

S15：根据所述日志序列的规则匹配结果以及层次聚类结果生成报告；以及输出所述报告。

在一些实施例中，上述获取智能设备非结构化或半结构化的原始日志具体可以包括：识别智能设备的品牌和型号；确定智能设备所采用的协议以及通信方式；根据智能设备所采用的协议和交互方式向智能设备对应的IP发送请求；以及通过解析智能设备返回的响应获取智能设备运行过程生成的原始日志。

在一些实施例中，所述对原始日志进行解析还可以包括以下步骤：

S21：将所述原始日志中的冗余信息去除，将所述原始日志解析为所述结构化日志；

S22：提取解析后的所述结构化日志记录的操作事件；

S23：根据所述结构化日志发生的时间和所述操作事件，将单条所述结构化日志按照上下文进行组合，生成对应的日志序列。

日志解析器除了会生成结构化日志外，还会对结构化日志根据上下文进行分析，形成日志组合，从而保证在聚类过程中聚类对象不是单条日志而是日志组合，从而提升聚类效果。

具体地，所述规则匹配和层次聚类可以包括：

根据用户配置的规则和所述安全规则库中的日志分析规则，从所述结构化日志中匹配出相应日志记录；

对所述日志解析器生成的所述日志序列进行层次聚类，根据聚类结果发现大聚簇和孤立点，由大聚簇分析设备运行规律，由孤立点发现异常行为，获得结构化日志中规则外蕴含的信息；

根据所述规则匹配器和所述聚类分析器的结果与所述日志分析报告器进行交互。

如图3所示，在一些实施例中，上述对结构化日志的规则匹配和日志序列的层次聚类分析具体可以包括以下步骤：

a)判断待分析日志是结构化日志还是日志序列，如果是结构化日志，通过规则匹配器，利用用户自定义规则和安全规则库中规则对结构化日志进行匹配，统计命中数量，记录命中日志，进入步骤f，如果是日志序列，进入步骤b；

b)对于日志序列，对其进行预处理，将日志序列转换成向量数据；

c)利用向量数据生成距离矩阵，计算方法是改进的余弦相似度算法，并输入层次聚类算法，生成聚类树，日志间距离的计算方法并没有使用日志聚类中常用的汉明距离，而是对向量化后的日志数据采用改进余弦相似度进行计算，生成距离矩阵；

d)针对不同聚簇数量计算相关评价指标参数，选取最佳参数对应的聚簇数量作为聚簇数目；

e)遍历每个聚簇数目内的日志，统计各聚簇数目内日志数量和类型；

f)对步骤a和步骤e的结果进行归纳分析和关联分析，生成新的安全规则并补偿入安全规则库。

本系统除利用用户自定义规则和安全规则库进行日志审计外，还引入了聚类方法，能够挖掘规则外内容，如智能设备运行规律、用户使用习惯以及孤立点对应的异常事件，并能够将异常事件动态补偿给安全规则库，提升了日志的审计效果。

基于相同的发明创造，本发明还提供了一种智能设备日志处理系统的保密安全检查方法，如图4所示，包括以下步骤：

S41：提交待测智能设备参数；

S42：进入待测智能设备日志处理系统，并获得留存的日志审计报告；

S43：检测日志审计报告；

S44：基于检测结果，通过风险定位、风险排查和溯源对违规操作溯源。

保密单位对其涉密智能设备进行安全检查时，可以使用本系统对智能设备留存的日志进行获取和检测，查找风险操作，并对违规操作溯源，提升了系统的实用性。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。