一种基于深度序列学习的日志异常检测方法

本发明属于序列数据分析和信息系统智能运维领域，提出了一种基于深度序列学习的日志异常检测方法。

背景技术：

1、随着计算机系统的规模和复杂性不断增加，系统日志已成为计算机系统管理中重要的信息来源。日志文件记录了各种系统组件的运行情况、用户操作行为、网络流量等重要信息，对于系统管理、故障排除和业务监控都具有重要意义。

2、目前，根据检测模型，日志异常检测可分为传统机器学习和深度学习方法。传统机器学习模型具有可解释性高、对特定数据集的检测效果好等优点，但存在对于大规模数据集的处理效果较差，对特征工程的高度依赖等问题。随着深度学习的快速发展，许多研究将深度学习引入了日志异常检测。可传统深度学习方法将日志的不同特征分开训练相应的模型，忽略了特征之间的关联性，难以处理复杂多样的日志数据。

技术实现思路

1、如图1所示，本发明方法所提出的基于深度序列学习的日志异常检测方法如下：

2、1.本方法由两个阶段：模型训练阶段和异常检测阶段组成。

3、2.将正常的日志数据集进行数据解析，使用滑动窗口技术获取所需要的日志特征。

4、3.模型训练阶段：

5、s1如图1所示，将(2)中生成的日志特征分别输入其所对应的模型(模型可以但不唯一是双向门控循环单元网络(bi-directional gated recurrent unit networks,bigru)，模型个数由特征种类数量决定，此处假设特征种类数量为n)。

6、s2将各模型输出的结果连接后输入自注意力机制。

7、s3自注意力机制输出下一时刻日志分布概率。

8、s4提取出s3中概率最大的k个日志模版构成日志模版候选集。若系统实际产生的日志模版在日志模版候选集中，则认为该日志正常，否则认为该日志异常。

9、s5输出训练后的模型，保存模型数据。

10、5.异常检测阶段：

11、s1完成步骤3后，对于需要检测的日志，首先对其进行步骤2的操作，获得所需的日志特征。

12、s2将日志特征输入步骤3保存的模型中，模型返回日志异常检测的结果。

技术特征：

1.一种基于深度序列学习的日志异常检测方法，其特征在于：本方法共有两个阶段：深度序列学习神经网络模型(以下简称模型)训练阶段和异常检测阶段；在模型训练阶段，将正常的日志数据集进行数据预处理，获得所需要的日志特征(包括但不限于日志模版滑动窗口数据集和日志模版频率向量集)；随后将日志特征分别输入到对应的模型中进行训练；在异常检测阶段，将系统当前的日志经过预处理后输入模型中，模型输出日志的异常检测结果。

2.根据权利要求1所述的日志异常检测方法，其特征在于，该方法包括以下步骤：

3.根据权利要求2所述的日志异常检测方法，其特征在于，s2、s3获取的最终日志异常检测结果具体为：自注意力机制输出预测的下一时刻日志模版，取出概率最大的k个日志模版放入日志模版候选集；若系统下一时刻产生的日志所对应的日志模版不在日志模版候选集中，则认为该时刻日志异常。

技术总结
本发明提出了一种基于深度序列学习的日志异常检测方法，其技术领域为序列数据分析和信息系统智能运维。本方法涉及日志数据的解析、日志特征的构建、神经网络模型的训练和测试。本发明方法主要提供如下内容：对日志数据集进行数据预处理，获得所需要的日志特征，将这些日志特征分别输入到对应的神经网络模型中进行训练，保存训练后的神经网络模型；在日志的异常检测时，将系统当前的日志经过预处理后输入神经网络模型中，神经网络模型输出日志的异常检测结果，最终实现了日志的异常检测。

技术研发人员：郭茂耘,杨涵,张程
受保护的技术使用者：重庆大学
技术研发日：
技术公布日：2024/1/13