日志分类方法、装置、电子设备和存储介质与流程

本申请属于人工智能(artificial intelligence，ai)，特别涉及一种日志分类方法、装置、电子设备和存储介质。

背景技术：

1、随着全球信息化的发展，网络设备的数量日益庞大，互联网技术(internettechnology，it)技术在企业的发展中发挥着越来越重要的作用。同时it系统变得越来越复杂，企业需要不断增加服务器的数量来维持网站和应用的业务性能，这将导致运维人员难以从容地处理服务器出现的各种问题。服务器在运行过程中，会产生大量的日志文件，这些日志文件包含服务器运行过程中一些重要信息。合理的应用服务器日志信息，可以帮助运维人员解决服务器的一些问题。

2、在相关技术中，可以利用神经网络对日志进行分类，然而，随着服务器和业务的增加，日志的种类在不断增加，在日志的种类不断增加的场景下，利用神经网络对日志进行分类的准确性较低。

技术实现思路

1、本申请实施例提供一种日志分类方法、装置、电子设备和计算机存储介质。

2、本申请实施例提供一种日志分类方法，所述方法包括：

3、针对原始日志数据集提取结构化日志模板；

4、构建所述结构化日志模板的词向量；

5、根据所述结构化日志模板的词向量，采用梯度下降(gradient decent)的搜索方法对用于日志分类的神经网络的网络结构进行搜索，得出目标网络结构；

6、在所述神经网络的网络结构为所述目标网络结构的情况下，对所述神经网络进行训练，得到训练后的神经网络；

7、基于所述训练后的神经网络进行日志分类。

8、在一些实施例中，所述神经网络包括用于处理时序数据的第一子网络和用于进行文本分类的第二子网络；所述根据所述结构化日志模板的词向量，采用梯度下降的搜索方法对用于日志分类的神经网络的网络结构进行搜索，得出目标网络结构，包括：根据所述结构化日志模板的词向量，采用梯度下降的搜索方法对所述第一子网络的网络结构参数、第二子网络的网络结构参数、以及所述第一子网络和第二子网络之间的连接结构参数进行搜索，得出目标网络结构的参数，所述目标网络结构的参数包括搜索出的第一子网络的网络结构参数、第二子网络的网络结构参数、以及所述第一子网络和第二子网络之间的连接结构参数；根据所述目标网络结构的参数，确定目标网络结构。

9、可以看出，本申请实施例通过采用梯度下降的搜索方法，可以对用于处理时序数据的第一子网络的结构、用于进行文本分类的第二子网络的结构、以及第一子网络和第二子网络之间的连接结构，搜索出的参数配置信息，从而，可以更加准确地确定出目标网络结构，进而，在神经网络的网络结构为目标网络结构的情况下，可以提高利用神经网络进行日志分类的准确性。

10、在一些实施例中，所述第一子网络为双向长短时记忆(bi-directional longshort-term memory，bilstm)网络。可以看出，由于bilstm网络为用于处理时序数据的网络，而日志数据为带有时序特征的数据，因此，在神经网络包括用于处理时序数据的bilstm网络的情况下，利用训练完成的神经网络可以更加准确地进行日志分类。

11、在一些实施例中，所述第二子网络为文本卷积神经网络(text convolutionalneural networks，textcnn)。可以看出，由于textcnn网络为用于进行文本分类的网络，而日志数据属于文本数据，因此，在神经网络包括用于进行文本分类的textcnn网络的情况下，利用训练完成的神经网络可以更加准确地进行日志分类。

12、在一些实施例中，所述针对原始日志数据集提取结构化日志模板，包括：对所述原始日志数据集中各个日志的固定不变的部分进行提取，得到所述结构化日志模板。

13、可以理解地，通过对原始日志数据集中各个日志的固定不变的部分进行提取，可以得到统一的结构化日志模板；由于原始日志中固定不变的部分可以反映原始日志的基本情况，因此，针对统一的结构化日志模板可以较为准确地进行后续的词向量构建。

14、在一些实施例中，所述构建所述结构化日志模板的词向量，包括：使用word2vec模型构建所述结构化日志模板的词向量。由于word2vec模型不仅可以表示上下文之间的关系，还可以表示更大词袋的向量，因此，使用word2vec模型，能够在一定程度上更加准确地构建结构化日志模板的词向量。

15、在一些实施例中，所述神经网络为深度学习网络。由于深度学习网络具有较强的特征提取能力，因此，利用训练完成的深度学习网络可以更加准确地对日志进行分类。

16、本申请实施例还提供了一种日志分类装置，所述装置包括：

17、提取模块，用于针对原始日志数据集提取结构化日志模板；

18、处理模块，用于构建所述结构化日志模板的词向量；根据所述结构化日志模板的词向量，采用梯度下降的搜索方法对用于日志分类的神经网络的网络结构进行搜索，得出目标网络结构；在所述神经网络的网络结构为所述目标网络结构的情况下，对所述神经网络进行训练，得到训练后的神经网络；

19、分类模块，用于基于所述训练后的神经网络进行日志分类。

20、本申请实施例还提供了一种电子设备，包括处理器和用于存储能够在处理器上运行的计算机程序的存储器；其中，所述处理器用于运行所述计算机程序以执行上述任意一种日志分类方法。

21、本申请实施例还提供了一种计算机存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述任意一种日志分类方法。

22、可以看出，本申请实施例中，通过采用梯度下降的搜索方法对用于日志分类的神经网络的网络结构进行搜索，可以高效地完成网络结构的搜索，可以根据原始日志数据集搜索出合适的网络结构，进而，在神经网络的网络结构为目标网络结构的情况下，可以提高利用神经网络进行日志分类的准确性。

技术特征：

1.一种日志分类方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述神经网络包括用于处理时序数据的第一子网络和用于进行文本分类的第二子网络；

3.根据权利要求2所述的方法，其特征在于，所述第一子网络为双向长短时记忆bilstm网络。

4.根据权利要求2所述的方法，其特征在于，所述第二子网络为textcnn网络。

5.根据权利要求1至4任一项所述的方法，其特征在于，所述针对原始日志数据集提取结构化日志模板，包括：

6.根据权利要求1至4任一项所述的方法，其特征在于，所述构建所述结构化日志模板的词向量，包括：使用word2vec模型构建所述结构化日志模板的词向量。

7.根据权利要求1至4任一项所述的方法，其特征在于，所述神经网络为深度学习网络。

8.一种日志分类装置，其特征在于，所述装置包括：

9.一种电子设备，其特征在于，包括处理器和用于存储能够在处理器上运行的计算机程序的存储器；其中，

10.一种计算机存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至9任一项所述的日志分类方法。

技术总结
本实施例公开了一种日志分类方法、装置、电子设备和计算机存储介质，该方法包括：针对原始日志数据集提取结构化日志模板；构建所述结构化日志模板的词向量；根据所述结构化日志模板的词向量，采用梯度下降的搜索方法对用于日志分类的神经网络的网络结构进行搜索，得出目标网络结构；在所述神经网络的网络结构为所述目标网络结构的情况下，对所述神经网络进行训练，得到训练后的神经网络；基于所述训练后的神经网络进行日志分类。

技术研发人员：李东江,张静,张宪波,杨继成
受保护的技术使用者：京东科技信息技术有限公司
技术研发日：
技术公布日：2024/1/14