基于反卷积神经网络的日志监控方法及装置与流程

1.本发明涉及人工智能技术领域，尤其涉及一种基于反卷积神经网络的日志监控方法及装置。


背景技术：

2.本部分旨在为权利要求书中陈述的本发明实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
3.程序开发工作中日志的存在异常重要，为了能够实时监控程序运行状态以及及时解决出现的问题，日志监控在生产生活中非常重要。目前，日志监控方法种类较多，多数以行为异常检测、区块链为工具，其中，行为异常检测方法原理如下：首先对日志进行预处理(统一日志结构并聚类)、然后生成行为模式、获取异常指数，比对异常指数与阈值决定是否发出异常预警。基于区块链的日志监控方法基本原理如下：将日志文件发送到区块链网络，对日志文件进行解析、验证可靠性真实性等。现有日志监控方法的缺点是：现有的日志监控方法大多只用来发现异常，不能实时监控、及时预警，应用范围小，性能差。


技术实现要素：

4.本发明实施例提供一种基于反卷积神经网络的日志监控方法，用以及时有效地监控异常日志，该方法包括：
5.获取待监控日志图像；
6.对待监控日志图像进行分段处理，得到多段待监控日志子图像；
7.将每一段待监控日志子图像输入反卷积神经网络模型中进行自适应关键特征提取，得到每一段待监控日志子图像对应的关键特征图像；所述反卷积神经网络模型根据多个日志图像样本预先训练生成；
8.对每一段待监控日志子图像对应的关键特征图像进行关键字日志监控，得到日志监控结果；所述日志监控结果用于监控程序运行状态。
9.本发明实施例还提供一种基于反卷积神经网络的日志监控装置，用以及时有效地监控异常日志，该装置包括：
10.获取单元，用于获取待监控日志图像；
11.分段处理单元，用于对待监控日志图像进行分段处理，得到多段待监控日志子图像；
12.提取单元，用于将每一段待监控日志子图像输入反卷积神经网络模型中进行自适应关键特征提取，得到每一段待监控日志子图像对应的关键特征图像；所述反卷积神经网络模型根据多个日志图像样本预先训练生成；
13.监控单元，用于对每一段待监控日志子图像对应的关键特征图像进行关键字日志监控，得到日志监控结果；所述日志监控结果用于监控程序运行状态。
14.本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并
可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于反卷积神经网络的日志监控方法。
15.本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述基于反卷积神经网络的日志监控方法。
16.本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现上述基于反卷积神经网络的日志监控方法。
17.本发明实施例中，基于反卷积神经网络的日志监控方案，通过：获取待监控日志图像；对待监控日志图像进行分段处理，得到多段待监控日志子图像；将每一段待监控日志子图像输入反卷积神经网络模型中进行自适应关键特征提取，得到每一段待监控日志子图像对应的关键特征图像；所述反卷积神经网络模型根据多个日志图像样本预先训练生成；对每一段待监控日志子图像对应的关键特征图像进行关键字日志监控，得到日志监控结果；所述日志监控结果用于监控程序运行状态，可以及时有效地监控异常日志。
附图说明
18.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
19.图1为本发明实施例中基于反卷积神经网络的日志监控方法的流程示意图；
20.图2为本发明另一实施例中基于反卷积神经网络的日志监控方法的流程示意图；
21.图3为本发明另一实施例中基于反卷积神经网络的日志监控方法的流程示意图；
22.图4为本发明实施例中基于反卷积神经网络的日志监控装置的结构示意图；
23.图5为本发明另一实施例中基于反卷积神经网络的日志监控装置的结构示意图。
具体实施方式
24.为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。
25.本发明实施例提供一种基于反卷积神经网络的日志监控方案，该方案利用自适应反卷积神经网络对分段的日志图像重要信息特征提取，抓取关键特性进行实时监控，保障程序运行状态。下面对该基于反卷积神经网络的日志监控方案进行详细介绍。
26.图1为本发明实施例中基于反卷积神经网络的日志监控方法的流程示意图，如图1所示，该方法包括如下步骤：
27.步骤101：获取待监控日志图像；
28.步骤102：对待监控日志图像进行分段处理，得到多段待监控日志子图像；
29.步骤103：将每一段待监控日志子图像输入反卷积神经网络模型中进行自适应关键特征提取，得到每一段待监控日志子图像对应的关键特征图像；所述反卷积神经网络模型根据多个日志图像样本预先训练生成；
30.步骤104：对每一段待监控日志子图像对应的关键特征图像进行关键字日志监控，得到日志监控结果；所述日志监控结果用于监控程序运行状态。
31.本发明实施例提供的基于反卷积神经网络的日志监控方法，工作时：获取待监控日志图像；对待监控日志图像进行分段处理，得到多段待监控日志子图像；将每一段待监控日志子图像输入反卷积神经网络模型中进行自适应关键特征提取，得到每一段待监控日志子图像对应的关键特征图像；所述反卷积神经网络模型根据多个日志图像样本预先训练生成；对每一段待监控日志子图像对应的关键特征图像进行关键字日志监控，得到日志监控结果；所述日志监控结果用于监控程序运行状态，可以及时有效地监控异常日志。下面对该基于反卷积神经网络的日志监控方法进行详细介绍。
32.考虑到如果日志中信息过多，容易造成字符轮廓特征提取不明显的技术问题，因此，发明人提出了将日志分块，提升关键字轮廓识别准确率，进而提升日志监控准确度的方案，该方案中反卷积神经网络具有高度自适应特性，对于图像重要特征的提取性能优越，不仅能够监控异常日志，及时解决问题，同时也可以实时监控程序运行阶段及状态。
33.首先，在实施本发明之前，首先预先建立了反卷积神经网络模型，该模型的网络结构具有高度的自适应特性，网络参数随网络输入可变，而最优网络参数是在多轮迭代中基于目标函数最小化的原理确定的，这一设计扩展了该神经网络的应用场景。该反卷积神经网络模型的输入为日志子图像，输出是日志子图像对应的关键特征图像。
34.在一个实施例中，对待监控日志图像进行分段处理，得到多段待监控日志子图像，可以包括：根据监控实时性的精度要求，对待监控日志图像进行分段处理，得到多段待监控日志子图像。
35.具体实施时，明确监控需求以及实时性的精度要求，基于此进行日志图像预处理(分段、去噪、归一化)，特征提取，关键字监控，进一步提高了日志监控的精度。
36.在一个实施例中，如图2所示，上述基于反卷积神经网络的日志监控方法还可以包括步骤201：对每一段待监控日志子图像进行日志图像预处理，得到预处理后的每一段待监控日志子图像；
37.将每一段待监控日志子图像输入反卷积神经网络模型中进行自适应关键特征提取，得到每一段待监控日志子图像对应的关键特征图像，可以包括：将预处理后的每一段待监控日志子图像输入反卷积神经网络模型中进行自适应关键特征提取，得到每一段待监控日志子图像对应的关键特征图像。
38.具体实施时，对每一段待监控日志子图像进行日志图像预处理后输入反卷积神经网络模型中进行自适应关键特征提取，进一步提高了日志监控的精度。另外，关于关键特征的提取：日志图片中多中文和英文字符，通过提取图像水平和垂直方向的纹理特征可以有效加强字符轮廓特征，有利于识别日志异常关键字。
39.在一个实施例中，对每一段待监控日志子图像进行日志图像预处理，得到预处理后的每一段待监控日志子图像，可以包括：对每一段待监控日志子图像进行日志图像去噪、归一化处理，得到预处理后的每一段待监控日志子图像。
40.具体实施时，对每一段待监控日志子图像进行日志图像预处理的操作可以包括：对每一段待监控日志子图像进行去噪、归一化等预处理，进一步提高了日志监控的精度。
41.在一个实施例中，如图3所示，将每一段待监控日志子图像输入反卷积神经网络模
型中进行自适应关键特征提取，得到每一段待监控日志子图像对应的关键特征图像，可以包括：将每一段待监控日志子图像输入反卷积神经网络模型中基于目标函数极小化的原则对图像进行关键特征提取，得到每一段待监控日志子图像对应的关键特征图像；所述目标函数为基于需求设计的反卷积神经网络目标函数。
42.具体实施时，设计反卷积神经网络目标函数，将经过处理的图像输入到反卷积神经网络中，基于目标函数极小化的原则对图像进行特征提取，获取重要特征图像，进一步提高了日志监控的精度。目标函数的形式可以多种多样，主要基于极小化的原则建立即可。
43.在上述步骤104中，(1)如果日志中信息过多，容易造成字符轮廓特征提取不明显，因此将日志分块，提升关键字轮廓识别准确率。训练过的反卷积神经网络模型具有异常关键字的“记忆”，将这一特性应用于关键特征图像识别中，判定关键特征图像是否存在异常关键字，从而决定是否要告警。(2)关键字可以包括：“失败”，“异常”，“error”等，(3)得到的日志监控结果就是“存在异常”和“不存在异常”两种输出。
44.为了理解本发明如何实施，下面再介绍基于反卷积神经网络的日志监控方法的整体流程。
45.第一步：通过差异化的要求对日志图像进行分段,并对分段后的图像进行预处理(去噪、归一化等)；
46.第二步：将经过处理的图像输入反卷积神经网络中进行自适应重要特征提取，获取特征图像；
47.第三步：对特征图像进行关键字监控，及时跟进运行状态、发现运行问题。
48.为了实施本发明实施例，本发明实施例可以包括如下模块：
49.日志预处理模块：对于获取的日志图像根据实时性精度要求进行分块，对分块后的图像进行去噪、归一化处理；
50.特征提取模块：根据需求设计目标函数，基于极小化的原则将处理后的日志图像输入反卷积神经网络进行特征提取，获取重要特征图像；
51.监控结果反馈模块：对特征图像进行关键字监控，反馈监控结果。
52.增加日志预处理模块，有利于减少日志中冗余信息对于监控的干扰性。
53.基于上述模快的设计，基于反卷积神经网络的日志监控方法流程可以是：
54.1.将日志图像输入日志预处理模块：基于实时性要求的精度对图像进行分块，然后进行去噪、归一化等处理；
55.2.将处理后的图像输入特征提取模块：设计反卷积神经网络目标函数，将经过处理的图像输入到反卷积神经网络中，基于目标函数极小化的原则对图像进行特征提取，获取重要特征图像；
56.3.将特征图像输入监控结果反馈模块：对特征图像进行关键字监控，反馈监控结果。
57.综上，本发明实施例提供的基于反卷积神经网络的日志监控方法的优点是：基于需求对日志图像进行预处理，利用具有高度自适应性的反卷积神经网络对于图像的重要信息进行提取，然后对特征图像进行关键字监控，获取监控结果。本发明应用范围广，实用性能强。
58.本技术技术方案中对数据的获取、存储、使用、处理等均符合国家法律法规的相关
规定。
59.本发明实施例中还提供了一种基于反卷积神经网络的日志监控装置，如下面的实施例所述。由于该装置解决问题的原理与基于反卷积神经网络的日志监控方法相似，因此该装置的实施可以参见基于反卷积神经网络的日志监控方法的实施，重复之处不再赘述。
60.图4为本发明实施例中基于反卷积神经网络的日志监控装置的结构示意图，如图4所示，该装置包括：
61.获取单元01，用于获取待监控日志图像；
62.分段处理单元02，用于对待监控日志图像进行分段处理，得到多段待监控日志子图像；
63.提取单元03，用于将每一段待监控日志子图像输入反卷积神经网络模型中进行自适应关键特征提取，得到每一段待监控日志子图像对应的关键特征图像；所述反卷积神经网络模型根据多个日志图像样本预先训练生成；
64.监控单元04，用于对每一段待监控日志子图像对应的关键特征图像进行关键字日志监控，得到日志监控结果；所述日志监控结果用于监控程序运行状态。
65.在一个实施例中，所述分段处理单元具体用于：根据监控实时性的精度要求，对待监控日志图像进行分段处理，得到多段待监控日志子图像。
66.在一个实施例中，如图5所示，上述基于反卷积神经网络的日志监控装置还可以包括：预处理单元21，用于对每一段待监控日志子图像进行日志图像预处理，得到预处理后的每一段待监控日志子图像；
67.所述提取单元具体用于：将预处理后的每一段待监控日志子图像输入反卷积神经网络模型中进行自适应关键特征提取，得到每一段待监控日志子图像对应的关键特征图像。
68.在一个实施例中，所述预处理单元具体用于：对每一段待监控日志子图像进行日志图像去噪、归一化处理，得到预处理后的每一段待监控日志子图像。
69.在一个实施例中，所述提取单元具体用于：将每一段待监控日志子图像输入反卷积神经网络模型中基于目标函数极小化的原则对图像进行关键特征提取，得到每一段待监控日志子图像对应的关键特征图像；所述目标函数为基于需求设计的反卷积神经网络目标函数。
70.本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于反卷积神经网络的日志监控方法。
71.本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述基于反卷积神经网络的日志监控方法。
72.本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现上述基于反卷积神经网络的日志监控方法。
73.本发明实施例中，基于反卷积神经网络的日志监控方案，通过：获取待监控日志图像；对待监控日志图像进行分段处理，得到多段待监控日志子图像；将每一段待监控日志子图像输入反卷积神经网络模型中进行自适应关键特征提取，得到每一段待监控日志子图像
对应的关键特征图像；所述反卷积神经网络模型根据多个日志图像样本预先训练生成；对每一段待监控日志子图像对应的关键特征图像进行关键字日志监控，得到日志监控结果；所述日志监控结果用于监控程序运行状态，可以及时有效地监控异常日志。
74.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
75.本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
76.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
77.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
78.以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。