一种故障日志处理的方法及装置与流程

本发明涉及计算机技术，尤指一种故障日志处理的方法及装置。

背景技术：

随着互联网的飞速发展，数据中心承载着各种数据的采集、存储及分析等功能，并随着业务的增加，业务主机会出现各种软件或者硬件的故障，影响着业务的稳定运行，传统监控只能通过标准接口去监控设备的运行状态，能够获取到设备的信息有限，对于内部的故障不能够监控，已经不能够满足客户需求。

技术实现要素：

为了解决上述技术问题，本发明提供了一种故障日志处理的方法及装置，能够提高数据中心设备运行的稳定性。

为了达到本发明目的，本发明提供了一种故障日志处理的方法，其中，包括：

对采集到的故障日志进行分割；

对分割后的故障日志进行特征提取，根据提取的特征构造输入矩阵作为训练样本；

将所述训练样本输入bp神经网络进行训练；

通过训练后的bp神经网络对故障日志进行分类。

进一步地，所述对采集到的故障日志进行分割，包括：

将采集到的故障日志按照文本段落进行分割，每一段日志为一条数据。

进一步地，所述每一条数据采用空格作为分词器进行分割。

进一步地，所述根据提取的特征构造输入矩阵作为训练样本，包括：

将预设关键字作为特征，当分割后的故障日志中能够匹配到所述预设关键字，则输出置为1，否则置为0，将所述输出的值按照固定顺序组装成向量构成输入矩阵作为训练样本。

一种故障日志处理的装置，包括：存储器和处理器；其中：

所述存储器，用于保存用于日志故障处理的程序；

所述处理器，用于读取执行所述用于日志故障处理的程序，执行如下操作：

对采集到的故障日志进行分割；

对分割后的故障日志进行特征提取，根据提取的特征构造输入矩阵作为训练样本；

将所述训练样本输入bp神经网络进行训练；

通过训练后的bp神经网络对故障日志进行分类。

进一步地，所述对采集到的故障日志进行分割，包括：

将采集到的故障日志按照文本段落进行分割，每一段日志为一条数据。

进一步地，所述每一条数据采用空格作为分词器进行分割。

进一步地，所述根据提取的特征构造输入矩阵作为训练样本，包括：

将预设关键字作为特征，当分割后的故障日志中能够匹配到所述预设关键字，则输出置为1，否则置为0，将所述输出的值按照固定顺序组装成向量构成输入矩阵作为训练样本。

综上所述，本发明实施例的方案，通过对监控主机进行收集日志，进行日志的特征提取，构造输入矩阵，之后通过bp神经网络进行日志故障分类，进而产生告警，这样大大的提高了数据中心设备运行的稳定性，保证各种业务的正常运行。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。

图1为本发明实施例的一种故障日志处理的方法的流程图；

图2为bp神经网络的拓扑示意图；

图3为本发明实施例的一种故障日志处理的装置的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图1为本发明实施例的一种故障日志处理的方法的流程图，如图1所示，本实施例的方法包括：

步骤101、对采集到的故障日志进行分割；

步骤102、对分割后的故障日志进行特征提取，根据提取的特征构造输入矩阵作为训练样本；

步骤103、将所述训练样本输入bp神经网络进行训练；

步骤104、通过训练后的bp神经网络对故障日志进行分类。

本发明实施例的方法将采集到的日志按照文本段落进行分割，每一段日志为一条数据，每一条数据采用空格作为分词器进行分割，将分割后的单词，分别采用不同的特征提取器进行提取，将提取到的体征进行编号后，进行构造网络的输入矩阵；采用bp神经网络来实现故障的分类，进而产生告警，这样大大的提高了数据中心设备运行的稳定性，保证各种业务的正常运行。

并且，如果当前的分类标准不能满足客户的需要，客户可以将采集到的新的数据和旧的数据进行合并训练，以达到增长学习的过程。

本实施例中，可以设计特征提取器，特征提取器采用预设关键字、关键词或者句作为特征，当日志中分割后的词能够匹配(精确匹配或正则匹配)到特征提取器中的关键字时，认为该特征提取到相关特征，则该特征提取器的输出置为1，否则置为0。将所有特征采集器输出的值按照固定顺序组装成向量，则构成输入矩阵。

例如特征提取器1，预设关键字为[“memusage”、“memory”]，如果在分割后日志中，出现“memusage”或者“memory”，则认为特征提取到相关特征，则该特征提取输出置为1，否则置为0。

bp神经网络是一种多层前馈神经网络，bp神经网络的主要特点是信号向前传递，误差反向传播。在向前传递中，输入信号从输入层到隐含层进行逐层的处理，直到最终输出层。每一次的神经元的状态都会影响到下一次神经元的状态，如果输出层计算出来的结果与期望的输出偏差较大，则进入反向传播，根据预测的误差，对网络的权值和阈值进行调整，从而使bp神经网络的预测的输出值不断的逼近期望的输出值。bp神经网络的拓扑结果如图2所示。

bp神经网络首先要经过训练，通过训练才能使网络具有联想、记忆和预测的能力。bp神经网络的训练过程具体包含以下几个步骤：

1)网络的初始化，根据系统的输入和输出值(x，y)来确定bp神经网络输入层节点数n，隐含层节点数了，输出层节点数m，并且初始化各个神经元之间的权值wjk，wij及隐含层阈值a，输出层阈值b，设定学习率、神经元激励函数和最大迭代次数。

2)隐含层输入计算。根据输入向量x，输入层和隐含层之间的权值wij、阈值a，计算隐含层的输入值h。

其中，

式中，l为隐含层节点数，n为输入节点数，f为激励函数。

3)输出层计算。根据隐含层输出h、隐含层和输出层的阈值b以及权值wjk，计算bp神经网络的输入o。

4)误差计算。根据网络的预测输出值o和期望输出值y做误差计算e。

ek＝yk-ok,k＝1,2,...,m

5)权值更新。根据计算出来的偏差e，更新wjk和wij。

wjk＝wjk+ηhjek

其中，η为学习率。

6)阈值更新。根据网络误差e，对阈值a和b，进行更新。

bk＝bk+ek。

7)根据误差或者迭代次数判断是否结束，如果不满足结束标准，则返回步骤2)。

bp神经网络的故障分类，则是由构造的输入矩阵，输入到bp神经网络，进行逐层的计算，最终输出的预测则为故障的最终预测故障分类。

本发明实施例的方法通过对监控主机进行收集日志，进行日志的特征提取，构造输入矩阵，之后通过bp神经网络进行日志故障分类，进而产生告警，这样大大的提高了数据中心设备运行的稳定性，保证各种业务的正常运行。

图3为本发明实施例的一种故障日志处理的装置的示意图，如图3所示，本实施例的装置可以包括：存储器和处理器，其中，

所述存储器，用于保存用于日志故障处理的程序；

所述处理器，用于读取执行所述用于日志故障处理的程序，执行如下操作：

对采集到的第一故障日志进行分割；

对分割后的故障日志进行特征提取，根据提取的特征构造输入矩阵作为第一训练样本；

将所述第一训练样本输入bp神经网络进行训练；

通过训练后的bp神经网络对故障日志进行分类。

在一实施例中，所述对采集到的故障日志进行分割，包括：

将采集到的故障日志按照文本段落进行分割，每一段日志为一条数据。

在一实施例中，所述每一条数据采用空格作为分词器进行分割。

在一实施例中，所述根据提取的特征构造输入矩阵作为训练样本，包括：

将预设关键字作为特征，当分割后的故障日志中能够匹配到所述预设关键字，则输出置为1，否则置为0，将所述输出的值按照固定顺序组装成向量构成输入矩阵作为训练样本。

本发明实施例还提供了一种计算机可读存储介质，其存储有计算机可执行指令，所述计算机可执行指令被执行时实现所述故障日志处理的方法。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于ram、rom、eeprom、闪存或其他存储器技术、cd-rom、数字多功能盘(dvd)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。