一种故障数据信息处理方法及装置与流程

本发明属于数据处理领域，尤其涉及一种故障数据信息处理方法及装置。

背景技术：

随着信息时代的持续发展，公司面对的业务越来越复杂，运维工作人员的工作压力越来越大。特别地，系统发生故障时，故障的定位和排除就非常困难。如果定位和排除故障耗费的时间较长，将会影响公司正常的业务运转，给公司带来较大的损失。因此，需要一套故障自动化诊断和处理的解决方案，帮助运维人员快速的定位和排除故障，减少公司损失。

故障诊断和处理解决方案必然依托于故障诊断和处理数据仓库，只有大量的历史故障案例作为训练数据，才能建立计算机自动化、智能化的故障诊断和处理平台。但是，故障数据信息具有数量大、种类繁多的特点，因此如何对故障数据信息进行高效的存取和自动分类成为亟待解决的技术问题。

技术实现要素：

本发明提供一种故障数据信息处理方法及装置，以解决上述问题。

本发明实施例提供一种故障数据信息处理方法，上述方法包括以下步骤：将分类后的故障数据信息存入对应的关系表，为所述故障数据信息建立一级索引并且为每个关系表建立二级索引；故障发生时，通过索引信息进行查询，确定对应的故障类型。

本发明实施例提供了一种故障数据信息处理装置，包括索引建立模块、故障类型确定模块；其中，所述索引建立模块与所述故障类型确定模块相连；

所述索引建立模块，用于将分类后的故障数据信息存入对应的关系表，为所述故障数据信息建立一级索引并且为每个关系表建立二级索引；

所述故障类型确定模块，用于通过从所述索引建立模块中获取的索引信息进行查询，进而确定对应的故障类型。

通过以下方案：将分类后的故障数据信息存入对应的关系表，为所述故障数据信息建立一级索引并且为每个关系表建立二级索引；故障发生时，通过索引信息进行查询，确定对应的故障类型；既实现了通过多级索引达到故障数据信息高效存取的目的，又解决了故障数据信息分类困难的技术问题，从而实现了针对故障数据信息进行高效的存取和自动分类，减少人为故障排查和处理花费的时间，降低公司的损失。

通过以下方案：通过标注的故障数据信息，获取分类模型并通过所述分类模型，对故障数据信息进行自动分类，解决了故障数据信息分类困难的技术问题。

通过以下方案：采用随机算法从故障数据信息中选择对应的故障数据信息进行人工标注，并将人工标注的故障数据信息作为训练样本数据集；采用机器学习分类算法对所述训练样本数据集进行处理，获得分类模型并通过所述分类模型对剩余的故障数据信息进行自动分类，解决了故障数据信息分类困难的技术问题，减少人为故障排查和处理花费的时间。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1所示为本发明实施例1的故障数据信息处理方法流程图；

图2所示为本发明实施例2的故障数据信息处理装置结构图；

图3所示为本发明实施例3的故障数据信息处理装置结构图；

图4所示为本发明实施例4的故障数据信息处理装置结构图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

图1所示为本发明实施例1的故障数据信息处理方法流程图，包括以下步骤：

步骤101：通过标注的故障数据信息，获取分类模型并通过所述分类模型，对故障数据信息进行自动分类；

进一步地，对故障数据信息进行标注的方式包括：人工标注、计算机自动分类标注。

进一步地，采用随机算法从故障数据信息中选择对应的故障数据信息进行人工标注，并将人工标注的故障数据信息作为训练样本数据集；

采用机器学习分类算法对所述训练样本数据集进行处理，获得分类模型并通过所述分类模型对剩余的故障数据信息进行自动分类。

进一步地，将分类后的故障数据信息存入故障仓库中。

进一步地，所述故障数据信息包括硬件故障和软件故障，其中软件故障包括业务逻辑异常、依赖模块异常、系统底层异常，硬件故障包括网络故障、存储故障、cpu故障。

步骤102：将分类后的故障数据信息存入对应的关系表，为所述故障数据信息建立一级索引并且为每个关系表建立二级索引；

步骤103：故障发生时，通过索引信息进行查询，确定对应的故障类型。

具体而言，当系统出现故障时，一方面需要通过分析历史故障数据信息来确定其类型；另一方面需要将新出现的故障数据信息更新到故障仓库中。

由于故障数据信息可能有十万甚至百万条，因此，需要进行高效的存取。

本实施例利用索引思想，将不同的故障数据信息存入不同的关系表中，为故障数据信息建立一级索引，然后为每个关系表在建立二级索引，从而快速、高效的对故障数据信息进行查询和更新。

本发明主要内容包括以下几点：

1)系统故障诊断和处理数据仓库数据来源；

2)系统故障诊断和处理数据仓库中数据的分类；

3)系统故障诊断和处理数据仓库的数据存储。

数据来源主要包括：公司内部历史故障数据信息、网络爬取数据；将获取的公司内部历史故障数据信息、网络爬取数据存储至临时故障数据信息仓库。

判断临时故障数据信息仓库中的故障数据信息是否被抽取到，若被抽取到，则进行人工标注，否则还存放至临时故障数据信息仓库中。

将人工标注后的故障数据信息作为训练样本数据集，进行半监督机器学习分类算法模型训练，完成故障数据信息分类(采用机器学习分类算法对所述训练样本数据集进行处理，获得分类模型并通过所述分类模型对剩余的故障数据信息进行自动分类)；将分类后的故障数据信息存入故障仓库中。

图2所示为本发明实施例2的故障数据信息处理装置结构图，包括索引建立模块、故障类型确定模块；其中，所述索引建立模块与所述故障类型确定模块相连；

所述索引建立模块，用于将分类后的故障数据信息存入对应的关系表，为所述故障数据信息建立一级索引并且为每个关系表建立二级索引；

所述故障类型确定模块，用于通过从所述索引建立模块中获取的索引信息进行查询，进而确定对应的故障类型。

图3所示为本发明实施例3的故障数据信息处理装置结构图，在图2的基础上增加了分类模块，其中，所述分类模块与所述索引建立模块相连；

所述分类模块，用于通过标注的故障数据信息，获取分类模型并通过所述分类模型，对故障数据信息进行自动分类。

进一步地，将分类后的故障数据信息存入故障仓库中。

进一步地，对故障数据信息进行标注的方式包括：人工标注、计算机自动分类标注。

进一步地，所述分类模块，还用于采用随机算法从故障数据信息中选择对应的故障数据信息进行人工标注，并将人工标注的故障数据信息作为训练样本数据集；还用于采用机器学习分类算法对所述训练样本数据集进行处理，获得分类模型并通过所述分类模型对剩余的故障数据信息进行自动分类。

图4所示为本发明实施例4的故障数据信息处理装置结构图，在图3的基础上增加了存储模块，其中，所述存储模块与所述分类模块相连；

所述存储模块，用于存储分类后的故障数据信息。

通过以下方案：将分类后的故障数据信息存入对应的关系表，为所述故障数据信息建立一级索引并且为每个关系表建立二级索引；故障发生时，通过索引信息进行查询，确定对应的故障类型；既实现了通过多级索引达到故障数据信息高效存取的目的，又解决了故障数据信息分类困难的技术问题，从而实现了针对故障数据信息进行高效的存取和自动分类，减少人为故障排查和处理花费的时间，降低公司的损失。

通过以下方案：通过标注的故障数据信息，获取分类模型并通过所述分类模型，对故障数据信息进行自动分类，解决了故障数据信息分类困难的技术问题。

通过以下方案：采用随机算法从故障数据信息中选择对应的故障数据信息进行人工标注，并将人工标注的故障数据信息作为训练样本数据集；采用机器学习分类算法对所述训练样本数据集进行处理，获得分类模型并通过所述分类模型对剩余的故障数据信息进行自动分类，解决了故障数据信息分类困难的技术问题，减少人为故障排查和处理花费的时间。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。