一种基于故障检测的指标与故障相关性计算方法与流程

本发明涉及智能运维，特别涉及一种基于故障检测的指标与故障相关性计算方法。

背景技术：

1、故障检测和定位主要有无监督和有监督算法。首先，单纯的无监督算法，无法精确到实际的故障类型，只能定位到故障指标。其次，大部分有监督算法仅仅是做了故障指标定位，也没有对故障指标做更深层次的故障分类。

2、在实际运维中，故障指标的粒度过于细致，无法给出运维人员可操作的止损决策。且指标间是有关联的，故障发生时可能有多个指标表现异常。相比之下，故障分类可以直接端到端给出故障场景，结果更加明确，使运维人员可以直接采取对应的止损措施。但是，故障分类需要先确定故障与指标的关联关系，也就是相关性。通过指标与故障的相关性，才能检测出哪些指标异常对应的故障是什么。

3、现实情况中，指标种类非常多，如果通过人为手工分析，很难区分指标与故障的相关性，工作量也非常大，即使能区分出来，也是比较粗略的程度。

技术实现思路

1、本发明的目的旨在至少解决所述技术缺陷之一。

2、为此，本发明的目的在于提出一种基于故障检测的指标与故障相关性计算方法，该方法能够自动计算指标与故障的相关性，为后续的端到端的故障分类检测场景提供计算依据。

3、为了实现上述目的，本发明的实施例提供一种基于故障检测的指标与故障相关性计算方法，包括如下步骤：

4、步骤s1，获取历史性能指标数据，对所述历史性能指标数据进行故障标注，得到故障标注数据，其中，所述故障标注数据包括：故障发现的开始时间戳、故障位置和故障类型；对离线数据进行数据标注，以提取出标注的原始数据作为训练数据；

5、步骤s2，对所述标注的原始数据进行分类，然后根据分类好的数据采用无监督算法进行异常检测，得到疑似异常指标；

6、步骤s3，将所述疑似异常指标与所述故障标注数据进行比对，以判断所述疑似异常指标是否与所述故障标注数据关联，如果是则标记为关联异常指标；

7、步骤s4，计算所述关联异常指标与对应的故障类型的相关性系数r，当所述相关性系数r达到设定值时，停止计算并记录所述关联异常指标与故障类型的相关性；当所述相关性系数未达到设定值时，则进一步判断是否满足指标降维条件，如果满足降维条件则判断所述关联异常指标与故障类型没有相关性，排除所述关联异常指标；如果不满足降维条件则自动调整参数，执行步骤s5；

8、步骤s5，根据自动调整后的参数，返回所述步骤s2，重新计算疑似异常指标，迭代计算直至计算出所有异常指标与故障类型的相关性。

9、进一步，在所述步骤s2中，采用卷积神经网络算法对所述标注数据进行分类。

10、进一步，在所述步骤s2中，所述根据分类好的数据采用无监督算法进行异常检测，包括：预设初始参数，检测出异常数据指标。

11、进一步，在所述步骤s2中，所述无监督算法包括：阈值算法、3-sigma算法、指数加权移动平均ewma算法和多项式算法。

12、进一步，在所述步骤s3中，所述判断疑似异常指标是否与该故障标注数据关联，包括：

13、当判断所述疑似异常指标的发生时间在所述故障发现的开始时间戳之后的设置时间内，则标记所述疑似异常指标与对应的故障类型有关联。

14、进一步，在所述步骤s4中，计算所述相关性系数r，包括：

15、

16、其中，r为相关性系数，caf为与所述故障类型有关联的异常指标数量，cf为所述故障类型的故障总量，caa为异常指标总量。

17、进一步，所述相关性系数r的值越接近1，则判断所述有关联异常指标与对应的故障类型的相关性越强。

18、进一步，在所述步骤s4中，所述降维条件为：所述相关性系数r未达到设定值，且当前计算的相关性系数r的值低于上一次计算的r值。

19、进一步，在所述步骤s4中，在指标降维后，判断所述关联异常指标的数量是否为0，如果是则结束训练；否则自动调整参数，执行所述步骤s5。

20、进一步，在所述步骤s5之后，还包括如下步骤：

21、步骤s6，根据计算出来的异常指标与故障类型的相关性，生成异常指标与故障类型的相关性评分矩阵

22、本发明实施例的基于故障检测的指标与故障相关性计算方法，具有以下有益效果：

23、(1)先根据历史故障，标注故障时间、位置、类型，再根据异常检测算法，得出异常指标与故障的关联,可以避免大量的手工指标与故障关联标注过程，减去大量人工分析的工作,提高标注效率。

24、(2)能够自动计算指标与故障的相关性，并给出具体的相关性数据。通过计算出来的相关性数据，为后续的端到端的故障分类检测场景提供计算依据。

25、(3)根据指标与故障的关联，自动调整算法参数，迭代计算指标与故障的关联关系，并通过相关性算法，计算指标与故障的相关性程度，便于快速定位指标和故障的关联性。

26、(4)通过指标降维方法和专家经验，精减指标数量，生成指标与故障的相关性评分矩阵。在智能运维场景下，提供故障检测的算法依据。

27、本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

技术特征：

1.一种基于故障检测的指标与故障相关性计算方法，其特征在于，包括如下步骤：

2.如权利要求1所述的基于故障检测的指标与故障相关性计算方法，其特征在于，在所述步骤s2中，采用卷积神经网络算法对所述标注数据进行分类。

3.如权利要求1所述的基于故障检测的指标与故障相关性计算方法，其特征在于，在所述步骤s2中，所述根据分类好的数据采用无监督算法进行异常检测，包括：预设初始参数，检测出异常数据指标。

4.如权利要求3所述的基于故障检测的指标与故障相关性计算方法，其特征在于，在所述步骤s2中，所述无监督算法包括：阈值算法、3-sigma算法、指数加权移动平均ewma算法和多项式算法。

5.如权利要求1所述的基于故障检测的指标与故障相关性计算方法，其特征在于，在所述步骤s3中，所述判断疑似异常指标是否与该故障标注数据关联，包括：

6.如权利要求1所述的基于故障检测的指标与故障相关性计算方法，其特征在于，在所述步骤s4中，计算所述相关性系数r，包括：

7.如权利要求6所述的基于故障检测的指标与故障相关性计算方法，其特征在于，所述相关性系数r的值越接近1，则判断所述有关联异常指标与对应的故障类型的相关性越强。

8.如权利要求1所述的基于故障检测的指标与故障相关性计算方法，其特征在于，在所述步骤s4中，所述降维条件为：所述相关性系数r未达到设定值，且当前计算的相关性系数r的值低于上一次计算的r值。

9.如权利要求1所述的基于故障检测的指标与故障相关性计算方法，其特征在于，在所述步骤s4中，在指标降维后，判断所述关联异常指标的数量是否为0，如果是则结束训练；否则自动调整参数，执行所述步骤s5。

10.如权利要求1所述的基于故障检测的指标与故障相关性计算方法，其特征在于，在所述步骤s5之后，还包括如下步骤：

技术总结
本发明提出了一种基于故障检测的指标与故障相关性计算方法，包括：获取历史性能指标数据并进行故障标注；对标注的原始数据进行分类，然后根据分类好的数据采用无监督算法进行异常检测，得到疑似异常指标；将疑似异常指标与故障标注数据进行比对，判断是否与故障标注数据关联；计算关联异常指标与对应的故障类型的相关性系数，当相关性系数达到设定值时，记录关联异常指标与故障类型的相关性；否则判断是否满足指标降维条件，如果满足则排除关联异常指标；否则自动调整参数；重新计算疑似异常指标，迭代计算直至计算出所有异常指标与故障类型的相关性。本发明能够自动计算指标与故障的相关性，为后续的端到端的故障分类检测场景提供计算依据。

技术研发人员：成胜,佘文生,向达,刘宽,夏勇
受保护的技术使用者：天翼云科技有限公司
技术研发日：
技术公布日：2024/2/19