运维系统的异常指标分析方法、系统和电子装置与流程

本申请涉及信息处理，特别涉及一种运维系统的异常指标分析方法、系统和电子装置。

背景技术：

1、软件系统使用时，会产生大量的日志信息，这些日志信息对于分析故障、提升系统性能、安全分析以及用户行为分析等均具有重要的意义。日志是可观测性系统的三种基础数据(日志，指标，跟踪)来源之一，对诊断系统状态，复现问题发生时的状态，提供了清晰明确的记录。

2、日志分析中对指标的分析有很多维度，其中一个维度是时序数据的指标分析，用来识别周期性趋势、季节性变化或其他时间相关模式。根因分析方法是通过分析异常指标的变化，找出导致这些异常的根本原因的过程，是指标分析的重要技术之一。

3、现有技术中，根因分析方法主要基于相关性分析，通过计算指标之间的相关系数来判断它们之间的相关性，这类方法存在以下技术缺陷：

4、1、相关性分析无法准确地确定异常指标之间的因果关系，只能反应它们之间的相关性程度，根因的方向无法由相关性程度确定，异常指标的震荡原因也可能是受到其它外部污染因子的影响，导致在实际应用中往往无法准确识别出真正的根因，最终造成了误导和不准确的分析结果。

5、2、在大规模的异常指标体系中，传统的异常指标根因诊断方法需要进行大量的计算，耗费大量时间和资源，特别是对于复杂系统，高计算复杂度导致分析效率低下。

6、3、现有的异常指标根因分析方法缺乏明确的因果推测框架，无法清楚地描述异常指标之间的影响关系，不能准确地判断哪些异常指标是影响因素，哪些是被影响因素。

技术实现思路

1、为解决上述问题，本发明提供一种运维系统的异常指标分析方法，所述方法包括如下步骤：

2、s1:对基础指标时序数据进行预处理，得到异常指标数据；

3、s2:对异常指标数据进行聚类处理，得到n个聚类类别以及n个聚类类别的质心；

4、s3:计算n个聚类类别的质心指标时序数据与目标异常指标时序数据之间的震荡相关性，筛选出与目标指标具有正、负震荡相关的质心异常指标；

5、s4:通过因果推测，计算出对目标异常指标影响最大的质心异常指标；

6、s5:对质心异常指标进行排序，选取k个最大效应值对应的异常指标，映射到同类簇的其他异常指标中。

7、进一步地，步骤s2包括：

8、s21：以时序数据中的两条曲线作为初始核心曲线，搜索核心曲线之外且在预设半径中与核心曲线距离较近的曲线，将所有距离相近的曲线归为相同类簇；

9、s22：列举所有的类簇并根据类簇找到该类簇的中心曲线作为质心指标曲线；

10、s23：返回质心指标曲线、类簇个数和同类簇中所有异常指标曲线。

11、进一步地，步骤s3中，计算n个聚类类别的质心指标时序数据与目标异常指标时序数据之间的震荡相关性包括：

12、s31：对指标时序数据进行z值归一化处理；

13、s32:放大显著偏离零的值，提高震荡特性区分度，其公式为：

14、

15、x为原始时序数据，a为增长程度，β为阈值，emin为自然常数e的min(x,β)中的小值的幂指数；

16、s33:对各个异常指标的原始数据放大之后，得到的震荡特征曲线为:

17、e＝{e1,e2…,en}

18、其中的e的各个值即为上述公式f(α,β,x)对应计算得到的值。

19、进一步地，步骤s3中筛选出与目标指标具有正、负震荡相关的质心异常指标包括：

20、s34:通过步骤s32中f(α,β,x)计算得到指标g和指标h，固定指标h，计算g与h之间的偏移关系，其公式为：

21、

22、s为(-l，l)之间的任意值，l代表曲线长度；

23、s35:通过向量之间的内积计算相关性，用以判断方向性，其公式为：

24、

25、g[i]·h[i]代表两个指标之间的内积；

26、s36:计算正、负震荡相关性，对两个放大后的指标g，h进行相关度计算，相关度值为cc，其公式为：

27、

28、s37:计算最小值和最大值，其公式为：

29、

30、

31、选取上一步中结果最小值作为mincc，最大值作为maxcc。

32、进一步地，步骤s4包括：

33、s41：在拓扑关系中计算异常指标之间是否存在因果效应；

34、s42:对于存在因果效应的异常指标，计算因果效应的强弱；

35、s43:对因果效应进行检验，用以验证因果关系的假设是否成立；

36、s44:计算因果值，得到因果值，因果值越大则代表因果效应越强。

37、进一步地，步骤s1包括：

38、s11:对基础指标时序数据进行预处理，生成可供分析的异常指标时序数据；

39、s12:对异常指标时序数据进行筛选并裁剪相应拓扑结构；

40、s13:判定异常指标量级，若指标过多则进行聚类，若过少则无需要进行聚类。

41、进一步地，，s11:对基础指标时序数据进行预处理，包括：

42、使用前项、后项和均值的方法对空值的时序数据进行填充；

43、对于某个数据点偏离平均值超过3个标准差则被视为异常点；

44、使用滑动指数平滑方式，对较新的数据点赋予更高的权重，对较旧的数据点赋予较低的权重。

45、本申请还提供一种异常指标分析系统，包括预处理单元、聚类处理单元、相关性计算单元以因果计算单元，其中：

46、预处理单元用以对基础指标时序数据进行预处理，得到异常指标数据；

47、聚类处理单元用以对异常指标数据进行聚类处理，得到n个聚类类别以及n个聚类类别的质心；

48、相关性计算单元用以计算n个聚类类别的质心指标时序数据与目标异常指标时序数据之间的震荡相关性，筛选出与目标指标具有正、负震荡相关的质心异常指标；

49、因果计算单元用以计算出对目标异常指标影响最大的质心异常指标。

50、本发明还提供一种计算机存储介质，所述计算机存储介质可存储有可执行程序，当所述可执行程序在计算机上运行时，所述计算机执行所述的运维系统的异常指标分析方法。

51、本发明还提供一种电子装置，所述电子装置包括处理器以及存储器，所述存储器用于存储可执行程序，所述处理器用于执行所述可执行程序以实现所述的运维系统的异常指标分析方法。

技术特征：

1.一种运维系统的异常指标分析方法，其特征在于，包括如下步骤：

2.如权利要求1所述的异常指标分析方法，其特征在于，步骤s2包括：

3.如权利要求1所述的异常指标分析方法，其特征在于，步骤s3中，计算n个聚类类别的质心指标时序数据与目标异常指标时序数据之间的震荡相关性包括：

4.如权利要求3所述的异常指标分析方法，其特征在于，步骤s3中筛选出与目标指标具有正、负震荡相关的质心异常指标包括：

5.如权利要求1所述的异常指标分析方法，其特征在于，步骤s4包括：

6.如权利要求1所述的异常指标分析方法，其特征在于，步骤s1包括：

7.如权利要求6所述的异常指标分析方法，其特征在于，s11:对基础指标时序数据进行预处理，包括：

8.一种异常指标分析系统，其特征在于，包括预处理单元、聚类处理单元、相关性计算单元以因果计算单元，其中：

9.一种计算机存储介质，其特征是，所述计算机存储介质可存储有可执行程序，当所述可执行程序在计算机上运行时，所述计算机执行权利要求1-7任一所述的运维系统的异常指标分析方法。

10.一种电子装置，其特征在于，所述电子装置包括处理器以及存储器，所述存储器用于存储可执行程序，所述处理器用于执行所述可执行程序以实现权利要求1-7任一所述的运维系统的异常指标分析方法。

技术总结
本发明提供一种运维系统的异常指标分析方法、系统和电子装置，所述方法包括S1:对基础指标时序数据进行预处理，得到异常指标数据；S2:对异常指标数据进行聚类处理，得到N个聚类类别以及N个聚类类别的质心；S3:计算N个聚类类别的质心指标时序数据与目标异常指标时序数据之间的震荡相关性；S4:通过因果推测，计算出对目标异常指标影响最大的质心异常指标；S5:对质心异常指标进行排序，选取最大效应值对应的异常指标映射到同类簇的其他异常指标中。本发明通过对异常指标进行聚类分析，降低了分析的复杂度，然后再进行异常指标进行振荡处理，进而排除干扰对的异常指标，能够得到更准确的异常指标，使得异常指标的分析更可靠。

技术研发人员：王思萌,艾丽平,崔文正,王拓,屈兴,陆林峰
受保护的技术使用者：深圳市溪数科技有限公司
技术研发日：
技术公布日：2024/3/17