一种指标异常检测方法系统及介质与流程

本发明涉及系统异常检测，尤其涉及一种指标异常检测方法系统及介质。

背景技术：

1、在运维系统中，机器指标的异常检测是一项关键任务。这些指标包括使用率、内存使用率、磁盘使用率、网络吞吐量等，它们是衡量系统性能和稳定性的重要指标。当这些指标出现异常时，可能是系统出现故障或性能瓶颈的征兆，需要及时发现和处理。

2、现有的异常检测方法主要包括统计类算法、时序分析算法、预测类算法和机器学习、深度学习模型等。这些方法各有优缺点，适用于不同的场景，然而，现有的相关技术仍存在一些客观缺点。

3、首先，针对不同的异常检测场景和数据，需要具备专业的知识和经验来进行算法选择、参数调整和结果解释等工作，这需要较高的技术门槛和成本。

4、其次，对于大规模的数据和复杂的算法，需要进行高效的数据处理和计算，这需要高性能的计算资源和复杂的算法设计，尤其是采用深度学习的算法模型，计算资源和内存资源需求更高。

5、此外，由于不同数据和场景的差异，异常检测算法的准确性和可靠性可能会受到影响，导致误报和漏报的情况时有发生。

6、最后，异常检测需要基于高质量的数据进行分析和检测，如果数据质量不高或存在缺失或异常等问题，会对异常检测的结果产生影响。

7、因此，需要一种更高效、准确、可靠且对数据质量要求不高的异常检测方法，以解决现有的相关技术的不足之处。

技术实现思路

1、为克服上述指标异常检测技术所存在的缺陷，本发明提供一种异常检出准确率高、适用于指标多样化的场景的指标异常检测方法系统及介质。

2、就指标异常检测方法而言，本发明为解决所述技术问题的指标异常检测方法包括如下步骤：

3、收集每个ip的多指标设定时间段的数据；

4、使用预先训练好的时间序列分类器对收集到的所述数据的时间序列进行分析，确定所述时间序列的类别；

5、根据上述时间序列的类别，提取出对应所述时间序列的类别的统计量；

6、将提取出的所述统计量和所述指标的数据信息保存在redis中，每个所述指标对应一个数据字典，作为流式数据源；

7、从所述流式数据源中获取数据流，根据所述时间序列的类别和所述数据字典中的对应的所述统计量，使用对应的检测器进行实时异常检测；若检测到异常，触发告警；

8、根据所述实时异常检测的检测结果更新所述数据字典和告警字典；

9、使用告警收敛算法对所述告警进行压缩处理，生成最终告警结果。

10、作为指标异常检测方法的改进，所述预先训练好的时间序列分类器通过时间序列森林模型获得，配置为使用统计特征和阈值判断来对所述时间序列进行分类：

11、对于周期型和平稳型，计算大于均值的点占比，若大于均值阈值为周期型，否则为平稳型；

12、对于趋势型和平稳型，计算月增长率，若大于设定阈值认为是趋势型，否则为平稳型；

13、对于无规律型和平稳型，计算每天均值的方差，若方差大于设定阈值认为存在阶梯变化，为无规律型，否则为平稳型。

14、作为指标异常检测方法的改进，根据所述时间序列的类别和所述数据字典中的对应的所述统计量，使用对应的检测器进行实时异常检测包括平稳型时间序列异常检测，所述平稳型时间序列异常检测具体如下步骤：

15、收集一定时间段内的历史数据；

16、使用收集到的历史数据计算均值和标准差；

17、基于所述均值和所述标准差，判断数据点是否为异常点；

18、对所述数据进行二次异常过滤。

19、作为指标异常检测方法的改进，根据所述时间序列的类别和所述数据字典中的对应的所述统计量，使用对应的检测器进行实时异常检测包括趋势型时间序列异常检测，所述趋势型时间序列异常检测具体如下步骤：

20、使用cusum找到时间序列中的所有突降点，即重启点；

21、根据重启点将时间序列切分成多个时间序列段；

22、对于每个所述时间序列段，使用一次函数进行拟合以检测斜率突变点，如果误差小于阈值，则认为该时间序列段中没有斜率突变点，否则认为该时间序列段中存在一个斜率突变点；

23、若检测为所述时间序列段中不存在斜率突变点，则计算该所述时间序列段的斜率；若检测为所述时间序列段中存在斜率突变点，则计算该所述时间序列段的稳定值；

24、据检测到的斜率或稳定值判断是否为异常。

25、作为指标异常检测方法的改进，根据所述时间序列的类别和所述数据字典中的对应的所述统计量，使用对应的检测器进行实时异常检测包括周期型时间序列异常检测，所述周期型时间序列异常检测具体如下步骤：

26、基于历史数据，检测单个异常点，即数值偏差过大的点；

27、对检测到的异常点进行周期聚合，获取异常周期；

28、基于周期聚合的数据进行特征工程，获得跑批数据；

29、使用孤立森林对所述跑批数据进行异常检测。

30、作为指标异常检测方法的改进，根据所述时间序列的类别和所述数据字典中的对应的所述统计量，使用对应的检测器进行实时异常检测包括无规律型时间序列异常检测，所述无规律型时间序列异常检测具体如下步骤：

31、使用cusum检测突增点和突降点，若检测到存在所述突增点和所述突降点，则为异常。

32、作为指标异常检测方法的改进，所述从所述流式数据源中获取数据流步骤包括：

33、对于每个待检测的指标类型，启动一个生产者线程负责从数据源获取数据，并将所述数据添加到队列中；在所述生产者线程将所述数据添加到所述队列后，启动一个消费者线程处理所述队列中的所述数据。

34、作为指标异常检测方法的改进，所述指标异常检测方法还包括设置定时任务，所述设置定时任务包括：

35、定时更新所述数据字典和/或定时更新所述告警收敛规则。

36、与相关技术相比，本发明实施例的指标异常检测方法采用时间序列分类器对输入数据做初步分类，初步分类后得到的四种类型数据采用不同的算法进行处理，通过上述采用两种分类器级联检测的方案，进行初步分类和指定类别数据检测，极大提高了准确率；本发明实施例的指标异常检测方法具有足够的灵活性和适应性，可以根据不同指标的变化规律来进行分析和处理，适应不同类型的指标和不同的变化规律，从而更有效地管理和维护系统和业务的稳定运行。

37、另一方面，本发明为解决所述技术问题提供一种指标异常检测系统包括：

38、收集数据米快，用于收集每个ip的多个指标设定时间段的数据；

39、时间序列分类器，用于对所述数据中的时间序列进行分类，所述分类包括平稳型、周期型、趋势型和无规律型；

40、统计量提取模块，用于根据时间序列的类别，提取出对应的统计量；

41、数据存储模块，作为存储所述统计量和所述指标的数据信息的流式数据源；

42、检测器模块，用于从所述数据存储模块中获取数据流并通过对应的检测器进行实时异常检测；若检测到异常，触发告警；

43、更新模块，用于根据所述实时异常检测的检测结果更新所述数据字典和告警字典；

44、告警模块，用于使用告警收敛算法对所述告警进行压缩处理，生成最终告警结果。

45、与相关技术相比，本发明的指标异常检测系统实现上述指标异常检测方法的流程，其有益效果与本发明指标异常检测方法的有益效果相同，在此不做赘述。

46、另一方面，本发明为解决所述技术问题提供一种计算机存储介质，所述计算机存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述的指标异常检测方法的步骤。

47、与相关技术相比，本发明的计算机存储介质实现上述指标异常检测方法的流程，其有益效果与本发明指标异常检测方法的有益效果相同，在此不做赘述。