动态阈值异常检测方法、系统、存储介质及智能设备与流程

本发明涉及一种动态阈值异常检测方法、系统、存储介质及智能设备，涉及计算机领域。

背景技术：

1、在运维领域中，指标异常检测是指通过对系统或设备的关键指标进行实时监测和分析，检测和识别与正常行为或预期模式相比存在显著偏离的异常情况。这些关键指标可以是各种性能指标、运行状态指标、资源利用指标、网络流量指标等，具体根据不同的系统和应用而定。

2、指标异常检测的目标是提前发现和识别潜在的问题或异常情况，以便及时采取相应的措施来解决或预防可能的故障、性能下降、安全威胁等。通过对关键指标的实时监测和异常检测，运维团队可以及时获得系统的状态和健康状况，并能够对异常情况进行警报、记录、分析和响应。

3、现有工业中的指标异常检测算法大多数基于固定阈值，但是固定阈值往往需要根据经验设置和更新，因而难以确定合适的阈值，而且对于不同指标的适应性差，增加了维护和管理的复杂性。

4、专利申请cn 202211569513.5(申请名称：一种系统指标的检测方法、装置、电子设备及其存储介质，申请人：中邮信息科技(北京)有限公司，申请日：2022.12.08)公开了一种系统指标的检测方法、装置、电子设备及其存储介质。方法包括基于预测模型对目标系统中的指标项进行预测处理，得到指标项的预测结果，预测结果包括指标项在预测时间段内各时间点的指标预测值；基于指标项在预测时间段内各时间点的指标预测值，确定指标项在各时间点的动态阈值；获取目标系统在各时间点的实际指标数据，并基于对应时间点动态阈值对实际指标数据进行异常检测。该技术方案在确定指标项在各所述时间点的动态阈值时的具体实现方法是：基于所述指标项在预测时间段内各时间点的指标预测值，绘制预测基线；基于所述预测基线中的峰值点形成上区间线，并基于所述上区间线确定各所述时间点的上限阈值；基于所述预测基线中的谷值点形成下区间线，并基于所述下区间线确定各所述时间点的下限阈值；或者，对于任一时间点的指标预测值，基于预设的正负误差，确定对应的上限阈值和下限阈值。也即是说，该技术方案根据预测基线的峰值点和谷值点、或者基于预设的正负误差来确定动态阈值，其中，根据预测基线的峰值点和谷值点，指标项在预测时间段内各所述时间点的阈值都是统一的，并不能为每个时间点单独动态设置一个阈值范围；基于预设的正负误差，也需要预先由人为设定一个合适的误差值，而不能根据实际业务自动动态计算和调整。

5、因此，如何动态自动设定运维指标在每个时间点的阈值范围，从而有效实现对运维关键指标的实时异常检测，已成为技术人员重点关注的技术问题。

技术实现思路

1、有鉴于此，本发明的目的是提供一种动态阈值异常检测方法、系统、存储介质及智能设备，能动态自动设定运维指标在每个时间点的阈值范围，从而有效实现对运维关键指标的实时异常检测。

2、为了达到上述目的，本发明提供了一种动态阈值异常检测方法，包括有：

3、步骤一、构建指标预测模型，其输入是时间戳特征向量，输出是输入时间戳对应的运维指标预测值，并提取历史检测周期内的时间戳特征向量和实际运维指标值作为样本数据对指标预测模型进行训练；

4、步骤二、实时采集当前检测周期内的实际运维指标值，并将每隔一段时间内采集到的若干连续的时间戳特征向量输入训练后的指标预测模型，以获得每个输入时间戳的运维指标预测值，然后根据所有连续时间戳的运维指标预测值确定每个时间戳对应的运维指标阈值范围，当其中一个时间戳采集到的实际运维指标值不在其运维指标阈值范围内时，则该时间戳的运维指标值异常，将其标记为异常指标并告警。

5、为了达到上述目的，本发明还提供了一种动态阈值异常检测系统，包括有：

6、指标预测模型构建装置，用于构建指标预测模型，其输入是时间戳特征向量，输出是输入时间戳对应的运维指标预测值，并提取历史检测周期内的时间戳特征向量和实际运维指标值作为样本数据对指标预测模型进行训练；

7、指标异常预测装置，用于实时采集当前检测周期内的实际运维指标值，并将每隔一段时间内采集到的若干连续的时间戳特征向量输入训练后的指标预测模型，以获得每个输入时间戳的运维指标预测值，然后根据所有连续时间戳的运维指标预测值确定每个时间戳对应的运维指标阈值范围，当其中一个时间戳采集到的实际运维指标值不在其运维指标阈值范围内时，则该时间戳的运维指标值异常，将其标记为异常指标并告警。

8、为了达到上述目的，本发明还提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法。

9、为了达到上述目的，本发明还提供了一种智能设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述方法。

10、与现有技术相比，本发明的有益效果是：本发明对获取到的业务或者主机性能指标数据采用机器学习算法进行特征构建和模型训练，并根据所有连续时间戳的运维指标预测值动态自动计算获得每个时间点的运维指标阈值范围，技术方案简单且有效，在现网应用中，每隔极短时间(如5秒)即可对采集到的运维数据是否异常进行检测并告警，从而有效满足了现网对运维关键指标检测的实时和高效需求，节约系统资源；本发明还进一步根据运维指标的变化趋势动态调整每个时间戳的运维指标阈值范围，从而真正实现了自动阈值调整，无需手动配置参数。

技术特征：

1.一种动态阈值异常检测方法，其特征在于，包括有：

2.根据权利要求1所述的方法，其特征在于，时间戳特征向量包括：是否节假日、忙时或闲时、是否工作日、时间戳id，其中，时间戳id是将每个检测周期内的所有时间戳按时间先后排序、再将每个排序后的序号经归一化处理后的数值，时间戳特征向量还包含有多个其他归一化后的运维指标值。

3.根据权利要求1所述的方法，其特征在于，步骤一采用多元线性拟合算法来构建指标预测模型，即指标预测模型的计算公式为：f(x1,x2,…xn)＝α1×x1+α2×x2+…+αn×xn+β，其中，x1、x2、…、xn分别是时间戳特征向量中的每个元素值，α1、α2、…、αn分别是待拟合的系数，β是待拟合的常数。

4.根据权利要求1所述的方法，其特征在于，步骤二中，根据所有连续时间戳的运维指标预测值确定每个时间戳对应的运维指标阈值范围，包括有：

5.根据权利要求1所述的方法，其特征在于，步骤一中，在提取历史检测周期内的时间戳特征向量和实际运维指标值作为样本数据对指标预测模型进行训练时，还对样本数据中的异常指标进行更新，包括有：

6.一种动态阈值异常检测系统，其特征在于，包括有：

7.根据权利要求6所述的系统，其特征在于，时间戳特征向量包括：是否节假日、忙时或闲时、是否工作日、时间戳id，其中，时间戳id是将每个检测周期内的所有时间戳按时间先后排序、再将每个排序后的序号经归一化处理后的数值，时间戳特征向量还包含有多个其他归一化后的运维指标值。

8.根据权利要求6所述的系统，其特征在于，指标预测模型构建装置采用多元线性拟合算法来构建指标预测模型，即指标预测模型的计算公式为：f(x1,x2,…xn)＝α1×x1+α2×x2+…+αn×xn+β，其中，x1、x2、…、xn分别是时间戳特征向量中的每个元素值，α1、α2、…、αn分别是待拟合的系数，β是待拟合的常数。

9.根据权利要求6所述的系统，其特征在于，指标异常预测装置包括有：

10.根据权利要求6所述的系统，其特征在于，指标预测模型构建装置包括有：

11.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至5任意一项所述的方法。

12.一种智能设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5任意一项所述的方法。

技术总结
一种动态阈值异常检测方法、系统、存储介质及智能设备，包括：构建指标预测模型，输入时间戳特征向量，输出时间戳对应的运维指标预测值，并提取历史检测周期的样本数据训练；实时采集当前检测周期内的实际运维指标值，并将每隔一段时间内的若干连续时间戳特征向量输入指标预测模型，以获得每个输入时间戳的运维指标预测值，然后根据所有连续时间戳的运维指标预测值确定每个时间戳的运维指标阈值范围，当其中一个时间戳采集到的实际运维指标值不在其运维指标阈值范围内时，则该时间戳的运维指标值异常，将其标记为异常指标并告警。本发明涉及计算机领域，能动态自动设定运维指标在每个时间点的阈值范围，有效实现对运维关键指标的实时异常检测。

技术研发人员：廖建新,赵圆丽,张建虎,肖辉春,方羿翔,邢博旋,李小莉
受保护的技术使用者：新讯数字科技（杭州）有限公司
技术研发日：
技术公布日：2024/2/1