数据异常告警方法、装置、设备及存储介质与流程

文档序号:20955835发布日期:2020-06-02 20:24阅读:288来源:国知局
数据异常告警方法、装置、设备及存储介质与流程

本发明涉及基架运维领域,尤其涉及数据异常告警方法、装置、设备及存储介质。



背景技术:

自动异常检测告警旨在发现复杂业务指标的异常波动,例如,访问量、响应时间、失败率等,及时将异常信息发送给相关方进行处理,为业务系统保驾护航。

目前最常用的算法是基于正态分布的n-σ准则,σ是标准差,数据监控系统中的大部分业务监控所采用的算法就是正态分布算法,参数为3个σ。首先假设要监测的时序数据是随机的,并遵从正态分布。正态分布具有两个参数μ和σ的连续型随机变量的分布,第一个参数μ是样本数据的均值,第二个参数σ是样本数据的标准差。遵从正态分布的随机变量的概率规律为取μ邻近的值的概率大,而取离μ越远的值的概率越小;σ越小,分布越集中在μ附近,σ越大,分布越分散。例如,对于标准正态分布,值落在[-3σ,3σ]区间的概率是0.9974。当数据超出这个范围,就认为该数据为异常点,当连续异常点数超出了设定的值,数据监控系统就认为需要进行告警。

当数据监控系统处于春节的特殊时间段时,春节订单笔数水位整体下降了非常多,导致数据监控系统产生大量误告警。



技术实现要素:

本发明提供了数据异常告警方法、装置、设备及存储介质,用于采用临近比值算法对订单数据进行实时预测,当实时数据和预测数据之间的误差超过预先设定的误差范围时进行告警,避免了产生大量误告警,提高了告警准确率。

本发明实施例的第一方面提供一种数据异常告警方法,包括:获取历史数据,所述历史数据包括预置时长内的业务订单数据;将预置时长内的历史数据确定为样本数据;通过预置的多个线程对所述样本数据中的各个子样本进行并发计算,得到各个子样本的样本均值;根据所述样本均值计算当前时刻的预测值,所述当前时刻的预测值用于指示根据所述样本数据的趋势预测的业务订单数据;根据所述当前时刻的预测值判断当前时刻的实际值是否在预置波动范围内;若所述当前时刻的实际值不在预置波动范围内,则对当前时刻的实际值进行数据完整性验证,并根据验证结果进行告警或数据调整。

可选的,在本发明实施例第一方面的第一种实现方式中,所述根据所述样本均值计算当前时刻的预测值,所述当前时刻的预测值用于指示根据所述样本数据的趋势预测的业务订单数据,包括:确定当前时刻t0;根据所述当前时刻t0和预置的时间间隔δt确定临近时刻t1,所述临近时刻t1早于所述当前时刻t0;基于所述临近时刻t1和历史数据确定临近时刻t1对应的实际值y;确定所述当前时刻t0对应的当前样本均值a以及所述临近时刻t1对应的临近样本均值b;根据预置公式调用所述当前样本均值a、所述临近时刻t1对应的临近样本均值b和所述临近时刻t1对应的实际值y,计算得到当前时刻t0的预测值x′,x′用于指示根据所述样本数据的趋势预测的业务订单数据。

可选的,在本发明实施例第一方面的第二种实现方式中,所述根据所述样本均值计算当前时刻的预测值,所述当前时刻的预测值用于指示根据所述样本数据的趋势预测的业务订单数据,包括:确定当前时刻t0;根据所述当前时刻t0和预置的时间间隔δt确定临近时段所述临近时段早于所述当前时刻t0;基于所述临近时段和历史数据确定临近时段对应的实际均值确定所述当前时刻t0对应的当前样本均值a以及所述临近时段对应的临近样本均值根据预置公式调用所述当前样本均值a、所述临近时段对应的临近样本均值所述临近时段对应的实际均值计算得到当前时刻t0的预测值x′,x′用于指示根据所述样本数据的趋势预测的业务订单数据。

可选的,在本发明实施例第一方面的第三种实现方式中,所述根据所述样本均值计算当前时刻的预测值,所述当前时刻的预测值用于指示根据所述样本数据的趋势预测的业务订单数据,包括:确定当前时刻t0;根据所述当前时刻t0和预置的时间间隔δt确定第一临近时段第二临近时段所述第一临近时段早于所述当前时刻t0,所述第二临近时段早于所述第一临近时段基于所述第一临近时段所述第二临近时段和历史数据确定第一临近时段对应的实际值和第二临近时段对应的实际值确定所述当前时刻t0对应的当前样本均值a、所述第一临近时段对应的第一样本均值所述第二临近时段对应的第二样本均值根据预置公式调用所述当前样本均值a、所述第一临近时段对应的第一样本均值所述第二临近时段对应的第二样本均值所述第一临近时段对应的实际值所述第二临近时段对应的实际值计算得到当前时刻t0的预测值x′,x′用于指示根据所述样本数据的趋势预测的业务订单数据,其中,w1+w2=1,w1>w2。

可选的,在本发明实施例第一方面的第四种实现方式中,所述将预置时长内的历史数据确定为样本数据包括:将历史数据的最近n天的业务订单数据作为候选数据,n为正整数;将所述候选数据的采样单位设置为分钟或秒,得到多个样本点;将所述多个样本点确定为样本数据,所述多个样本的数量为1440×n或1440×60×n。

可选的,在本发明实施例第一方面的第五种实现方式中,所述通过预置的多个线程对所述样本数据中的各个子样本进行并发计算,得到各个子样本的样本均值包括:将所述样本数据按照分钟维度进行分类得到目标数量个子样本,每一分钟对应一个子样本,每个子样本包含n个样本点;调用预置的多个线程分别根据每个子样本中的n个样本点并发计算每个子样本的均值;生成目标数量个样本均值,每个样本均值包括n个样本点的均值。

可选的,在本发明实施例第一方面的第六种实现方式中,所述若所述当前时刻的实际值不在预置波动范围内,则对当前时刻的实际值进行数据完整性验证并根据验证结果进行告警或数据调整,包括:若所述当前时刻的实际值不在预置波动范围内,则读取在预置周期范围内历史日志中当前时刻对应的多个历史数据值;利用循环冗余校验算法对所述多个历史数据值和所述实际值进行数据完整性验证,判断所述实际值对应的字段是否发生缺失;若所述实际值对应的字段发生缺失,则确定所述当前时刻的实际值不完整,并确定所述当前时刻的实际值为虚假异常并调整所述当前时刻的实际值到所述预置波动范围;若所述实际值对应的字段没有发生缺失,则确定所述当前时刻的实际值完整,并确定所述当前时刻的实际值为真实异常为并进行告警。

本发明实施例的第二方面提供了一种数据异常告警装置,包括:获取单元,用于获取历史数据,所述历史数据包括预置时长内的业务订单数据;确定单元,用于将预置时长内的历史数据确定为样本数据;第一计算单元,用于通过预置的多个线程对所述样本数据中的各个子样本进行并发计算,得到各个子样本的样本均值;第二计算单元,用于根据所述样本均值计算当前时刻的预测值,所述当前时刻的预测值用于指示根据所述样本数据的趋势预测的业务订单数据;判断单元,用于根据所述当前时刻的预测值判断当前时刻的实际值是否在预置波动范围内;验证单元,若所述当前时刻的实际值不在预置波动范围内,则用于对当前时刻的实际值进行数据完整性验证,并根据验证结果进行告警或数据调整。

可选的,在本发明实施例第二方面的第一种实现方式中,第二计算单元具体用于:确定当前时刻t0;根据所述当前时刻t0和预置的时间间隔δt确定临近时刻t1,所述临近时刻t1早于所述当前时刻t0;基于所述临近时刻t1和历史数据确定临近时刻t1对应的实际值y;确定所述当前时刻t0对应的当前样本均值a以及所述临近时刻t1对应的临近样本均值b;根据预置公式调用所述当前样本均值a、所述临近时刻t1对应的临近样本均值b和所述临近时刻t1对应的实际值y,计算得到当前时刻t0的预测值x′,x′用于指示根据所述样本数据的趋势预测的业务订单数据。

可选的,在本发明实施例第二方面的第二种实现方式中,第二计算单元具体用于:确定当前时刻t0;根据所述当前时刻t0和预置的时间间隔δt确定临近时段所述临近时段早于所述当前时刻t0;基于所述临近时段和历史数据确定临近时段对应的实际均值确定所述当前时刻t0对应的当前样本均值a以及所述临近时段对应的临近样本均值根据预置公式调用所述当前样本均值a、所述临近时段对应的临近样本均值所述临近时段对应的实际均值计算得到当前时刻t0的预测值x′,x′用于指示根据所述样本数据的趋势预测的业务订单数据。

可选的,在本发明实施例第二方面的第三种实现方式中,第二计算单元具体用于:确定当前时刻t0;根据所述当前时刻t0和预置的时间间隔δt确定第一临近时段第二临近时段所述第一临近时段早于所述当前时刻t0,所述第二临近时段早于所述第一临近时段基于所述第一临近时段所述第二临近时段和历史数据确定第一临近时段对应的实际值和第二临近时段对应的实际值确定所述当前时刻t0对应的当前样本均值a、所述第一临近时段对应的第一样本均值所述第二临近时段对应的第二样本均值根据预置公式调用所述当前样本均值a、所述第一临近时段对应的第一样本均值所述第二临近时段对应的第二样本均值所述第一临近时段对应的实际值所述第二临近时段对应的实际值计算得到当前时刻t0的预测值x′,x′用于指示根据所述样本数据的趋势预测的业务订单数据,其中,w1+w2=1,w1>w2。

可选的,在本发明实施例第二方面的第四种实现方式中,确定单元具体用于:将历史数据的最近n天的业务订单数据作为候选数据,n为正整数;将所述候选数据的采样单位设置为分钟或秒,得到多个样本点;将所述多个样本点确定为样本数据,所述多个样本的数量为1440×n或1440×60×n。

可选的,在本发明实施例第二方面的第五种实现方式中,第一计算单元具体用于:将所述样本数据按照分钟维度进行分类得到目标数量个子样本,每一分钟对应一个子样本,每个子样本包含n个样本点;调用预置的多个线程分别根据每个子样本中的n个样本点并发计算每个子样本的均值;生成目标数量个样本均值,每个样本均值包括n个样本点的均值。

可选的,在本发明实施例第二方面的第六种实现方式中,验证单元具体用于:若所述当前时刻的实际值不在预置波动范围内,则读取在预置周期范围内历史日志中当前时刻对应的多个历史数据值;利用循环冗余校验算法对所述多个历史数据值和所述实际值进行数据完整性验证,判断所述实际值对应的字段是否发生缺失;若所述实际值对应的字段发生缺失,则确定所述当前时刻的实际值不完整,并确定所述当前时刻的实际值为虚假异常并调整所述当前时刻的实际值到所述预置波动范围;若所述实际值对应的字段没有发生缺失,则确定所述当前时刻的实际值完整,并确定所述当前时刻的实际值为真实异常为并进行告警。

本发明实施例的第三方面提供了一种数据异常告警设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述所述的数据异常告警方法。

本发明实施例的第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当所述指令在计算机上运行时,使得计算机执行上述所述的数据异常告警方法的步骤。

本发明实施例提供的技术方案中,获取历史数据,历史数据包括预置时长内的业务订单数据;将预置时长内的历史数据确定为样本数据;通过预置的多个线程对样本数据中的各个子样本进行并发计算,得到各个子样本的样本均值;根据样本均值计算当前时刻的预测值,当前时刻的预测值用于指示根据样本数据的趋势预测的业务订单数据;根据当前时刻的预测值判断当前时刻的实际值是否在预置波动范围内;若当前时刻的实际值不在预置波动范围内,则对当前时刻的实际值进行数据完整性验证,并根据验证结果进行告警或数据调整。本发明实施例,采用临近比值算法对订单数据进行实时预测,当实时数据和预测数据之间的误差超过预先设定的误差范围时进行告警,避免了产生大量误告警,提高了告警准确率。

附图说明

图1为本发明实施例中数据异常告警方法的一个实施例示意图;

图2为本发明实施例中实际值的取值变化的一个示意图;

图3为本发明实施例中实际值的取值变化的另一个示意图;

图4为本发明实施例中数据异常告警装置的一个实施例示意图;

图5为本发明实施例中数据异常告警设备的一个实施例示意图。

具体实施方式

本发明提供了数据异常告警方法、装置、设备及存储介质,用于采用临近比值算法对订单数据进行实时预测,对比实时数据和预测数据之间的误差,当误差超过一定的误差范围时进行告警,避免了产生大量误告警,提高了告警准确率。

为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例进行描述。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”或“具有”及其任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

请参阅图1,本发明实施例提供的数据异常告警方法的流程图,具体包括:

101、获取历史数据,历史数据包括预置时长内的业务订单数据。

服务器获取历史数据,该历史数据包括预置时长内的业务订单数据。

需要说明的是,业务订单数据可以对应的数据内容也不相同。

可以理解的是,本发明的执行主体可以为数据异常告警装置,还可以是服务器,具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。

102、将预置时长内的历史数据确定为样本数据。

服务器将预置时长内的历史数据确定为样本数据。具体的,服务器将历史数据的最近n天的业务订单数据作为候选数据,n为正整数;服务器将候选数据的采样单位设置为分钟,得到1440*n个样本点;服务器将1440*n个样本点确定为样本数据。

例如,将当天之前10天的历史数据作为样本数据,那么服务器首先将历史数据的最近10天的业务订单数据作为候选数据;然后服务器将候选数据的采样单位设置为分钟,得到1440*10个样本点;最后服务器将1440*10个样本点确定为样本数据。

103、通过预置的多个线程对样本数据中的各个子样本进行并发计算,得到各个子样本的样本均值。

服务器通过预置的多个线程对样本数据中的各个子样本进行并发计算,得到各个子样本的样本均值。具体的,服务器将样本数据按照分钟维度进行分类得到1440个子样本,每一分钟对应一个子样本,每个子样本包含n个样本点;服务器调用预置的多个线程分别根据每个子样本中的n个样本点并发计算每个子样本的均值;服务器生成1440个样本均值,每个样本均值包括n个样本点的均值。

需要说明的是,每个线程可以计算一个子样本中的n个样本点,多个线程之间可以同时进行处理,不会互相影响,提高了子样本的计算效率。

104、根据样本均值计算当前时刻的预测值,当前时刻的预测值用于指示根据样本数据的趋势预测的业务订单数据。

服务器根据样本均值计算当前时刻的预测值,当前时刻的预测值用于指示根据样本数据的趋势预测的业务订单数据。具体的,服务器确定当前时刻t0;服务器根据当前时刻t0和预置的时间间隔δt确定临近时刻t1,临近时刻t1早于当前时刻t0;服务器基于临近时刻t1和历史数据确定临近时刻t1对应的实际值y;服务器确定当前时刻t0对应的当前样本均值a以及临近时刻t1对应的临近样本均值b;服务器根据预置公式调用当前样本均值a、临近时刻t1对应的临近样本均值b和临近时刻t1对应的实际值y,计算得到当前时刻t0的预测值x′,x′用于指示根据样本数据的趋势预测的业务订单数据。

需要说明的是,将当前分钟的值x与临近的一点值y做除法得到比值r0,然后采集x点对应的样本,计算样本的均值得到值a,采集y点对应的样本,计算样本均值得到值b,将a/b得到比值r1。因此,y值与x值的时间间隔δt选择非常重要,当δt较小(x与y时间比较临近)时,比值r0就越靠近r1;而当δt很大的时候,比值r0与r1就相差很大,导致计算结果产生很大的误差。所以x与y的时间间隔δt不能太大,也不能太小。

例如,假设δt取1分钟,存在这样一种情况:从t0分钟(设此时刻的订单量为100)开始,下一分钟的值是前一分钟的值的0.75倍,一直持续了5分钟。每一分钟都比前一分钟下降25%,并没有超出预先设定的30%下降阈值,不会被判定为异常。然而五分钟后总共下降了76%,即产生了漏告警,也是不能接受的。因此在订单业务告警中我们将δt设为10分钟,在一定程度上可以避免上述这种迭代下降(或上升)的异常。本发明实施例中,订单业务监控的δt设为10分钟。还可以是其他合理的数值,例如,15分钟,具体此处不做限定。

105、根据当前时刻的预测值判断当前时刻的实际值是否在预置波动范围内。

服务器根据当前时刻的预测值判断当前时刻的实际值是否在预置波动范围内。具体的,服务器获取预置波动阈值;服务器根据预置波动阈值和当前时刻的预测值确定当前时刻的允许波动范围值;服务器获取当前时刻的实际值;服务器判断当前时刻的实际值是否在允许波动范围值的区间内;若当前时刻的实际值在允许波动范围值的区间内,则确定当前时刻的实际值正常;若当前时刻的实际值不在允许波动范围值的区间内,则确定当前时刻的实际值异常。

需要说明的是,服务器根据当前时刻的预测值判断当前时刻的实际值是否在预置波动范围内具体还包括:

106、若当前时刻的实际值不在预置波动范围内,则对当前时刻的实际值进行数据完整性验证,并根据验证结果进行告警或数据调整。

若当前时刻的实际值不在预置波动范围内,则服务器读取在预置周期范围内历史日志中当前时刻对应的多个历史数据值;服务器利用循环冗余校验算法对多个历史数据值和实际值进行数据完整性验证,判断实际值对应的字段是否发生缺失;若实际值对应的字段发生缺失,则服务器确定当前时刻的实际值不完整,并确定当前时刻的实际值为虚假异常并调整所述当前时刻的实际值到所述预置波动范围;若实际值对应的字段没有发生缺失,则服务器确定当前时刻的实际值完整,并确定当前时刻的实际值为真实异常为并进行告警。若当前时刻的实际值在预置波动范围内,则服务器忽略该实际值。

本发明实施例,采用临近比值算法对订单数据在所有时段进行实时预测,得到预测数据和实时数据,当实时数据和预测数据之间的误差超过预先设定的误差范围时进行告警,避免了在放假期限产生大量误告警,提高了告警准确率。

可选的,如图2所示,在临近比值算法的实际应用中为了避免因为单个y值的随机波动造成预测值的x′波动,将单个y值改为区间平均值计算预测值x′的具体过程可以包括:

服务器确定当前时刻t0;服务器根据当前时刻t0和预置的时间间隔δt确定临近时段临近时段早于当前时刻t0;服务器基于临近时段和历史数据确定临近时段对应的实际均值服务器确定当前时刻t0对应的当前样本均值a以及临近时段对应的临近样本均值服务器根据预置公式调用当前样本均值a、临近时段对应的临近样本均值临近时段对应的实际均值计算得到当前时刻t0的预测值x′,x′用于指示根据样本数据的趋势预测的业务订单数据。

可选的,如图3所示,针对上述迭代下降(或上升)异常,对临近比值算法进行了进一步的改进:将单区间比值改为多区间比值。计算预测值x′的具体过程还可以包括:

服务器确定当前时刻t0;服务器根据当前时刻t0和预置的时间间隔δt确定第一临近时段第二临近时段第一临近时段早于当前时刻t0,第二临近时段早于第一临近时段服务器基于第一临近时段第二临近时段和历史数据确定第一临近时段对应的实际值和第二临近时段对应的实际值服务器确定当前时刻t0对应的当前样本均值a、第一临近时段对应的第一样本均值第二临近时段对应的第二样本均值服务器根据预置公式调用当前样本均值a、第一临近时段对应的第一样本均值第二临近时段对应的第二样本均值第一临近时段对应的实际值第二临近时段对应的实际值计算得到当前时刻t0的预测值x′,x′用于指示根据样本数据的趋势预测的业务订单数据,其中,w1+w2=1,w1>w2。

可以理解的是,临近比值算法受到样本均值的影响,却不受样本波动状况的影响。由于订单数据每天的走势变化是类似的,例如,每天凌晨是订单量最少的时候,从上午7点开始快速爬升,10点15分达到当天的峰值,然后开始小幅下降,下午3点再次达到峰值,然后开始一直慢慢下降。比值算法正好利用了这种走势规律,排除了放假时刻的水位影响,因此临近比值算法的告警准确率会更高。

本发明实施例,将临近比值算法的应用扩展到登录量的业务数据监控,登录量的业务数据与订单业务数据具有相似性:同样是以天为单位周期性变化,每天的走势变化基本相同。采用临近比值算法对登录量的监控同样取得了较好的效果。所以,对于这种以固定周期进行相同趋势变化的业务订单数据监控,临近比值算法的告警效果更好。

可选的,将预置时长内的历史数据确定为样本数据包括:

将历史数据的最近n天的业务订单数据作为候选数据,n为正整数;

将所述候选数据的采样单位设置为分钟或秒,得到多个样本点;

将所述多个样本点确定为样本数据,所述多个样本的数量为1440×n或1440×60×n。

本实施例对样本数据的确定过程进行明确,增加了本实施例的可操作性。

可选的,通过预置的多个线程对样本数据中的各个子样本进行并发计算,得到各个子样本的样本均值包括:

将样本数据按照分钟维度进行分类得到目标数量个子样本,每一分钟对应一个子样本,每个子样本包含n个样本点;

调用预置的多个线程分别根据每个子样本中的n个样本点并发计算每个子样本的均值;

生成目标数量个样本均值,每个样本均值包括n个样本点的均值。

需要说明的是,当采样单位为分钟时,目标数量可以为1440,当采样单位为秒时,目标数量可以为1440×60=86400。

本实施例对样本均值的计算过程进行明确,增加了样本均值的可靠性,增加了样本均值的准确性。

可选的,若当前时刻的实际值不在预置波动范围内,则对当前时刻的实际值进行数据完整性验证并根据验证结果进行告警或数据调整,包括:

若当前时刻的实际值不在预置波动范围内,则读取在预置周期范围内历史日志中当前时刻对应的多个历史数据值;

利用循环冗余校验算法对多个历史数据值和实际值进行数据完整性验证,判断实际值对应的字段是否发生缺失;

若实际值对应的字段发生缺失,则确定当前时刻的实际值不完整,并确定当前时刻的实际值为虚假异常并调整当前时刻的实际值到预置波动范围;

若实际值对应的字段没有发生缺失,则确定当前时刻的实际值完整,并确定当前时刻的实际值为真实异常为并进行告警。

上面对本发明实施例中数据异常告警方法进行了描述,下面对本发明实施例中数据异常告警装置进行描述,请参阅图4,本发明实施例中数据异常告警装置的一个实施例包括:

获取单元401,用于获取历史数据,所述历史数据包括预置时长内的业务订单数据;

确定单元402,用于将预置时长内的历史数据确定为样本数据;

第一计算单元403,用于通过预置的多个线程对所述样本数据中的各个子样本进行并发计算,得到各个子样本的样本均值;

第二计算单元404,用于根据所述样本均值计算当前时刻的预测值,所述当前时刻的预测值用于指示根据所述样本数据的趋势预测的业务订单数据;

判断单元405,用于根据所述当前时刻的预测值判断当前时刻的实际值是否在预置波动范围内;

验证单元406,若所述当前时刻的实际值不在预置波动范围内,则用于对当前时刻的实际值进行数据完整性验证,并根据验证结果进行告警或数据调整。

本发明实施例,采用临近比值算法对订单数据进行实时预测,当实时数据和预测数据之间的误差超过预先设定的误差范围时进行告警,避免了产生大量误告警,提高了告警准确率。

可选的,第二计算单元404具体用于:

确定当前时刻t0;

根据所述当前时刻t0和预置的时间间隔δt确定临近时刻t1,所述临近时刻t1早于所述当前时刻t0;

基于所述临近时刻t1和历史数据确定临近时刻t1对应的实际值y;

确定所述当前时刻t0对应的当前样本均值a以及所述临近时刻t1对应的临近样本均值b;

根据预置公式调用所述当前样本均值a、所述临近时刻t1对应的临近样本均值b和所述临近时刻t1对应的实际值y,计算得到当前时刻t0的预测值x′,x′用于指示根据所述样本数据的趋势预测的业务订单数据。

可选的,第二计算单元404具体还用于:

确定当前时刻t0;

根据所述当前时刻t0和预置的时间间隔δt确定临近时段所述临近时段早于所述当前时刻t0;

基于所述临近时段和历史数据确定临近时段对应的实际均值

确定所述当前时刻t0对应的当前样本均值a以及所述临近时段对应的临近样本均值

根据预置公式调用所述当前样本均值a、所述临近时段对应的临近样本均值所述临近时段对应的实际均值计算得到当前时刻t0的预测值x′,x′用于指示根据所述样本数据的趋势预测的业务订单数据。

可选的,第二计算单元404具体还用于:

确定当前时刻t0;

根据所述当前时刻t0和预置的时间间隔δt确定第一临近时段第二临近时段所述第一临近时段早于所述当前时刻t0,所述第二临近时段早于所述第一临近时段

基于所述第一临近时段所述第二临近时段和历史数据确定第一临近时段对应的实际值和第二临近时段对应的实际值

确定所述当前时刻t0对应的当前样本均值a、所述第一临近时段对应的第一样本均值所述第二临近时段对应的第二样本均值

根据预置公式调用所述当前样本均值a、所述第一临近时段对应的第一样本均值所述第二临近时段对应的第二样本均值所述第一临近时段对应的实际值所述第二临近时段对应的实际值计算得到当前时刻t0的预测值x′,x′用于指示根据所述样本数据的趋势预测的业务订单数据,其中,w1+w2=1,w1>w2。

可选的,确定单元402具体用于:

将历史数据的最近n天的业务订单数据作为候选数据,n为正整数;

将所述候选数据的采样单位设置为分钟或秒,得到多个样本点;

将所述多个样本点确定为样本数据,所述多个样本的数量为1440×n或1440×60×n。

可选的,第一计算单元403具体用于:

将所述样本数据按照分钟维度进行分类得到目标数量个子样本,每一分钟对应一个子样本,每个子样本包含n个样本点;

调用预置的多个线程分别根据每个子样本中的n个样本点并发计算每个子样本的均值;

生成目标数量个样本均值,每个样本均值包括n个样本点的均值。

可选的,验证单元406具体用于:

若所述当前时刻的实际值不在预置波动范围内,则读取在预置周期范围内历史日志中当前时刻对应的多个历史数据值;利用循环冗余校验算法对所述多个历史数据值和所述实际值进行数据完整性验证,判断所述实际值对应的字段是否发生缺失;若所述实际值对应的字段发生缺失,则确定所述当前时刻的实际值不完整,并确定所述当前时刻的实际值为虚假异常并调整所述当前时刻的实际值到所述预置波动范围;若所述实际值对应的字段没有发生缺失,则确定所述当前时刻的实际值完整,并确定所述当前时刻的实际值为真实异常为并进行告警。

本发明实施例,采用临近比值算法对订单数据在所有时段进行实时预测,得到预测数据和实时数据,当实时数据和预测数据之间的误差超过预先设定的误差范围时进行告警,避免了在放假期限产生大量误告警,提高了告警准确率。

上面图4从模块化功能实体的角度对本发明实施例中的数据异常告警装置进行详细描述,下面从硬件处理的角度对本发明实施例中数据异常告警设备进行详细描述。

图5是本发明实施例提供的一种数据异常告警设备的结构示意图,该数据异常告警设备500可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(centralprocessingunits,cpu)501(例如,一个或一个以上处理器)和存储器509,一个或一个以上存储应用程序507或数据506的存储介质508(例如一个或一个以上海量存储设备)。其中,存储器509和存储介质508可以是短暂存储或持久存储。存储在存储介质508的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对数据异常告警设备中的一系列指令操作。更进一步地,处理器501可以设置为与存储介质508通信,在数据异常告警设备500上执行存储介质508中的一系列指令操作。

数据异常告警设备500还可以包括一个或一个以上电源502,一个或一个以上有线或无线网络接口503,一个或一个以上输入输出接口504,和/或,一个或一个以上操作系统505,例如windowsserve,macosx,unix,linux,freebsd等等。本领域技术人员可以理解,图5中示出的数据异常告警设备结构并不构成对数据异常告警设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。处理器501可以执行上述实施例中获取单元401、确定单元402、第一计算单元403、第二计算单元404、判断单元405和验证单元406的功能。

下面结合图5对数据异常告警设备的各个构成部件进行具体的介绍:

处理器501是数据异常告警设备的控制中心,可以按照设置的数据异常告警方法进行处理。处理器501利用各种接口和线路连接整个数据异常告警设备的各个部分,通过运行或执行存储在存储器509内的软件程序和/或模块,以及调用存储在存储器509内的数据,执行数据异常告警设备的各种功能和处理数据,采用临近比值算法对订单数据在所有时段进行实时预测,得到预测数据和实时数据,当实时数据和预测数据之间的误差超过预先设定的误差范围时进行告警,避免了在放假期限产生大量误告警,提高了告警准确率。存储介质508和存储器509都是存储数据的载体,本发明实施例中,存储介质508可以是指储存容量较小,但速度快的内存储器,而存储器509可以是储存容量大,但储存速度慢的外存储器。

存储器509可用于存储软件程序以及模块,处理器501通过运行存储在存储器509的软件程序以及模块,从而执行数据异常告警设备500的各种功能应用以及数据处理。存储器509可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如将预置时长内的历史数据确定为样本数据)等;存储数据区可存储根据数据异常告警设备的使用所创建的数据(比如各个子样本的样本均值)等。此外,存储器509可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在本发明实施例中提供的数据异常告警方法程序和接收到的数据流存储在存储器中,当需要使用时,处理器501从存储器509中调用。

在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、双绞线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,光盘)、或者半导体介质(例如固态硬盘(solidstatedisk,ssd))等。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(read-onlymemory,rom)、随机存取存储器(randomaccessmemory,ram)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1