检测数据异常的方法、装置、存储介质及计算机设备与流程

文档序号:29795878发布日期:2022-04-23 18:49阅读:来源:国知局

技术特征:
1.一种检测数据异常的方法,其特征在于,包括:采集来自数据源的当前时间区间内的时间序列数据;其中,所述当前时间区间内的时间序列数据包括n个实际值;确定所述数据源的数据特征;若所述数据特征为趋势变化或周期变化,获取基线数据;其中,所述基线数据包括n个预测值,所述n个实际值和所述n个预测值为一一对应关系,所述基线数据是对历史时间区间内的时间序列数据进行预测得到的,所述历史时间区间与所述当前时间区间有关;若所述实际值和对应的预测值之间的偏离度大于阈值,将所述实际值识别为异常值。2.根据权利要求1所述的方法,其特征在于,所述历史时间区间与所述当前时间区间相邻,且所述历史时间区间的长度等于所述当前时间区间的长度。3.根据权利要求1或2所述的方法,其特征在于,基于lstm长期记忆模型对历史时间区间内的时间序列数据进行预测,得到基线数据。4.根据权利要求1所述的方法,其特征在于,还包括:若所述数据特征为正态分布,计算所述n个实际值的期望μ和方差σ;根据公式μ+3σ计算上限值,以及根据公式μ-3σ计算下限值;若所述实际值不位于所述上限值和下限值之间,将所述实际值识别为异常值。5.根据权利要求1所述的方法,其特征在于,还包括:若所述数据源为标记数据,将所述当前时间区间内的时间序列数据转换为特征向量;将所述特征向量输入到当前训练的深度学习模型得到预测结果;其中,所述深度学习模型是基于历史时间区间内的已标注的时间序列数据训练得到的;在接收到所述当前时间区间内的时间序列数据的实际结果时,计算所述实际结果和所述预测结果之间的差值,以及通过bp反向传播算法利用所述差值更新深度学习模型。6.根据权利要求5所述的方法,其特征在于,所述历史时间区间内的已标注的时间序列数据划分为80%的训练集和20%的测试集。7.根据权利要求1或2或4或5或6所述的方法,其特征在于,还包括:基于所述当前时间区间内的时间序列数据生成统计图表,以及在统计图表中标记出各个异常值。8.一种检测数据异常的装置,其特征在于,包括:采集单元,用于采集来自数据源的当前时间区间内的时间序列数据;其中,所述当前时间区间内的时间序列数据包括n个实际值;确定单元,用于确定所述数据源的数据特征;获取单元,用于若所述数据特征为趋势变化或周期变化,获取基线数据;其中,所述基线数据包括n个预测值,所述n个实际值和所述n个预测值为一一对应关系,所述基线数据是对历史时间区间内的时间序列数据进行预测得到的,所述历史时间区间与所述当前时间区间有关;识别单元,用于若所述实际值和对应的预测值之间的偏离度大于阈值,将所述实际值识别为异常值。9.一种计算机存储介质,其特征在于,所述计算机存储介质存储有多条指令,所述指令适于由处理器加载并执行如权利要求1~7任意一项的方法步骤。
10.一种计算机设备,其特征在于,包括:处理器和存储器;其中,所述存储器存储有计算机程序,所述计算机程序适于由所述处理器加载并执行如权利要求1~7任意一项的方法步骤。

技术总结
本申请实施例公开了一种检测数据异常的方法、装置、存储介质及计算机设备,涉及数据检测领域。本申请的方法包括:采集来自数据源的当前时间区间内的时间序列数据;确定所述数据源的数据特征;若所述数据特征为趋势变化或周期变化,获取基线数据;若所述实际值和对应的预测值之间的偏离度大于阈值,将所述实际值识别为异常值,利用动态变化的基线数据来检测数据异常,可以提高数据异常检测的准确性,另外本申请不需要事前设置阈值,减少人工操作的步骤,可以提高工作效率。可以提高工作效率。可以提高工作效率。


技术研发人员:刘静 林浩生 吕沙沙 王博
受保护的技术使用者:珠海联云科技有限公司
技术研发日:2021.12.20
技术公布日:2022/4/22
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1