一种基于时序分解进行告警监测的系统的制作方法

文档序号:31131934发布日期:2022-08-13 06:21阅读:59来源:国知局
一种基于时序分解进行告警监测的系统的制作方法

1.本发明涉及神经网络技术领域,尤其是基于时序分解进行告警监测的系统。


背景技术:

2.基于波形数据的告警监测系统用于用户业务上的时序检测,系统运行时根据用户输入的波形数据进行自动告警,该波形数据为按时序排列的监测数据。
3.常见的时序异常检测方法有stl等,但时序异常检测算法都有一个默认的假设前提,且还要知晓周期的长度,即数据源本身是由周期性的冲击信号源产生的,即数据本身具备季节周期性。
4.但对于周期性不规律的工业监测参数的波形数据进行异常检测效果不理想。


技术实现要素:

5.本发明的目的在于提供一种基于时序分解进行告警监测的系统,根据实时波形数据检测异常波形。
6.一种基于时序分解进行告警监测的系统,包括:
7.滤波模块,用于对输入的波形数据滤波,获取简易滤波波形数据;
8.波形截取模块,通过用时间宽度为m的滑动窗口沿输入的波形数据按步长n等距滑动,提取出等长的波形样本段,相邻的前后段的起点时间戳间隔相等,且小于样本段的长度;当输入为简易滤波波形数据时,其输出为多个滤波波形样本段;当输入为历史波形数据时,其输出为多个真实波形样本段;
9.自编码模型,由滤波波形样本段输入自编码器后训练得到,训练完成后,输入等于输出,当输入为历史波形数据时,得到仿真波形数据;
10.知识蒸馏模型,用于将真实波形样本段输入自编码模型后抽取出的中间层输出作为输入,获取向后滑动n步后的真实波形样本段的预测数据;
11.异常去除模块,分析输入的历史波形数据的明显异常部分的时间戳,并截取明显异常部分的波形数据,获取非连续波形数据;
12.波形连续化模块,识别输入的非连续波形数据的空缺时段的中心时间戳ti,以中心时间戳ti为终点,从波形截取模块获取的多个真实波形样本段中取出将时间戳终点为t
i-n的真实波形样本段,以中心时间戳ti为起点,从波形截取模块获取的多个真实波形样本段中取出将时间起点为t
i-n的真实波形样本段,将两种真实波形样本段输入自编码模型后抽取出的中间层输出,输入至知识蒸馏模型的学生网络,分别获取时间戳终点为ti和时间戳起点为ti的预测数据,分别作为左空缺波形数据和右空缺波形数据;再将左空缺波形数据和右空缺波形数据分别回填到空缺时段的中心时间戳ti两侧,获得修复波形数据;
13.波形融合模块,用于将仿真波形数据和修复波形数据按融合参数a、b合成得到无缺陷波形数据;
14.回归网络,根据输入的实时波形数据输出基波波形数据,基波波形数据是基于实
时波形数据预测出的无缺陷波形近似数据;
15.告警模块,用实时波形数据减去无缺陷波形近似数据获得残差波形数据,根据残差波形数据判断是否存在异常。
16.进一步地,所述融合参数a、b通过以下步骤训练获得:
17.w1.利用波形截取模块将仿真波形数据处理成多个仿真波形样本段;
18.w2.根据历史波形数据异常部分的时间戳,随机获取历史波形数据正常部分的正时间戳tz,在多个仿真波形样本段中提取出以正时间戳tz做起点或终点的仿真波形样本段,从已获取的多个真实波形样本段中取出以时间戳t
z-n做起点或终点的真实波形样本段,将真实波形样本段输入自编码模型后抽取出的中间层输出,输入至知识蒸馏模型的学生网络,分别获取以正时间戳tz做起点或终点的预测数据,即空缺波形样本段;
19.w3.将步骤w2中的仿真波形样本段与对应的空缺波形样本段按融合参数a、b合成无缺陷波形数据;
20.w4.将步骤w2得到的真实波形样本段作为无缺陷波形数据的真实标签,训练波形融合模块,使仿真波形样本段*a+空缺波形样本段*b=真实波形样本段,得到融合参数a、b。
21.进一步地,所述回归网络是以无缺陷波形数据作为真实标签,以历史波形数据作为输入,以输出与真实标签接近为目标,训练得到的神经网络,所述无缺陷波形数据为按步骤w4获得的融合参数a、b和,以步骤w2中的仿真波形样本段与对应的空缺波形样本段作为输入,合成的无缺陷波形数据,所述历史波形数据是步骤w3中的真实波形样本段。
22.优选地,所述知识蒸馏模型包括教师网络和学生网络,训练过程如下:
23.将第t段滤波波形样本段输入自编码模型,抽取中间层输出作为样本数据,将样本数据输入教师网络,获得样本数据对应的软标签数据,将样本数据输入学生网络,获得样本数据对应的学生预测数据;
24.将第t+n段滤波波形样本段输入自编码模型后抽取的中间层输出作为样本数据的硬标签数据;
25.知识蒸馏是先由教师网络完整的学习硬标签,然后再由学生网络同时学习硬标签和教师网络输出的软标签,得到知识蒸馏模型的损失函数,根据损失函数更新教师网络和学生网络的参数用来减小预测数据和软标签的误差及预测数据和硬标签的误差。
26.优选地,所述异常去除模块处理历史波形数据的过程如下:
27.y1.对历史波形数据,使用时序数据异常检验模型,对历史波形数据进行标注,提取历史波形数据异常部分的时间戳;
28.y2.将同一时间段的未经步骤y1处理的历史波形数据与步骤y1获得的时间戳对齐,获得标记有异常部分时间戳的疑似异常波形数据,从异常波形数据中截去异常部分的波形数据,获得非连续波形数据。
29.本发明的有益效果:本发明中自编码模型输入等于输出,但对输入进行了去噪。本发明的知识蒸馏模型可基于无缺陷的波形数据预测下一步的无缺陷波形数据,对波形数据的异常部分进行修复。
30.本发明根据历史波形数据找到异常部分,并截去异常部分,填充预测数据,得到修复波形数据,将修复波形数据和去噪的仿真波形数据融合,通过学习,使融合的波形数据为无缺陷波形数据,在使用回归网络学习无缺陷波形数据,使输入无缺陷的历史波形数据后
能生成无缺陷波形数据,即基波,然后将实时波形数据输入训练好的回归网络得到实时波形数据的基波,再将实时波形数据减去基波,便可得到实时波形数据的残差,基于该残差的分布,可识别异常离群数据,进行告警。
附图说明
31.图1为本发明的告警监测方法的流程示意图;
具体实施方式
32.下面将结合实施例对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
33.基于时序分解进行告警监测的系统,用于处理波形数据,波形数据为按时序排列的历史监测数据。
34.历史波形数据为工控系统对单一对象监控获得的每个时间点的监测数值组成的连续监测数据。
35.基于时序分解进行告警监测的系统,包括以下模块:
36.滤波模块,用于对输入的波形数据滤波,使用的滤波算法包括卡尔曼等经典滤波算法,用于获取简易滤波波形数据。
37.波形截取模块,通过用时间宽度为m的滑动窗口沿输入的波形数据按步长n等距滑动,提取出等长的波形样本段,相邻的前后段的起点时间戳间隔相等,且小于样本段的长度;n小于m,通常为m的1/2、1/4、1/8、1/16。
38.当输入为简易滤波波形数据时,其输出为多个滤波波形样本段。
39.当输入为历史波形数据时,其输出为多个真实波形样本段。
40.自编码模型,由滤波波形样本段输入自编码器后训练得到,训练完成后,输入等于输出。
41.当输入为历史波形数据时,得到仿真波形数据。
42.知识蒸馏模型,用于将真实波形样本段输入自编码模型后抽取出的中间层输出作为输入,获取向后滑动n步后的真实波形样本段的预测数据。
43.知识蒸馏模型包括教师网络和学生网络,训练过程如下:
44.将第t段滤波波形样本段输入自编码模型,抽取中间层输出作为样本数据,将样本数据输入教师网络,获得样本数据对应的软标签数据,将样本数据输入学生网络,获得样本数据对应的学生预测数据;
45.样本数据是预先选取的第t段滤波波形样本段的特征数据,软标签数据包括教师网络对输入的样本数据进行分类的第一概率数据,表示教师网络判定样本数据属于每个分类的概率,实质上是教师网络根据样本数据得到的预测数据;学生预测数据包括学生网络对样本数据进行分类的第二概率数据,表示学生网络判定样本数据属于每个分类的概率;软标签数据和学生预测数据可以是教师网络和学生网络的全连接层或softmax(归一化指数函数)层输出的概率值等。
46.将第t+n段滤波波形样本段输入自编码模型后抽取的中间层输出作为样本数据的硬标签数据,硬标签数据是真实标签。
47.知识蒸馏是先由教师网络完整的学习硬标签
‑‑
样本数据在第i类上的分类,ci∈{0,1},正标签取1,负标签取0.(输入x,经过softmax映射出软标签p
it
),然后再由学生网络同时学习硬标签和教师网络输出的软标签,得到预测数据q
it

48.判断预测数据和软标签的误差在t=1时判断学生预测数据和硬标签的误差
49.最后得到知识蒸馏模型的损失函数l=αl
soft
+βl
hard
,根据损失函数更新教师网络和学生网络的参数用来减小上述两部分误差,通过训练迭代,最小化损失函数,使最终的学生网络和教师网络处理样本数据得到的学生预测数据、软标签数据和硬标签数据一致或接近一致,即在样本数据上达到较高的准确率。
50.异常去除模块,分析输入的历史波形数据的明显异常部分的时间戳,并截取明显异常部分的波形数据,获取非连续波形数据。
51.其处理历史波形数据的过程如下:
52.y1.对历史波形数据,使用经典时序数据异常检验模型,如n-sigma、奇异点发现等对历史波形数据进行标注,提取历史波形数据异常部分的时间戳;
53.时序异常检测通常形式化为根据某种标准或正常信号寻找离群数据点。
54.本步骤中,n-sigma准则基于目标分布是正态或近似正态分布。一般地,选取n=3。根据正态分布的概率密度公式可以算出,样本取值几乎全部集中在均值的
±
3σ区间内,超出这个范围的可能性仅占不到0.3%,可以认为是小概率事件。
55.奇异点发现(箱线图)是一种用作显示一组数据分散情况的统计图,经常用于异常检测。奇异点发现的核心在于计算一组数据的中位数、两个四分位数、上限和下限,基于这些统计值画出箱线图。超过上限的点或这个低于下限的点都可以认为是异常点。
56.y2.将同一时间段的未经步骤y1处理的历史波形数据与步骤y1获得的时间戳对齐,获得标记有异常部分时间戳的疑似异常波形数据,从异常波形数据中截去异常部分的波形数据,获得非连续波形数据;
57.波形连续化模块,识别输入的非连续波形数据的空缺时段的中心时间戳ti,以中心时间戳ti为终点,从波形截取模块获取的多个真实波形样本段中取出将时间戳终点为t
i-n的真实波形样本段,输入自编码模型后抽取出的中间层输出,输入至知识蒸馏模型的学生网络,获取时间戳终点为ti的预测数据,作为左空缺波形数据;
58.以中心时间戳ti为起点,从波形截取模块获取的多个真实波形样本段中取出将时间起点为t
i-n的真实波形样本段,输入自编码模型后抽取出的中间层输出,输入至知识蒸馏模型的学生网络,获取时间戳起点为ti的预测数据,作为右空缺波形数据;
59.再将左空缺波形数据和右空缺波形数据分别回填到空缺时段的中心时间戳ti两侧,获得修复波形数据。
60.波形融合模块,用于将仿真波形数据和修复波形数据按融合参数a、b合成得到无缺陷波形数据。
61.融合参数a、b通过以下步骤训练获得:
62.w1.利用波形截取模块将仿真波形数据处理成多个仿真波形样本段;
63.w2.根据历史波形数据异常部分的时间戳,随机获取历史波形数据正常部分的正时间戳tz,在多个仿真波形样本段中提取出以正时间戳tz做起点或终点的仿真波形样本段,从已获取的多个真实波形样本段中取出以时间戳t
z-n做起点或终点的真实波形样本段,将真实波形样本段输入自编码模型后抽取出的中间层输出,输入至知识蒸馏模型的学生网络,分别获取以正时间戳tz做起点或终点的预测数据,即空缺波形样本段;
64.w3.将步骤w2中的仿真波形样本段与对应的空缺波形样本段按融合参数a、b合成无缺陷波形数据;
65.w4.将步骤w2得到的真实波形样本段作为无缺陷波形数据的真实标签,训练波形融合模块,使仿真波形样本段*a+空缺波形样本段*b=真实波形样本段。
66.回归网络,根据输入的实时波形数据输出基波波形数据,基波波形数据是基于实时波形数据预测出的无缺陷波形近似数据。
67.回归网络是以无缺陷波形数据作为真实标签,以历史波形数据作为输入,以输出与真实标签接近为目的,训练得到的神经网络。所述无缺陷波形数据为按步骤w4获得的融合参数a、b和,以步骤w2中的仿真波形样本段与对应的空缺波形样本段作为输入,合成的无缺陷波形数据,所述历史波形数据是步骤w3中的真实波形样本段。
68.告警模块,用实时波形数据减去无缺陷波形近似数据获得残差波形数据,根据残差波形数据判断是否存在异常。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1