异常监测模型的训练、异常监测方法及电子设备与流程

文档序号:32483748发布日期:2022-12-10 00:10阅读:126来源:国知局
异常监测模型的训练、异常监测方法及电子设备与流程

1.本发明涉及物联网技术领域,具体涉及异常监测模型的训练、异常监测方法及电子设备。


背景技术:

2.近年来,现代通信有了巨大的发展,物联网在世界各地的社会中得到了广泛的普及,物联网设备的数量也在不断增加,针对大量物联网设备的监控显得极为重要。现有对于物联网设备的异常监控可以采用人工监控的方式,也有基于异常监控模型进行监控的方式。其中,对于人工监控的方式而言,存在监控效率及准确率低的问题,因此,一般采用异常监控模型对物联网设备进行监控。
3.其中,异常监控模型需要先进行训练确定模型参数才能部署到监控设备中,而对于异常监控模型的模型结构一般是基于经验值进行设置的。例如,基于lstm模型的异常监控模型,在确定模型结构时,一般是基于经验值设置超参数:时间步长以及隐藏神经元的个数等等。然而,这种依据经验值设置的方式由于准确度较低,因此会影响最终训练得到的异常监控模型的预测精度以及训练速度。


技术实现要素:

4.有鉴于此,本发明实施例提供了一种异常监控模型的训练、异常监控方法及电子设备,以解决异常监控模型的训练速度慢以及预测精度较低的问题。
5.根据第一方面,本发明实施例提供了一种异常监控模型的训练方法,包括:
6.获取用于训练异常监测模型的待优化参数;
7.利用混沌映射对所述待优化参数进行初始化,得到初始化种群;
8.基于当前优化迭代次数调整当前优化权重,所述当前优化权重与所述当前优化迭代次数正相关;
9.根据所述当前优化权重对所述初始化种群进行优化,确定目标优化参数;
10.基于所述目标优化参数对所述异常监测模型进行训练,确定目标异常监测模型。
11.本发明实施例提供的异常监控模型的训练方法,采用混沌映射的方式生成初始化种群,同时引入与当前优化迭代次数正相关的当前优化权重,并利用该当前优化权重对初始化种群进行优化,能够避免模型陷入局部最优,可提高异常监测模型的预测精度以及迭代速度。
12.在一些实施方式中,所述根据所述当前优化权重对所述初始化种群进行优化,确定目标优化参数,包括:
13.获取优化随机数,所述优化随机数大于0且小于1;
14.基于所述优化随机数与优化方向阈值的大小关系,确定所述待优化参数的计算方式;
15.基于所述计算方式以及所述当前优化权重对所述初始化种群进行优化,确定所述
目标优化参数。
16.本发明实施例提供的异常监控模型的训练方法,利用优化随机数与优化方向阈值的大小关系确定待优化参数的计算方式,能够保证计算方式的随机性,避免模型陷入局部最优,提高了目标优化参数的可靠性,进而保证异常建模模型的预测精度。
17.在一些实施方式中,所述对所述初始化种群的优化是基于鲸鱼优化算法进行的,采用如下公式表示所述待优化参数的计算方式:
[0018][0019]
其中,d=|cx
*
(t)-x(t)|,c为第一系数向量,a为第二系数向量,w(t)为所述当前优化权重,l为l∈(0,1)的随机数,b为螺旋线形状,p为所述优化随机数,x
*
(t)与a值相关,x
*
(t)为当前最优解的位置或随机搜索单元的位置,x(t+1)为所述待优化参数在下一次优化的位置。
[0020]
在一些实施方式中,所述基于所述计算方式以及所述当前优化权重对所述初始化种群进行优化,确定所述目标优化参数,包括:
[0021]
获取随机扰动以及获取基于所述计算方式以及所述当前优化权重对所述初始化种群进行优化得到的优化位置;
[0022]
基于所述随机扰动以及当前最优解的位置或随机搜索单元的位置,计算随机扰动后的位置;
[0023]
比较所述随机扰动后的位置与所述优化位置;
[0024]
基于比较结果对所述初始化种群进行优化,确定所述目标优化参数。
[0025]
本发明实施例提供的异常监控模型的训练方法,在优化过程中引入最佳邻域扰动测量,优先在最佳位置附近进行随机搜索遍历,进而寻找最佳全部值,有利于跳出局部最优,并提高收敛速度。
[0026]
在一些实施方式中,采用如下公式计算随机扰动后的位置:
[0027][0028]
其中,为随机扰动后的位置,x
*
(t)与所述计算方式中系数向量相关,x
*
(t)为所述当前最优解的位置或随机搜索单元的位置,r1、r2为随机数。
[0029]
在一些实施方式中,采用如下公式计算所述当前优化权重:
[0030][0031]
其中,w(t)为所述当前优化权重,a为系数,t为所述当前优化迭代次数,t max为优化迭代次数的最大值。
[0032]
根据第二方面,本发明实施例还提供了一种异常监测方法,包括:
[0033]
获取待监测数据;
[0034]
将所述待监测数据输入目标异常监测模型中,确定预测数据,所述目标异常监测模型是根据上述第一方面,或第一方面任一项实施方式中所述的方法得到的;
[0035]
对比所述预测数据与所述待监测数据的差异;
[0036]
当基于所述差异确定异常时,向所述待监测数据对应的目标设备发送异常处理指令。
[0037]
本发明实施例提供的异常监控方法,由于目标异常监测模型的监测精度较高,基于此,能够得到预测精度较高的预测数据,提高了预测结果的可靠性;同时在确定出异常时,主动向目标设备发送异常处理指令,实现异常数据的自动处理,无需人工参与,提高了异常监控的效率。
[0038]
在一些实施方式中,所述获取待监测数据,包括:
[0039]
获取订阅主题;
[0040]
基于所述订阅主题从数据存储空间拉取所述待监测数据。
[0041]
本发明实施例提供的异常监控方法,利用订阅主题从数据存储空间中进行待监测数据的拉取,利用数据存储空间对待监测数据进行缓存,能够适应大规模物联网设备下的监控方案,同时能应对不断增加的物联网设备监控需求,拥有较好的可扩展性。
[0042]
根据第三方面,本发明实施例提供了一种电子设备,包括:存储器和处理器,所述存储器和所述处理器之间互相通信连接,所述存储器中存储有计算机指令,所述处理器通过执行所述计算机指令,从而执行第一方面或者第一方面的任意一种实施方式中所述的异常监测模型的训练方法,或者,执行第二方面或第二方面的任意一种实施方式中所述的异常监测方法。
[0043]
根据第四方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储计算机指令,所述计算机指令用于使所述计算机执行第一方面或者第一方面的任意一种实施方式中所述的异常监测模型的训练方法,或者,执行第二方面或第二方面的任意一种实施方式中所述的异常监测方法。
[0044]
需要说明的是,本发明实施例提供的电子设备或计算机可读存储介质的相应有益效果,请参见上文中异常监测模型的训练方法或异常监测方法的对应有益效果的描述,在此不再赘述。
附图说明
[0045]
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
[0046]
图1是根据本发明实施例的异常监测的应用场景示意图;
[0047]
图2是根据本发明实施例的异常监测模型的训练方法的流程图;
[0048]
图3是根据本发明实施例的异常监测模型的训练方法的流程图;
[0049]
图4是根据本发明实施例的对初始化种群进行优化的流程图;
[0050]
图5是根据本发明实施例的异常监测方法的流程图;
[0051]
图6是根据本发明实施例的异常监测过程中微服务工作流程的示意图;
[0052]
图7是根据本发明实施例的异常监测模型的训练装置的结构框图;
[0053]
图8是根据本发明实施例的异常监测装置的结构框图;
[0054]
图9是本发明实施例提供的电子设备的硬件结构示意图。
具体实施方式
[0055]
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
[0056]
本发明实施例提供的异常监测方法是采用云原生的监控架构,实现物联网设备的智能监控,该系统在异常情况下能主动处理异常设备,节省了大量资源。例如,图1示出了采用云原生的监控架构,包括如下模块:
[0057]
流数据处理器模块:进行实时事件处理。
[0058]
kafka微服务模块:为流数据处理器模块提供分布式框架。
[0059]
zookeeper微服务模块:存储kafka的元数据。
[0060]
神经网络检测模块:识别物联网设备异常情况并进行反馈。
[0061]
prometheus微服务模块:一个监控和警报工具,包括prometheus微服务以及prometheus metric处理模块。prometheus微服务会从数据出口中获取数据,prometheus metric处理模块与云服务生成监控数据图标并产生告警。
[0062]
其中,上述模块中流数据处理器、神经网络检测模块和prometheus metric处理模块是定制的,而kafka微服务模块、zookeeper微服务模块和prometheus微服务是用于展示监控数据的方组件。
[0063]
上述基于云原生架构的监控方案,能很好地适用于云网络下物联网设备的监控需求,在开发以及部署本系统上都节省了大量的开销,同时也将拥有更好的性能。通过prometheus与kafka等微服务的监控架构下,能适应大规模物联网设备下的监控方案;同时能应对不断增加的物联网设备监控需求,拥有更好的可扩展性。
[0064]
根据本发明实施例,提供了一种异常监测模型的训练方法或异常监测方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
[0065]
在本实施例中提供了一种异常监测模型的训练方法,可用于电子设备,如电脑、服务器等,图2是根据本发明实施例的异常监测模型的训练方法的流程图,如图2所示,该流程包括如下步骤:
[0066]
s11,获取用于训练异常监测模型的待优化参数。
[0067]
异常监测模型用于对输入的待监测数据进行重建,得到待监测数据对应的预测数据,后续利用待监测数据与预测数据的差异,即可确定待监测数据是否异常。例如,若异常监测模型为基于lstm神经网络的自动编解码器,自动编解码器包含两个主要的部分,编码器和解码器。编码器的作用是用来发现给定数据的压缩表示,解码器是用来重建原始输入。同时,自动编解码器是一个无监督学习方式,算法假设异常数据点服从不同的分布,根据正常训练数据训练出来的异常监测模型能够将样本重构还原,但是无法准确重构异于正常分布的数据点,通过这种方式来识别不能准确重构的实例,以监测出异常数据。
[0068]
需要说明的是,上述lstm神经网络仅仅是异常监测模型的一种示例,该异常监测模型还可以采取其他的深度学习模型进行异常检测,比如,生成对抗网络(gans)或循环递
归神经网络(rnn)等。具体根据实际需求进行设置,在此对其并不做任何限制。
[0069]
异常监测模型的待优化参数为用于训练异常监测模型的训练参数,例如,训练次数、构建异常监测模型的模型参数或学习率。其中,构建异常监测模型的模型参数包括但不限于神经元个数或隐藏神经元个数等等。待优化参数所包括的参数种类包括至少一种,例如,2种,3种。
[0070]
例如,lstm长短记忆网络中存在着超参数,即隐藏神经元个数以及时间步长。其中,隐藏神经元个数决定模型的拟合效果,时间步长决定训练过程。若这些参数依靠经验得到将对预测精度产生影响,因此,在本实施例中对lstm中的超参数进行优化,以提升运行速度。
[0071]
当然,待优化参数中所包括的参数种类的数量以及类型在此对其并不做任何限制,具体取决于异常监测模型。
[0072]
s12,利用混沌映射对待优化参数进行初始化,得到初始化种群。
[0073]
对于待优化参数中各参数的初始值是通过混沌映射得到的,混沌映射可以用于替代伪随机数生成器,生成0到1之间的混沌数。混沌映射的方式包括但不限于logistic映射、pwlcm映射、singer映射、sine映射等等。在本实施例中,以singer映射为例。例如,采用如下公式得到初始化种群中的第i个参数的值:
[0074][0075]
其中,p为0到1之间的随机数。
[0076]
s13,基于当前优化迭代次数调整当前优化权重。
[0077]
其中,所述当前优化权重与所述当前优化迭代次数正相关。
[0078]
随着迭代次数的增加,优化往最优方向靠近,由此,通过提升最优的优化结果对当前迭代的影响,有助于跳出局部最优。因此,在优化过程中引入当前优化权重,其随当前优化迭代次数而变化,逐渐提升最优的优化结果在优化过程中的作用。对于当前优化权重的具体计算方式在此对并不做任何限定,只需保证当前优化权重随着当前优化迭代次数的增加而增加即可。
[0079]
在一些实施方式中,采用如下公式计算所述当前优化权重:
[0080][0081]
其中,w(t)为所述当前优化权重,a为系数,t为所述当前优化迭代次数,t max为优化迭代次数的最大值。其中,a大于0且小于1。例如,a=0.5,或a=0.6。
[0082]
s14,根据当前优化权重对初始化种群进行优化,确定目标优化参数。
[0083]
在对初始化种群进行优化时,所采用优化的方式在此对其并不做任何限定,只需保证优化过程是基于当前优化权重进行的,即,在对种群中的各个参数进行更新时,是基于当前优化权重进行更新的。
[0084]
关于该步骤具体将在下文中进行详细描述。
[0085]
s15,基于目标优化参数对异常监测模型进行训练,确定目标异常监测模型。
[0086]
电子设备在确定目标优化参数之后,就相当于确定了异常监测模型的模型参数以及训练参数,即可确定异常监测模型以及训练所用的参数。在此基础上,电子设备利用样本监控数据对异常监测模型进行训练,例如,每次迭代时利用异常监测模型对输入的样本监
控数据进行预测,再将预测结果与样本监控数据进行损失函数的计算,对异常监测模型的权重参数进行更新等等,以确定目标异常监测模型。
[0087]
本实施例提供的异常监控模型的训练方法,采用混沌映射的方式生成初始化种群,同时引入与当前优化迭代次数正相关的当前优化权重,并利用该当前优化权重对初始化种群进行优化,能够避免模型陷入局部最优,可提高异常监测模型的预测精度以及迭代速度。
[0088]
在本实施例中提供了一种异常监测模型的训练方法,可用于电子设备,如电脑、服务器等,图3是根据本发明实施例的异常监测模型的训练方法的流程图,如图3所示,该流程包括如下步骤:
[0089]
s21,获取用于训练异常监测模型的待优化参数。
[0090]
详细请参见图2所示实施例的s11,在此不再赘述。
[0091]
s22,利用混沌映射对待优化参数进行初始化,得到初始化种群。
[0092]
详细请参见图2所示实施例的s12,在此不再赘述。
[0093]
s23,基于当前优化迭代次数调整当前优化权重。
[0094]
其中,所述当前优化权重与所述当前优化迭代次数正相关。
[0095]
详细请参见图2所示实施例的s13,在此不再赘述。
[0096]
s24,根据当前优化权重对初始化种群进行优化,确定目标优化参数。
[0097]
具体地,上述s24包括:
[0098]
s241,获取优化随机数。
[0099]
其中,所述优化随机数大于0且小于1。
[0100]
优化随机数是电子设备随机生成的0到1之间的随机数,具体生成随机数的方式并不做任何限定。
[0101]
s242,基于优化随机数与优化方向阈值的大小关系,确定待优化参数的计算方式。
[0102]
在电子设备中设置有至少两种计算方式,通过将优化随机数与优化方向阈值进行比较,并基于比较结果确定待优化参数的计算方式。
[0103]
在一些实施方式中,所述对所述初始化种群的优化是基于鲸鱼优化算法进行的,采用如下公式表示所述待优化参数的计算方式:
[0104][0105]
其中,d=|cx
*
(t)-x(t)|,c为第一系数向量,a为第二系数向量,w(t)为所述当前优化权重,1为l∈(0,1)的随机数,b为螺旋线形状,p为所述优化随机数,x
*
(t)与a值相关,x
*
(t)为当前最优解的位置或随机搜索单元的位置,x(t+1)为所述待优化参数在下一次优化的位置。
[0106]
s243,基于计算方式以及当前优化权重对初始化种群进行优化,确定目标优化参数。
[0107]
电子设备在确定出计算方式之后,由于在计算方式中引入了当前优化权重,那么,利用上述公式即可计算出待优化参数在下一次优化的位置,最终确定出目标优化参数。
[0108]
在一些实施方式中,上述s243包括:
[0109]
(1)获取随机扰动以及获取基于计算方式以及当前优化权重对初始化种群进行优
化得到的优化位置。
[0110]
(2)基于随机扰动以及当前最优解的位置或随机搜索单元的位置,计算随机扰动后的位置。
[0111]
(3)比较随机扰动后的位置与优化位置。
[0112]
(4)基于比较结果对初始化种群进行优化,确定目标优化参数。
[0113]
在一些实施方式中,采用如下公式计算随机扰动后的位置:
[0114][0115]
其中,为随机扰动后的位置,x
*
(t)与所述计算方式中系数向量相关,x
*
(t)为所述当前最优解的位置或随机搜索单元的位置,r1、r2为随机数。
[0116]
如果生成的位置比原位置x(t+1)更优,则将其更行为全局最优,反之不变。由于在鲸鱼优化算法迭代过程中,只有超越最优界限时,最优位置才会发生更新。但更新次数减少将会导致算法预测精度下降。因此引入最佳邻域搅动策略,优先在最佳鲸鱼位置附近进行随机搜索遍历,进而寻找最佳全局值,有利于跳出局部最优,并提高收敛速度。此处生成的位置仅用于算法提高收敛速度,与监控数据并无直接联系,最终采用优化的模型对监控数据进行训练以及检测。
[0117]
s25,基于目标优化参数对异常监测模型进行训练,确定目标异常监测模型。
[0118]
详细请参见图2所示实施例的s15,在此不再赘述。
[0119]
本实施例提供的异常监控模型的训练方法,利用优化随机数与优化方向阈值的大小关系确定待优化参数的计算方式,能够保证计算方式的随机性,避免模型陷入局部最优,提高了目标优化参数的可靠性,进而保证异常建模模型的预测精度。
[0120]
作为本实施例的一个具体应用实例,如图4所示,上述对初始化种群进行优化的方式,包括:
[0121]
(1)首先混沌特性初始化种群,采用singer映射改进算法得到种群化初值,singer映射可产生相对较均匀的序列。
[0122]
(2)判断当前优化次数是否小于最大优化次数,若小于则执行(3),否则执行(11)。
[0123]
(3)规定鲸鱼位置,计算个体适应度得到最优位置;
[0124]
(4)对最优位置进行最优领域更新;
[0125]
(5)判断当前是否遍历到最后一个输入参数,即判断i<n是否成立,若成立则执行(6),否则执行(9);
[0126]
(6)利用当前迭代次数更新当前优化权重;
[0127]
(7)判断优化随机数p是否小于0.5,若p<0.5,则执行(8),否则更新螺旋位置后执行(9);
[0128]
(8)判断a值是否小于1,若a小于1则更新当前个体位置,否则随机更新个体位置,采用如下公式更新当前个体位置,
[0129][0130]
采用如下公式随机更新个体位置:
[0131]
x(t+1)=w(t)xrand(t)-a|cxrand(t)-x(t)|
[0132]
其中,x(t+1)为更新后的随机选中的个体位置,xrand(t)为随机选中的个体位置;
[0133]
(9)检查个体是否超过搜索空间,修改个体适应度;
[0134]
(10)t=t+1;
[0135]
(11)返回x
*

[0136]
通过鲸鱼优化算法对于lstm神经网络进行优化,能更快的得到最优解,同时拥有更好的收敛效果,进一步节省了神经网络训练时间并有了更好的异常检测性能。
[0137]
在本实施例中提供了一种异常监测方法,可用于电子设备,如电脑、服务器等,图5是根据本发明实施例的异常监测方法的流程图,如图5所示,该流程包括如下步骤:
[0138]
s31,获取待监测数据。
[0139]
待监测数据可以是电子设备从目标设备中拉取的,也可以是各个目标设备将各自的待监测数据上传至同一数据存储空间,电子设备从该数据存储空间中拉取的。
[0140]
在一些实施方式中,上述s31包括:
[0141]
(1)获取订阅主题。
[0142]
(2)基于订阅主题从数据存储空间拉取待监测数据。
[0143]
如图1所示,流数据处理模块接收完目标设备的监控数据之后,并将其处理为json字符串并转发到kafka处,进一步通过kafka的微服务为流数据处理器提供分布式框架,同时也作为消息系统在生产者和消费者之间发送数据。其中,传入kafka的数据将依赖于zookeeper微服务来存储所有元数据(例如kafka主题、集群等)信息。基于此,电子设备可以利用订阅主题从kafka中拉取相应的待监测数据。
[0144]
利用订阅主题从数据存储空间中进行待监测数据的拉取,利用数据存储空间对待监测数据进行缓存,能够适应大规模物联网设备下的监控方案,同时能应对不断增加的物联网设备监控需求,拥有较好的可扩展性。
[0145]
s32,将待监测数据输入目标异常监测模型中,确定预测数据。
[0146]
其中,所述目标异常监测模型是根据上述任一实施方式中所述的方法得到的。
[0147]
在电子设备中部署有目标异常监测模型,电子设备将获取到的待监测数据输入至目标异常监测模型中,得到预测数据。关于目标异常监测模型的具体细节请参见上文实施例的详细描述,在此不再赘述。
[0148]
s33,对比预测数据与待监测数据的差异。
[0149]
电子设备计算预测数据与待监测数据的差异,例如,计算预测数据与待监测数据的差值,或计算预测数据与待监测数据的平均绝对误差等等,在此对差异的具体计算方式并不做任何限制。
[0150]
s34,当基于差异确定异常时,向待监测数据对应的目标设备发送异常处理指令。
[0151]
电子设备利用计算出的差异进行异常的确定,例如,将计算出的差异与阈值进行比较,若大于该阈值则表示异常。在确定出异常之后,电子设备向该待监测数据对应的目标设备发送异常处理指令,以及时进行异常处理。
[0152]
本实施例提供的异常监控方法,由于目标异常监测模型的监测精度较高,基于此,能够得到预测精度较高的预测数据,提高了预测结果的可靠性;同时在确定出异常时,主动向目标设备发送异常处理指令,实现异常数据的自动处理,无需人工参与,提高了异常监控
的效率。
[0153]
作为本实施例的一个具体应用实例,异常监测模型是基于lstm模型构建的,lstm模型中包括一个记忆元具有4个输入和1个输出,以及三个控制门的门控信号。三个门均采用sigmoid函数表示取值范围为[0,1],用于表示门打开的程度;激活函数采用tanh奇函数表示取值范围为[-1,1],用于归一标准化,从而避免因特征差异造成不必要的权重影响。异常监测模型中神经元为120个,其中一维卷积网络过滤器大小为32,内核大小为15,填充='same'。通过鲸鱼优化算法提高lstm神经网络的模型精准度,鲸鱼优化算法可以根据模拟自然界座头鲸捕获猎物的行为搜索得到最优解。主要包括三种算子,通过收缩包围机制和螺旋更新机制实现局部搜索后,采用随机搜索策略实现算法的全局搜索。再利用输入的监控数据流对异常监测模型进行训练,继而通过识别不能准确重构的实例来进行异常检测,并将这些实例识别为异常实例。
[0154]
云原生架构以一个由kubernetes编排的应用程序为例,运行环境为ubuntu 18.04.4 lts,keras python库2.3.1,在tensorflow 2.1.0的源代码上构建,docker engine版本为19.03,kubernetes版本为1.18。
[0155]
首先利用流数据处理模块进行处理实时事件,接收完物联网设备的监控数据,并将其处理为json字符串并转发到kafka处,进一步通过kafka的微服务为流数据处理器提供分布式框架,同时也作为消息系统在生产者和消费者之间发送数据。传入kafka的数据将依赖于zookeeper微服务来存储所有元数据(例如kafka主题、集群等)信息。随后再为物联网数据流创建一个物联网设备主题,用来记录处理后的物联网设备数据,消费者也可通过从物联网设备主题来拉取设备数据。
[0156]
在一些可选实施方式中,如图6所示,实时测试数据使用kafka微服务流式传输到异常监测模型中,并通过异常监测模型的编码器部分,根据平均绝对误差mae检测异常,mae计算一组n个的真实值xi和预测的值之间的误差度量。在这里,重建误差已用于识别以前看不见的异常,mae计算公式如下:将计算出的mae与阈值进行比较,若mae大于该阈值,则表示存在异常,就会将命令发送回目标设备,以执行一些主动操作。同时通过云服务以及prometheus微服务对目标设备的监控数据进行汇总展示,进行分析,使用一个prometheus度量处理器时,解码json编码数据并执行关联与聚合操作,并生成有价值的可视化指标,对智能监控的数据以及自主操作日志进行展示。
[0157]
该异常监测方法是基于云原生架构的物联网设备智能监控系统实现的,同时,在相同的收敛次数下,异常监测模型相比于现有的依据经验确定优化参数的方式相比运行速度更快,误差指标明也更小。
[0158]
在本实施例中还提供了一种异常监测模型的训练装置,或异常监测装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
[0159]
本实施例提供一种异常监测模型的训练装置,如图7所示,包括:
[0160]
第一获取模块41,用于获取用于训练异常监测模型的待优化参数;
[0161]
初始化模块42,用于利用混沌映射对所述待优化参数进行初始化,得到初始化种群;
[0162]
调整模块43,用于基于当前优化迭代次数调整当前优化权重,所述当前优化权重与所述当前优化迭代次数正相关;
[0163]
优化模块44,用于根据所述当前优化权重对所述初始化种群进行优化,确定目标优化参数;
[0164]
训练模块45,用于基于所述目标优化参数对所述异常监测模型进行训练,确定目标异常监测模型。
[0165]
在一些实施方式中,优化模块44包括:
[0166]
第一获取单元,用于获取优化随机数,所述优化随机数大于0且小于1;
[0167]
第一确定单元,用于基于所述优化随机数与优化方向阈值的大小关系,确定所述待优化参数的计算方式;
[0168]
第二确定单元,用于基于所述计算方式以及所述当前优化权重对所述初始化种群进行优化,确定所述目标优化参数。
[0169]
在一些实施方式中,所述对所述初始化种群的优化是基于鲸鱼优化算法进行的,采用如下公式表示所述待优化参数的计算方式:
[0170][0171]
其中,d=|cx
*
(t)-x(t)|,c为第一系数向量,a为第二系数向量,w(t)为所述当前优化权重,1为l∈(0,1)的随机数,b为螺旋线形状,p为所述优化随机数,x
*
(t)与a值相关,x
*
(t)为当前最优解的位置或随机搜索单元的位置,x(t+1)为所述待优化参数在下一次优化的位置。
[0172]
在一些实施方式中,第二确定单元包括:
[0173]
获取子单元,用于获取随机扰动以及获取基于所述计算方式以及所述当前优化权重对所述初始化种群进行优化得到的优化位置;
[0174]
计算子单元,用于基于所述随机扰动以及当前最优解的位置或随机搜索单元的位置,计算随机扰动后的位置;
[0175]
比较子单元,用于比较所述随机扰动后的位置与所述优化位置;
[0176]
优化子单元,用于基于比较结果对所述初始化种群进行优化,确定所述目标优化参数。
[0177]
在一些实施方式中,采用如下公式计算随机扰动后的位置:
[0178][0179]
其中,为随机扰动后的位置,x
*
(t)与所述计算方式中系数向量相关,x
*
(t)为所述当前最优解的位置或随机搜索单元的位置,r1、r2为随机数。
[0180]
在一些实施方式中,采用如下公式计算所述当前优化权重:
[0181][0182]
其中,w(t)为所述当前优化权重,a为系数,t为所述当前优化迭代次数,t max为优化迭代次数的最大值。
[0183]
本实施例提供一种异常监测装置,如图8所示,包括:
[0184]
第二获取模块51,用于获取待监测数据;
[0185]
预测模块52,用于将所述待监测数据输入目标异常监测模型中,确定预测数据,所述目标异常监测模型是根据上述任一实施方式中所述的方法得到的;
[0186]
对比模块53,用于对比所述预测数据与所述待监测数据的差异;
[0187]
发送模块54,用于当基于所述差异确定异常时,向所述待监测数据对应的目标设备发送异常处理指令。
[0188]
在一些实施方式中,第二获取模块包括:
[0189]
第二获取单元,用于获取订阅主题;
[0190]
拉取单元,用于基于所述订阅主题从数据存储空间拉取所述待监测数据。
[0191]
本实施例中的异常监测模型的训练装置或异常监测装置是以功能单元的形式来呈现,这里的单元是指asic电路,执行一个或多个软件或固定程序的处理器和存储器,和/或其他可以提供上述功能的器件。
[0192]
上述各个模块的更进一步的功能描述与上述对应实施例相同,在此不再赘述。
[0193]
本发明实施例还提供一种电子设备,具有上述图7所示的异常监测模型的训练装置,或图8所示的异常监测装置。
[0194]
请参阅图9,图9是本发明可选实施例提供的一种电子设备的结构示意图,如图9所示,该电子设备可以包括:至少一个处理器61,例如cpu(central processing unit,中央处理器),至少一个通信接口63,存储器64,至少一个通信总线62。其中,通信总线62用于实现这些组件之间的连接通信。其中,通信接口63可以包括显示屏(display)、键盘(keyboard),可选通信接口63还可以包括标准的有线接口、无线接口。存储器64可以是高速ram存储器(random access memory,易挥发性随机存取存储器),也可以是非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。存储器64可选的还可以是至少一个位于远离前述处理器61的存储装置。其中处理器61可以结合图7或图8所描述的装置,存储器64中存储应用程序,且处理器61调用存储器64中存储的程序代码,以用于执行上述任一方法步骤。
[0195]
其中,通信总线62可以是外设部件互连标准(peripheral component interconnect,简称pci)总线或扩展工业标准结构(extended industry standard architecture,简称eisa)总线等。通信总线62可以分为地址总线、数据总线、控制总线等。为便于表示,图9中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
[0196]
其中,存储器64可以包括易失性存储器(英文:volatile memory),例如随机存取存储器(英文:random-access memory,缩写:ram);存储器也可以包括非易失性存储器(英文:non-volatile memory),例如快闪存储器(英文:flash memory),硬盘(英文:hard disk drive,缩写:hdd)或固态硬盘(英文:solid-state drive,缩写:ssd);存储器64还可以包括上述种类的存储器的组合。
[0197]
其中,处理器61可以是中央处理器(英文:central processing unit,缩写:cpu),网络处理器(英文:network processor,缩写:np)或者cpu和np的组合。
[0198]
其中,处理器61还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(英文:application-specific integrated circuit,缩写:asic),可编程逻辑器件(英文:programmable logic device,缩写:pld)或其组合。上述pld可以是复杂可编程逻辑器件(英文:complex programmable logic device,缩写:cpld),现场可编程逻辑门阵列(英文:field-programmable gate array,缩写:fpga),通用阵列逻辑(英文:generic array logic,缩写:gal)或其任意组合。
[0199]
可选地,存储器64还用于存储程序指令。处理器61可以调用程序指令,实现如本技术任一实施例中所示的异常监测模型的训练方法,或任一实施例中所示的异常监测方法。
[0200]
本发明实施例还提供了一种非暂态计算机存储介质,所述计算机存储介质存储有计算机可执行指令,该计算机可执行指令可执行上述任意方法实施例中的异常监测模型的训练方法,或任意方法实施例中所示的异常监测方法。其中,所述存储介质可为磁碟、光盘、只读存储记忆体(read-only memory,rom)、随机存储记忆体(random access memory,ram)、快闪存储器(flash memory)、硬盘(hard disk drive,缩写:hdd)或固态硬盘(solid-state drive,ssd)等;所述存储介质还可以包括上述种类的存储器的组合。
[0201]
虽然结合附图描述了本发明的实施例,但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型,这样的修改和变型均落入由所附权利要求所限定的范围之内。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1