融合置信度策略的多元传感器信息时序变化点检测方法

1.本发明涉一种融合置信度策略的多元传感器信息时序变化点检测方法，属于时序数据分析和工业传感设备监控应用的技术领域。


背景技术：

2.随着互联网的快速发展，以物联网、大数据和人工智能为代表的新一代信息技术与传统产业加速融合，全球新一轮科技革命和产业变革蓬勃兴起，新的生产方式、组织方式和商业模式不断涌现，推动了全球工业体系的智能化转型。
3.而如今的工业设备数量十分庞大，而且设备之间的连接非常复杂，所以设备的维护与人工异常排查的成本非常高。此外，由于日益增长的安全生产需求，设备异常的准确检测的要求在逐步上升。因此，设计一种高效、准确、稳定、稳健的设备状态异常检测方法显得越来越重要。
4.通常情况下，检测设备状态异常的主要依据均来源于嵌入在设备中的传感器，以及部署在设备外用来检测整体系统的资源供给的传感器。此类传感器的数据均可以看作是一种时序传感器信息。因而，通过分析各种时序传感器信息，进而检测设备的状态异常这一具体的任务，可以被抽象为多元时序传感器信息时序变化点检测这一较为宽泛的任务。
5.变化点检测是时间序列数据问题中用以检测集合异常的一个特殊部分。与众所周知的变化点估计或变化点挖掘问题密切相关，变化点检测问题是指当时间序列的属性发生变化时，发现数据中的突然变化的问题。
6.此前，绝大多数的时序变化点检测均集中在单一元，即单一时序传感器信息，而对多元时序传感器信息的特征捕捉能力较弱。
7.此外，过去的变化点检测方法注重于改进结果的准确性，或改进方法的实时性，但是对于决策的可靠性与可信程度上的研究却鲜有人提及。
8.此外在实际应用场景中，很难获取到大量的精心标记好的数据，反而是经常有大量未标记的数据可用，因此自监督学习的方法十分必要。
9.综上，当前工作中对多元时序传感器信息变化点检测的研究仍存在以下不足：一、面对多元时序传感器信息，特征捕捉能力不足；二、无法根据多元时序传感器输入很好地解释输出的决策，对使用者进行有效指导；三、基于深度学习的算法对精心标记的数据量要求高，满足代价大。


技术实现要素：

10.本发明的目的在于提供一种融合置信度策略的多元传感器信息时序变化点检测方法，解决现有技术中特征捕捉能力不足、无法很好地解释输出的决策、要求完整且大量的标记好数据集才能完成模型预训练等问题。
11.为实现以上目的，本发明是采用下述技术方案实现的：
12.第一方面，本发明提供一种融合置信度策略的多元传感器信息时序变化点检测方
法，包括：
13.获取待检测的多元传感器时序信息；
14.对多元传感器时序信息进行格式预处理得到三组样本向量：时序多元样本向量、差分多元样本向量和频域多元样本向量；
15.将样本向量输入到预训练好的神经网络模型中，得到模型输出的预测结果；其中所述神经网络模型包括时序子神经网络模型、差分子神经网络模型、频域子神经网络模型和融合子神经网络模型；将时序多元样本向量输入时序子神经网络模型提取得到阈值特征，将差分多元样本向量输入差分子神经网络模型提取得到变化特征，将频域多元样本向量输入频域子神经网络模型提取得到频域特征，将阈值特征、变化特征和频域特征输入融合子神经网络模型进行融合，得到检测结果；
16.根据所述检测结果，确定多元传感器时序信息对应时间的设备状态是否发生变化。
17.在一些实施例中，对多元传感器时序信息进行格式预处理得到三组样本向量，包括：
18.将多元传感器时序信息按自身最大值归一化后进行滑动窗口裁切，得到时序多元样本向量；
19.将时序多元样本向量进行自差分，得到差分多元样本向量；
20.将时序多元样本向量进行短时傅里叶变换，得到频域多元样本向量。
21.进一步地，在一些实施例中，将时序多元样本向量进行自差分，包括：对长为n的时序多元样本向量，取前n-1组时序多元样本向量v1和后n-1组时序多元样本向量v2,自差分方法所得的结果是由v2-v1得到的一个长为n-1的差分多元样本向量v3。
22.在一些实施例中，所述时序子神经网络模型、差分子神经网络模型采用双向lstm的神经网络；
23.所述频域子神经网络模型采用双层交互transformer网络；
24.所述融合子神经网络模型采用多层全连接结构。
25.在一些实施例中，所述神经网络模型的训练方法包括：
26.获取进行格式预处理的训练数据集，其中所述训练数据集包括有标签的训练数据和无标签的训练数据；
27.利用有标签的训练数据输入到神经网络模型中进行有标签训练；
28.利用无标签的训练数据输入到神经网络模型中进行自蒸馏训练；
29.有标签训练和自蒸馏训练交互进行，循环迭代至达到预设条件，得到训练好的神经网络模型。
30.在一些实施例中，所述有标签训练采用主观逻辑损失l(θ)：
[0031][0032]
其中，θ是神经网络的参数，n是当前批次样本总数，k指从当前批次样本选取了第k个样本进行计算，λ
epoch
是退火系数，表达式为
epoch是当前训练轮数的索引，是早期衰减系数；lk(θ)是贝叶斯风险，kl[be(p|α
p
,αn)||be(p|1,1)]是散度损失；
[0033]
贝叶斯风险lk(θ)的计算公式为：
[0034][0035]
其中ψ(
·
)是digamma函数；k表示第k个样本，yk＝{y
kp
,y
kn
}是一个二维独热向量，表示了第k个样本的实际类别是阳性还是阴性，阳性指对应待测设备变化，对应yk＝{0,1}，阴性指对应待测设备不变化，对应yk＝{1,0}；αk＝{α
kp
,α
kn
}是预测变量上的beta分布密度参数,pk＝{p
kp
,p
kn
}是预测为变化点和非变化点的概率；将be(pk|αk)视为似然b(yk|pk)的先验，be(
·
)为beta分布函数，b(
·
)为二项分布函数；
[0036]
散度损失kl[be(p|α
p
,αn)||be(p|1,1)]的计算公式为：
[0037][0038]
其中是从样本k的预测参数αk中去除非误导性证据后的beta参数，be(p|a,b)对应统计学中参数为a和b的beta分布；是批次内第k个样本为变化样本的证据中去除非误导性证据后结果，ek为神经网络判断证据，对应神经网络的中间输出。
[0039]
在一些实施例中，所述自蒸馏训练采用多模型互kl损失：
[0040]
l(e
t
,ed,ef)＝d
kl
″
(e
t
||ed)+d
kl
″
(ed||ef)+d
kl
″
(ef||e
t
)
[0041]
其中l(e
t
,ed,ef)为多模型互kl损失，d
kl
″
(α||b)为指数自kl散度损失，e
t
,ed,ef分别指时序子神经网络、差分子神经网络和频域子神经网络对样本提取得到的特征，对应子神经网络在加权后并且求和前的中间输出；
[0042][0043]
其中a和b分别指子模型a和子模型b,a(xi)和b(xi)分别指子模型a和子模型b输出为第i类的证据量，i∈{p,n}分别代表判断为变化的类别和判断为不变的类别，e
(
·
)
表示取自然指数。
[0044]
在一些实施例中，所述自蒸馏训练指在一定阶段内，固定一个神经网络模型的参数，称其为teacher model，更新其他神经网络模型的参数，称其他神经网络为student model。
[0045]
第二方面，本发明提供了一种融合置信度策略的多元传感器信息时序变化点检测装置，包括处理器及存储介质；
[0046]
所述存储介质用于存储指令；
[0047]
所述处理器用于根据所述指令进行操作以执行根据第一方面所述方法的步骤。
[0048]
第三方面，本发明提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述方法的步骤。
[0049]
与现有技术相比，本发明所达到的有益效果是：
[0050]
本发明创新性地采用了集成多模态的思想，通过将时序序列预处理，生成了时序、差分和频域三种特征，分别设计一个神经网络来对每一种预处理的特征进行深度提取，最后进行融合与检测；首次在变化点检测任务中引入不确定性的概念，通过dst深度学习方法，引入信念质量的概念，使得模型在输出检测结果与概率的同时，给出对该判断的不确定性，以供使用者参考；在结合了散度的主观逻辑损失的基础上，创新性地引入了不平衡系数，以应对分布极度不平衡的样本；为了充分使用未标记的样本，引入了半监督训练，即在一定的阶段采用了自监督学习的方法，并且结合了自知识蒸馏的思想，提出了多模型自kl损失，以获得更高准确性和鲁棒性。
附图说明
[0051]
图1是本发明实施例提供的一种融合置信度策略的多元传感器信息时序变化点检测方法的使用流程图；
[0052]
图2是本发明实施例提供的一种融合置信度策略的多元传感器信息时序变化点检测方法的预训练流程图；
[0053]
图3是本发明实施例提供的神经网络整体结构示意图；
[0054]
图4是本发明实施例提供的神经网络的时序子神经网络和差分子神经网络的结构示意图，其中左侧为lstm的示意图，右侧为上述两个神经网络共同的结构示意图；
[0055]
图5是本发明实施例提供的神经网络的频域子神经网络示意图。
[0056]
图6是本发明实施例提供的多模型互kl散度损失计算及反向传播流程图。
具体实施方式
[0057]
下面结合附图对本发明作进一步描述，以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
[0058]
实施例1
[0059]
一种融合置信度策略的多元传感器信息时序变化点检测方法，包括：
[0060]
获取待检测的多元传感器时序信息；
[0061]
对多元传感器时序信息进行格式预处理得到三组样本向量：时序多元样本向量、差分多元样本向量和频域多元样本向量；
[0062]
将样本向量输入到预训练好的神经网络模型中，得到模型输出的预测结果；其中所述神经网络模型包括时序子神经网络模型、差分子神经网络模型、频域子神经网络模型和融合子神经网络模型；将时序多元样本向量输入时序子神经网络模型提取得到阈值特征，将差分多元样本向量输入差分子神经网络模型提取得到变化特征，将频域多元样本向量输入频域子神经网络模型提取得到频域特征，将阈值特征、变化特征和频域特征输入融合子神经网络模型进行融合，得到检测结果；
[0063]
根据所述检测结果，确定多元传感器时序信息对应时间的设备状态是否发生变
化。
[0064]
时序变化点通常可以分为三类：
[0065]
第一类是阈值变化，即在某段时间内，存在过高或过低的数据，通常情况下，神经网络捕捉此类变化特征的能力很强，因而不需要对原有时间序列做出变换。
[0066]
第二类是变化变化，即在某段时间内，时序值的变化特别剧烈，或出现了通常情况下不会出现的变化，这一类变化特征往往也可以被神经网络检测到，但其效果相对第一类不明显，而通过将时序数据进行差分运算，对差分数据进行特征提取时，这一类的变化往往很容易被提取。
[0067]
第三类是扰动变化，即在某段时间内，出现了本不应该存在的高频/低频扰动，在对频域敏感的场景下，这类扰动往往是致命的。更有效的方法是fft,获得时序数据的频域特征，通过对频域特征的深度提取，从而检测出扰动变化。
[0068]
针对上述三种变化类别，在一些实施例中，对多元传感器时序信息进行格式预处理得到三组样本向量，包括：
[0069]
将多元传感器时序信息按自身最大值归一化后进行滑动窗口裁切，得到时序多元样本向量；
[0070]
将时序多元样本向量进行自差分，得到差分多元样本向量；
[0071]
将时序多元样本向量进行短时傅里叶变换，得到频域多元样本向量。
[0072]
进一步地，在一些实施例中，将时序多元样本向量进行自差分，包括：对长为n的时序多元样本向量，取前n-1组时序多元样本向量v1和后n-1组时序多元样本向量v2,自差分方法所得的结果是由v2-v1得到的一个长为n-1的差分多元样本向量v3。
[0073]
在一些实施例中，所述时序子神经网络模型、差分子神经网络模型采用双向lstm的神经网络；
[0074]
所述频域子神经网络模型采用双层交互transformer网络；
[0075]
所述融合子神经网络模型采用全连接层结构。
[0076]
在一些实施例中，所述神经网络模型的训练方法包括：
[0077]
获取进行格式预处理的训练数据集，其中所述训练数据集包括有标签的训练数据和无标签的训练数据；
[0078]
利用有标签的训练数据输入到神经网络模型中进行有标签训练；
[0079]
利用无标签的训练数据输入到神经网络模型中进行自蒸馏训练；
[0080]
有标签训练和自蒸馏训练交互进行，循环迭代至达到预设条件，得到训练好的神经网络模型。
[0081]
其中，所述有标签训练采用主观逻辑损失l(θ)：
[0082][0083]
其中，θ是神经网络的参数，n是当前批次样本总数，k指从当前批次样本选取了第k个样本进行计算，λ
epoch
是退火系数，表达式为是退火系数，表达式为epoch是当前训练轮数的索引，是早期衰减系数；lk(θ)是贝叶斯风险，kl[be(p|α
p
,αn)||be(p|
1,1)]是散度损失；
[0084]
贝叶斯风险lk(θ)的计算公式为：
[0085][0086]
其中ψ(
·
)是digamma函数；k表示第k个样本，yk＝{y
kp
,y
kn
}是一个二维独热向量，表示了第k个样本的实际类别是阳性还是阴性，阳性指对应待测设备变化，对应yk＝{o,1}，阴性指对应待测设备不变化，对应yk＝{1,0}；αk＝{α
kp
,α
kn
}是预测变量上的beta分布密度参数,pk＝{p
kp
,p
kn
}是预测为变化点和非变化点的概率；将be(pk|αk)视为似然b(yk|pk)的先验，be(
·
)为beta分布函数，b(
·
)为二项分布函数；
[0087]
散度损失kl[be(p|α
p
,αn)||be(p|1,1)]的计算公式为：
[0088][0089]
是从样本k的预测参数αk中去除非误导性证据后的beta参数，be(p|a,b)对应统计学中参数为a和b的beta分布；是批次内第k个样本为变化样本的证据中去除非误导性证据后结果，ek为神经网络判断证据，对应神经网络的中间输出。
[0090]
所述自蒸馏训练采用多模型互kl损失l(e
t
,ed,ef)：
[0091]
l(e
t
,ed,ef)＝d
kl
″
(e
t
||ed)+d
kl
″
(ed||ef)+d
kl
″
(ef||e
t
)
[0092]
其中l(e
t
,ed,ef)为多模型互kl损失，d
kl
″
(e
t
||ed)为指数自kl散度损失，e
t
,ed,ef分别指时序子神经网络、差分子神经网络和频域子神经网络对样本提取得到的特征，对应子神经网络在加权后并且求和前的中间输出；
[0093][0094]
其中a和b分别指子模型a和子模型b,a(xi)和b(xi)分别指子模型a和子模型b输出为第i类的证据量，i∈{p,n}分别代表判断为变化的类别和判断为不变的类别，e
(
·
)
表示取自然指数。具体流程参见图6。
[0095]
所述自蒸馏训练指在一定阶段内，固定一个神经网络模型的参数，称其为teacher model，更新其他神经网络模型的参数，称其他神经网络为student model。
[0096]
在一些具体实施例中，一种融合置信度策略的多元传感器信息时序变化点检测方法，包括：
[0097]
获取待检测的多元传感器时序信息，对多元传感器时序信息进行格式预处理得到三组样本向量；
[0098]
将三组样本向量输入到预训练好的神经网络中，得到预测向量；
[0099]
预测向量中包含多个预测值，每个预测值中包含自身的分类标签、分类证据量，以及分类不确定性，选取最大预测值的分类标签作为最终分类标签，若最终分类标签为变化，则多元传感器时序信息对应的设备状态发生了变化，否则未发生变化。分类不确定性为使用者进行判断提供了指导意见，即当分类不确定性高时，使用者应结合自身判断，在本发明得到的判断的基础上进行进一步分析，当分类不确定性低时，本发明对其得到的判断保持高度自信，使用者则不需要结合自身判断对结果进行修正。使用流程参见附图1，预训练流程参见附图2。
[0100]
结合第一方面，进一步的，所述的神经网络包含时域神经网络，差分子神经网络，频域神经网络，整体结构参见附图3。
[0101]
进一步的，所述时域神经网络与差分子神经网络使用双向lstm的神经网络，并且通过合并层进行双向特征的融合，随后通过证据计算层计算出子神经网络的原始证据。模型结构示意图参见附图4，其中lstml指样本向量输入顺序与实际时间顺序相同的lstm模型，lstmr指样本向量输入顺序与实际时间顺序相同的lstmr模型，二者差别仅体现在样本向量输入顺序不同，模型框架均为lstm模型，附图4左侧为lstm模型的内部框架，其中tanh对应双曲正切函数。
[0102]
进一步的，所述频域神经网络基于双层交互transformer网络，通过交互叠加，并通过合并层进行双向特征的融合，随后通过证据计算层计算出子神经网络的原始证据。模型结构示意图参见附图5，其中encoder层和decoder层与一般的transformer网络的encoder层和decoder层相同。q,k和v分别对应encoder层和decoder层的查询(query)，键(key)和值(value)。
[0103]
如图1所示，本发明实施例提供的一种融合置信度策略的多元传感器信息时序变化点检测方法，包括以下步骤：
[0104]
s1、获取待检测的多元传感器时序信息，对多元传感器时序信息进行格式预处理得到样本向量。
[0105]
s2、将样本向量输入到预训练好的神经网络模型中，得到预测向量。
[0106]
神经网络模型是预先构建的，如图3所示，在神经网络部分模型分为四个部分。前三种网络结构分别考虑了时序、差分和频域特性，针对阈值、变换和扰动变化进行了特征提取。在融合部分，前三部分获得的特征被送入加权融合分类层。
[0107]
在模型的第一部分中，时间序列网络基于堆叠的双向递归神经网络，以捕获网络流的定时特性。模型结构示意图参见附图4。
[0108]
模型的第二部分通过差分处理得到了序列变化特征。变化特征可以从另一个角度补充通过深度学习自动提取的特征。本发明中使用的差分网络也基于叠加的双向递归神经网络，学习时间序列中变化特征的特定模式。模型结构示意图参见附图4。
[0109]
模型的第三部分考虑了频域特征，因而不再存在时序性。从这个角度来看，频域特征是一种相对前两者较难提取的离散特征。频域网络基于双层交互transformer网络，通过交互叠加，学习时序序列的频域特征。模型结构示意图参见附图5。
[0110]
模型在融合后输出的是对每一类，即判断为变化或者非变化的证据，通过证据可以计算神经网络对判断的概率和不确定性。
[0111]
主观逻辑(sl)将dst在辨别框架上的置信分配概念形式化为beta分布。因而，可以
使用概率学的方法，通过一个定义明确的理论框架来量化置信质量和不确定性。更具体地说，sl考虑一个由k个互斥的类标签组成的框架：通过为每个类标签提供置信质量b并提供总体不确定性质量u。对于本发明来说，本发明为一个二分类问0题，即k＝2，因此上述框架可以简化为公式：
[0112]
u+b
p
+bn＝1
[0113]
其中u≥0且b
p
,bn≥0.其中p,n表示阳性样本和阴性类别，即预测为变化和不变化。针对批次内第k个样本，使用类标签的证据计算类标签的置信质量bk。设ek≥0是第i(i∈{p,n})类标签派生的证据，则bi和u的计算为:
[0114][0115]
其中s＝e
p
+en+2表示总的置信质量，即主观意见。值得注意的是，不确定性与总证据成反比。当没有证据时，每个单例的置信为零，不确定性为1。
[0116]
置信质量分配，即主观意见，与参数为αi＝ei+1的beta分布相对应，可以借助上述bi＝ei/s＝(α
i-1)/s从相应的beta分布的参数中直接得出主观意见s，即s＝α
p
+αn.
[0117]
根据证据参数化的beta分布表示每个此类概率分配的密度的方法，可以模拟二阶概率和不确定性。
[0118]
beta分布概率密度函数已由下式给出：
[0119][0120]
其中p
p
,pn分别代表样本预期分配为阳性、阴性的概率，pn＝1-p
p
。b(α
p
,αn)为beta函数。
[0121]
通过舍弃softmax,采用relu激活层作为模型输出约束。采用模型训练时派生的正的证据，对多样本beta分布产生先验分布，从而为分类任务形成意见。对于给定样本k，令ek＝f(xk|θ)表示网络为分类预测的证据向量，其中θ是网络参数，f(x|θ)为模型输出。随后，相应的beta分布参数αk即可表示为αk＝f(xk|θ)+1。一旦计算了这个分布的参数，它的平均值，即αk/sk，可以作为类概率的估计，即对于预期分配概率p
p
,pn,其计算公式可以表示为：
[0122][0123]
s3、在有标签训练样本集合中，根据预测向量和训练样本的真实标签计算主观逻辑损失。设yk＝{y
kp
,y
kn
}是有标签训练样本集合中一个样本的真实标签，是一个二维独热向量，表示了第k个样本的实际类别是阳性还是阴性，阳性指变化，对应yk＝{0,1}，阴性指不变化对应yk＝{1,0}。pk＝{p
kp
,p
kn
}是预测为变化点和非变化点的概率。αk＝{α
p
,αn}是预测变量上的beta分布密度参数。首先，定义一个损失函数并计算其相对类预测器的贝叶斯风险对于交叉熵损失，贝叶斯风险为：
[0124][0125]
其中ψ(
·
)是digamma函数。k表示第k个样本，yk＝{y
kp
,y
kn
}是一个二维独热向量，表示了第k个样本的实际类别是阳性还是阴性，阳性指对应待测设备变化，对应yk＝{0,1}，阴性指对应待测设备不变化，对应yk＝{1,0}。αk＝{α
kp
,α
kn
}是预测变量上的beta分布密度参数,pk＝{p
kp
,p
kn
}是预测为变化点和非变化点的概率。将be(pk|αk)视为似然b(yk|pk)的先验，be(
·
)为beta分布函数，b(
·
)为二项分布函数
[0126]
可以通过对批次中每个样本的损失求和来计算一批训练样本的损失。在训练过程中，模型可能会发现样本集合中的模式，并根据这些模式为特定的类别标签生成证据，以最大限度地减少整体损失。当在训练期间观察到该判据的反例时，应通过反向传播调整神经网络的参数，以便为该模式生成更少量的证据，并随着整体损失的减少，这些样本的损失也会最大限度地减少。然而，当反例的数量有限时，减少生成的证据的大小虽然会减少反例的损失，但是可能反而会增加整体损失。结果会导致神经网络为不正确的标签生成一些证据。虽然只要样本能被网络正确分类，即正确类别标签的证据高于其他类别标签的证据。将散度项合并到本发明中提到的主观逻辑损失的损失函数，通过惩罚那些与高度不确定状态存在显著差异但对数据拟合没有贡献的错误，来规范预测分布。这个正则化术语的损失为：
[0127][0128]
其中be(p|1,1)表示均匀beta分布，是从样本k的预测参数αk中去除非误导性证据后的beta参数。损失中的散度项可以计算为：
[0129][0130]
其中γ(
·
)是gamma函数，ψ(
·
)是digamma函数，是批次内第k个样本为变化样本的证据中去除非误导性证据后结果，ek为神经网络判断证据，对应神经网络的中间输出。
[0131]
λ
epoch
是退火系数，表达式为epoch是当前训练轮数的索引，是早期衰减系数，当时，λ
epoch
《1,随着epoch的增加，即模型的训练次数增加，λ
epoch
逐渐增大并最终收敛到1，通过退火系数λ
epoch
逐渐增加损失中kl散度的影响，可以在一定程度上并避免错误分类样本过早收敛到均匀分布。
[0132]
近十年来，时间序列分类问题引起了人们的极大兴趣。然而，目前的研究假设存在大量标记的训练数据。实际上，获取此类数据可能非常困难或昂贵。与许多其他领域一样，
经常有大量未标记的数据可用。
[0133]
本发明的目标之一是尽可能地利用这些未标记的数据，从而使神经网络模型更加精确且具有更高的鲁棒性。
[0134]
知识蒸馏作为一种比较新的半监督学习方法，在很多任务中都取得了较强的效果。其方法是通过训练一个完备而又庞大的teacher model，在无标签样本上通过获取teacher model输出的结果，将其作为soft label来指导student model进行学习。其作用是通过诱导student model的输出与teacher model趋同化，加速student model的学习。
[0135]
本发明采用了基于kl散度损失的损失函数计算方法.在统计应用中，经常需要用一个简单的，近似的概率分布f*来描述观察据d或者另一个复杂的概率分布f。而kl散度损失就是用来衡量近似分布f*相比原分布f究竟损失了多少信息量的方法。
[0136]
一个二分类的概率分布f所对应的信息熵为：
[0137]
hf＝-p(x
p
)
·
log(p(x
p
))-p(xn)
·
log(p(xn))
[0138]
其中，p(xi)为分布在第i类上的概率，i∈{p,n}。kl散度的计算公式是熵计算公式的变形,在原有概率分布p上，加入近似概率分布q，计算样本的原分布与预测近似概率分布的对数差的期望值。：
[0139][0140]
在通常情况下，神经网络输出的概率分布是由softmax函数生成的，样本的预测近似分布取值范围为(0,1),换句话说，一般情况下，样本的预测近似分布不会取到0或1这样的极端值，因而kl散度损失的计算过程中不会出现下溢出的现象。但在本发明中，由于模型输出为标签派生的证据e，其分布是[0,+∞],存在下溢出的风险，因而，对kl散度损失取自然指数:
[0141][0142]
从而规避下溢出现象。
[0143]
此外，由于本发明在自监督学习中采用的kl散度损失，不存在原有分布p，即kl散度损失中的两个输入标签派生的证据分布对损失的贡献相同，因此本发明将两个输入标签派生的证据分布各作为样本原分布，分别计算kl散度损失，并进行求和。上述操作可以表示为：
[0144][0145]
值得注意的是，由于本发明有三个子神经网络模型，分别是用以处理时序数据的时序模型m
t
,用以处理差分数据的差分模型md,以及用以处理频域数据的频域模型mf.每个模型均对应着一组标签派生的证据分布。为了避免不同子模型间标签派生的证据差距过大
导致损失上溢出，本发明对所有证据采用了最大值归一化操作，即在自监督学习过程中，对于三个子神经网络模型得到的三种组标签派生的证据分布输出e
t
，ed，ef，将该损失函数应用于本发明的模型，总损失为：
[0146]
l(e
t
,ed,ef)＝d
kl
″
(e
t
||ed)+d
kl
″
(ed||ef)+d
kl
″
(ef||e
t
)
[0147]
可以通过该损失来指导模型学习，使模型的输出趋同分布。操作流程参见图6。
[0148]
实施例2
[0149]
第二方面，本实施例提供了一种融合置信度策略的多元传感器信息时序变化点检测装置，包括处理器及存储介质；
[0150]
所述存储介质用于存储指令；
[0151]
所述处理器用于根据所述指令进行操作以执行根据实施例1所述方法的步骤。
[0152]
实施例3
[0153]
第三方面，本实施例提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现实施例1所述方法的步骤。
[0154]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0155]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0156]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0157]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0158]
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。