基于图注意力网络关系嵌入的设备故障预测方法及系统与流程

1.本发明属于大数据信息处理及智能化运维领域，尤其涉及一种基于图注意力网络关系嵌入的设备故障预测方法及系统。


背景技术：

2.本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
3.工业4.0时代，工业设备存在高度智能化，高度自动化，高度信息化等特点，设备的复杂性极大提升，设备的运维难度也极大的提高。在故障发生后抢修或定期检修等传统的反应式维修方式已经无法满足现代维修的需求。传统反应式的运维方式，忙于事后救火，无法避免故障发生，且突发故障的处理时间可能较长，易对生产所造成的重大负面影响。针对该问题，研究基于知识图谱和图注意力网络的生产设备故障预测技术，基于设备运行历史数据和历史故障运维数据，建立运维知识图谱，构建基于知识图谱和图注意力网络的故障预测模型，对可能出现的故障进行预测，改变“事后处置”为“事前预警排除”的方式，可以最大程度的降低设备故障所造成的损失。
4.2012年，google建立了知识图谱(knowledge graph，kg)来优化其搜索引擎。kg是一种由实体和关系组成的语义网络，其基本单位是三元组(h，r，t)，其中h和t分别表示头实体和尾实体，r表示实体之间的关系。随着大量研究的开展，kg在智能搜索，智能问答和智能化运维等领域取得了长足的进步。特别是在智能化运维领域，kg具有丰富的结构和语义信息，能够有效表示各种设备间的关联关系及设备故障信息，逐渐成为各种故障诊断和预测任务的重要辅助信息，以增强模型的表示能力。
5.目前，图注意力网络(graph attention networks，gan)已广泛应用于许多领域。gan使用注意力机制对邻居节点的加权和特征进行加权。但是，发明人发现，此方法会丢弃存储在两个节点之间的边缘中的丰富信息，因为它只考虑两个节点，而忽略了节点之间的边缘，不能很好地为设备运维人员推荐更为准确的故障预测。


技术实现要素：

6.为了解决上述背景技术中存在的至少一项技术问题，本发明提供一种基于图注意力网络关系嵌入的设备故障预测方法及系统，其考虑到实体与实体之间关系嵌入的信息，引入一个关系嵌入向量，实现设备故障向量表示，从而提高预测效果。
7.为了实现上述目的，本发明采用如下技术方案：
8.本发明的第一个方面提供一种基于图注意力网络关系嵌入的设备故障预测方法。
9.一种基于图注意力网络关系嵌入的设备故障预测方法，包括：
10.基于设备故障记录，构建运维知识图谱，将故障记录映射到知识图谱的对应实体中，提取每种故障对应的三元组，根据不同的关系将每个三元组划分为若干个三元组，得到三元组集合；
11.基于三元组集合，引入图注意力网络，量化故障记录与知识图谱中设备故障的相关性，实现在相同交互关系上尾部实体到头部实体的信息聚合和关系嵌入向量的学习，得到设备故障向量；
12.将设备故障向量输出至softmax函数，输出候选故障的概率分布，筛选概率最大的候选故障作为预测结果；
13.将预测结果与实际的设备故障记录进行对比，并将比对结果反馈至图注意力网络来优化图注意力网络中的数据权重值，以提高预测结果的精准性。
14.本发明的第二个方面提供一种基于图注意力网络关系嵌入的设备故障预测系统。
15.一种基于图注意力网络关系嵌入的设备故障预测系统，包括：
16.三元组集合提取模块，其用于基于设备故障记录，构建运维知识图谱，将故障记录映射到知识图谱的对应实体中，提取每种故障对应的三元组，根据不同的关系将每个三元组划分为若干个三元组，得到三元组集合；
17.设备故障向量学习模块，其用于基于三元组集合，引入图注意力网络，量化故障记录与知识图谱中设备故障之间的相关性，实现在相同交互关系上尾部实体到头部实体的信息聚合和关系嵌入向量的学习，得到设备故障向量；
18.目标预测模块，其用于将设备故障向量输出至softmax函数，输出候选故障的概率分布，筛选概率最大的候选故障作为预测结果；
19.图注意力网络优化模块，其用于将预测结果与实际的设备故障记录进行对比，并将比对结果反馈至图注意力网络来优化图注意力网络中的数据权重值，以提高预测结果的精准性。
20.本发明的第三个方面提供一种计算机可读存储介质。
21.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的基于图注意力网络关系嵌入的设备故障预测方法中的步骤。
22.本发明的第四个方面提供一种计算机设备。
23.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的基于图注意力网络关系嵌入的设备故障预测方法中的步骤。
24.与现有技术相比，本发明的有益效果是：
25.本发明以设备故障记录数据为基础，发明人将设备故障记录映射到知识图谱的对应实体中，并提取每种故障的三元组，考虑到设备故障记录信息与故障在知识图谱中的信息存在着相关性，引入图注意力网络机制，计算每条记录的重要性，量化设备故障记录与知识图谱中设备故障之间的相关性，从而更好的实现实体的属性及边缘相关实体的信息聚合；考虑到实体与实体之间关系嵌入的信息，引入一个关系嵌入向量，实现设备故障向量表示，从而提高预测效果。
26.本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
27.构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示
意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
28.图1为本发明实施例提供的基于图注意力网络关系嵌入的设备故障预测方法的整体流程图；
29.图2为本发明实施例提供的基于图注意力网络关系嵌入的设备故障预测的处理流程图；
30.图3为本发明实施例提供的设备故障预测实施例流程图；
31.图4为本发明实施例提供的预测方法的性能效果图；
32.图5为本发明实施例提供的设备故障预测系统结构示意图。
具体实施方式
33.下面结合附图与实施例对本发明作进一步说明。
34.应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
35.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
36.实施例一
37.如图1和图3所示，本实施例提供了一种基于图注意力网络关系嵌入的设备故障预测方法，其具体包括如下步骤：
38.步骤1：基于设备故障记录，构建运维知识图谱，将设备故障记录映射到知识图谱的对应实体中，提取每种故障对应的三元组，根据不同的关系将每个三元组划分为若干个三元组，得到三元组集合。
39.在具体实施中，将设备故障记录映射到知识图谱的对应实体中之前，还包括：
40.对设备故障记录进行预处理，其中预处理包含数据清洗、缺失数据补全、数据定义以及规范化处理。
41.例如：
42.基于某轮胎生产企业的设备故障记录如表1所示，为设备故障记录数据集。
43.表1数据集的基本统计信息
44.类型数据量设备数量1872故障数38设备故障记录数4231
45.令u＝{u1,u2,u3,
…
,u
|u|
}表示设备集合，v＝{v1,v2,v3,
…
,v
|v|
}表示故障集合，设备和故障之间的交互矩阵被定义为y＝{y
uv
|u∈u,v∈v}，其中y
uv
定义为：
[0046][0047]
其中，y
uv
等于1表示设备u发生过v故障。此外，对于每个设备u∈u，可以简单的获得
一个故障记录i＝{v1,
…
,vi,
…
,v
|i|
}。
[0048]
在本实例中，基于设备故障记录构建知识图谱(kg)。kg是由实体和关系组成的一种语义网络，其基本单位是三元组(h,r,t)，其中h和t分别表示头实体和尾实体，r代表头实体和尾实体之间的关系。在kg中，头部实体可以通过相同的关系指向不同的尾部实体。给定设备u和故障v的故障记录i＝{v1,
…
,vi,
…
,v
|i|
}，根据不同的关系将每个三元组划分为若干个三元组，从而实现三元组集合的提取，具体如下：
[0049]
(1)三元组集合(triple set，ts)，其头部实体由设备故障记录i＝{v1,
…
,vi,
…
,v
|i|
}中的故障连接，ts定义如下：
[0050]
tsi＝{(hi,r,t)|(hi,r,t)∈g and hi＝vi∈i},i＝1,2,
…
,|i|
ꢀꢀꢀꢀꢀꢀ
(2)
[0051]
基于上述定义，tsi中的三元组含义相同的头部实体hi，tsi中的所有三元组含有不同的关系r＝{r1,r2,
…
,r
|r|
}。
[0052]
(2)三元组(triple group，tg)，根据不同的关系r，从ts集合中划分出的三元组，tg定义如下：
[0053][0054]
其中中的三元组含有相同的头部实体hi和关系rj，但是含有不同的尾实体。
[0055]
换句话说，tsi可以表示为：
[0056][0057]
步骤2：基于三元组集合，引入图注意力网络，量化知识图谱中故障之间的相关性，实现在关系上尾部实体到头部实体的信息聚合和关系嵌入向量的学习，得到设备向量，如图2所示。
[0058]
具体地，信息聚合和关系嵌入向量学习的一般生成过程为：
[0059]
步骤2.1：设定是一组三元组集合，里面包含多个三元组，其中k表示的是第k个三元组，n表示三元组的个数。在中，依据相同关系rj将尾部实体信息聚合到头部实体，尾部实体的嵌入向量表示为：
[0060]
t＝{t1,
…
,tk,
…
,t
n+1
},tk∈rdꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0061]
其中tk∈rd表示的是尾实体tk的d维嵌入向量。此外，h∈rd表示的是中头实体的嵌入向量，r∈rd×d′
表示的是关系嵌入向量。
[0062]
步骤2.2：对于三元组通过以下公式计算头部实体和相邻尾部实体之间的相似系数ek：
[0063]ek
＝a([wtk||wh]),k＝1,2,
…
,n+1
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0064]
其中w∈rd′×d是用于特征增强的共享参数，[
·
||
·
]表示的是两个特征向量之间的级联运算。发明人使用单层前馈神经网络，记为a(
·
)，将高维特征向量映射为实数。
[0065]
步骤2.3：最后，头部实体的表示向量h
′
如下表示：
[0066][0067]
其中αk表示的是尾实体向量tk和头实体向量h的注意力系数，它是通过使用
softmax()函数对relu(ek)进行归一化而获得的，公式如下：
[0068][0069]
步骤2.4：以上计算未考虑关系嵌入信息，为了增强提出的模型的鲁棒性和表达能力，通过以下公式嵌入关系向量：
[0070]h″
＝rh
′ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(9)
[0071]
基于上述讨论，h
″
能够被认定为表示。基于公式(4)每个ts可以包含多个tg，因此，通过直接连接表示获得tsi得向量表示：
[0072][0073]
由于tsi向量高维且稀疏得特性，采用线性变换来减少tsi的维度：
[0074][0075]
其中矩阵w
′
∈r
|r|
×d×d表示的是分享系数矩阵。
[0076]
最后，根据公式(2)和公式(11)，计算设备故障向量u：
[0077][0078]
其中|i|表示的是设备故障记录中的故障数。
[0079]
步骤3：将设备故障向量输出至softmax函数，输出候选设备故障的概率分布，筛选概率最大的候选设备故障作为预测结果。
[0080]
对待测试样本进行设备故障预测，基于上述步骤得出的u，构建softmax函数，计算设备出现故障的概率，如下：
[0081][0082]
其中，表示模型的输出向量，表示设备可能出现故障的概率分布，选择概率最大的作为预测结果。u∈rd表示的是设备最终的故障向量，v∈rd表示的是故障的表示向量。
[0083]
步骤4：基于预测值与真实值之间的差异，计算交叉熵损失值，根据损失值进行误差反向传播，进而对模型中的参数进行优化，以提高预测准确性。
[0084]
具体地，计算softmax函数输出值的损失函数，采用adam算法训练模型中的学习参数，完成模型的训练；
[0085]
模型训练完成后，输出实验样本集的预测结果，与实际的设备故障记录进行对比，反馈更新底层数据信息，从而不断优化模型中的数据权重值，不断完善设备故障预测。
[0086]
在具体实施中，所述基于图注意力网络关系嵌入的设备故障预测方法，还包括：
[0087]
计算softmax函数输出值的损失函数，采用adam算法训练图注意力网络和softmax函数中的学习参数，完成图注意力网络和softmax函数的训练。
[0088]
采用交叉熵作为softmax函数输出值的损失函数，若y为真实的类别分布，则损失函数定义如下：
[0089][0090]
其中m表示批次大小。然后，使用adam优化器进行优化。
[0091]
对待测试样本进行设备故障预测，如图4所示，并与实际的设备故障记录进行结果对比，表2描述了设备故障预测中方法的性能比较：
[0092]
表2设备故障预测的性能比较
[0093][0094][0095]
基于表2中的结果可得，本实施例所提出的设备故障预测模型的性能优于其他方法。
[0096]
实施例二
[0097]
如图5所示，本实施例提供了一种基于图注意力网络关系嵌入的设备故障预测系统，其具体包括如下模块：
[0098]
三元组集合提取模块，构建运维知识图谱，其用于基于设备故障记录，将故障记录映射到知识图谱的对应实体中，提取每种故障对应的三元组，根据不同的关系将每个三元组划分为若干个三元组，得到三元组集合；
[0099]
设备故障向量学习模块，其用于基于三元组集合，引入图注意力网络，量化故障记录与知识图谱中设备故障之间的相关性，实现在相同交互关系上尾部实体到头部实体的信息聚合和关系嵌入向量的学习，得到设备故障向量；
[0100]
目标预测模块，其用于将设备故障向量输出至softmax函数，输出候选故障的概率分布，筛选概率最大的候选故障作为预测结果；
[0101]
图注意力网络优化模块，其用于将预测结果与实际的设备故障记录进行对比，并将比对结果反馈至图注意力网络来优化图注意力网络中的数据权重值，以提高预测结果的精准性。
[0102]
此处需要说明的是，本实施例的基于图注意力网络关系嵌入的设备故障预测系统中的各个模块，与实施例一中的基于图注意力网络关系嵌入的设备故障预测方法中的步骤一一对应，其具体实施过程相同，此处不再累述。
[0103]
实施例三
[0104]
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例一所述的基于图注意力网络关系嵌入的设备故障预测方法中的步骤。
[0105]
实施例四
[0106]
本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述实施例一所述的基于
图注意力网络关系嵌入的设备故障预测方法中的步骤。
[0107]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
[0108]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0109]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0110]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0111]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，rom)或随机存储记忆体(random accessmemory，ram)等。
[0112]
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。