一种基于改进图偏差网络的内燃机异常数据识别修复方法

本发明涉及内燃机数据处理领域，具体涉及一种基于改进图偏差网络的内燃机异常数据识别修复方法。

背景技术：

1、动力机械保有量呈现直线式增长，作为主要动力装置之一，内燃机规模也在不断壮大。在日常使用和研究开发实验中，内燃机会产生大量的运行数据。在实际过程中，由于环境干扰等各种因素，难免会产生一些异常数据。这些异常数据是大数据分析和决策的主要障碍之一。因此，在如何有效地利用好海量的内燃机运行数据和充分发挥运行数据潜在价值问题中，异常运行数据识别和修复是十分重要的。

2、异常运行数据识别和修复的主要技术有基于规则处理、基于统计学处理和基于机器学习处理。基于规律处理方法，需要领域资深专家制定规则，然后判断运行数据是否异常，这种方法主要依赖专家的知识水平，并且耗时很长，不适合大数据的处理。基于统计学处理方法能够较好的处理好低维数据，但是对假设依赖严重。基于统计学处理方法不适合处理复杂的多维度的非线性内燃机系统运行数据。

3、根据数据的标签情况，基于机器学习处理方法主要包括有监督、半监督和无监督三种情况。面对海量的内燃机运行数据，只存在较少的异常运行数据。在海量的数据中寻找异常数据，这是非常困难的。因此，内燃机异常运行数据识别和修复中，基于有监督和半监督的机器学习方法的适用性不强。在无监督的机器学习方法中，主要是通过lstm和图神经网络等神经网络，通过学习正常数据等内在关系，然后通过判断生成的结果和实际结果的差异来进行异常数据识别，然后进行数据修复。但是lstm神经网络存在梯度爆炸和计算量大等问题。对于多维的内燃机系统，lstm神经网络无法结合传感器、运行参数等数据之间的关系进行判断。图神经网络根据运行数据特征维度建立图结构来考虑各个维度之间的关系，但是图结构需要研究人员根据内燃机系统进行指定，这也限制了图神经网络在内燃机异常运行数据识别和修复上的应用。

4、综上所述，需要一种能够自动学习内燃机各运行数据特征维度的图结构，进行多维数据融合学习，异常数据识别和修复的方法。

技术实现思路

1、为了解决上述问题，本发明提出一种基于改进图偏差网络的内燃机异常数据识别修复方法，其特征在于，包括以下步骤：

2、步骤1：获取内燃机运行数据；

3、步骤2：内燃机运行数据预处理；

4、步骤3：构建改进的图偏差神经网络模型；

5、步骤4：输出异常数据位置标签和对应的逆归一化预测数据；

6、步骤5：异常数据修复。

7、进一步地，所述内燃机运行数据包括但不限于基本运行参数（发动机转速、扭矩、油门位置、空压比等）、温度数据（环境温度、进排气温度、冷却水温度、油温、机油温度、缸内最高燃烧温度等）、压力数据（环境压力、喷油压力、进气压力、缸内压力等）、性能数据（燃料消耗率等）、排放数据（氮氧化物（nox）、颗粒物等排放物的浓度等）和运行时间数据。

8、更进一步地，所述内燃机运行数据预处理包括：使用minmaxscaler对所述内燃机运行数据进行归一化处理；按照时间戳顺序将所述内燃机运行数据进行排列，得到内燃机时间序列运行数据。

9、更进一步地，所述的改进图偏差神经网络模型包括传感器嵌入层、图结构学习层、图注意力预测层和图偏差评分层；

10、传感器嵌入层：将每种数据特征维度都作为一个节点，用每个节点学习到一个embedding向量来表示节点特征，以多维方式捕捉节点行为背后的不同关系；

11、

12、式中， v i为第 i个节点的embedding向量， d表示提取节点的 d个特征， n为节点数。每个节点的embedding向量用于以下两个方面：（ⅰ）用于图结构学习，判断节点之间的相关性；（ⅱ）注意力系数学习，考虑不同节点之间的异质影响程度；

13、图结构学习层：以图形结构的形式来学习节点之间的关系，所述关系用有向图表示，用邻接矩阵 a表示所述有向图，其中从第一个节点到另一个节点的边缘表示第一个节点用于模拟第二个节点的行为。对于每个节点 i，其依赖的候选关系为。如果有先验信息， c i可以自定义；如果没有，那么 c i为除本身外的全集。计算cos距离来表示节点 i的embedding向量与其它节点之间的相似度，如式（2）、式（3）所示：

14、

15、

16、式中， e ji为节点 i和其它节点 j的相似度， a ji为节点的邻接矩阵，选取相似度前top-k个节点作为依赖节点； k值由用户根据所需的稀疏程度进行选择；

17、图注意力预测层：利用每个特征维度的过去行为和节点之间的图结构关系预测每个特征维度的预期行为；

18、图偏差评分层：基于所述图注意力预测层所预测的当前时刻每个特征维度的预期行为和实际行为，计算每个特征的异常分数，并将每个特征的异常分数合并为当前时间点的整体异常分数，根据整体异常分数来对运行数据进行异常判断。

19、更进一步地，所述的图注意力预测层为改进的多头门控图注意力预测层；在所述的多头门控图注意力预测层中，在时间 t时，利用大小为 w的滑动窗口对历史时间序列数据进行截取，即将 t时刻前 w时间长度的历史时间序列数据定义为改进图偏差神经网络模型的输入；

20、{x}^{(t)}:=[{s}^{(t-w)},{s}^{(t-w+1)},...,{s}^{(t-1)}]（4）

21、式中， s (t-w)为 t-w时刻的特征维度的数据，模型的目标是预测当前 t时刻的特征维度数据 s (t)；

22、多头门控图注意力预测层为多头图注意力网络加上学习门单元；多头图注意力网络的目的是聚集当前目标节点 i的自身和邻居信息来更新当前目标节点 i中的信息。多头图注意力网络是将单头图注意力网络加入了多头注意力机制。单头图注意力网络的计算过程如下：

23、

24、

25、

26、式中，为特征拼接操作，为由学习邻接矩阵 a得到的节点 i的邻居集合； a是注意力机制学习系数的向量；为可训练权矩阵，对每个节点进行共享线性变换；为注意力系数；

27、为进一步提升所述图注意力网络学习特征能力，对所述单头图注意力网络加入了多头注意力机制，所述多头注意力机制使得节点 i和它的邻节点之间的多处相关的特征被更好地分配注意力；多头注意力权重与单头的注意力权重计算方式相似，每个邻居节点到其目标节点 i和自身目标节点 i到自身目标 i的注意力权重均有 h组， h的取值为{1,2,3}；对多头注意力权重进行统一归一化处理，计算公式如下：

28、

29、所述学习门的目的是为多头图注意力网络的每个头分配不同的重要性，以此提高模型最终预测结果的准确率。所述学习门的输入为目标节点 i的特征维度数据和邻居节点的特征维度数据；所述学习门是一个卷积网络φ，由平均池化和最大池化组成，采用目标节点 i的特征维度数据和邻居节点的特征维度数据生成门值；所述池化的目的是减少特征，并且确保学习门不会引入更多的附加参数，将邻域内的节点特征数据整合得到最终的特征嵌入；

30、所述平均池化是对目标节点 i的所有邻居节点的特征维度数据求平均，计算公式如下：

31、

32、式中， ap为特征维度数据平均池化结果；

33、所述最大池化是对目标节点 i的所有邻居节点的特征维度数据值取最大，计算公式如下：

34、

35、式中， mp为最大池化结果；

36、所述学习门将目标节点 i的特征维度数据、平均池化和最大池化的结果连接起来，得到所述学习门结构，所述学习门的总计算公式如下：

37、

38、式中，为目标节点 i学习门值，φ为卷积网络；

39、通过所述多头门控注意力网络，以学习到的图结构为基础，将节点的信息与其相邻节点进行融合，然后通过 relu激活函数，得到节点 i的聚合：

40、

41、通过所述多头门控注意力网络，得到所有 n个节点的特征表示，即；对于每个，将它与相应的embedding向量按元素相乘，并将所有节点计算的堆叠结果作为全连接层的输入，输出的维度为 n，从而预测 t时刻的各个特征维度数值，即：

42、

43、更进一步地，所述图偏差评分层的输入为所述多头门控图注意力预测层输出的 t时刻的各个特征维度预测数值，即；所述图偏差评分层将 t时刻的预测行为和观测到的实际行为进行比较，计算出 t时刻的错误值 err：

44、 （14）

45、（15）

46、式中，为第 i个特征维度数据的误差，为在 w时间间隔内的中位数，为 w时间间隔内的四分位距，为归一化之后的误差评分；

47、为了计算时间点t的总体异常，使用max函数对误差评分进行聚合：

48、（16）

49、为了抑制值的突变而产生误差值尖峰，对 a(t)进行简单移动平均处理，产生平滑的误差分数 a s (t)；将误差分数 a s (t)和预设的异常阈值进行比较，如果误差分数 a s (t)超过异常阈值，则将时间点 t标记为异常，并存储异常位置标签和对应的预测数据，然后进行下一时刻的检测；如果误差分数 a s (t)未超过异常阈值，则进行下一时刻的检测；在检查完所有时间序列数据后，输出所述储存的异常位置标签和对应的预测数据。

50、更进一步地，在所述步骤4中，获取步骤3的输出异常位置标签和对应的预测数据，然后对所述预测数据进行逆归一化处理，得到对应的逆归一化预测数据。

51、更进一步地，在所述步骤5中，异常数据修复为根据所述步骤4输出的异常数据标签和对应的逆归一化预测数据，用所述对应的逆归一化预测数据在对应的异常数据位置进行替换。

52、更进一步地，对于所述改进的图偏差神经网络模型采用无监督学习方法进行端到端的训练，具体训练过程如下：

53、输入为正常的内燃机运行数据，将所述的正常运行数据进行预处理，然后划分为训练集和验证集；将训练集输入到所述改进的图偏差神经网络模型，经过传感器嵌入层、图结构学习层和多头门控图注意力预测层，将滑动窗口的预测值和实际值进行损失函数mse计算得到损失值，然后进行反向传播和梯度更新，调整相应的学习参数，更新权重文件；

54、在验证时，将验证集输入到所述改进的图偏差神经网络模型，根据滑动窗口的预测值和实际值进行损失函数mse计算得到验证损失值；反复进行多次训练和验证迭代，将验证损失值最小的模型作为预训练的图偏差神经网络模型。

55、采用本发明的有益效果：

56、本发明能够自动学习内燃机运行数据特征维度之间的相关性，建立图结构，有利于内燃机多维度运行数据之间的融合学习，提高预测准确性，进而提高异常运行数据的识别和修复能力；采用多头门控图注意力神经网络，通过引入多头图注意力神经网络和学习门，可以使得运行数据特征维度之间的多处相关的特征被更好地分配注意力以及各头注意力的权重，提高模型的鲁棒性和模型的预测能力。