一种基于聚类和LSTM的发动机剩余寿命预测方法与流程

一种基于聚类和lstm的发动机剩余寿命预测方法
技术领域
[0001]
本发明涉及属于航空发动机健康管理领域，具体涉及一种基于聚类和lstm的发动机剩余寿命预测方法。


背景技术：

[0002]
航空发动机作为飞机的核心部件，由于其内部部件之间的复杂多变性，加上长期运行在相当高强度的工作环境下，因此展开对发动机的健康管理极其重要。对航空发动机的剩余寿命进行预测对于提高航空发动机安全可靠工作，保障飞机飞行安全具有重要意义。
[0003]
目前发动机的剩余寿命预测方面，大多是基于单阶段的剩余寿命预测方法，对于发动机的剩余寿命预测并不准确，并不能良好的运用于发动机的健康管理。


技术实现要素：

[0004]
本发明针对以上问题，提出了一种利用聚类和lstm结合对飞机发动机的健康状况进行监测，预测发动机的剩余寿命，从而保证航班的正常运行的基于聚类和lstm的发动机剩余寿命预测方法。
[0005]
本发明的技术方案为：按以下步骤进行预测：
[0006]
1)标准化：输入发动机数据，进行样本归一化求平均处理；
[0007]
2)聚类分析：在步骤1)的基础上通过聚类分析准确得到多个阶段的发动机性能退化数据；
[0008]
3)突变分析：在步骤2)的基础上，对多个阶段的退化数据采用ilstmc进行预测，预测过程中利用记忆块代替普通的隐含层节点，确保信息的存储，避免了长时依赖、梯度消失的问题；
[0009]
4)lstm模型预测：使用突变点进行预测；
[0010]
5)计算权重值：根据lstm的算法公式计算出每一个门的权重值；
[0011]
6)多阶段预测：数据之间采用的是顺序关联的关系，首先做聚类处理分成多个阶段的lstm，再做预测。
[0012]
步骤1)具体为：首先，对输入的多维航空发动机性能监测数据进行归一化求平均处理，将其归一化到[0，1]之间，避免了正负抵消的可能性，然后对归一化的结果进行求平均值，归一化具体计算公式如下：
[0013][0014]
其中，x
n
o
rmal
为归一化后的数据，x
t
为原始数据，x
max
为原数据样本中的最大值，x
min
为其最小值。将归一化求平均后的数据定义为发动机的整体健康值(overall health score，ohs)。
[0015]
步骤2)具体为：采用簇内平方误差和(sum of squared error，sse)来求取聚类的
最佳数目k，通过观察其拐点图来判定聚类数。公式如下：
[0016][0017][0018]
ω
(i,j)
＝[x1+x2+
…
+x
k
]-1
ꢀꢀꢀ
(4)
[0019]
其中，x
k
表示每一个聚类的概率，ω表示样本所属簇的概率数，m为模糊系数，一般取值为2，μ为各簇的中心点。
[0020]
步骤3)具体为：利用聚类分析获取聚类和突变点，将发动机的数据分成多个阶段。突变点的出现有可能将会导致发动机的剩余寿命情况发生改变，因此这些突变点的处理将成为聚类的依据。针对突变点的检测主要是计算每个对象与这些中心对象的距离，具体计算见公式(2)到公式(4)。
[0021]
通过公式(11)可以计算出t-1时刻的误差，在突变点遗忘门的激活函数sigmoid的值即σ的值近似为0且输入门近似为1，而之前时刻的细胞将不能通过时间传递并保存至当前时刻，就会出现突变点。
[0022]
步骤4)具体为：使用突变点进行预测，可以通过误差项σ的值域在[0，1]的输入门、遗忘门和输出门来控制隐含层细胞的状态中的信息的流动：
[0023][0024]
其中，c
t
是当前时刻细胞的长期状态，f
t
是当前时刻遗忘门的值，c
t-1
是t-1时刻的细胞状态，i
t
是当前时刻的输入，是当前时刻的即时状态，遗忘门决定了上一时刻c
t-1
的细胞状态有多少保留到当前时刻c
t
。
[0025]
lstm模型通过精心设计三个门的结构来去除或增加信息到细胞状态的能力，分别是输入门，遗忘门和输出门，用来保护和更新细胞状态。输入门允许信息进入存储细胞，遗忘门允许细胞信息被遗忘或从输入的存储细胞中被移除，输出门从输入的存储细胞中输出信息。
[0026]
三个门之间通过紧密协作来完成细胞信息的更新。首先在输入门通过tanh提取出有效的信息，然后使用激活函数sigmoid进行信息筛选，决定细胞的信息更新程度，i
t
就是衡量细胞更新的标量，输出层的输出是h
t
隐藏层会作为lstm的输出。
[0027]
输入门：
[0028][0029][0030]
遗忘门：
[0031][0032]
输出门：
[0033]
[0034][0035]
其中，σ是激活函数sigmoid的值，w
i
是输入门的权重值，h
t-1
是t-1时刻细胞的隐藏状态值，b表示的是偏置项。w
f
是遗忘门的权重，w
o
是输出门的权重，随着预测过程数据点的递增，通过公式(12)到公式(15)可以计算得出预测过程中t时刻的每一个权重梯度，其次带入公式(16)到公式(19)得到求和后的最终的权重梯度，进行权重更新。
[0036]
步骤5)的具体计算步骤如下：
[0037]
5.1)反向计算出每个时刻对应的误差项σ的值，误差项的反向传播分为两个方向，分别是沿时间的反向传播，即从当前时刻t开始，计算t-1时刻的误差项σ-1；将误差项向上一层传播。
[0038][0039]
5.2)权重梯度的计算，根据相应的误差项，计算每个权重的梯度，即w
fh
，w
ch
，w
oh
，w
ih
的权重，它们的梯度是各个时刻的梯度之和。因此需要首先求出它们在t时刻的梯度，然后求出它们最终的梯度。
[0040]
求出t时刻误差项σ
o,t
，σ
f,t
，σ
i,t
，σ
c,t
，进一步求出t时刻的权重值w
fh
，w
ch
，w
oh
，w
ih
即：
[0041][0042][0043][0044][0045]
将各个时刻的梯度加在一起，就能得到最终的梯度：
[0046][0047][0048][0049][0050]
lstm预测过程，将聚类过程得到的第1类的数据作为预测的第1阶段的数据进行直接预测；第1，2两类的数据作为第2阶阶段的数据进行预测，以此类推；得到发动机的整体健康分数ohs的真实值与预测值的结果。
[0051]
步骤6)具体为：多阶段剩余寿命预测，数据之间采用的是顺序关联的关系，首先做聚类处理分成多个阶段的lstm，其次再做预测。为了更加准确的得到预测效果，将聚类得到的第1类的数据作为预测的第1阶段的数据进行直接预测；然后将数据进行迭代进行进一步的预测，将聚类得到的第1，2两类的数据作为第2阶段的数据进行预测；将聚类得到的第1，2，3三类的数据作为第3阶段的数据进行预测，然后做模型比较分析。
[0052]
本发明研究的是基于聚类和lstm的发动机剩余寿命预测。由于深度学习方法可以将复杂的数据特征进行学习，因此，结合聚类分析出发动机的多阶段退化特征，预测发动机的多阶段剩余寿命，在一定程度上可以运用于发动机的健康管理，有一定的实用意义。
[0053]
本发明实现了多维数据的融合，基于多阶段信息融合的结果建立预测模型，并利用多阶段预测模型的参数引入实时监测数据，采用聚类分析和lstm融合的算法实现多阶段模型参数的更新与预测，最终预测航空发动机的性能衰退趋势，得到航空发动机剩余寿命的准确预测。
[0054]
本发明具有如下有益效果：本发明是根据航空发动机的性能参数建立了一个新的预测模型，该模型综合了lstm神经网络和k-means聚类的优点，k-means聚类在计算方面具有时间短，速度快且思想简单容易解释等优点，lstm在预测时可以利用记忆块代替普通的隐含层节点，确保将信息的存储跨越任意的延迟并将误差信号返回到很久以前的时间点，使网络学会“忘记”并远离饱和状态，避免了长时依赖、梯度消失和爆炸等难题。通过该算法进行实验分析和验证，发现ilstmc在进行剩余寿命预测时经计算得到的误差优于其他的传统的模型，通过实验分析表明在进行航空发动机剩余寿命预测时，我们提出的ilstmc方法是有效的，能够使得操作人员可结合本案的预测结果更好的对发动机健康进行管理，对保障飞机飞行安全具有重要意义。
附图说明
[0055]
图1为本发明的结构框架示意图；
[0056]
图2为第83台发动机的ohs均一化图；
[0057]
图3为第83台发动机的聚类分析结果图；
[0058]
图4(a)为第83台发动机的ilstmc第1阶段预测图；
[0059]
图4(b)为第83台发动机的ilstmc第2阶段预测图；
[0060]
图4(c)为第83台发动机的ilstmc第3阶段预测图；
[0061]
图5为第83台发动机的ilstmc和其他算法预测结果的rmse比较图；
[0062]
图6第83台发动机的多阶段生命周期预测误差比较图。
具体实施方式
[0063]
为能清楚说明本专利的技术特点，下面通过具体实施方式，并结合其附图，对本专利进行详细阐述。
[0064]
本发明如图1-6所示，本发明基于聚类和lstm的航空发动机剩余寿命预测方法主要包含聚类和预测两大模块
[0065]
聚类模块包括：主要是以k-means聚类在计算方面时间短，速度快且思想简单容易解释等优点将输入的发动机数据，将其归一化到[0，1]之间，然后求平均值。其次，采用簇内
平方误差和(sum of squared error，sse)来求取聚类的最佳数目，通过观察其拐点图来判定聚类数。最终，利用聚类分析获取聚类和突变点，将发动机的数据分成多个阶段。突变点的出现有可能将会导致发动机的剩余寿命情况发生改变，因此这些突变点的处理将成为聚类的依据。针对突变点的检测主要是计算每个对象与这些中心对象的距离。
[0066]
预测模块包括：基于聚类得到的突变点进行多阶段预测，多阶段预测，数据之间采用的是顺序关联的关系，首先做聚类处理分成多个阶段的lstm，其次再做预测。为了更加准确的得到预测效果，将聚类得到的第1类的数据作为预测的第1阶段的数据进行直接预测；然后将数据进行迭代进行进一步的预测，将聚类得到的第1，2两类的数据作为第2阶段的数据进行预测；将聚类得到的第1，2，3三类的数据作为第3阶段的数据进行预测，然后做模型比较分析。最后，计算出每一台发动机的预测误差值，考虑到针对发动机的剩余寿命进行预测，因而将发动机的生命周期进行划分，分别取出60％，70％，80％，90％，95％这5个阶段的预测误差，与各个方法的误差进行比较。将预测结果带入代价函数求出rmse，与传统的神经网络lstm，rnn，以及线性回归方法lp方法的预测结果进行比较。
[0067]
如图1至图5所示，本发明基于聚类和lstm的发动机剩余寿命预测方法的具体步骤如下：
[0068]
1)标准化：输入发动机数据，进行样本归一化求平均处理；首先输入多维航空发动机性能监测数据，对这些数据进行归一化求平均处理，目的是用来提高模型的收敛速度和计算精度。
[0069]
首先，对输入的多维航空发动机性能监测数据进行归一化求平均处理，将其归一化到[0，1]之间，避免了正负抵消的可能性，然后对归一化的结果进行求平均值，归一化具体计算公式如下：
[0070][0071]
其中，x
n
o
rmal
为归一化后的数据，x
t
为原始数据，x
max
为原数据样本中的最大值，x
min
为其最小值。将归一化求平均后的数据定义为发动机的整体健康值(overall health score，ohs)。
[0072]
2)聚类分析：在步骤1)的基础上通过聚类分析准确得到多个阶段的发动机性能退化数据；
[0073]
聚类分析，采用簇内平方误差和(sum of squared error，sse)来求取聚类的最佳数目k，通过观察其拐点图来判定聚类数。公式如下：
[0074][0075][0076]
ω
(i,j)
＝[x1+x2+
…
+x
k
]-1
ꢀꢀꢀ
(4)
[0077]
其中，x
k
表示每一个聚类的概率，ω表示样本所属簇的概率数，m为模糊系数，一般取值为2，μ为各簇的中心点。
[0078]
3)突变分析：在步骤2)的基础上，对多个阶段的退化数据采用ilstmc进行预测，预测过程中利用记忆块代替普通的隐含层节点，确保信息的存储，避免了长时依赖、梯度消失的问题；
[0079]
利用聚类分析获取聚类和突变点，将发动机的数据分成多个阶段。突变点的出现有可能将会导致发动机的剩余寿命情况发生改变，因此这些突变点的处理将成为聚类的依据。针对突变点的检测主要是计算每个对象与这些中心对象的距离，具体计算见公式(2)到公式(4)。
[0080]
通过公式(11)可以计算出t-1时刻的误差，在突变点遗忘门的激活函数sigmoid的值即σ的值近似为0且输入门近似为1，而之前时刻的细胞将不能通过时间传递并保存至当前时刻，就会出现突变点。
[0081]
4)lstm模型预测：使用突变点进行预测，可以通过误差项σ的值域在[0，1]的输入门、遗忘门和输出门来控制隐含层细胞的状态中的信息的流动：
[0082][0083]
其中，c
t
是当前时刻细胞的长期状态，f
t
是当前时刻遗忘门的值，c
t-1
是t-1时刻的细胞状态，i
t
是当前时刻的输入，是当前时刻的即时状态，遗忘门决定了上一时刻c
t-1
的细胞状态有多少保留到当前时刻c
t
。
[0084]
lstm模型通过精心设计三个门的结构来去除或增加信息到细胞状态的能力，分别是输入门，遗忘门和输出门，用来保护和更新细胞状态。输入门允许信息进入存储细胞，遗忘门允许细胞信息被遗忘或从输入的存储细胞中被移除，输出门从输入的存储细胞中输出信息。
[0085]
三个门之间通过紧密协作来完成细胞信息的更新。首先在输入门通过tanh提取出有效的信息，然后使用激活函数sigmoid进行信息筛选，决定细胞的信息更新程度，i
t
就是衡量细胞更新的标量，输出层的输出是h
t
隐藏层会作为lstm的输出。
[0086]
输入门：
[0087][0088][0089]
遗忘门：
[0090][0091]
输出门：
[0092][0093][0094]
其中，σ是激活函数sigmoid的值，w
i
是输入门的权重值，h
t-1
是t-1时刻细胞的隐藏状态值，b表示的是偏置项。w
f
是遗忘门的权重，w
o
是输出门的权重，随着预测过程数据点的递增，通过公式(12)到公式(15)可以计算得出预测过程中t时刻的每一个权重梯度，其次带入公式(16)到公式(19)得到求和后的最终的权重梯度，进行权重更新。
[0095]
5)计算权重值：根据lstm的算法公式计算出每一个门的权重值，具体计算步骤如
下：
[0096]
5.1)反向计算出每个时刻对应的误差项σ的值，误差项的反向传播分为两个方向，分别是沿时间的反向传播，即从当前时刻t开始，计算t-1时刻的误差项σ-1；将误差项向上一层传播。
[0097][0098]
5.2)权重梯度的计算，根据相应的误差项，计算每个权重的梯度，即w
fh
，w
ch
，w
oh
，w
ih
的权重，它们的梯度是各个时刻的梯度之和。因此需要首先求出它们在t时刻的梯度，然后求出它们最终的梯度。
[0099]
求出t时刻误差项σ
o,t
，σ
f,t
，σ
i,t
，σ
c,t
，进一步求出t时刻的权重值w
fh
，w
ch
，w
oh
，w
ih
即：
[0100][0101][0102][0103][0104]
将各个时刻的梯度加在一起，就能得到最终的梯度：
[0105][0106][0107][0108][0109]
lstm预测过程，将聚类过程得到的第1类的数据作为预测的第1阶段的数据进行直接预测；第1，2两类的数据作为第2阶阶段的数据进行预测，以此类推；得到发动机的整体健康分数ohs的真实值与预测值的结果。
[0110]
6)多阶段预测：多阶段剩余寿命预测，数据之间采用的是顺序关联的关系，首先做聚类处理分成多个阶段的lstm，其次再做预测。为了更加准确的得到预测效果，将聚类得到的第1类的数据作为预测的第1阶段的数据进行直接预测；然后将数据进行迭代进行进一步的预测，将聚类得到的第1，2两类的数据作为第2阶段的数据进行预测；将聚类得到的第1，2，3三类的数据作为第3阶段的数据进行预测，然后做模型比较分析。将ilstmc的预测结果
带入代价函数求出rsme，与传统的神经网络lstm，rnn，以及线性回归lp方法的预测结果进行比较。
[0111]
计算出每一台发动机的预测误差值，考虑到针对发动机的剩余寿命进行预测，因而将发动机的生命周期进行划分，分别取出60％，70％，80％，90％，95％这5个阶段的预测误差，与各个方法的误差进行比较。
[0112]
将预测结果带入代价函数求出rmse，与传统的神经网络lstm，rnn，以及线性回归lp方法的预测结果的误差进行比较。
[0113]
实验
[0114]
实验采用的数据是nasa网站上的c-mapss数据集来进行验证的。c-mapss数据集有4个子集，每个子集都有27维数据，其中前2维是发动机编号和发动机运行的次数，3维对应运行环境设置，22维对应传感器的气路性能数据，每个子集有不同的运行环境和故障数目。
[0115]
气路参数将反映的是每个气路部件或者单元体的健康状态，因此气路性能参数是影响发动机的整体性能状况的关键数据，在预测过程中将起到主导性作用。使用气路性能参数中的7个表征参数作为发动机整体健康状况的决定因子，进行多维参数的数据融合，来描绘出发动机的性能退化轨迹。
[0116]
假设样本的序列长度sequence len＝5，每个时刻输入的神经元为1，依次将数据的训练集和测试集带入神经网络进行训练与测试；在lstm的adam算法中，每次取出1个样本值做批处理，设置学习速率η＝0.01，隐含层大小为2层，每层的节点数分别为16和8，训练集和测试集分别取5个epoch周期，来进行发动机的剩余寿命预测。
[0117]
经过计算确定每一台发动机的聚类数目k，k值也代表具体的阶段数，然后分别对每一台发动机进行模型预测，将每一个k值对应的预测结果进行比较，选择误差最小者的聚类数目作为每一台发动机的具体的聚类数目。
[0118]
以第83台发动机为例，当利用基于聚类和lstm的ilstmc模型进行预测时，以下对比可说明基于聚类和lstm的预测方法的优越性：
[0119]
如图4，与rnn，lstm，线性回归方法相比较，发现ilstmc模型在预测的过程中会随着时间点的递增，发动机的整体健康分数ohs值更靠近于真实值；
[0120]
在多阶段预测的情况下，最后一阶段的rmse比lstm减少了0.67％，平均每一阶段的rmse比lstm减少了2.39％；
[0121]
如图5，对于全生命周期预测，寿命周期在90％-95％的情况下误差值比lstm减少了0.58％，平均每一阶段寿命的误差比lstm减少了2.64％。
[0122]
本发明具体实施途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进，这些改进也应视为本发明的保护范围。