一种基于多注意力机制的剩余使用寿命不确定性预测方法

1.本发明涉及剩余使用寿命预测领域，具体涉及一种基于多注意力机制的剩余使用寿命不确定性预测方法。


背景技术：

2.预知资产的剩余使用寿命可以让工程师更合理的制定维修计划，能够减少停机时间，防止灾难性故障，并且降低成本提高效率。因此，准确预测剩余使用寿命具有重大意义。
3.随着深度学习的发展，在预测剩余使用寿命方面，传统的深度学习模型诸如rnn不具备并行处理的能力，对后续时间的预测必须等待上一步的完成，这就降低了模型的灵活性，并导致误差按步累积；cnn由于其卷积核的大小有限，不适合建模时间序列问题，无法有力地捕获长期依赖信息。为了获得能够自适应地提取特征并输出剩余使用寿命估计的预测方法，机器学习模型应该具有从训练数据中学习有用信息和端到端可训练参数的能力。tcn使用残差网络和扩张卷积的组合来增强网络内存，使其在长时间序列预测任务中更有效。然而，目前在预测中对tcns的研究很少。因此，简化剩余使用寿命预测任意不确定性量化的过程，探索tcn网络在剩余使用寿命预测方面具有非常重要的应用价值。


技术实现要素：

4.本发明的目的在于提出一种基于多注意力机制的剩余使用寿命不确定性预测方法，以解决燃气涡轮剩余使用寿命的预测问题。
5.实现本发明目的的技术解决方案为一种基于多注意力机制的剩余使用寿命不确定性预测方法，包括如下步骤：
6.步骤1，获取燃气涡轮引擎随着时间推移从完好状态逐渐退化直至报废的二维数据构建训练集，并进行预处理，预处理后的数据为包含退化过程、时间滞后阶数、传感器个数的三维数据；
7.步骤2，构建基于多注意力机制的tcn网络，使用自注意力机制对预处理后的三维数据的特征维度进行加权，得到传感器带有加权特征信息的序列数据；使用具有共享参数的时间卷积网络对带有加权特征信息的序列数据进行学习，得到传感器带有时间和空间相关性信息的序列数据；使用自注意力机制对带有时间和空间相关性信息的序列数据在时间维度进行加权，得到传感器带有加权时间信息的序列数据；使用全连接层，对得到带有加权时间信息的序列数据进行预测，得到预测的剩余使用寿命；
8.步骤3，使用零开始训练法，并将分位数损失设置为模型训练的损失，训练基于多注意力机制的tcn网络，并运用网格搜索技术，得到网络的最优参数；
9.步骤4，对待预测剩余使用寿命的燃气涡轮引擎传感器数据进行预处理，，输入训练好的模型，完成剩余使用寿命预测。
10.进一步的，步骤1，获取燃气涡轮引擎随着时间推移从完好状态逐渐退化直至报废的二维数据，并进行预处理，具体步骤为：
11.步骤1.1：绘制随着时间变化的所有引擎每一传感器的数据的趋势图，根据图像的趋势，舍弃掉对传感器的退化没有影响的引擎，最终得到影响传感器退化的引擎数据，这些数据从崭新状态开始记录直至传感器完全报废；
12.步骤1.2：对影响传感器退化的引擎数据进行z值标准化；
13.步骤1.3：对剩余使用寿命假设它是线性下降到零，对z值标准化后的引擎数据选取一个时间节点，在这个时间之前，任何引擎的退化都是不明显的，从这里进行截断，即传感器剩余使用寿命大于该节点值的，均设置为该节点值，最终得到剩余使用寿命从该节点以后开始逐渐减少的数据；
14.步骤1.4：将传感器的时间滞后数据添加到截断后的数据中，并将缺失历史数据的条目舍弃，数据维度由二维(n，s)变为三维(n-p*(t
n-1)，tn，s)，其中n为训练集所有传感器总记录数，tn为滞后阶数，s为记录引擎工作状态的传感器数量，p为引擎数量，最终得到包含退化过程、时间滞后阶数、传感器个数的三维数据。
15.进一步的，基于多注意力机制的tcn网络中，使用自注意力机制对预处理后的三维数据的特征维度进行加权，得到传感器带有加权特征信息的序列数据，具体步骤为：
16.步骤2.1：对第t时间步收集的传感器测量值x
t
＝{x
1，t
，x
2，t
，
…
，x
s，t
}，计算重要性权重，其计算公式如式(1)：
[0017][0018]
其中，s是传感器的编号，t是时间步，x
t
是传感器的测量值，h
w1
是训练过程中要学习的隐藏向量，α
s，t
是第s个传感器第t时间步的特征维度权重，因此，传感器的特征维度重要性权重向量为
[0019]
步骤2.2：根据重要性权重，计算第s个传感器特征维度重要性权重的平均值其计算公式如式(2)：
[0020][0021]
其中，t为时间步，α
s，t
是第s个传感器第t时间步的特征维度权重，tn为滞后阶数；
[0022]
步骤2.3：根据特征维度重要性权重平均值和传感器测量值，计算特征维度加权后的传感器数据，其计算公式如式(3)：
[0023][0024]
其中，x
s，t
是第s个传感器第t时间步时刻的传感器测量值，是第s个传感器重要性权重的平均值。
[0025]
进一步的，基于多注意力机制的tcn网络中，使用具有共享参数的时间卷积网络对步骤2得到的序列数据进行学习，得到传感器带有时间和空间相关性信息的序列数据步骤2得到的序列数据进行学习，得到传感器带有时间和空间相关性信息的序列数据是第s个传感器第t时间步的时间卷积网络的输出，其中：
[0026]
时间卷积网络由两个残差块组成，其中每个残差块由两个稀疏的因果卷积层和一个卷积层组成，每个残差块中使用残差连接输入和卷积层后的输出；每个因果卷积层后连
接门控激活层和批量归一化层，其中门控激活层被定义为：
[0027][0028]
其中w表示卷积参数，o表示扩张因果卷积层的输出，*是卷积运算，
⊙
是元素乘积，tanh是反正弦激活函数，sigmoid是将变量映射到0-1的激活函数，是门控激活的输出。
[0029]
进一步的，基于多注意力机制的tcn网络中，使用自注意力机制对步骤3 中得到的序列数据在时间维度进行加权，得到传感器带有加权时间信息的序列数据，具体步骤为：
[0030]
步骤4.1：将softmax函数应用于时间卷积网络的输出其计算公式如式(5)：
[0031][0032]
其中是第s个传感器时间卷积网络的输出，是一个随机生成的隐藏向量，第t时间步的时间维度重要性权重向量为λ
t
＝(λ
1，t
，...，λ
s，t
)；
[0033]
步骤4.2：根据重要性权重，计算时间维度重要性权重的平均值其计算公式如式(6)：
[0034][0035]
其中，λ
t
为第t时间步的时间维度重要性权重向量，t为时间步，tn为滞后阶数；
[0036]
步骤4.3：根据时间维度重要性权重平均值和传感器测量值，计算加权后的传感器，其计算公式如式(7)：
[0037][0038]
其中，是第s个传感器第t时间步的时间卷积网络的输出，为时间维度重要性权重的平均值。
[0039]
进一步的，步骤3，使用零开始训练法，并将分位数损失设置为模型训练的损失，训练，基于多注意力机制的tcn网络，并运用网格搜索技术，得到网络的最优参数，具体步骤为：
[0040]
将模型的损失函数设置为0.1、0.5、0.9分位数损失，训练网络的batch为 512，时间滞后阶数设置为40，网格搜索中，使用变化的学习率进行训练，初始学习率为0.001，网络的训练轮次为40轮，得到最优参数。
[0041]
进一步的，步骤4，对待预测剩余使用寿命的燃气涡轮引擎传感器数据进行预处理，输入训练好的模型，完成剩余使用寿命预测，具体步骤为：
[0042]
对训练好的模型载入最优权重，在服务器上对预处理后的数据进行预测，前向推断过程不进行损失计算和回传损失，网络结构与训练时相同，返回的是预测的燃气涡轮引擎剩余使用寿命。
[0043]
一种基于多注意力机制的剩余使用寿命不确定性预测系统，基于所述的一种基于深度学习的概率剩余使用寿命预测框架，实现剩余使用寿命预测。
[0044]
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，基于所述的一种基于多注意力机制的剩余使用寿命不确定性预测框架，实现剩余使用寿命预测。
[0045]
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，基于所述的一种基于多注意力机制的剩余使用寿命不确定性预测框架，实现剩余使用寿命预测。
[0046]
本发明与现有技术相比，其显著优点为：1)使用自注意力机制分别对特征维度和时间步长维度对数据进行加权，可以自适应地从不同的特征和时间步长中提取信息。2)使用具有共享参数的tcn应用于所有传感器的序列数据，提升预测效率。3)使用非参数概率剩余使用寿命预测框架，可以提供相关的剩余使用寿命估计置信区间，更好的展示不确定性量化的性能，非参数方法显示随着周期增加的不确定性降低。
附图说明
[0047]
图1为本发明一种基于多注意力机制的剩余使用寿命不确定性预测框架图。
[0048]
图2为本发明非参数多注意力时间卷积网络的框架图。
[0049]
图3为本发明npmsa-tcn在rmse和score值与其他方法的比较图。
[0050]
图4为本发明fd003中四个引擎单元的剩余使用寿命预测结果图。
具体实施方式
[0051]
为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
[0052]
本发明一种基于多注意力机制的剩余使用寿命不确定性预测框架，首先获取燃气涡轮引擎随着时间推移从完好状态逐渐退化直至报废的二维数据，随后通过自注意力机制对传感器数据的特征维度进行加权；然后使用具有共享参数的时间卷积网络学习传感器数据的时间和空间相关性信息；再通过自注意力机制对时间维度进行加权，使用全连接层，对传感器数据进行预测；之后使用零开始训练法，并将分位数损失设置为模型训练的损失，训练基于多注意力机制的tcn模型。最后该框架可以输出高精度的区间剩余使用寿命估计。如图1所示，本发明一种基于多注意力机制的剩余使用寿命不确定性预测方法，具体包括以下步骤：
[0053]
步骤1，获取燃气涡轮引擎随着时间推移从完好状态逐渐退化直至报废的二维数据构建训练集，并进行预处理，预处理后的数据为包含退化过程、时间滞后阶数、传感器个数的三维数据。具体步骤为：
[0054]
步骤1.1：绘制训练集中随着时间变化的所有引擎每一传感器的数据的趋势图，根据图像的趋势，舍弃掉对传感器的退化没有影响的引擎，最终得到影响传感器退化的引擎数据，这些数据从崭新状态开始记录直至传感器完全报废。
[0055]
步骤1.2：对舍弃后的传感器数据进行z值标准化。
[0056]
步骤1.3：对剩余使用寿命假设它是线性下降到零，将影响传感器退化的引擎数据选取一个合适的时间节点，在这个时间之前，任何引擎的退化都是不明显的，从这里进行截
断，即传感器剩余使用寿命大于该节点值的，均设置为该节点值，最终得到剩余使用寿命从该节点以后开始逐渐减少的数据。
[0057]
步骤1.4：将传感器的时间滞后数据添加到截断后的数据中，并将缺失历史数据的条目舍弃，数据维度由二维(n，s)变为三维(n-p*(t
n-1)，tn，s)，其中n为训练集所有传感器总记录数，tn为滞后阶数，s为记录引擎工作状态的传感器数量，p为引擎数量。最终得到了预处理后的数据。
[0058]
步骤2，使用自注意力机制对预处理后的三维数据的特征维度进行加权，得到传感器带有加权特征信息的序列数据。具体步骤为：
[0059]
步骤2.1：对第t时间步收集的传感器测量值x
t
＝{x
1，t
，x
2，t
，
…
，x
s，t
}，计算重要性权重，其计算公式如式(1)：
[0060][0061]
其中，s是传感器的编号，t是时间步，x
t
是传感器的测量值，h
w1
是训练过程中要学习的隐藏向量，α
s，t
是第s个传感器第t时间步的特征维度的权重，，因此，传感器的特征维度重要性权重向量为
[0062]
步骤2.2：根据重要性权重，计算第s个传感器特征维度重要性权重的平均值其计算公式如式(2)：
[0063][0064]
其中，t为时间步，α
s，t
是第s个传感器第t时间步的特征维度的权重，tn为滞后阶数。
[0065]
步骤2.3：根据特征维度重要性权重平均值和传感器测量值，计算特征维度加权后的传感器数据，其计算公式如式(3)：
[0066][0067]
其中，x
s，t
是第s个传感器第t时间步时刻的传感器测量值，是第s个传感器重要性权重的平均值。
[0068]
步骤3，使用具有共享参数的时间卷积网络对步骤2得到的序列数据进行学习，得到传感器带有时间和空间相关性信息的序列数据到传感器带有时间和空间相关性信息的序列数据是第s个传感器第t时间步的时间卷积网络的输出)。时间卷积网络模型的构建步骤为：
[0069]
时间卷积网络由两个残差块组成，其中每个残差块由两个稀疏的因果卷积层和一个卷积层组成，每个残差块中使用残差连接输入和卷积层后的输出；每个因果卷积层后连接门控激活层和批量归一化层，其中门控激活层被定义为：
[0070][0071]
其中w表示卷积参数，o表示扩张因果卷积层的输出，*是卷积运算，
⊙
是元素乘积，tanh是反正弦激活函数，sigmoid是将变量映射到0-1的激活函数，是门控激活的输出。
[0072]
步骤4，使用自注意力机制对步骤3中得到的序列数据在时间维度进行加权，得到传感器带有加权时间信息的序列数据。具体步骤为：
[0073]
步骤4.1：将softmax函数应用于时间卷积网络的输出其计算公式如式(5)：
[0074][0075]
其中是第s个传感器时间卷积网络的输出，是一个随机生成的隐藏向量，第t时间步的时间维度重要性权重向量为λ
t
＝(λ
1，t
，...，λ
s，t
)。
[0076]
步骤4.2：根据重要性权重，计算时间维度重要性权重的平均值其计算公式如式(6)：
[0077][0078]
其中，λ
t
为第t时间步的时间维度重要性权重向量，t为时间步，tn为滞后阶数。
[0079]
步骤4.3：根据时间维度重要性权重平均值和传感器测量值，计算加权后的传感器，其计算公式如式(7)：
[0080][0081]
其中，是第s个传感器第t时间步的时间卷积网络的输出，为时间维度重要性权重的平均值。
[0082]
步骤5，使用全连接层，对传感器数据进行预测，得到预测的剩余使用寿命。
[0083]
步骤6，使用零开始训练法，并将分位数损失设置为模型训练的损失，训练步骤2-5构建成的基于多注意力机制的tcn网络，并运用网格搜索技术，得到网络的最优参数。具体步骤为：
[0084]
将模型的损失函数设置为0.1、0.5、0.9分位数损失。训练网络的batch为 512，时间滞后阶数设置为40，网格搜索中，使用变化的学习率进行训练，初始学习率为0.001，网络的训练轮次为40轮。得到最优参数。
[0085]
步骤7，将预处理后的三维数据，输入训练好的模型，完成剩余使用寿命预测。具体步骤为：
[0086]
对训练好的模型载入最优权重，在服务器上对预处理后的数据进行预测，前向推断过程不进行损失计算和回传损失，网络结构与训练时相同，返回的是预测的燃气涡轮引擎剩余使用寿命。
[0087]
实施例
[0088]
为了验证本发明方案的有效性，进行如下实验。
[0089]
本实施例中，使用nasa提供的一个公共涡轮发动机退化数据集来评估本框架的性能。c-mapss是一种模拟大型商用涡轮发动机在不同运行条件和故障模式下的整个退化过程的工具。它包含许多可定制的输入参数来模拟不同的退化过程。c-mapss生成四个子数据
集，分别记录为fd001、fd002、fd003和 fd004。每个子数据集包含26个特征，其中21个测量值是由套装传感器收集的时间序列数据。一种基于多步自注意力时间卷积神经网络的非参数剩余使用寿命预测方法，具体包括以下步骤：
[0090]
在实施例中，使用nasa提供的一个公共涡轮发动机退化数据集来评估本框架的性能。
[0091]
表1 本框架的参数
[0092][0093]
获取燃气涡轮引擎随着时间推移从完好状态逐渐退化直至报废的二维数据，划分训练集和测试集，并进行预处理，得到包含退化过程、时间滞后阶数、传感器个数的三维数据，四个子数据集的详细信息列于表2。
[0094]
表2 c-mapss数据集中四个子数据集的细节
[0095][0096]
数据特征选择：删除了7个值不变的测量值。剩下的一组包含14个传感器测量值s
new
＝(2，3，4，7，8，9，11，12，13，14，15，17，20，21)，用于实验。
[0097]
基于运行条件的归一化：对每个传感器测量值s
new
进行归一化：
[0098][0099]
其中和分别表示u
th
发动机中传感器在每种运行条件下的标准化测量值和原始测量值s
th
。和分别表示s
th
传感器在每种操作条件下的平均值和标准偏差。
[0100]
在这一部分中，应用了一种常用的滑动时间窗口技术来生成序列训练和测试样
本。滑动时间窗口意味着网络的输入样本从第一个1～l、第二个2～(l+1)、第三个3～(l+2)时间戳等对队列的每个引擎进行测量。时间窗口的大小等于30。最后，每个训练样本的维度为x∈r1×
30
×
14
，分别表示输入通道、窗口大小和特征数。此外，训练样本的剩余使用寿命标签在早期由具有恒定剩余使用寿命的分段线性函数生成。在本实施例中，将常数剩余使用寿命设置为125。
[0101]
本模型应用了均方根误差(rmse)和得分函数，两个指标如下：
[0102][0103][0104]
其中δi表示实际剩余使用寿命yi和预测剩余使用寿命之间的差异。n
*
是测试样本的数量。如果剩余使用寿命被低估α是1/13，如果被高估α是1/10。因此，评分函数是不对称的，会惩罚对剩余使用寿命的高估。
[0105]
概率剩余使用寿命预测的性能由预定义分位数水平q的分位数损失评估，表示为qlq(例如，ql
0.1
)。将模型的损失函数设置为为0.1、0.5、0.9分位数损失的和。使用adam优化器来训练预测模型。初始学习率设置为0.001，batch大小为256，epoch为60。此外，在训练过程中使用了学习率退火，每个实验的预测结果都是最近20个轮次的平均值。
[0106]
1)不同时间窗口大小的影响：时间窗口的大小显着影响剩余使用寿命预测的结果。图3展示了fd003在不同时间窗口大小下的预测结果。以下实验中所示的本框架结果是基于这些时间窗口大小。
[0107]
2)多步自注意力机制的影响：对时间步长和特征都使用了两种注意力机制。实现了四个实验：1)基本tcn；2)仅具有时间步自注意力的tcn；3)仅具有特征自注意力的tcn；4)多步自注意力的tcn；实验结果如表3所示。
[0108]
表3 基本tcn、带有时间步长自注意力的tcn、带有特征自注意力的tcn和带有多步自注意力的 tcn之间的性能比较
[0109][0110][0111]
3)与其他方法的性能比较：将所有实验进行了五次，并使用rmse和 score的均值和标准差(std)值作为结果。
[0112]
表4 预测性能比较
[0113][0114]
4)非参数不确定性预测：四个子数据集的概率预测结果如表5所示。
[0115]
表5 参数方法和非参数方法之间的预测性能比较
[0116][0117]
基于分位数回归(分位数等级q＝{0.05，0.5，0.95})的非参数方法和基于高斯假设的参数方法，本部分使用权衡参数λ＝1。
[0118]
在图4中展示了从fd003中随机选择的四个单元的90％置信区间剩余使用寿命预测。图4显示了本框架预测的剩余使用寿命估计与比较剩余使用寿命实际值。
[0119]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0120]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。