基于马尔科夫决策过程的航空发动机维修策略优化方法与流程

本发明涉及航空发动机维修策略优化方法。

背景技术：

航空发动机是飞机的主要动力来源和引气装置，其是集机电液于一体的复杂热力机械。同时，航空发动机工作于高温、高速和高压环境中，尽管发动机属于高可靠性装备，但其在翼故障会对飞机的飞行安全造成较大的安全隐患。因此，为保证航空发动机的可靠运行，其在全使用寿命周期内都需要进行有计划的维修与维护。因此，有必要对航空发动机维修计划的制定及优化方法开展一定的研究。

随着航空技术和维修技术的不断发展，国内外企业及科研机构在航空发动机维修工作范围及策略优化方面进行了许多有意义的研究。美国小企业创新研究项目(Small Business Innovation Research Program,SBIR)于2005年资助了由Impact Technologies公司承担的项目“发动机维修工作范围优化”(Workscope Optimization for Engine Repair and Overhaul)。该项目建立了基于可靠性数据、维修手册和零部件成本的维修工作范围优化模型，能够预测各维修工作范围方案对应的成本和修后在翼时间，进而得出单位小时的维修成本，同时开发了维修工作范围优化工具软件。航空发动机制造商和航空发动机MRO(Maintenance,Repair,Overhaul)软件供应商也在积极开展民航发动机维修工作范围优化的研究。美国通用电气公司(General Electric,GE)根据多年的发动机设计经验及运维数据建立了基于巡航趋势偏差的维修工作指南，该成果已应用于对CF6、GE90、CFM56系列发动机的维修决策中。AerData公司开发的EFPAC软件能针对特定的送修间隔，综合民航发动机自新时间和健康状态等因素对维修工作范围进行优化，并对优化得到的维修工作范围的成本进行预测。EFPAC软件存在的主要问题是在维修工作范围优化过程中没有考虑维修成本，如果要获得单位小时成本最小的维修工作范围，仍需遍历所有民航发动机维修工作范围方案。此外，各民航发动机制造商还编制了维修工作范围制定指导文件，比如普惠公司(Pratt&Whitney,P&W)的维修计划指导(Maintenance Planning Guide,MPG)、CFMI公司的工作范围计划指导(Work-scope Planning Guide,WPG)等。航空发动机维修领域的学者也利用粒子群等智能优化算法对航空发动机的维修时机进行优化，同时利用启发式算法对航空发动机的维修工作范围进行优化。

技术实现要素：

本发明是为了解决现有技术没有考虑随机因素的影响并且仅针对单因素进行维修策略优化的问题，而提出的基于马尔科夫决策过程的航空发动机维修策略优化方法。

基于马尔科夫决策过程的航空发动机维修策略优化方法按以下步骤实现：

步骤一：航空发动机状态空间确定；

步骤二：根据步骤一进行航空发动机维修动作的确定；

步骤三：根据步骤二确定的航空发动机维修动作确定各动作状态转移概率矩阵；

步骤四：根据步骤二和步骤三进行成本矩阵的确定及维修策略优化。

发明效果：

本发明提供了一种基于马尔科夫决策过程的航空发动机维修策略优化模型。首先根据航空发动机在维修策略优化过程中重点考虑的因素，建立航空发动机的状态空间。考虑到航空发动机在维修决策优化过程中，其性能衰退、寿命件寿命及随机故障为重点考虑的因素，从以上三个方面建立航空发动机的维修状态空间；考虑到航空发动机在实际运维过程中会受到随机因素的影响，利用航空发动机的运维数据，基于生存分析方法获得发动机的状态转移概率矩阵；最后利用马尔科夫决策过程的迭代算法计算得到航空发动机在长期范围内处于各状态的维修策略。本发明与现有技术相比，考虑了实际运维过程中的随机因素，并且能够在较长的寿命期内对航空发动机进行多次维修策略的滚动优化。能够为航空发动机全寿命范围内的维修策略优化提供基础支持。

附图说明

图1为性能恢复维修动作状态转移示意图；

图2为维修策略示意图。

具体实施方式

具体实施方式一：基于马尔科夫决策过程的航空发动机维修策略优化方法包括以下步骤：

步骤一：航空发动机状态空间确定；

步骤二：根据步骤一进行航空发动机维修动作的确定；

步骤三：根据步骤二确定的航空发动机维修动作确定各动作状态转移概率矩阵；

步骤四：根据步骤二和步骤三进行成本矩阵的确定及维修策略优化。

按照航空发动机状态空间确定，维修动作确定，各动作状态转移概率矩阵的确定，成本矩阵的确定及维修策略优化的步骤；基于马尔科夫决策过程的迭代算法，即可对航空发动机的维修策略进行优化。

具体实施方式二：本实施方式与具体实施方式一不同的是：所述步骤一中航空发动机状态空间确定的具体过程为：

建立维修策略优化模型时，首先要根据维修策略考虑到的因素确定航空发动机的状态空间。

状态空间用式(1)表示：

S₀＝{X_i,Y_j,Z_k,...} (1)

其中所述X_i,Y_j,Z_k分别表示不同的状态维度；i,j,k为自然数；

若考虑航空发动机的性能衰退和两个寿命件的状态，则状态空间表示为式(2)的形式：

S＝{D_i,T_j,L_k} (2)

其中所述T_j和L_k表示航空发动机的两个不同寿命的寿命件的寿命状态，D_i表示发动机的性能状态和随机故障状态；

将航空发动机的性能衰退划分为5个状态，两个寿命件分别划分为2个和3个状态，则式(2)的状态空间表达为式(3)的形式：

S＝{(D_i,T_j,L_k)|i∈{0,1,2,...,6},j∈{0,1,2},k∈{0,1,2,3}} (3)

其中D₀表示为新发状态，D₁,D₂...,D₅表示为5个性能衰退的状态，D₆表示为随机故障状态；

其它步骤及参数与具体实施方式一相同。

具体实施方式三：本实施方式与具体实施方式一或二不同的是：所述步骤二中进行航空发动机维修动作的确定的具体过程为：

维修策略的优化主要是通过迭代计算获得航空发动机处于各个状态时的最优维修动作。在确定航空发动机的状态空间后，需要确定维修策略中的维修动作集合。航空发动机的每个状态维度都要对应着一类的维修动作。以式(3)表达的状态空间为例，其维修动作包括性能恢复和两个寿命件的更换。

为了贴近航空发动机实际运维过程，这里提出了两点假设：

(1)由于航空发动机是典型的复杂装备，假设任何车间修理都不能够使航空发动机恢复到全新的新发状态，即任何性能恢复动作都不能够使航空发动机的性能状态恢复至D₀；

(2)将D₅定义为航空发动机的性能最差状态，一般情况下，要防止航空发动机衰退到性能最差状态，且假设在D₅状态不能执行任何性能恢复维修动作；

根据以上两点假设，则航空发动机的性能恢复维修动作可表示为式(4)的形式：

A_rec＝{A_rec0,A_rec1,A_rec2,A_rec3} (4)

其中所述A_rec0表示不执行性能恢复维修动作，A_rec1,A_rec2,A_rec3分别表示执行性能恢复动作，且性能能够分别恢复1,2,3个级别；

考虑到随机故障状态D₆，在模型中假设，当航空发动机处于任意性能状态时，都有一定的概率跳转到随机故障状态。而处于随机故障状态的航空发动机经过性能恢复维修后，则会根据一定的概率转移至其他性能状态，但不能恢复至全新的“新发状态”。若在D₄状态分别执行A_rec1,A_rec2,A_rec3动作，则各性能恢复动作的执行效果可用图1进行表示。

图1中的F代表随机故障状态，实线箭头代表航空发动机经过性能恢复维修后其性能状态转移的方向，虚线箭头则代表在没有维修的情况下性能状态转移的方向。

若在D₄状态执行A_rec1，则发动机的性能状态恢复到D₃，若在D₄状态执行A_rec2，则发动机的性能状态恢复到D₂，若在D₄状态执行A_rec3，则发动机的性能状态恢复到D₁；

由于在维修策略优化模型中考虑到了寿命件的更换维修，则寿命件的更换维修分别用动作集合A_T＝{A_T,rep0,A_T,rep1}和动作集合A_L＝{A_L,rep0,A_L,rep1}表示；其中A_T,rep0和A_L,rep0分别表示不执行寿命件T和L的更换维修，A_T,rep1和A_L,rep1分别表示执行寿命件T和L的更换维修；

由于各种维修动作是根据航空发动机的状态空间并结合航空发动机的状态属性进行确定的，针对不同的状态空间需要对维修动作及维修动作的组合进行针对性的确定。

在如式(3)所示的状态空间中，根据以上的分析及对维修动作的确定，确定其共有16种动作组合，包括：A(i)＝A_reci∪A_1,rep0∪A_2,rep0，A(i)＝A_reci∪A_1,rep1∪A_2,rep0，A(i)＝A_reci∪A_1,rep0∪A_2,rep1，A(i)＝A_reci∪A_1,rep1∪A_2,rep1，其中i＝{0,1,2,3}。

其它步骤及参数与具体实施方式一或二相同。

具体实施方式四：本实施方式与具体实施方式一至三之一不同的是：所述步骤三中确定各动作状态转移概率矩阵的具体过程为：

部分传统的维修策略优化模型认为设备经过某维修后一定会恢复到某状态。但实际的运营过程中，维修过程往往会受到大量随机因素的干扰，在下一个维修决策点设备会以一定的概率跳转到其他的状态。因此，为了反映航空发动机在实际运维过程中受到的随机因素影响，本发明运用状态转移概率对实际运维过程中可能存在的随机因素影响进行表达。

由于航空发动机寿命件的剩余寿命是随着飞行小时的累加而直接减少的，因此发动机寿命件的状态维度不必用概率进行表达。在航空发动机的实际运维过程中，其性能往往会受到随机因素的影响，因此在以式(3)表达状态空间的模型中，对性能状态的转移概率进行计算；当不执行维修动作时，航空发动机的性能状态按照概率矩阵进行跳转，在不考虑寿命件更换的情况下，性能恢复概率矩阵用式(5)的形式进行表达；

其中的具体概率本发明采用基于威布尔分布的生存分析模型进行计算。例如，针对某型号航空发动机，可将排气温度裕度(exhaust gas temperature margin,EGTM)作为性能状态指征，并按照式(6)的形式对性能状态进行划分。

S_per＝{D₀,D₁,D₂,D₃,D₄,D₅|D₀≤10,10<D₁≤30,30<D₂≤50,50<D₃≤70,70<D₄≤90,90<D₅} (6)

当维修动作为A(i)＝A_reci∪A_T,rep0∪A_L,rep0时，即：两个寿命件均不进行更换时，发动机的状态转移概率矩阵表示为：

表1无寿命件更换动作组的状态转移概率矩阵形式

其中当动作为A(i)＝A_rec0∪A_T,rep0∪A_L,rep0时，P_F＝P_F0，P＝P_S'，P_N＝1，P_R＝0；当维修动作为A(i)＝A_rec1∪A_T,rep0∪A_L,rep0时，P_F＝P_F1，P＝P₁'，P_N＝0，P_R＝P_R1；当维修动作为A(i)＝A_rec2∪A_T,rep0∪A_L,rep0时，P_F＝P_F2，P＝P₂'，P_N＝0，P_R＝P_R2；当维修动作为A(i)＝A_rec3∪A_T,rep0∪A_L,rep0时，P_F＝P_F3，P＝P₃'，P_N＝0，P_R＝P_R3；

在状态转移矩阵中，每一行的转移概率和都为1，将矩阵P_S按比例转换为P_S'；P₁'，P₂'，P₃'分别为P₁，P₂，P₃的比例转换形式；其中的P₁，P₂，P₃表示为(10)，(11)，(12)的形式：

在式(3)表达状态空间的模型中，若执行寿命限制为T＝2的寿命件更换动作时，维修动作表达为A(i)＝A_reci∪A_T,rep1∪A_L,rep0，则维修的状态转移概率形式用下表表示：

表2寿命件T更换动作组的状态转移概率矩阵形式

当维修动作为A(i)＝A_rec0∪A_1,rep1∪A_2,rep0时，P_F＝P_F0，P＝P_S'，P_N＝1，P_R＝0；当维修动作为A(i)＝A_rec1∪A_1,rep1∪A_2,rep0时，P_F＝P_F1，P＝P₁'，P_N＝0，P_R＝P_R1；当维修动作为A(i)＝A_rec2∪A_1,rep1∪A_2,rep0时，P_F＝P_F2，P＝P₂'，P_N＝0，P_R＝P_R2；当维修动作为A(i)＝A_rec3∪A_1,rep1∪A_2,rep0时，P_F＝P_F3，P＝P₃'，P_N＝0，P_R＝P_R3；

在式(3)表达状态空间的模型中，若执行寿命限制为L＝3的寿命件更换动作时，维修动作表达为A(i)＝A_reci∪A_T,rep0∪A_L,rep1；维修的状态转移概率形式用下表表示：

表3寿命件L更换动作组的状态转移概率矩阵形式

当维修动作为A(i)＝A_rec0∪A_1,rep0∪A_2,rep1时，P_F＝P_F0，P＝P_S'，P_N＝1，P_R＝0；当维修动作为A(i)＝A_rec1∪A_1,rep0∪A_2,rep1时，P_F＝P_F1，P＝P₁'，P_N＝0，P_R＝P_R1；当维修动作为A(i)＝A_rec2∪A_1,rep0∪A_2,rep1时，P_F＝P_F2，P＝P₂'，P_N＝0，P_R＝P_R2；当维修动作为A(i)＝A_rec3∪A_1,rep0∪A_2,rep1时，P_F＝P_F3，P＝P₃'，P_N＝0，P_R＝P_R3；

在式(3)表达状态空间的模型中，若两个寿命件都进行更换，则维修动作可以表达为A(i)＝A_reci∪A_1,rep1∪A_2,rep1；维修的状态转移概率形式用下表表示：

表4寿命件T和寿命件L更换动作组的状态转移概率矩阵形式

当维修动作为A(i)＝A_rec0∪A_1,rep1∪A_2,rep1时，P_F＝P_F0，P＝P_S'，P_N＝1，P_R＝0；当维修动作为A(i)＝A_rec1∪A_1,rep1∪A_2,rep1时，P_F＝P_F1，P＝P₁'，P_N＝0，P_R＝P_R1；当维修动作为A(i)＝A_rec2∪A_1,rep1∪A_2,rep1时，P_F＝P_F2，P＝P₂'，P_N＝0，P_R＝P_R2；当维修动作为A(i)＝A_rec3∪A_1,rep1∪A_2,rep1时，P_F＝P_F3，P＝P₃'，P_N＝0，P_R＝P_R3。

其它步骤及参数与具体实施方式一至三之一相同。

具体实施方式五：本实施方式与具体实施方式一至四之一不同的是：所述步骤四中进行成本矩阵的确定及维修策略优化的具体过程为：

确定各维修动作的状态转移概率矩阵后，确定各动作的成本，设寿命件更换动作A_1,rep1和A_2,rep1分别为300和600个成本单位，性能恢复维修动作A_rep1，A_rep2，A_rep3的成本分别为200，500，800个成本单位；设置寿命件浪费惩罚成本，并确定航空发动机的运营成本C_ope；在确定模型的状态矩阵、维修动作、状态转移矩阵和成本矩阵后，利用马尔科夫决策过程的迭代算法即可计算出航空发动机的维修策略。

其它步骤及参数与具体实施方式一至四之一相同。

实施例一：

步骤一：航空发动机状态空间确定；

步骤二：根据步骤一进行航空发动机维修动作的确定；

步骤三：根据步骤二确定的航空发动机维修动作确定各动作状态转移概率矩阵；

根据某样本机队的数据，无维修动作下的发动机状态转移矩阵P_S计算结果可用式(7)表示。

在式(3)表达状态空间的模型中在考虑发动机性能恢复的同时考虑了两个寿命件的状态因素。因此，当维修动作为A(i)＝A_reci∪A_T,rep0∪A_L,rep0时，即：两个寿命件均不进行更换时，发动机的状态转移概率矩阵表示为表1的形式。

表1无寿命件更换动作组的状态转移概率矩阵形式

其中，当动作为A(i)＝A_rec0∪A_T,rep0∪A_L,rep0时，表1中的P_F＝P_F0，P＝P_S'，P_N＝1，P_R＝0；当维修动作为A(i)＝A_rec1∪A_T,rep0∪A_L,rep0时，表1中的P_F＝P_F1，P＝P₁'，P_N＝0，P_R＝P_R1；当维修动作为A(i)＝A_rec2∪A_T,rep0∪A_L,rep0时，表1中的P_F＝P_F2，P＝P₂'，P_N＝0，P_R＝P_R2。当维修动作为A(i)＝A_rec3∪A_T,rep0∪A_L,rep0时，表1中的P_F＝P_F3，P＝P₃'，P_N＝0，P_R＝P_R3。其中的P_RF可表示为式(8)的形式，其中的P_F0表示P_RF矩阵的第一列，P_F1表示为P_RF矩阵的第二列，P_F2表示为P_RF矩阵的第三列，P_F3表示为P_RF的第四列。

P_RR可表示为式(9)的形式，其中P_R1表示P_RR矩阵的第一行，P_R2表示P_RR矩阵的第二行，P_R3表示P_RR矩阵的第三行。

因为在状态转移矩阵中，每一行的转移概率和都为1，因此需要将矩阵P_S按比例转换为P_S'。同样，P₁'，P₂'，P₃'分别为P₁，P₂，P₃的比例转换形式。其中的P₁，P₂，P₃可表示为式(10)，(11)，(12)的形式。

表1矩阵的空余部分都是用0矩阵进行代替的。

在式(3)表达状态空间的模型中，若执行寿命限制为T＝2的寿命件更换动作时，维修动作可以表达为A(i)＝A_reci∪A_T,rep1∪A_L,rep0。该组维修的状态转移概率形式可用表2表示。

表2寿命件T更换动作组的状态转移概率矩阵形式

当维修动作为A(i)＝A_rec0∪A_1,rep1∪A_2,rep0时，表2中的P_F＝P_F0，P＝P_S'，P_N＝1，P_R＝0；当维修动作为A(i)＝A_rec1∪A_1,rep1∪A_2,rep0时，表2中的P_F＝P_F1，P＝P₁'，P_N＝0，P_R＝P_R1；当维修动作为A(i)＝A_rec2∪A_1,rep1∪A_2,rep0时，表2中的P_F＝P_F2，P＝P₂'，P_N＝0，P_R＝P_R2；当维修动作为A(i)＝A_rec3∪A_1,rep1∪A_2,rep0时，表2中的P_F＝P_F3，P＝P₃'，P_N＝0，P_R＝P_R3。其中各矩阵的具体形式如前所示，表2矩阵的空余部分都是用0矩阵进行代替的。

在式(3)表达状态空间的模型中，若执行寿命限制为L＝3的寿命件更换动作时，维修动作可以表达为A(i)＝A_reci∪A_T,rep0∪A_L,rep1。该组维修的状态转移概率形式可用表3表示。

表3寿命件L更换动作组的状态转移概率矩阵形式

当维修动作为A(i)＝A_rec0∪A_1,rep0∪A_2,rep1时，表3中的P_F＝P_F0，P＝P_S'，P_N＝1，P_R＝0；当维修动作为A(i)＝A_rec1∪A_1,rep0∪A_2,rep1时，表3中的P_F＝P_F1，P＝P₁'，P_N＝0，P_R＝P_R1；当维修动作为A(i)＝A_rec2∪A_1,rep0∪A_2,rep1时，表3中的P_F＝P_F2，P＝P₂'，P_N＝0，P_R＝P_R2；当维修动作为A(i)＝A_rec3∪A_1,rep0∪A_2,rep1时，表3中的P_F＝P_F3，P＝P₃'，P_N＝0，P_R＝P_R3。其中各矩阵的具体形式如前所示，表3矩阵的空余部分都是用0矩阵进行代替的。

在式(3)表达状态空间的模型中，若两个寿命件都进行更换，则维修动作可以表达为A(i)＝A_reci∪A_1,rep1∪A_2,rep1。该组维修的状态转移概率形式可用表4表示。

表4寿命件T和寿命件L更换动作组的状态转移概率矩阵形式

当维修动作为A(i)＝A_rec0∪A_1,rep1∪A_2,rep1时，表4中的P_F＝P_F0，P＝P_S'，P_N＝1，P_R＝0；当维修动作为A(i)＝A_rec1∪A_1,rep1∪A_2,rep1时，表4中的P_F＝P_F1，P＝P₁'，P_N＝0，P_R＝P_R1；当维修动作为A(i)＝A_rec2∪A_1,rep1∪A_2,rep1时，表4中的P_F＝P_F2，P＝P₂'，P_N＝0，P_R＝P_R2；当维修动作为A(i)＝A_rec3∪A_1,rep1∪A_2,rep1时，表4中的P_F＝P_F3，P＝P₃'，P_N＝0，P_R＝P_R3。其中各矩阵的具体形式如前所示，表4矩阵的空余部分都是用0矩阵进行代替的。

步骤四：根据步骤二和步骤三进行成本矩阵的确定及维修策略优化。

在确定各维修动作的状态转移概率矩阵后，需要确定各动作的成本。假设寿命件更换动作A_1,rep1和A_2,rep1分别为300和600个成本单位，性能恢复维修动作A_rep1，A_rep2，A_rep3的成本分别为200，500，800个成本单位(每个成本单位为万/美元等)。航空发动机的寿命件提前拆下时，一般会有一定的寿命浪费，因此需要根据寿命件的浪费程度设置一定的寿命件浪费惩罚。同时，在确定成本矩阵时，还要对航空发动机的运营成本C_ope进行定义。

在确定模型的状态矩阵、维修动作、状态转移矩阵和成本矩阵后。利用马尔科夫决策过程的迭代算法即可计算出在较长时间范围内的维修策略。以式(3)表达状态空间的模型为例，优化得到的成本维修策略可用维修策略图2进行表示。

在图2中，三个坐标轴分别表示状态空间的三个维度。D表示性能衰退程度，T表示寿命件1的状态，L表示寿命件2的状态。图中的各点为维修动作决策点。图2中的A0，A1，A2，A3表示动作组A(i)＝A_reci∪A_1,rep0∪A_2,rep0，i＝{0,1,2,3}；A4，A6，A7，A8分别表示动作组A(i)＝A_reci∪A_1,rep1∪A_2,rep0，i＝{0,1,2,3}；A5，A9，A10，A11分别表示动作组A(i)＝A_reci∪A_1,rep0∪A_2,rep1，i＝{0,1,2,3}；A15，A12，A13，A14分别表示动作组A(i)＝A_reci∪A_1,rep1∪A_2,rep1，i＝{0,1,2,3}。