面向韧性保证的制造系统生产调度与维修决策联合优化方法

本发明提供了一种面向韧性保证的制造系统生产调度与维修决策联合优化方法，属于系统运行状态建模与优化。

背景技术：

1、随着制造系统结构、功能复杂性以及自动化水平、柔性的要求不断提升，现代制造系统呈现出多态化、多工位化的发展趋势。相应地，作为智能制造攻关的关键核心技术、制造业可靠性提升的关键重点任务，制造系统的智能运维技术在学界与工业界均备受关注。考虑到在生产实际中，系统除自身性能的随机多态退化外，且往往面临多变生产任务不同要求的影响，其长期稳定运行往往会受到以下各方面不确定性因素的影响：(1)外部影响(即生产任务要求t)，(2)内部因素(主要为系统内设备的运行性能状态p)，以及这两者在制造系统功能输出端的综合表现，即：(3)批产品质量水平q。在现有的系统运维决策领域中，为应对上述不确定性因素对制造系统的潜在不利影响，常见的方法可以大致分为两类：面向静态性能指标的方法，以及面向时序动态指标的运维方法。具体而言，前者一般采用可靠性、运行风险等时不变指标为优化目标，评价并优化系统在一段时间(如一整段生产任务执行期)内的性能指标；后者则更加关注系统具体的运行参数指标(如制造系统的上述三项运行不确定性因素)在时间维度上的变化以及相应的响应措施。然而，近年的研究热点(如运行风险控制、生产柔性调度、维修维护决策等)一般都集中于前者，对于后者的解决方案则相对缺乏。具体而言，尽管在人工智能(ai)技术加持下，现有的制造系统故障诊断与健康管理(prognosis and health management,phm)方法(如数据驱动的方法、基于模型或知识的方法以及混合方法等)在系统运维调度中的一些领域取得了有效应用，但它们基本都沿用了前者的模式。若不考虑上述三方面不确定性因素对系统运行造成的时序扰动(如生产任务剖面变化导致的负载加重、环境因素导致的偶发故障等)，上述方法在通常情况下具备一定的可行性，因为相关方法所采用的ai模型参数可以通过训练而学习到系统长期运行数据所表现出的统计特征；然而，由于上述扰动的偶发性(也即在观测样本中的稀疏性)，其在模型训练过程中往往难以对参数造成明显影响，因此也难以被准确预测。

2、近年来，由于制造业所面临的扰动性因素(如经济形势、产品需求变化、供应链稳定性问题等)日益复杂，上述多源不确定性因素所导致的时序扰动问题正在逐渐受到关注。面临这一挑战，工程界除了对预测、诊断与维护决策算法本身进行改进、增加对扰动的事前预测与预防措施外，还不同程度地采取了事后恢复策略，即一定程度地接受意外扰动的发生，并以优化系统性能恢复能力为目标开展运维决策。这其中，韧性(resilience)建模与优化方法在复杂系统(例如交通系统、供应链系统等)的运维优化领域取得了较为广泛的应用。在工程领域中，韧性这一概念一般指复杂系统应对外部环境干扰的两方面能力：其一是抗冲击、抗扰动能力，其二是冲击发生后的性能恢复能力。对于不同领域中的复杂且易受干扰的系统，例如交通网络、供应链、医疗卫生系统等，韧性建模与优化技术都取得了有效应用。尽管领域有所不同，现有的系统韧性建模方法的一般都围绕系统韧性的基础定义，关注系统应对冲击的三方面指标：抵抗性(absorption)、适应性(adaptation)与性能恢复效率(restoration)。这其中，前两者与系统的抗冲击、抗扰动能力有关，后者则是性能恢复能力的具体量化评价。与这两种能力相对应，系统韧性优化技术也主要分出了两大方向：扰动前预防措施、扰动后恢复措施。现有技术中，对于前者的研究已成为普遍关注的热点。随着物联网、工业大数据平台等技术的成熟应用，面向复杂生产制造系统韧性优化的集成运维技术，如基于数据融合的多源信息分析技术、无维护系统(maintenance-free system)的自适应优化技术、基于数字孪生的状态仿真与预测技术等，均在业界取得了有效应用；然而对于后者的研究则相对较少。另一方面，对于制造系统而言，考虑到其功能目标为按时产出数量、质量符合要求的批产品，韧性优化往往涉及两方面问题：涉及基本性能保证的维修规划，以及涉及功能实现的生产调度。在传统的运维决策方法中，这两类问题一般都被作为独立的优化问题解决，而缺乏了一种有效的联合优化方法。考虑到这两方面问题在生产实际中一般具有较强的关联性，非联合的优化策略往往难以获取最优解。另一方面，现有方法对现代制造系统(尤其是柔性制造系统)自身结构配置的复杂性的考虑仍有不足，这一问题主要表现为对组件间差异的欠考虑。具体而言，为保证生产任务的成功实现，现代柔性制造系统往往会为同一工序配置多台并行机器(组件)，这些组件的性能水平、退化规律一般被假设为相同的。然而，考虑到其所处工况环境、役龄年限、使用维修记录的不同，这种假设往往不合理。

3、为解决上述背景技术中仍存在的问题，本发明为多态制造系统提出了一种面向系统韧性保证的生产调度与维修决策联合优化方法。相比于现有的制造系统运维、决策优化方法，本发明的主要创新点可概括如下：

4、(1)对前述的制造系统运行不确定性因素t,p,q展开系统性分析，并据此明确了制造系统运行过程中时序扰动的成因、来源与类别；

5、(2)在制造系统运行扰动分析的基础上，考虑制造系统的功能实现，提出一种基于生产损失的制造系统韧性度量，并综合制造系统的性能退化与性能恢复模型，构建系统韧性的评估方法；

6、(3)面向制造系统的韧性保证与优化，提出一种集成生产调度、维修决策的联合优化模型，以保证系统的稳定运行与恢复；在此基础上，应用强化学习算法，实现模型的动态优化求解，以保证联合优化结果能够适应系统的实时变化。

技术实现思路

1、本发明的目的是提供一种面向韧性保证的制造系统生产调度与维修决策联合优化方法；(1)
技术实现要素：
概述

2、在复杂多变的生产环境与任务要求下，保证制造系统长期持续稳定运行、订单任务顺利完成，往往是当下产品制造商面临的一大挑战。解决这一问题的一大关键，在于保证制造系统的韧性，即在不确定性因素所导致的扰动的影响下，保证系统抵御冲击或从其中恢复性能的能力。对此，本发明提出了一种面向韧性保证的生产调度与维修决策联合优化方法，以保证制造系统在扰动影响下保持相对稳定的运行状态。该方法的技术路线具体如下：首先对制造系统运行不确定性因素展开系统性分析，并据此明确了制造系统运行过程中时序扰动的成因、来源与类别；接着在此基础上，提出一种基于生产损失的制造系统韧性度量，并综合制造系统的性能退化与性能恢复模型，构建系统韧性的评估方法；随后，提出一种集成生产调度、维修决策的联合优化模型，以保证系统的稳定运行与恢复，并应用强化学习算法，实现模型的动态优化求解，以保证生产调度与维修规划结果能够适应系统的实时变化。

3、(2)技术方案

4、本发明所提出的生产调度与维修决策联合优化方法，其建模过程依赖于如下所示的各项基本假设：

5、假设1：方法所适用的多态制造系统均为串并联制造系统，制造过程中的每一项工序均由一个由多台加工设备所构成的并联子系统完成；

6、假设2：制造系统各子系统、各加工设备相互之间物理独立，具备独立的多态退化过程；其性能状态空间为离散的，且考虑到不确定性因素的影响，退化规律可用离散状态连续时间的马尔科夫过程(discrete-state continuous-time markov process,dsctmp)模型表征；所述“离散状态连续时间的马尔科夫过程”模型具备如下特点：(1)具备无后效性：设备在未来的状态概率分布仅与当前时刻所处状态有关；(2)状态转移规律可以使用状态转移矩阵表示。

7、假设3：制造系统的加工能力(即最大可达加工速率)同样具备有限数量的离散状态，且与假设2中的设备离散性能状态一一对应；

8、假设4：制造系统中的部分工序支持对缺陷件返工；对于支持返工的工序，假设每一件存在质量缺陷在制品均有且只有一次返工机会，若第二次加工后仍不合格，则相应的工件直接作为废品处理；

9、假设5：当生产任务要求的加工速率低于设备加工能力时，设备仅按照任务要求的加工速率运行，以防止工作负载过大导致的退化加速；

10、假设6：对制造系统内的各加工设备所采取的维修活动均为不完美维修；经不完美维修后，加工设备的性能状态将恢复，但恢复后的性能退化过程将加速。

11、在上述假设的基础上，本发明所提出的面向韧性保证的制造系统生产调度与维修决策联合优化方法可按图1方法流程图，分为如下实施步骤。

12、步骤1：对多态制造系统运行不确定性因素中的生产任务要求(t)进行量化建模与时序预测；

13、步骤2：对多态制造系统运行不确定性因素中的批产品质量(q)进行量化分析；

14、步骤3：对多态制造系统运行不确定性因素中的设备运行性能状态(p)进行量化分析与退化过程建模；

15、步骤4：应用步骤2、3的结果，建模分析多态制造系统内各工序、设备的物料产出能力，并将其对比于步骤1中给出的生产任务要求，对制造系统运行过程中的扰动进行定义与机理分析；

16、步骤5：考虑扰动所造成的产量损失，引入扰动响应比概念，提出多态制造系统韧性度量，并在此基础上构建多态制造系统的韧性评估与预测方法；

17、所述“多态制造系统的韧性评估与预测方法”按照如下子步骤展开：子步骤5.1、建立基于扰动响应比的系统韧性度量指标；子步骤5.2、基于不完美维修建立制造系统扰动后的性能恢复过程模型；子步骤5.3、依据性能退化与任务要求建立扰动后系统稳定运行时间预测模型；子步骤5.4、建立多态制造系统韧性评估与预测模型。

18、步骤6：面向多态制造系统运行过程中的韧性保证，构建生产调度-维修规划联合优化模型框架；

19、所述“生产调度-维修决策联合优化模型”按照如下子步骤建立：子步骤6.1、明确生产调度与维修规划的决策变量；子步骤6.2、明确生产调度与维修规划的决策依据与优化目标；子步骤6.3、基于序列决策模型框架构建生产调度-维修规划联合优化的模型。

20、步骤7：应用强化学习算法，实现步骤6中的联合优化模型的动态求解，实现优化结果对制造系统实时变化的动态适应性。

21、其中，步骤1所述制造系统运行不确定性因素中的“生产任务要求t”可以用生产任务剖面进行量化描述。具体地，系统寿命周期内第j个生产任务剖面可以被量化描述为{tj,γj,cpc,j}，其中tj代表批产品交付期限，γj代表单位时间合格品产量要求，而cpc,j则代表产品质量要求(具备过程能力要求的形式，可由质量特性指标的上下限要求换算得到)。相应地，之前所述的生产任务变化即可描述为变量组{tj,γj,cpc,j}的变化。给定变量的历史观测值序列，该变化趋势即可以使用滑动平均差分自回归(autoregression integratedmoving average,arima)模型进行预测。

22、具体的预测方法如下：给定tj,γj或cpc,j(以下统一记为xj)的历史观测序列{xj|j＝1,2,…}，(1)依据赤池信息准则(akaike information criterion)确定最优的模型阶次(其中包含自回归阶次n、差分阶次d与滑动平均阶次m，相应的arima模型可记为arima(n,d,m))；(2)在确认阶次后，按照等式预测出序列的未来项xj的取值分布。式中，αj代表服从标准正态分布的白噪声项，分别代表滞后算子、差分算子，θi则分别代表自回归系数。

23、其中，步骤2所述制造系统运行不确定性因素中的“批产品质量(q)”的量化分析，需要应用质量-可靠性(q-r)传播链模型，同时结合生产任务剖面中的要求cpc,j进行。

24、具体的评价方法如下：对于本文所研究的多态制造系统，记其存在的工序总数为h，分别对应于其输出成品的h个关键质量特性(key quality characteristics,kqc)。对于其中的任意一个kqc(记为第l个kqc)，使用如下式所示的q-r传播链模型对其随机偏差δl(t)进行建模分析：式中，(1)向量v(t)＝[v1(t),…,vh(t)]t与z(t)＝[z1(t),…,zh(t)]t分别表示与机器运行偏差、与机器无关的环境噪声因素，其中，考虑其独立增量特性，vl(t)∈v(t)的分布可以使用gamma分布模型γ(αl,βl)拟合，而z(t)的分布则可使用多元正态分布模型n(0,∑)拟合；(2)al,bl分别表示各个加工工序中机器运行偏差、环境扰动因素对第l个kqc影响系数；(3)ρl则表示机器运行偏差、环境扰动因素之间的交互效应系数矩阵，且此处系数al,bl,ρl的取值可通过正交试验设计得出。

25、进一步地，在q-r传播链模型下考虑产品质量偏差的理想情形。考虑到机器运行偏差多为可控的，因此理想情形下有v(t)＝0，产品第l个kqc偏差取值为考虑到环境噪声的不可避免，一般将产品kqc的相对偏差(即实际情形、理想情形下的产品kqc偏差之差值)，

26、即作为质量评价依据(注：该式中，在此基础上引入步骤1中生产任务中的产品质量要求cpc,j，即可依据六西格玛理论，得到生产任务对相对偏差δl(t)的最大容限为[6cpc,j/(usll-lsll)]2(式中，usll、lsll表示产品第l个kqc的基准容差)。据此，本步骤即可得到批产品质量(q)的评价指标，即产品在第l工序的合格率：

27、

28、其中，步骤3所述制造系统运行不确定性因素中的“设备运行性能状态(p)”的建模分析与评价是基于离散状态连续时间的马尔科夫过程(dsctmp)模型展开的。

29、具体的分析与评价过程如下。对于制造系统中的第l台加工设备，记其离散性能状态的总个数为nl，相应的状态空间记为{nl-1,nl-2,…,0}，其中nl-1表示状态完好、0表示完全失效，则设备性能退化过程可以使用如下所示的状态转移强度矩阵来描述：

30、

31、式中，矩阵内的状态转移强度满足如下约束条件：

32、

33、且κl(t)代表性能退化的加速系数，该系数的取值与设备的工作负载(即加工设备单位时间的进料量il(t))正相关，具体的关系可采用下式的幂函数模型来描述：式中，κl为基准值，参数bl、ηl可以通过回归计算得到。在此基础上，由前述状态转移强度矩阵中的各强度系数，设备的性能状态概率分布(注：表示在t时刻下设备l处于状态k的概率)可由如下的kolmogorov微分方程得到：

34、

35、由此即可完成对制造系统内设备的性能退化建模评估。

36、其中，步骤4所述的制造系统运行过程中的扰动定义与机理分析，需要基于步骤2、3的结果，建模分析多态制造系统内各工序、设备的物料产出能力，并将其对比于步骤1中给出的生产任务要求而得出。

37、具体分析如下：现结合附图2中的制造系统样例介绍具体的扰动定义与分析方法。该样例系统中存在n道工序(其中仅部分工序支持返工，将其工序编号记为r1,r2,…,rr)、分别对应于产出成品的n项kqc，每道工序均由多个加工设备并联组成的子系统完成，记第l项工序的并联加工设备总数为ml，并将其中的第j台并联设备编号为l.j。此处引入步骤3的性能状态退化模型，将设备l.j处于状态k时的加工能力记为sl.j,k，则加工设备的物料流量(包含了原料输入il.j、合格品输出ol.j、废料sl.j即缺陷物料dl.j)，对于不支持返工的加工设备而言可表示为：

38、

39、对支持返工的设备则可表示为：

40、

41、在此基础上，代入步骤2中求解的工序的单次加工合格率则可以得到加工设备的最大物料输入速率容限为：

42、

43、式中，“nr”、“re”分别代表设备不支持、支持物料返工(下同)。考虑到工序间缓冲区所发挥的保持物料流动态平衡的作用，各加工设备的输入-输出物料关系可以表示为如下的物料流网络模型：

44、

45、由此即可得到系统内各工序的合格品产出能力ol(t)，该指标可视为对执行第l工序的并联子系统的性能评价。将其与步骤1中所预测的生产任务剖面中的单位时间产量要求γ对比，即可对制造系统运行过程的“扰动”进行定义。在现有的系统韧性建模方法中，“扰动”的表现可被定义为系统所表现出的功能状态指标s(t)从要求水平p(t)以上变化为要求水平以下的事件。因此，对于系统中的任意工序l而言，考虑其下游工序的成品合格率，扰动的发生可以被定义为：

46、

47、由扰动的定义看，制造系统中各工序的扰动有两类成因：生产任务要求的变化、设备自身性能的退化。由于前者一般由人为因素导致，后者则由客观因素导致，因此可将二者分为如下两类：(1)主动扰动：由主观人为因素(即生产任务剖面要求变化)而导致的系统扰动，主要包含任务要求的单位时间产量γi上升、产品质量要求cpc,i上升导致的产品合格率ql(t)下降及合格品产量下降，此类扰动发生于生产任务切换时；(2)随机扰动：制造系统内设备性能退化、产能sl.j,k下降引发的扰动。附图3中给出了这两类扰动的示意图(详见附图3-a,b)，同时也给出了这两类扰动可能出现的特殊情况(详见附图3-c,d所示的“跨任务扰动”)。在步骤5中，所述特殊情况得到了专门考虑。

48、其中，步骤5所述的多态制造系统韧性度量与建模预测方法，是考虑扰动所造成的产量损失，结合扰动响应比概念而提出的。对于产品的制造过程中出现的扰动，制造商的关注重心一般在于如何尽可能减少或避免其带来的损失。因此，本发明采用扰动响应比来评价系统在扰动后恢复性能、减少损失的能力，并作为系统韧性的度量指标。以下结合制造系统的功能实现、生产任务要求，将该指标引入多态制造系统的韧性评价与预测中。现将韧性建模评估的各个子步骤详细如下：

49、子步骤5.1、构造基于扰动响应比的系统韧性度量指标。结合附图3可知，当扰动(即事件s(t)<p(t))发生后，系统的实际性能min{s(t),p(t)}将落后于性能要求p(t)进而导致性能损失。为尽可能最小化损失，应当保证系统在扰动发生后将性能恢复至要求水平以上的能力，即性能恢复效率。所述“扰动响应比”即为描述这一效率水平的指标，该指标的具体含义为：系统在扰动后恢复期的累积实际性能占任务要求的累积性能之比，即：

50、

51、式中，t0为扰动发生时刻，t为制造系统(或某工序的子系统)的性能恢复期限。

52、子步骤5.2、基于不完美维修的系统性能恢复过程分析。在运行过程中，制造系统的性能要求为生产任务所规定的单位时间产量γi、而各工序的输出端表现出的实际性能则为单位时间的合格工件输出量ol(t)。如附图4所示，多态制造系统内的设备在面临退化后，需要依赖不完美维修活动来恢复性能。具体地，单次维修活动可为单台设备恢复至相邻的更优性能状态，且维修的不完美性主要体现于：维修后的设备性能退化较维修前更快，这表现为步骤3中的性能退化加速系数基准值κl的变化：记维修前后κl的取值分别为则不完美维修下有：其中∈为维修质量经验系数，满足0<∈<1。对于第l工序的并联子系统，图3-b中标注了系统恢复性能时经历的具体过程：在扰动发生时(设该扰动发生在第k轮生产任务执行期内，记其发生时刻为tdtb)，其性能为sl(t)＝ol(t)＝sa。为实现性能恢复，首先需经历时长为δta的调整期，将子系统中需要停机维修的设备停机，使性能进一步降至s0；随后，系统对各停机设备实施一系列维修活动后将其重启，以实现性能恢复。图3-b中所示的维修耗时tm,1,tm,2,…,tm,q可以使用半更新过程(quasi-renewal process)模型来描述。该过程模型中，第1次至第q次维修活动所耗费的时间可描述为tm,1＝τ1,tm,2＝cτ2,…,tm,q＝cq-1τq。其中，τ1,τ2,…,τq为服从固定时间常数的指数分布的独立同分布变量，c为固定参数。随着维修活动的进行，完成维修的设备将重启，使得子系统的性能恢复、上升。将第q次维修完成时子系统的性能恢复水平记为sl(t)＝sq，则当性能完全恢复时(此时第r轮维修活动结束)，有sr≥pl(t)。相应地，性能恢复的时刻为

53、子步骤5.3、依据性能退化与任务要求建立扰动后系统稳定运行时间预测模型。系统在扰动发生后的稳定运行时间即为trec始至下一次扰动发生所历时间，本步骤中将其记为tbd。对tbd的预测，需要按照如下两步进行：(1)列举第l子系统中使系统性能维持在要求水平以上的加工设备运行状态所有可能组合，即考虑上游工序间缓冲区的作用，式中子系统性能(即单位时间合格品输出量)可以近似为

54、

55、(2)引入步骤3中的设备性能退化模型，计算求得第l子系统性能水平维持在任务要求以上(即sl(t)≥pl(t))的概率为

56、

57、式中，判别函数1{·}满足：1{true}＝1、1{false}＝0；(3)对tbd进行取值预测：首先据rel(t)函数求得tbd的概率密度函数为

58、

59、随后据该式即可预测tbd的期望为

60、

61、子步骤5.4、建立多态制造系统韧性评估与预测模型。本步骤结合子步骤5.2-5.3所求得的性能恢复模型、运行时间模型，应用子步骤5.1所述的扰动响应比定义，以子系统为单位对制造系统韧性进行建模与预测。为保证多态制造系统的长期稳定运行，本步骤在韧性评估时，将子系统的性能恢复期限t拓展为当前扰动发生时刻tdtb至下一扰动的预计发生时刻trec+tbd所经历的时间段。因此，第l子系统的韧性可定义为

62、

63、式中，分子且考虑到步骤4所述扰动发生的特殊情况(即“跨任务扰动”)，分母

64、

65、其中，依据该评估模型，即可对系统当前扰动发生后至下一扰动发生前的韧性进行预测，预测结果为：

66、

67、其中，步骤6所述的多态制造生产调度-维修规划联合优化模型是在考虑维修成本的基础上，以步骤5所提出的系统韧性指标为优化目标的决策方法。由步骤5建立的韧性评估与预测模型可见，提升多态制造系统的韧性e(re)，有以下两种途径：其一是提升性能恢复效率、尽可能减小当前扰动发生后的产量损失；其二是延长tbd、尽可能预防或延缓未来扰动的发生。前者需要在扰动后对制造系统内各设备进行合理的维修规划，后者则依赖于性能恢复后对制造系统内各并联系统进行合理的生产调度。在实际过程中，生产调度、维修规划的优化问题之间往往存在关联性。一方面，生产调度决定了各并联设备的工作负载、性能退化速率，会对未来的维修规划决策造成间接影响；另一方面，维修规划直接决定了各设备的维修后性能状态，会对生产调度决策造成直接影响。鉴于此，面向制造系统的韧性保证，本步骤基于序列决策模型的基本框架，按如下子步骤构建生产调度-维修规划的联合优化模型。

68、子步骤6.1、明确生产调度与维修规划的决策变量。(1)生产调度决策变量：对于本发明所适用的串并联结构多态制造系统，生产调度问题本质是依据并联子系统中各设备的状态、合理安排工作负载，也即：将制造系统内各工序的输入物料流按合理比例分配到各并联设备上。因此，生产调度的决策变量可以表述为附图2中各并联设备的输入物料流占工序(子系统)总物料流的比例。对于第l子系统而言，生产调度决策变量可记为(2)维修规划决策变量：由步骤5(子步骤5.2)中的不完美维修过程模型可见，针对各工序子系统的维修规划包含如下决策要素：选取需维修的设备、确定设备的维修优先级、确定设备维修后的目标状态。对于第l子系统而言，上述决策要素可以采用如下两种决策变量表述：维修次序(注：对于无需维修的设备，定义其维修次序rankl.k为0)、维修后目标状态为对齐形式、便于优化计算，需对维修规划的决策变量进行归一化处理，具体处理方法如下：首先按照

69、

70、将维修次序rankl归一化为维修优先级(pril.k取值越大者越优先，取值为0则表示无需维修)；其次采用one-hot向量编码的方法，将维修后目标状态转化为

71、

72、其中，函数onehot(·)满足：经过以上处理，即可将生产调度与维修规划的决策变量整合为如下的联合变量集矩阵：

73、

74、该矩阵中的各列均具备归一化形式。

75、子步骤6.2、明确生产调度与维修规划的决策依据与优化目标。在明确决策变量yl后，还应结合决策依据、明确优化目标，才可构造序列决策模型、对决策变量的取值进行寻优求解。具体而言，本步骤所需的决策依据对机器维修后所处状态的全部信息，包括：子系统内各设备在维修前所处的运行性能状态(经归一化处理后为)、工作负载状态(自身具备归一化形式)，以及各设备当前的性能退化加速系数基准值(可归一化为κl＝κl/∑iκl.i)。由此即可得出联合优化问题的决策依据集(即系统内各设备的状态观测集)矩阵：

76、

77、接下来明确决策模型的优化目标。为防止过维修，优化目标中除系统韧性e(re)的预测值外，还应加入维修成本的考虑。具体地，记单次扰动后恢复系统性能所进行的维修活动所需的总成本为(注：为单位时间内的维修平均成本)，维修的基础预算值为cbud，则生产调度与维修规划优化目标应当是在最大化韧性e(re)、最小化维修成本∑c之间权衡。给定权重系数ω∈(0,1)，则该问题的优化目标可以视为e(re)-ω∑c/cbud。

78、子步骤6.3、基于序列决策模型框架构建生产调度-维修规划联合优化的模型。序列决策模型的基本形式包含了“状态”、“决策”以及决策所产生的“收益”三个部分。对于生产调度-维修规划联合优化的模型，其可表述为yl＝π(xl)，其中π(·)表示决策函数，其输入为“状态”，即子系统的维修前状态变量集xl；输出为“决策”，即依据xl而求得的生产调度-维修规划决策变量集yl；决策所产生的“收益”即为做出当前“决策”yl后，目标函数e(re)-ω∑c/cbud的预期取值。依照马尔科夫决策理论中贝尔曼方程(bellman equation)的基本形式，决策函数yl＝π(xl)所取得的收益函数如下(注：贝尔曼方程考虑的是决策函数在未来取得的长期收益)：

79、

80、式中，i表示决策次数，[e(re)-ω∑c/cbud](i)表示未来的第i次“决策”所获收益，υ∈(0,1)则为折损因子。为简便计算，本步骤中可将m直接取为1。相应地，依据序列决策模型框架构建的生产调度-维修规划联合优化的模型可以表述为如下形式：

81、

82、其中，步骤7所述的强化学习算法是在步骤6构建的联合优化模型下对生产调度-维修规划联合优化问题进行动态求解的方案。具体地，本步骤应用了形如附图5的actor-critic结构的神经网络模型，使用附图6给出的深度确定性策略梯度优化(deepdeterministic policy gradient,ddpg)算法，结合状态数据集与运行(或仿真)结果、并采用对神经网络模型参数的软更新策略，对神经网络模型进行在线训练、实现其参数的动态更新，以对生产调度-维修规划方案进行动态寻优。

83、对该步骤的具体介绍如下。如附图5所示，本步骤所采用的强化学习模型分别使用actor神经网络π*(·)、critic神经网络q*(·)来拟合步骤6中序列决策模型的决策函数π(·)与收益函数q(·)，其中π*(·)、q*(·)均为多层感知机(multi-layer perceptron,mlp)网络。特别地，actor网络π*(·)在输出端后置了softmax模块。所述softmax模块的计算原理如下：首先通过mlp网络得到如下输出：

84、

85、随后在此基础上通过如下的softmax计算得到：

86、

87、并将其输出为近似的决策结果：将神经网络网络π*(·)、q*(·)(包含各隐藏层的权重、偏置参数)的参数集分别记为θπ、θq，则模型的在线训练过程可以描述为如下的优化问题：

88、

89、本步骤通过所述ddpg算法对其进行求解，具体的算法原理详见附图6。完成训练后，将系统内各设备的状态观测集xl输入所述actor网络，即可得到生产调度-维修规划的最优决策结果yl。

90、通过以上步骤，本发明提出了面向韧性保证的制造系统生产调度与维修决策联合优化方法。该方法基于不确定性因素t、p与q的时序动态建模，分析了多态制造系统在运行过程中的扰动来源、构造了多态制造系统的韧性评估与预测模型，并且面向系统韧性的保证与优化，提出了一种具备自适应性的生产调度-维修优化联合方法。该方法针对性地解决了相关领域现有中存在的问题，能够在多源扰动下维持制造系统的长期稳定运行，为产品制造商提供了一套系统化的、具备可操作性的运维决策方案。

91、(3)优点和功效

92、本发明所提出的面向韧性保证的制造系统生产调度与维修决策联合优化方法，其具备如下的各项优点：

93、i.充分考虑产品生产制造过程中的不确定性因素(生产任务要求t、加工设备性能p与输出产品质量q)及其时序动态特征，对多态制造系统运行过程中的多源扰动进行了量化分析与建模；

94、ii.在上述不确定性因素时序表现的基础上，明确了多态制造系统在运行过程中的扰动来源，并面向系统预防、抵御扰动或在扰动后恢复性能的能力，提出了基于扰动响应比的多态制造系统韧性评估指标与建模方法；

95、iii.面向多态制造系统的韧性保证与优化，引入强化学习模型，为多态制造系统提出了一种具备自适应性的运维决策算法。一方面，该算法通过联合生产调度、维修规划问题，提升了求得运维决策最优解的效率；另一方面，该算法可以通过模型的在线实时训练，实现对系统实时变化的自适应性调整。