一种基于图神经网络的作业车间调度方法

1.本发明属于生产计划技术领域，尤其涉及一种基于图神经网络的作业车间 调度方法。


背景技术：

2.目前，生产计划与调度是智能工厂的管理核心。大规模、不确定、强耦合 的复杂生产制造系统给作业车间生产调度带来了较大的挑战。
3.现有的调度算法主要分为两类：精确求解与近似求解。精确求解如分支定 界法，数学规划法等会因问题规模的扩大而导致维度灾难，使得调度结果不能 很好地应用于规模较大的调度问题。近似求解，主要由启发式算法与监督学习 组成，典型方法有分派规则法，领域搜索法以及神经网络。现有近似求解法的 运行效果主要取决于人为设定的规则以及历史调度数据。当制造系统环境改变 时，需要耗费大量精力重新决定调度规则，难以较好地适用于不确定性较强， 动态变化的作业车间调度场景。
4.通过上述分析，现有技术存在的问题及缺陷为：现有的调度方法可扩展性 不强，适用场景具备一定限制，通用性不强、自适应性不高，无法应用于同一 系统内不同网络规模的作业车间调度。


技术实现要素：

5.针对现有技术存在的问题，本发明提供了一种基于图神经网络的作业车间 调度方法。
6.本发明是这样实现的，一种基于图神经网络的作业车间调度方法，所述基 于图神经网络的作业车间调度方法包括：
7.可视化工件内部生产工序的前后顺序以及各工件之间的机器指派情况；设 置奖励函数对调度决策进行评估；对析取图节点特征信息进行嵌入提取；进行 调度策略网络学习及图神经网络参数调整。
8.进一步，所述基于图神经网络的作业车间调度方法包括以下步骤：
9.步骤一，构建作业车间调度的析取图模型，并获取作业车间工件加工数据； 基于构建的作业车间调度的析取图模型，建立马尔可夫决策模型；
10.步骤二，利用图神经网络提取不同节点之间的特征信息，并通过聚合函数 组合消息；
11.步骤三，利用actor网络进行调度决策，利用critic网络评价actor决策效 果，利用图神经网络更新节点状态；
12.步骤四，判断调度结果是否满足预设标准，若满足，则输出调度方案；否 则利用近端策略优化算法训练图神经网络、actor以及critic的参数，并返回步 骤二。
13.进一步，所述构建作业车间调度的析取图模型，并获取作业车间工件加工 数据包括：
14.(1)构建作业车间调度的析取图模型如下：
15.g＝((v，c)∪d)；
16.其中，v表示工序集，所述工序集包含作业车间的工序，所述工序在v中表 示为节点；c表示合取边集；所述合取边集包含合取边，每个合取边表示同一工 件上两个连续工序之间的优先约束；d表示析取边集，所述析取边集包含析取边， 每个析取边表示两个节点之间的机器共享约束，当两个工序可由同一台机器处 理时，相应的工序节点与析取边连接；
17.(2)获取作业车间工件加工数据，利用作业车间工件加工数据表示作业车 间动态调度实时状态，同时利用作业车间工件加工数据作为节点v的特征信息；
18.所述节点v的特征信息包括：节点状态、处理时间、后续工序数、工序开 始时间；
19.所述节点状态包含[1,0,0]、[0,1,0]和[0,0,1]；所述[1,0,0]、[0,1,0]和[0,0,1]分别 表示工序尚未开始、工序正在处理和工序已完成；
[0020]
所述处理时间为工序的处理时间；所述后续工序数为同一工件工序v的后 续工序数；所述工序开始时间为工序v的开始处理时间。
[0021]
进一步，所述马尔可夫决策模型如下：
[0022]
马尔可夫元组(g，a，p，r，γ)；
[0023]
其中，g表示作业车间调度状态，a表示调度动作，γ表示折扣因子，p表 示状态转移概率，r表示每次动作获得的回报，以最小化完工时间为调度目标； 所以动作回报公式为：r＝1/(makespan(g’)-makespan(g))；其中，makespan表示工 件序列加工时间总和，g表示当前状态，g’表示下一状态。
[0024]
进一步，所述利用图神经网络提取不同节点之间的特征信息，并通过聚合 函数组合消息包括：
[0025]
(1)通过节点嵌入，提取不同节点之间的特征信息：
[0026][0027]
其中，f
p
(.；θ1)表示前序节点更新函数；fs(.；θ2)表示后序节点更新函数； fd(.；θ3)表示析取节点更新函数，fn(.；θ4)表示目标节点更新函数fn(.；θ4)；relu(x) ＝max(0,x)，||表示向量串联，和分别表示前序和后序节点集，表示析取邻居节点，表示第k代节点嵌入；
[0028]
(2)当相应的工序节点完成或不存在时，将所述节点嵌入设置为零向量， 其维数与h相同，不再参与图状态更新；
[0029]
(3)通过多层感知机训练图神经网络的输入层、隐藏层、输出层的参数。
[0030]
进一步，所述利用actor网络进行调度决策，利用critic网络评价actor决 策效果，利用图神经网络更新节点状态包括：
[0031]
(1)采用softmax函数基于下式生成目标机器选择可操作工序的概率分布：
[0032][0033]
其中，f
l
(.；θ5)是一个可微函数，将节点嵌入信息映射到每个节点的logit值， 表示在τ时刻可供选择的工序集；
[0034]
(2)采用随机策略选择执行工序；并利用critic基于下式近似析取图状态 值；
[0035][0036]
其中，表示图嵌入，fv(.；θ6)为一个可微函数；
[0037]
(3)随机生成包括加工机器数，加工工件，加工工序及对应加工时间的初 始图；对样本数据进行调度，收集状态转换样本。
[0038]
进一步，所述利用近端策略优化算法训练图神经网络、actor以及critic的 参数包括：
[0039]
1)采用近端策略优化算法，对图神经网络和actor-critic中的参数 θ＝{θ1,θ2,θ3,θ4,θ5,θ6}进行更新，当且仅当图节点嵌入信息以及调度动作可提高调 度效果时更新参数，目标函数公式如下：
[0040][0041]
其中θ＝{θ1,θ2,θ3,θ4,θ5,θ6}；表示总体优势函数，公式 如下：δ
τ
＝r
τ
+γv(g
τ+1
；θ)-v(g
τ
；θ)，函数中的t 表示训练集的最后一步；
[0042]
2)在目标函数中加入值函数误差和熵加成项：
[0043][0044]
其中，表示当前τ时刻π
θ
策略下的熵，表示实现的总回报，α和β表示相应系数；
[0045]
3)不断朝梯度下降的方向更新θ，直至收敛。
[0046]
本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器 和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行 时，使得所述处
理器执行所述基于图神经网络的作业车间调度方法如下步骤：
[0047]
步骤一，构建作业车间调度的析取图模型，并获取作业车间工件加工数据； 基于构建的作业车间调度的析取图模型，建立马尔可夫决策模型；
[0048]
步骤二，利用图神经网络提取不同节点之间的特征信息，并通过聚合函数 组合消息；
[0049]
步骤三，利用actor网络进行调度决策，利用critic网络评价actor决策效 果，利用图神经网络更新节点状态；
[0050]
步骤四，判断调度结果是否满足预设标准，若满足，则输出调度方案；否 则利用近端策略优化算法训练图神经网络、actor以及critic的参数，并返回步 骤二。
[0051]
本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序， 所述计算机程序被处理器执行时，使得所述处理器执行所述基于图神经网络的 作业车间调度方法如下步骤：
[0052]
步骤一，构建作业车间调度的析取图模型，并获取作业车间工件加工数据； 基于构建的作业车间调度的析取图模型，建立马尔可夫决策模型；
[0053]
步骤二，利用图神经网络提取提取不同节点之间的特征信息，并通过聚合 函数组合消息；
[0054]
步骤三，利用actor网络进行调度决策，利用critic网络评价actor决策效 果，利用图神经网络更新节点状态；
[0055]
步骤四，判断调度结果是否满足预设标准，若满足，则输出调度方案；否 则利用近端策略优化算法训练图神经网络、actor以及critic的参数，并返回步 骤二。
[0056]
本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终 端用于执行所述基于图神经网络的作业车间调度方法。
[0057]
结合上述的技术方案和解决的技术问题，请从以下几方面分析本发明所要 保护的技术方案所具备的优点及积极效果为：
[0058]
第一、针对上述现有技术存在的技术问题以及解决该问题的难度，紧密结 合本发明的所要保护的技术方案以及研发过程中结果和数据等，详细、深刻地 分析本发明技术方案如何解决的技术问题，解决问题之后带来的一些具备创造 性的技术效果。具体描述如下：
[0059]
本发明采用析取图对作业车间调度问题进行特征描述，将调度问题转换为 序贯决策问题，基于马尔可夫决策过程进行建模，可以适用于不同网络规模的 作业车间调度问题，无需重复训练，泛化性能强。本发明引入了近端策略优化 算法对神经网络进行训练，可以稳定提高参数效果。本发明适用于动态调度场 景，若某道工序出现问题，可直接将该节点及其后续节点设置为0向量节点， 不影响其他工件调度。
[0060]
第二，把技术方案看做一个整体或者从产品的角度，本发明所要保护的技 术方案具备的技术效果和优点，具体描述如下：
[0061]
本发明提高了制造系统作业车间调度问题算法的泛化能力，可以应用于同 一系统内不同网络规模的作业车间调度问题。本发明将作业调度问题网络拓扑 化，提高调度算法的泛化能力，可以有效处理作业车间调度问题，具有通用性 强和自适应性高的特点。
附图说明
[0062]
图1是本发明实施例提供的基于图神经网络的作业车间调度方法原理图；
[0063]
图2是本发明实施例提供的基于图神经网络的作业车间调度方法流程图；
[0064]
图3是本发明实施例提供的析取图特征表示示意图；
[0065]
图4是本发明实施例提供的节点特征信息一阶聚合更新示意图。
具体实施方式
[0066]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例， 对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以 解释本发明，并不用于限定本发明。
[0067]
一、解释说明实施例。为了使本领域技术人员充分了解本发明如何具体实 现，该部分是对权利要求技术方案进行展开说明的解释说明实施例。
[0068]
如图1所示，本发明实施例提供的基于图神经网络的作业车间调度方法包 括：
[0069]
可视化工件内部生产工序的前后顺序以及各工件之间的机器指派情况；设 计奖励函数对调度决策进行评估；对析取图节点特征信息进行嵌入提取；进行 调度策略网络学习及图神经网络参数调整。
[0070]
如图2所示，本发明实施例提供的基于图神经网络的作业车间调度方法包 括以下步骤：
[0071]
s101，构建作业车间调度的析取图模型，并获取作业车间工件加工数据； 基于构建的作业车间调度的析取图模型，建立马尔可夫决策模型；
[0072]
s102，利用图神经网络提取不同节点之间的特征信息，并通过聚合函数组 合消息；
[0073]
s103，利用actor网络进行调度决策，利用critic网络评价actor决策效果， 利用图神经网络更新节点状态；
[0074]
s104，判断调度结果是否满足预设标准，若满足，则输出调度方案；否则 利用近端策略优化算法训练图神经网络、actor以及critic的参数，并返回步骤 s102。
[0075]
本发明实施例提供的构建作业车间调度的析取图模型，并获取作业车间工 件加工数据包括：
[0076]
(1)构建作业车间调度的析取图模型如下：
[0077]
g＝((v，c)∪d)；
[0078]
其中，v表示工序集，所述工序集包含作业车间的工序，所述工序在v中表 示为节点；c表示合取边集；所述合取边集包含合取边，每个合取边表示同一工 件上两个连续工序之间的优先约束；d表示析取边集，所述析取边集包含析取边， 每个析取边表示两个节点之间的机器共享约束，当两个工序可由同一台机器处 理时，相应的工序节点与析取边连接；
[0079]
(2)获取作业车间工件加工数据，利用作业车间工件加工数据表示作业车 间动态调度实时状态，同时利用作业车间工件加工数据作为节点v的特征信息。
[0080]
本发明实施例提供的节点v的特征信息包括：节点状态、处理时间、后续 工序数、工序开始时间；
[0081]
节点状态包含[1,0,0]、[0,1,0]和[0,0,1]；[1,0,0]、[0,1,0]和[0,0,1]分别表示
工序 尚未开始、工序正在处理和工序已完成；
[0082]
处理时间为工序的处理时间；后续工序数为同一工件工序v的后续工序数； 工序开始时间为工序v的开始处理时间。
[0083]
本发明实施例提供的马尔可夫决策模型如下：
[0084]
马尔科夫元组(g，a，p，r，γ)；
[0085]
其中，g表示作业车间调度状态，a表示调度动作，γ表示折扣因子，p表 示状态转移概率，r表示每次动作获得的回报，以最小化完工时间为调度目标； 所以动作回报公式为：r＝1/(makespan(g’)-makespan(g))；其中，makespan表示 工件序列加工时间总和，g表示当前状态，g’表示下一状态。
[0086]
本发明实施例提供的利用图神经网络提取不同节点之间的特征信息，并通 过聚合函数组合消息包括：
[0087]
(1)通过节点嵌入，提取不同节点之间的特征信息：
[0088][0089]
其中，f
p
(.；θ1)表示前序节点更新函数；fs(.；θ2)表示后序节点更新函数； fd(.；θ3)表示析取节点更新函数，fn(.；θ4)表示目标节点更新函数fn(.；θ4)；relu(x) ＝max(0,x)，||表示向量串联，和分别表示前序和后序节点集，表示析取邻居节点，表示第k代节点嵌入；
[0090]
(2)当相应的工序节点完成或不存在时，将所述节点嵌入设置为零向量， 其维数与h相同，不再参与图状态更新；
[0091]
(3)通过多层感知机训练图神经网络的输入层、隐藏层、输出层的参数。
[0092]
本发明实施例提供的利用actor网络进行调度决策，利用critic网络评价 actor决策效果，利用图神经网络更新节点状态包括：
[0093]
(1)采用softmax函数基于下式生成目标机器选择可操作工序的概率分布：
[0094][0095]
其中，f
l
(.；θ5)是一个可微函数，将节点嵌入信息映射到每个节点的logit值， 表示在τ时刻可供选择的工序集；
[0096]
(2)采用随机策略选择执行工序；并利用critic基于下式近似析取图状态 值；
[0097][0098]
其中，表示图嵌入，fv(.；θ6)为一个可微函数；
[0099]
(3)随机生成包括加工机器数，加工工件，加工工序及对应加工时间的初 始图；对样本数据进行调度，收集状态转换样本。
[0100]
本发明实施例提供的利用近端策略优化算法训练图神经网络、actor以及 critic的参数包括：
[0101]
1)采用近端策略优化算法，对图神经网络和actor-critic中的参数 θ＝{θ1,θ2,θ3,θ4,θ5,θ6}进行更新，当且仅当图节点嵌入信息以及调度动作可提高调 度效果时更新参数，目标函数公式如下：
[0102][0103]
其中θ＝{θ1,θ2,θ3,θ4,θ5,θ6}；表示总体优势函数，公式 如下：δ
τ
＝r
τ
+γv(g
τ+1
；θ)-v(g
τ
；θ)，函数中的t 表示训练集的最后一步；
[0104]
2)在目标函数中加入值函数误差和熵加成项：
[0105][0106]
其中，表示当前τ时刻π
θ
策略下的熵，表示实现的总回报，α和β表示相应系数；
[0107]
3)不断朝梯度下降的方向更新θ，直至收敛。
[0108]
下面结合具体实施例对本发明的技术方案作进一步说明。
[0109]
实施例1：
[0110]
结合图1，本发明实施例提供的基于图神经网络的作业车间调度方法包括：
[0111]
首先根据作业车间调度问题进行析取图建模。析取图g＝((v，c)∪d)， 图神经网络训练过程，可随机生成初始图g0，指定加工机器数服从均匀分布(5， 9)，处理工件数量及对应工序数量服从均匀分布(1，9)，工序加工时间服从 均匀分布(1，99)；
[0112]
基于作业车间工件加工数据，表示作业车间动态调度实时状况，同时作为 节点v的特征信息，其中包括：
[0113]
节点状态：[1,0,0]、[0,1,0]和[0,0,1]分别表示工序尚未开始、工序正在处理和 工序已完成，结合图2可知，节点1工序已完成，节点2正在处理，节点3尚 未开始；
[0114]
处理时间：工序的处理时间；
[0115]
后续工序数：同一工件工序v的后续工序数；
[0116]
工序开始时间：工序v的开始处理时间。
[0117]
基于析取图建模信息，建立马尔可夫决策过程，将作业调度问题转换为序 贯决策问题。马尔科夫元组(g，a，p，r，γ)，其中g表示作业车间调度状 态，a表示调度动作，γ表示折扣因子，即当前动作对未来回报的影响程度，p 表示状态转移概率，r表示每次动作获得的回报，以最小化完工时间为调度目标， 所以动作回报公式如下所示：
[0118]
r＝1/(makespan(g’)-makespan(g))
[0119]
其中，makespan表示工件序列加工时间总和，g表示当前状态，g’表示下 一状态。
[0120]
通过节点嵌入，提取不同节点之间的特征信息，通过聚合函数组合消息， 结合图3，聚合邻居结点信息后，再加上本身结点信息进行嵌入更新。嵌入层主 要考虑4个可微函数：前序节点更新函数f
p
(.；θ1)，后序节点更新函数fs(.；θ2)， 析取节点更新函数fd(.；θ3)以及目标节点更新函数fn(.；θ4),公式如下所示：
[0121][0122]
其中relu(x)＝max(0,x)，||表示向量串联，和分别代表前序和后 序节点集，代表析取邻居节点，表示第k代节点嵌入；
[0123]
gnn可以计算节点之间的高阶交互，设置嵌入层k＝3；
[0124]
当相应的工序节点完成或不存在时，将该节点嵌入设置为零向量，其维数 与h相同，不再参与图状态更新；
[0125]
采用多层感知机训练图神经网络参数，包括输入层，2层隐藏层，输出层；
[0126]
输入层由前序节点、后序节点、析取节点以及本身节点的6维特征信息串 联而成，共24维；
[0127]
激活函数采用“relu”函数；
[0128]
输出层生成6维的节点嵌入。
[0129]
引入actor使用softmax函数生成目标机器选择可操作工序的概率分布，公 式如下：
[0130][0131]
其中，f
l
(.；θ5)是一个可微函数，将节点嵌入信息映射到每个节点的logit值， 为可供选择的工序集；
[0132]
采用随机策略选择执行工序；
[0133]
引入critic近似析取图状态值，公式如下：
[0134][0135]
其中代表图嵌入，fv(.；θ6)是一个可微函数。
[0136]
actor和critic网络均通过多层感知机进行更新，actor输入层为6维节点嵌 入信息，输出返回各调度动作的logit值。
[0137]
从随机生成的作业车间调度实例每20个训练集中，收集状态转换样本；
[0138]
采用近端策略优化算法，对图神经网络和actor-critic中的参数 θ＝{θ1,θ2,θ3,θ4,θ5,}θ进行更新；
[0139]
参数优化器类型：“adam”；
[0140]
学习率(η)：2.5*10-4；
[0141]
折扣率(γ)：1；
[0142]
gae参数(λ)：0.95；
[0143]
修剪参数(∈)：0.2；
[0144]
值函数系数(α)：0.5；
[0145]
熵加成系数(β)：0.01；
[0146]
每次更新所训练集数(n)：20；
[0147]
当且仅当图节点嵌入信息以及调度动作可以提高调度效果时更新参数，目 标函数公式如下：
[0148][0149]
其中θ＝{θ1,θ2,θ3,θ4,θ5,θ6}；
[0150]
为总体优势函数，公式如下：
[0151][0152]
其中，δ
τ
＝r
τ
+γv(g
τ+1
；θ)-v(g
τ
；θ)，t为训练集的最后一步；
[0153]
在目标函数中加入值函数误差和熵加成项，公式如下：
[0154][0155]
其中代表当前τ时刻π
θ
策略下的熵，代 表实现的总回报，α和β为相应系数；
[0156]
不断朝梯度下降的方向更新θ，直至收敛。
[0157]
二、应用实施例。为了证明本发明的技术方案的创造性和技术价值，该部 分是对权利要求技术方案进行具体产品上或相关技术上的应用的应用实施例。
[0158]
本发明的应用实施例提供了一种计算机设备，所述计算机设备包括存储器 和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行 时，使得所述处理器执行所述基于图神经网络的作业车间调度方法。
[0159]
本发明的应用实施例提供了一种计算机可读存储介质，存储有计算机程序， 所述计算机程序被处理器执行时，使得所述处理器执行所述基于图神经网络的 作业车间调度方法。
[0160]
本发明的应用实施例提供了一种信息数据处理终端，所述信息数据处理终 端用于执行基于图神经网络的作业车间调度方法。
[0161]
三、实施例相关效果的证据。本发明实施例在研发或者使用过程中取得了 一些积极效果，和现有技术相比的确具备很大的优势，下面内容结合试验过程 的数据、图表等进行描述。
[0162]
实验设计：
[0163]
一、基于公共数据集(dmu benchmark)进行算法性能测试
[0164]
(1)将本方法与分派规则进行效果比对
[0165]
选取对比的分派规则有：处理时间最短；交付期最早；随机选择等
[0166]
(1)将本方法与邻域搜索算法进行效果比对
[0167]
领域搜索算法包括：遗传算法；粒子群算法等
[0168]
二、基于作业车间历史调度数据情况进行效果分析
[0169]
实验预期效果：在大规模作业车间调度问题上，运行良好；遇到机器故障， 订单临时取消等动态变化情况时，本方法鲁棒性较好，可顺利求解。
[0170]
应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合 来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中， 由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普 通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在 处理器控制代码中来实现，例如在诸如磁盘、cd或dvd-rom的载体介质、诸 如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载 体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路 或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、 可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的 处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。
[0171]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于 此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明 的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的 保护范围之内。