用于多设备控制的图神经网络模型的训练方法和装置与流程

本发明涉及自动控制领域，尤其涉及一种用于多设备控制的图神经网络模型的训练方法和装置。

背景技术：

1、相关技术的船舶自动控制方法通常采用跟随控制的思路进行船舶自动控制:当系统负载变化时，会引起汽轮机组对蒸汽消耗的变化，进而影响蒸汽系统中的压力变化，最后系统将根据蒸汽压力变化的情况，修正系统输出的功率。然而，上述方法往往具有一定的滞后性，从负载变化到最后的系统功率输出会有较大的延迟，并可能造成系统状态的异常，如蒸汽压力过高或者过低等。

技术实现思路

1、本发明提供一种用于多设备控制的图神经网络模型的训练方法和装置，可以有效提高自动控制的效率，减少系统出现异常状态的概率。

2、本发明提供一种用于多设备控制的图神经网络模型的训练方法，包括：

3、基于多个设备之间的连接关系，建立图神经网络模型，所述图神经网络模型的节点用于表征所述多个设备，所述图神经网络模型的边用于表征所述多个设备之间的连接关系；

4、使用所述图神经网络模型对所述多个设备进行控制，基于所述图神经网络模型对所述多个设备的控制结果，更新所述图神经网络模型的参数；

5、重复执行第一过程，直至使用图神经网络模型对所述多个设备进行控制时可以使所述多个设备均达到预设控制目标；

6、所述第一过程包括：

7、使用图神经网络模型分别对所述多个设备进行多次控制，获得所述多个设备分别对应的达到预设控制目标的概率；

8、基于所述多个设备分别对应的达到预设控制目标的概率，确定所述多个设备分别对应的抽样概率；

9、基于所述多个设备分别对应的抽样概率，选取其中一个设备，使用图神经网络模型对所述设备进行控制，得到控制结果，基于所述控制结果更新图神经网络模型的参数。

10、根据本发明提供的用于多设备控制的图神经网络模型的训练方法，所述基于所述图神经网络模型对所述多个设备的控制结果，更新所述图神经网络模型的参数，包括：

11、基于所述图神经网络模型对所述多个设备的控制结果，计算所述图神经网络模型的奖励；

12、基于所述图神经网络模型的奖励，使用强化学习算法更新所述图神经网络模型的参数。

13、根据本发明提供的用于多设备控制的图神经网络模型的训练方法，所述基于所述多个设备分别对应的达到预设控制目标的概率，确定所述多个设备分别对应的抽样概率，包括：

14、基于所述多个设备分别对应的达到预设控制目标的概率，通过公式获得图神经网络模型分别对所述多个设备的控制效果，其中是图神经网络模型对第个设备的控制效果，是第个设备当前已被选取的总次数，为当前已执行第一过程的次数，为所述多个设备的数量，为第个设备对应的达到预设控制目标的概率；

15、基于图神经网络模型分别对所述多个设备的控制效果，确定所述多个设备分别对应的抽样概率，其中控制效果越好的设备抽样概率越低，控制效果越差的设备抽样概率越高。

16、根据本发明提供的用于多设备控制的图神经网络模型的训练方法，所述基于图神经网络模型分别对所述多个设备的控制效果，确定所述多个设备分别对应的抽样概率，包括：

17、基于图神经网络模型分别对所述多个设备的控制效果，计算所述多个设备分别对应的第一中间值；

18、基于所述多个设备分别对应的第一中间值，计算所述多个设备分别对应的抽样概率。

19、根据本发明提供的用于多设备控制的图神经网络模型的训练方法，所述基于图神经网络模型分别对所述多个设备的控制效果，计算所述多个设备分别对应的第一中间值，包括：

20、基于图神经网络模型分别对所述多个设备的控制效果，通过公式计算所述多个设备分别对应的第一中间值，其中，为图神经网络模型对第个设备的控制效果，为预设的概率平滑超参，为第1个设备对应的达到预设控制目标的概率， k为所述多个设备的数量。

21、根据本发明提供的用于多设备控制的图神经网络模型的训练方法，所述基于所述多个设备分别对应的第一中间值，计算所述多个设备分别对应的抽样概率，包括：

22、基于所述多个设备分别对应的第一中间值，通过公式计算所述多个设备分别对应的抽样概率，其中，为第个设备对应的第一中间值。

23、本发明还提供一种多设备控制方法，包括：

24、使用训练完成后的图神经网络模型，对多个设备进行控制；

25、其中，所述图神经网络模型的训练过程包括：

26、基于多个设备之间的连接关系，建立图神经网络模型，所述图神经网络模型的节点用于表征所述多个设备，所述图神经网络模型的边用于表征所述多个设备之间的连接关系；

27、使用所述图神经网络模型对所述多个设备进行控制，基于所述图神经网络模型对所述多个设备的控制结果，更新所述图神经网络模型的参数；

28、重复执行第一过程，直至使用图神经网络模型对所述多个设备进行控制时可以使所述多个设备均达到预设控制目标；

29、所述第一过程包括：

30、使用图神经网络模型分别对所述多个设备进行多次控制，获得所述多个设备分别对应的达到预设控制目标的概率；

31、基于所述多个设备分别对应的达到预设控制目标的概率，确定所述多个设备分别对应的抽样概率；

32、基于所述多个设备分别对应的抽样概率，选取其中一个设备，使用图神经网络模型对所述设备进行控制，得到控制结果，基于所述控制结果更新图神经网络模型的参数。

33、本发明还提供一种用于多设备控制的图神经网络模型的训练装置，包括：

34、建立模块，用于基于多个设备之间的连接关系，建立图神经网络模型，所述图神经网络模型的节点用于表征所述多个设备，所述图神经网络模型的边用于表征所述多个设备之间的连接关系；

35、更新模块，用于使用所述图神经网络模型对所述多个设备进行控制，基于所述图神经网络模型对所述多个设备的控制结果，更新所述图神经网络模型的参数；

36、执行模块，用于重复执行第一过程，直至使用图神经网络模型对所述多个设备进行控制时可以使所述多个设备均达到预设控制目标；

37、所述第一过程包括：

38、使用图神经网络模型分别对所述多个设备进行多次控制，获得所述多个设备分别对应的达到预设控制目标的概率；

39、基于所述多个设备分别对应的达到预设控制目标的概率，确定所述多个设备分别对应的抽样概率；

40、基于所述多个设备分别对应的抽样概率，选取其中一个设备，使用图神经网络模型对所述设备进行控制，得到控制结果，基于所述控制结果更新图神经网络模型的参数。

41、本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述用于多设备控制的图神经网络模型的训练方法。

42、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述用于多设备控制的图神经网络模型的训练方法。

43、本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述用于多设备控制的图神经网络模型的训练方法。

44、本发明提供的一种用于多设备控制的图神经网络模型的训练方法和装置，通过图神经网络模型对动力装置进行整体建模，可以从整体上寻找动力设备的最佳控制效果，采用多目标控制方法可以同时对多个设备的控制目标进行寻优，从而使模型可以对多个设备进行控制，在训练过程中通过更新抽样概率动态调整每个设备的训练次数，可以提高模型的训练效率，进而提高自动控制的效率。