调度方法、装置、计算机设备、存储介质和程序产品

本技术涉及卫星通信，特别是涉及一种调度方法、装置、计算机设备、存储介质和计算机程序产品。

背景技术：

1、由于地面用户分布不均，卫星通信业务呈现时空非均匀特性，为了将有限卫星波束资源按需匹配非均匀业务，现有卫星通信系统采用跳波束技术，通过动态调整波束的指向、带宽和工作时隙，实现卫星波束资源的高效利用。

2、现有技术中，通常是基于决策模型和全局状态信息确定跳波束调度策略的，并基于跳波束调度策略执行跳波束调度，这里的全局状态信息指的是运控中心所监控的所有卫星的状态信息。

3、然而，这种基于全局状态信息确定跳波束调度策略的方法灵活性较差，且跳波束调度的计算复杂度也较高，进而使得跳波束调度的效率较低。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种效率较高的调度方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

2、第一方面，本技术提供了一种调度方法，包括：

3、将目标跳波束策略决策模型分别部署至运控中心所监控的各个卫星上，以使各该卫星基于目标状态信息和该目标跳波束策略决策模型确定目标跳波束调度策略，并根据该目标跳波束调度策略执行跳波束调度；

4、其中，该目标状态信息包括该卫星所覆盖的小区的业务队列状态信息和信道状态信息。

5、在其中一个实施例中，该目标跳波束策略决策模型的训练过程包括：获取状态信息，该状态信息包括全局状态信息和局部状态信息，该全局状态信息为该运控中心所监控的所有卫星的状态信息，该局部状态信息为各该卫星对应的的状态信息；根据该状态信息和初始跳波束策略决策模型确定该目标跳波束策略决策模型。

6、在其中一个实施例中，该根据该状态信息和初始跳波束策略决策模型模型确定该目标跳波束策略决策模型，包括：根据该状态信息和初始网络参数确定目标网络参数；基于该目标网络参数对将该初始跳波束策略决策模型中的初始参数进行替换处理，以得到该目标跳波束策略决策模型。

7、在其中一个实施例中，该根据该状态信息确定目标网络参数，包括：将目标算法中的智能体网络的第一网络参数，混合网络的第二网络参数以及超参数网络的第三网络参数确定为初始网络参数；基于该初始网络参数和该状态信息执行多次目标循环过程，以得到多条目标经验；基于目标优化算法和该目标经验对该初始网络参数进行更新处理，以得到该目标网络参数。

8、在其中一个实施例中，该基于该初始网络参数和该状态信息执行多次目标循环过程，以得到多条目标经验，包括：对于每一次循环过程，获取各该卫星的当前时隙的局部状态信息，上一时隙的调度策略信息和序号，并输入至该智能体网络中，以基于贪婪算法确定各该卫星的当前时隙的调度策略信息；根据各该卫星的当前时隙的局部状态信息，上一时隙的调度策略信息，序号，当前时隙的调度策略信息以及该第一网络参数确定各该卫星的动作值函数，并根据各该卫星的动作值函数，当前时隙的全局状态信息，该第二网络参数和该第三网络参数确定各该卫星的联合动作值函数；基于各该卫星的当前时隙的调度策略信息对各该卫星进行调度处理，以确定各该卫星的下一时隙的局部状态信息和下一时隙的全局状态信息；根据该当前时隙的全局状态信息，该当前时隙的局部状态信息，该当前时隙的调度策略信息，目标奖励函数，该下一时隙的局部状态信息和该下一时隙的全局状态信息确定该目标经验。

9、在其中一个实施例中，该根据该当前时隙的全局状态信息，该当前时隙的局部状态信息，该当前时隙的调度策略信息，目标奖励函数，该下一时隙的局部状态信息和该下一时隙的全局状态信息确定该目标经验，包括：获取各该卫星的当前时隙的业务吞吐量和当前时隙的业务平均时延；根据该业务吞吐量和该业务平均时延确定该目标奖励函数；根据该当前时隙的全局状态信息，该当前时隙的局部状态信息，该当前时隙的调度策略信息，目标奖励函数，该下一时隙的局部状态信息和该下一时隙的全局状态信息确定该目标经验。

10、第二方面，本技术还提供了一种调度装置，包括：

11、执行模块，用于将目标跳波束策略决策模型分别部署至运控中心所监控的各个卫星上，以使各该卫星基于目标状态信息和该目标跳波束策略决策模型确定目标跳波束调度策略，并根据该目标跳波束调度策略执行跳波束调度；

12、其中，该目标状态信息包括该卫星所覆盖的小区的业务队列状态信息和信道状态信息。

13、在其中一个实施例中，该调度装置还包括训练模块，该训练模块，用于获取状态信息，该状态信息包括全局状态信息和局部状态信息，该全局状态信息为该运控中心所监控的所有卫星的状态信息，该局部状态信息为各该卫星对应的的状态信息；根据该状态信息和初始跳波束策略决策模型确定该目标跳波束策略决策模型。

14、在其中一个实施例中，该训练模块，具体用于根据该状态信息和初始网络参数确定目标网络参数；基于该目标网络参数对将该初始跳波束策略决策模型中的初始参数进行替换处理，以得到该目标跳波束策略决策模型。

15、在其中一个实施例中，该训练模块，具体用于将目标算法中的智能体网络的第一网络参数，混合网络的第二网络参数以及超参数网络的第三网络参数确定为初始网络参数；基于该初始网络参数和该状态信息执行多次目标循环过程，以得到多条目标经验；基于目标优化算法和该目标经验对该初始网络参数进行更新处理，以得到该目标网络参数。

16、在其中一个实施例中，该训练模块，具体用于对于每一次循环过程，获取各该卫星的当前时隙的局部状态信息，上一时隙的调度策略信息和序号，并输入至该智能体网络中，以基于贪婪算法确定各该卫星的当前时隙的调度策略信息；根据各该卫星的当前时隙的局部状态信息，上一时隙的调度策略信息，序号，当前时隙的调度策略信息以及该第一网络参数确定各该卫星的动作值函数，并根据各该卫星的动作值函数，当前时隙的全局状态信息，该第二网络参数和该第三网络参数确定各该卫星的联合动作值函数；基于各该卫星的当前时隙的调度策略信息对各该卫星进行调度处理，以确定各该卫星的下一时隙的局部状态信息和下一时隙的全局状态信息；根据该当前时隙的全局状态信息，该当前时隙的局部状态信息，该当前时隙的调度策略信息，目标奖励函数，该下一时隙的局部状态信息和该下一时隙的全局状态信息确定该目标经验。

17、在其中一个实施例中，该训练模块，具体用于获取各该卫星的当前时隙的业务吞吐量和当前时隙的业务平均时延；根据该业务吞吐量和该业务平均时延确定该目标奖励函数；根据该当前时隙的全局状态信息，该当前时隙的局部状态信息，该当前时隙的调度策略信息，目标奖励函数，该下一时隙的局部状态信息和该下一时隙的全局状态信息确定该目标经验。

18、第三方面，本技术还提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行该计算机程序时实现上述第一方面中任一实施例所述的方法。

19、第四方面，本技术还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述第一方面中任一实施例所述的方法。

20、第五方面，本技术还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述第一方面中任一实施例所述的方法。

21、上述调度方法、装置、计算机设备、存储介质和计算机程序产品，将目标跳波束策略决策模型分别部署至运控中心所监控的各个卫星上，以使各该卫星基于目标状态信息和该目标跳波束策略决策模型确定目标跳波束调度策略，并根据该目标跳波束调度策略执行跳波束调度；其中，该目标状态信息包括该卫星所覆盖的小区的业务队列状态信息和信道状态信息。本技术提供的调度方法，通过将训练好的目标跳波束策略决策模型分别部署至运控中心所监控的各个卫星上，以使得各卫星仅根据自身的目标状态信息和该目标跳波束策略决策模型就可确定目标跳波束调度策略，并根据该目标跳波束调度策略执行跳波束调度，采用本技术提供的调度方法，可以避免现有技术中必须获取运控中心所监控的所有卫星的状态信息才能确定目标跳波束调度策略的问题，不仅可以应用于各卫星独立决策的场景，有效的提高跳波束调度的灵活性，还可以降低跳波束调度的计算复杂度，进而有效的提高了跳波束调度的效率。