动态波束调度方法及装置与流程

本申请涉及移动通信，具体而言，涉及一种动态波束调度方法及装置。

背景技术：

1、近年来，星地融合网络(satellite-terrestrial integrated networks，stin)在带宽、功率消耗及频谱效率等方面具有明显的优势，因而逐渐成为未来通信领域一个新的研究亮点。另外，随着无线终端设备数量的大规模增长以及用户对传输速率要求的不断提升，高速率传输和低功率消耗成为未来通信系统需要考虑的关键问题之一。

2、相关动态资源分配算法虽然在在提高系统吞吐量和减少数据包传输时延等方面取得了很大成就，但当业务场景发生变化时，动态资源分配算法就需要进行更新迭代，且这些离线的启发式算法的复杂度较高、灵活性较差，故不适合星载资源管理。因此，至今尚未提供一个高效率、高灵活性的波束调度方法可以应用于星地融合网络中。

3、针对上述的问题，目前尚未提出有效的解决方案。

技术实现思路

1、本申请实施例提供了一种动态波束调度方法及装置，以至少解决相关技术中星地融合网络中的波束调度效率较低、灵活性较差的技术问题。

2、根据本申请实施例的一个方面，提供了一种动态波束调度方法，包括：向卫星通信系统下发第一波束调度指令，并获取卫星通信系统执行第一波束调度指令后的第一波束投射状态及波束覆盖区域内的第一网络通信状态；将第一波束投射状态及第一网络通信状态输入基于强化学习的波束调度策略模型，得到波束调度策略模型输出的第二波束调度指令，其中，波束调度策略模型预测卫星通信系统执行第二波束调度指令后的波束覆盖区域内的第二网络通信状态优于第一网络通信状态；向卫星通信系统下发第二波束调度指令。

3、可选地，第一波束投射状态中至少包括：投射波束的第一数量和波束覆盖区域的第二数量，其中，第一数量不大于第二数量；第一网络通信状态中至少包括：波束覆盖区域内的业务请求量、信干噪比、信道容量和信道传输时延，其中，信干噪比和信道容量是依据投射至波束覆盖区域内的波束的发射功率、功率增益和噪声功率谱密度确定的。

4、可选地，波束调度策略模型中包括：波束调度策略确定子模型、经验池、标签确定子模型和优化器，其中，波束调度策略确定子模型中包括状态动作映射函数，用于依据第一波束投射状态及第一网络通信状态确定第二波束调度指令；经验池用于将历次的第一波束调度指令、第一波束投射状态、第一网络通信状态及第二波束调度指令以数组方式存储作为训练样本；标签确定子模型用于确定各个训练样本对应的样本标签；优化器用于调整波束调度策略确定子模型的模型参数。

5、可选地，波束调度策略模型的训练过程包括：从经验池中选择预设数量的目标训练样本；利用标签确定子模型确定各个目标训练样本对应的目标样本标签；将各个目标训练样本依次输入波束调度策略确定子模型，并依据波束调度策略确定子模型的输出结果和目标样本标签构建目标损失函数；利用优化器通过最小化目标损失函数的方式调整波束调度策略确定子模型的模型参数。

6、可选地，在对波束调度策略模型进行训练之前，该方法还包括：初始化经验池，并将历次的第一波束调度指令、波束投射状态、网络通信状态及第二波束调度指令以数组方式存储至经验池中作为训练样本；在经验池中的训练样本数量超过第一预设阈值时，开始对波束调度策略模型进行训练；其中，在经验池中的训练样本数量超过经验池的容量阈值时，依据先进先出原则删除最先存储至经验池中的训练样本。

7、可选地，第二波束调度指令用于指示卫星通信系统向各个波束覆盖区域投射与波束覆盖区域的业务请求量相匹配、且信道容量大于第二预设阈值的目标波束，其中，目标波束分配有依据信噪比和信道条件排序后的排序靠前的子载波，信道容量越小的目标波束所分配的子载波的排序越靠前。

8、可选地，第二波束调度指令还用于指示卫星通信系统向存在业务请求但未被波束覆盖的区域投射与业务请求相匹配的目标波束。

9、根据本申请实施例的另一方面，还提供了一种动态波束调度装置，包括：第一下发模块，用于向卫星通信系统下发第一波束调度指令，并获取卫星通信系统执行第一波束调度指令后的第一波束投射状态及波束覆盖区域内的第一网络通信状态；策略确定模块，用于将第一波束投射状态及第一网络通信状态输入基于强化学习的波束调度策略模型，得到波束调度策略模型输出的第二波束调度指令，其中，波束调度策略模型预测卫星通信系统执行第二波束调度指令后的波束覆盖区域内的第二网络通信状态优于第一网络通信状态；第二下发模块，用于向卫星通信系统下发第二波束调度指令。

10、根据本申请实施例的另一方面，还提供了一种非易失性存储介质，该非易失性存储介质包括存储的程序，其中，非易失性存储介质所在设备通过运行该程序执行上述的动态波束调度方法。

11、根据本申请实施例的另一方面，还提供了一种电子设备，该电子设备包括：存储器和处理器，其中，存储器中存储有计算机程序，处理器被配置为通过计算机程序执行上述的动态波束调度方法。

12、在本申请实施例中，向卫星通信系统下发第一波束调度指令，并获取卫星通信系统执行第一波束调度指令后的第一波束投射状态及波束覆盖区域内的第一网络通信状态；将第一波束投射状态及第一网络通信状态输入基于强化学习的波束调度策略模型，得到波束调度策略模型输出的第二波束调度指令，其中，波束调度策略模型预测卫星通信系统执行第二波束调度指令后的波束覆盖区域内的第二网络通信状态优于第一网络通信状态；向卫星通信系统下发第二波束调度指令。其中，通过将波束投射状态及网络通信状态输入强化学习的波束调度策略模型，使得依据业务需求和系统能效进行有效地波束调度，进而解决了相关技术中星地融合网络中的波束调度效率较低、灵活性较差的技术问题。

技术特征：

1.一种动态波束调度方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，

3.根据权利要求1所述的方法，其特征在于，所述波束调度策略模型中包括：波束调度策略确定子模型、经验池、标签确定子模型和优化器，其中，

4.根据权利要求3所述的方法，其特征在于，所述波束调度策略模型的训练过程包括：

5.根据权利要求4所述的方法，其特征在于，在对所述波束调度策略模型进行训练之前，所述方法还包括：

6.根据权利要求1所述的方法，其特征在于，

7.根据权利要求6所述的方法，其特征在于，

8.一种动态波束调度装置，其特征在于，包括：

9.一种非易失性存储介质，其特征在于，所述非易失性存储介质包括存储的程序，其中，所述非易失性存储介质所在设备通过运行所述程序执行权利要求1至7中任意一项所述的动态波束调度方法。

10.一种电子设备，其特征在于，包括：存储器和处理器，其中，所述存储器中存储有计算机程序，所述处理器被配置为通过所述计算机程序执行权利要求1至7中任意一项所述的动态波束调度方法。

技术总结
本申请公开了一种动态波束调度方法及装置。其中，该方法包括：向卫星通信系统下发第一波束调度指令，并获取卫星通信系统执行第一波束调度指令后的第一波束投射状态及波束覆盖区域内的第一网络通信状态；将第一波束投射状态及第一网络通信状态输入基于强化学习的波束调度策略模型，得到波束调度策略模型输出的第二波束调度指令，其中，波束调度策略模型预测卫星通信系统执行第二波束调度指令后的波束覆盖区域内的第二网络通信状态优于第一网络通信状态；向卫星通信系统下发第二波束调度指令。本申请解决了相关技术中星地融合网络中的波束调度效率较低、灵活性较差的技术问题。

技术研发人员：黄锐,李屹寰,赵冬,齐浩,刘悦,陈宏
受保护的技术使用者：中国电信集团卫星通信有限公司
技术研发日：
技术公布日：2024/1/12