一种面向双层巨型星座的智能负载均衡方法及系统

本发明属于无线通信，具体涉及一种面向双层巨型星座的智能负载均衡方法及系统。

背景技术：

1、下一代通信系统6g(6-generation)旨在提供全球覆盖的低延迟和大带宽服务，以实现空天地海高速互联。近地轨道卫星(low earth orbit,leo)星座以其覆盖广、时延低等特点成为未来网络的重要组成部分。随着卫星发射成本和卫星设备成本的降低，低轨巨型星座得到快速发展。低轨巨型星座最显著的特点是卫星数量众多，通常可达上万颗。以spacex公司的巨型星座starlink为例，截至2023年2月，starlink已部署3600多颗卫星，并计划最终部署42000多颗卫星。leo卫星星座规模的扩大虽然提高了卫星网络的传输容量和扩大了通信覆盖范围，但是也给卫星网络的系统设计和管理带来了巨大的挑战，尤其是在负载均衡策略方面。

2、低轨巨型星座卫星网络由于卫星数量众多，传输任务的传输跳数较传统低轨卫星星座网络大幅增加，给低轨巨型星座卫星网络的路由规划提出巨大挑战。随着卫星数量的增加，传输任务的转发次数逐渐增加，导致路由决策的计算量迅速增加。路由决策的开销会消耗低轨巨型星座卫星网络的大量资源，包括用于路由路径计算的计算资源和用于传输数据包的传输资源。但巨型星座受限于设备尺寸限制，其计算资源和传输资源通常并不充分。同时，卫星网络拓扑的频繁变化也给卫星网络传输的路由计算带来了极大的挑战。另外，低轨巨型星座的卫星受限于设备资源以及过大的网络规模，无法完成全局路由计算。

3、深度强化学习(deep reinforcement learning,drl)被认为是通用人工智能(artificial general intelligence,agi)的最佳解决方案之一，深度强化学习算法的智能体可以动态感知环境的变化信息，并通过与环境的互相交流获取学习经验。drl一般使用深度神经网络(deep neural network,dnn)完成值函数或策略函数的近似，可适应较大规模的环境及样本数据。drl在游戏、自动驾驶、机器人控制等领域取得了巨大的成功。同时，drl在无线通信领域也得到了广泛的运用，如动态智能路由路径选择。

4、多智能体深度强化学习(multi-agent deep reinforcement learning,madrl)是深度强化学习的进一步研究，其主要解决复杂环境中深度强化学习的多个智能体间的协作问题，以获取全局的最大收益。在更复杂的环境中，各智能体往往无法感知环境的全局状态，只能观察其周围一定范围内的信息，因此无法做出最佳决策。madrl通过协调每个智能体的决策策略来实现全局奖励的最大化，从而完成对每个智能体的协调。可以预见，madrl在处理大规模复杂网络的决策任务上具有比较大的优势。

5、实际巨星座部署时，通常使用多个星座多层星座的组合，如starlink卫星星座共使用了分布于4个轨道高度的5个卫星星座，国内的gw卫星星座共使用了分布于4个轨道高度的7个卫星星座，通过不同高度和不同倾角的星座组合实现更有效的全球覆盖及更好的通信性能。

6、双层卫星星座的使用为双层传输协助提供了可能，通过不同层之间的协助传输，避免某一卫星星座负载过高，进而实现卫星网络全局负载均衡。目前国内外研究尚未提出双层巨型星座的负载均衡算法，对双层星座路由算法的研究主要集中在双层meo-leo架构，上层meo卫星负责其覆盖范围内leo卫星路由表的计算及分发，并承担一部分任务传输分流，但这种路由算法无法应用于巨型星座。巨型星座设备简单，其计算资源无法承担meo的巨量路由计算任务，其传输资源同样无法承担大容数据转发任务。其次，由于巨型星座规模巨大，全局拓扑信息收集过于困难，无法实现meo基于全局拓扑的虚拟拓扑路由。

技术实现思路

1、本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种面向双层巨型星座的智能负载均衡方法及系统，用于解决双层巨型星座路由规划的技术问题，针对双层巨型星座的特点完成巨型星座的智能负载均衡。

2、本发明采用以下技术方案：

3、一种面向双层巨型星座的智能负载均衡方法，包括以下步骤：

4、s1、建立双层巨型星座网络，获取双层巨型星座卫星网络拓扑；

5、s2、基于步骤s1得到的双层巨型星座卫星网络拓扑建立双层巨型星座分簇管理机制；

6、s3、依据步骤s2建立的双层巨型星座分簇管理机制建立簇负载预测机制；

7、s4、依据步骤s2建立的双层巨型星座分簇管理机制及步骤s3的簇负载预测机制，完成多智能体深度强化学习模型与双层巨型星座模型的映射，构建双层巨型星座多智能体深度强化学习负载均衡模型；

8、s5、依据步骤s4构建的双层巨型星座多智能体深度强化学习负载均衡模型，星载智能体对环境进行观测获取观测空间，依据观测空间完成传输任务下一跳卫星的选取，完成动作执行过程；

9、s6、基于步骤s2得到的双层巨型星座分簇管理机制和步骤s5得到的星载智能体动作执行过程，簇首定期完成簇内卫星经验值的收集；基于步骤s3的簇负载预测机制，当前簇首定期收集其余各簇负载信息，输入长短期记忆网络并获取预测后的其余各簇负载信息；

10、s7、基于步骤s4构建的双层巨型星座多智能体深度强化学习负载均衡模型以及步骤s6簇首所收集的簇内信息和预测后其余各簇负载信息，多智能体深度强化学习模型完成中心式训练；然后簇首下发训练后的星载智能体网络至簇内各卫星完成智能体网络更新，依据更新后的智能体网络完成在线动作决策。

11、具体的，步骤s1中，双层巨型星座卫星网络拓扑中，每层巨型星座的每颗卫星为拓扑节点，每层巨型星座的层内星间链路及层间星间链路作为拓扑边。

12、具体的，步骤s2中，双层巨型星座分簇管理机制具体为：

13、使用分层分簇管理，巨型星座各层进行分簇管理，簇内卫星数量相等；分簇内包括簇首及簇成员，簇首完成簇内成员的管理；

14、簇首负责簇内成员路由决策的下发及信息的收集，簇成员负责执行簇首路由决策并定期上传其经验值；

15、上下层簇首之间存在层间星间链路，部署于各簇的簇首，定期交换信息，以完成层间簇管理。

16、具体的，步骤s3中，簇负载预测机制具体为：

17、当前簇首完成其余簇负载信息收集，并使用部署于簇首的长短期记忆网络完成双层巨型星座网络各簇负载信息预测。

18、具体的，步骤s4中，双层巨型星座多智能体深度强化学习负载均衡模型包括中心式网络和智能体网络；

19、中心式网络部署于簇首，负责定期收集簇内信息及簇间负载信息，完成智能体网络的训练，并下发训练后的智能体网络至簇内各卫星；

20、智能体网络部署于其余簇成员，星载智能体网络依据传输任务所确定的观测空间，由智能体网络进行下一跳传输动作的选取。

21、进一步的，中心式网络具体为：

22、中心式网络的输入为各智能体的奖励值r，状态空间s为簇内各负载信息及预测后的其余簇负载信息，使用经部署于簇首的长短期记忆网络完成其余簇当前负载信息的预测；

23、中心式网络依据输入及状态空间完成前向执行后，依据全局奖励值完成网络的反向传播更新，并定期传输更新后的智能体网络至簇内成员。

24、进一步的，智能体网络具体为：

25、观测空间o为当前卫星节点的传输任务及簇内卫星负载信息；

26、动作空间a为传输任务的下一跳传输方向，包括层内的两条轨内星间链路和两条轨间星间链路及一条由簇首连接至另一层的层间星间链路；

27、奖励函数r由至目标卫星的距离及各层负载信息确定。

28、更进一步的，观测空间为：

29、o(t)＝{lt,li,ps,os,pd,od,bu,bd,bl,br}

30、其中，lt为传输任务的目前所在层特征编号，li为传输任务的目标卫星所在层特征编号；pi为当前任务卫星节点的轨道编号，oi为当前任务卫星节点在轨道上的卫星编号，bi为其相邻四颗卫星的负载信息；

31、动作空间为：

32、a(t)＝{layer,l,r,u,d}

33、其中，layer为层间传输，l,r为本层卫星星座轨道间传输方向，u,d为本层卫星星座轨道内传输方向；

34、奖励函数为：

35、

36、其中，diff为当前传输任务至目标卫星的距离，maxhop为传输任务初始距离，bu和bd为两层卫星网络的各自网络负载，rp为奖励函数的惩罚因子。

37、具体的，步骤s5中，星载智能体的传输任务下一跳选择除当前层内四条固定星间链路外，或使用层间星间链路进行传输；层间星间链路部署于簇首，当前卫星需先完成传输任务至簇首的传输。

38、第二方面，本发明实施例提供了一种面向双层巨型星座的智能负载均衡系统，包括：

39、网络模块，用于建立双层巨型星座网络，获取双层巨型星座卫星网络拓扑；

40、管理模块，用于基于网络模块得到的双层巨型星座卫星网络拓扑建立双层巨型星座分簇管理机制；

41、预测模块，用于依据管理模块建立的双层巨型星座分簇管理机制建立簇负载预测机制；

42、构建模块，用于依据管理模块建立的双层巨型星座分簇管理机制及预测模块的簇负载预测机制，完成多智能体深度强化学习模型与双层巨型星座模型的映射，构建双层巨型星座多智能体深度强化学习负载均衡模型；

43、选取模块，用于依据构建模块构建的双层巨型星座多智能体深度强化学习负载均衡模型，星载智能体对环境进行观测获取观测空间，依据观测空间完成传输任务下一跳卫星的选取，完成动作执行过程；

44、收集模块，用于基于管理模块得到的双层巨型星座分簇管理机制和选取模块得到的星载智能体动作执行过程，簇首定期完成簇内卫星经验值的收集；基于预测模块的簇负载预测机制，当前簇首定期收集其余各簇负载信息，输入长短期记忆网络并获取预测后的其余各簇负载信息；

45、输出模块，用于基于构建模块构建的双层巨型星座多智能体深度强化学习负载均衡模型以及收集模块，簇首所收集的簇内信息和预测后其余各簇负载信息，多智能体深度强化学习模型完成中心式训练；然后簇首下发训练后的星载智能体网络至簇内各卫星完成智能体网络更新，依据更新后的智能体网络完成在线动作决策。

46、与现有技术相比，本发明至少具有以下有益效果：

47、一种面向双层巨型星座的智能负载均衡方法，采用了多智能体深度强化学习完成了层间负载均衡，实现了传输任务延迟最小化；使用了中心式训练分布式执行的网络管理策略，有效降低了星载智能体计算量，降低了网络额外开销；建立了巨型网络分簇分簇管理机制，完成了双层巨型星座的分簇分布式管理，有效降低了网络管理开销；提出了簇负载预测机制，使用长短期记忆网络完成了簇负载信息预测，有效提升了巨型星座网络传输成功率。

48、进一步的，双层巨型星座卫星网络拓扑中，每颗卫星为拓扑节点，星间链路为拓扑边；两条轨内星间链路不随时间变化；两条轨间星间链路随时间由卫星相对运动发生变化；层间星间链路仅部署于簇首，有效降低了网络拓扑的复杂程度且可以有效完成层间及层内的信息传输。

49、进一步的，巨型星座分层分簇管理模型使用分层分布式管理，且每个簇内的卫星数量相同，有效降低了由网络管理带来的额外开销；簇首仅负责簇内卫星的管理，网络管理开销由网络尺度降维至分簇尺度，网络管理开销得到有效降低。

50、进一步的，簇首定期交换簇负载信息，网络信息的洪泛由网络尺度降维至簇首数量尺度，有效降低网络信息收集开销；部署于簇首的长短期记忆网络完成其余簇首信息的预测，为中心式网络提供了更为有效的环境信息，进一步提高了巨型星座网络的传输成功率。

51、进一步的，中心式网络部署于簇首可有效完成簇内各智能体的协同，依据中心式网络，指导簇内各星载智能体的决策策略，进而完成簇内及层间传输任务的协同，进而完成负载均衡降低传输任务的延迟；星载智能体仅需观测周围很小的空间并据此完成动作决策，有效降低智能体网络执行开销，延长双层巨型星座网络的工作寿命。

52、进一步的，中心式网络使用由长短期记忆网络进行预测后的各簇负载信息完成中心式网络的训练及更新，经过预测后的各簇负载信息解除了时间尺度上的干扰，可提供更为有效的环境信息，有效提升了智能体网络的决策准确程度，有效降低传输任务的延迟。

53、进一步的，智能体网络的奖励函数由传输任务延迟及层间负载共同确定。奖励函数中引入非线性函数。当前卫星与传输任务目标卫星的距离较远时，即远小于传输任务初始距离maxhop时，奖励值变化缓慢变化，智能体可以探索各种协作可能性。当传输任务离目标卫星较近时，奖励值快速变化，保证数据包尽快到达，避免对当前簇内其它传输任务造成干扰。最后，为保证层间负载均衡，奖励函数中引入两层网络负载bu和bd的比值，以避免传输任务被单一分流至某一层网络，造成单层网络负载过高。另外，当下一跳的传输方向远离目标卫星时，奖励值定义为惩罚因子rp，避免传输任务的回退。

54、进一步的，使用层间星间链路传输时，需首先传输至当前簇的簇首。星间链路仅部署于簇首卫星，有效降低了双层巨型星座网络的设备部署成本，提高了双层巨型星座网络的经济效益。

55、可以理解的是，上述第二方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。

56、综上所述，本发明通过对双层巨型星座的分层分簇式管理，有效降低了双层巨型星座网络管理开销，并提供了层间传输链路；通过层间传输，完成了层间流量负载均衡，负载较高的卫星星座可动态分流至另一层卫星星座进行数据任务传输，双层卫星星座负载均衡算法在保证负载较低的层的投递成功率的前提下，通过任务分流，可充分提升网络整体的传输任务投递成功率；lstm负载预测机制的引入充分提取了负载信息的时间特征，使簇首进行中心训练时获取的环境信息更为可靠，提升了协作传输的性能，提高了传输任务的投递成功率。

57、下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。