一种星座协同跳波束决策方法、系统

本发明涉及卫星通信，特别是关于一种星座协同跳波束决策方法、系统。

背景技术：

1、随着相控阵天线技术逐渐在卫星上得到应用，可以通过波束赋形将卫星发射的能量集中在多个点波束上。这些点波束的带宽、功率以及指向可以灵活快速改变，利用多点波束快速切换的跳波束方式满足地面用户端的实时需求。由于全球人口分布不均匀、当日不同时间段接入网络的人数不均匀等因素，业务流量需求也相应地在时间和空间上分布不均，相比传统的固定点波束系统，跳波束系统可以根据地面需求灵活切换波束赋形方案，以实现星上资源的高效利用，提升卫星星座系统服务质量。

2、在对地静止(geostationary orbit,gso)卫星的跳波束场景下，由于卫星相对地面静止，因此地面需求变化相对稳定和规律，易于制定跳波束策略。在非对地静止(non-geostationary orbit,ngso)卫星的跳波束场景下，由于卫星相对地面处于移动状态，因此从卫星角度，地面需求是动态变化的，动态的场景增加了跳波束策略的制定难度。

3、本申请的发明人在研究中发现，ngso系统通常为多颗ngso卫星形成星座组网对地面形成有效覆盖，不同时刻、不同卫星间会形成多重覆盖，从单星角度独立制定各颗卫星的跳波束策略，会大大增加不同卫星波束间的干扰，甚至出现多颗卫星的波束的策略制定发生冲突。而集中式地一同制定所有卫星的跳波束策略，则问题的复杂度会随着卫星的增加指数增长，难以在有限时间内收敛到较优方案。

技术实现思路

1、针对上述问题，本发明的目的是提供一种星座协同跳波束决策方法、系统，星座协同系统的每一个作为智能体的卫星基于多智能体强化学习模型决策各自的跳波束方案，同时引入卫星之间的通信机制，使各个卫星的多智能体强化学习模型以各卫星观测到的小区需求的观测信息以及其它卫星共享的通信信息为输入，决策出各卫星的跳波束方案，降低不同卫星间的波束干扰，降低方案间的冲突率。

2、为实现上述目的，本发明采取以下技术方案：

3、第一方面，本申请提供一种星座协同跳波束决策方法，应用于星座协同系统中的各卫星，所述方法，包括：

4、各卫星获取其视野范围内小区的业务流量需求的观测信息，以及基于多智能体通信获取其它卫星共享的通信信息；

5、各卫星基于预先训练好的多智能体强化学习模型决策对应的跳波束方案；所述多智能体强化学习模型以各卫星的观测信息和其它卫星共享的通信信息为输入，以跳波束方案为输出。

6、在本申请的一种实现方式中，所述跳波束方案包括卫星通过波束赋形产生的多个点波束的波束指向、波束带宽和波束功率。

7、在本申请的一种实现方式中，所述其它卫星共享的通信信息，包括其它卫星的历史观测信息和历史跳波束方案的决策信息。

8、在本申请的一种实现方式中，所述方法还包括：基于仿真的方式训练所述多智能体强化学习模型的步骤。

9、在本申请的一种实现方式中，所述基于仿真的方式训练所述多智能体强化学习模型，包括：

10、(1)设定仿真时序和时间间隔，所述时间间隔对应于卫星生成跳波束方案的时隙长度；

11、(2)设定好多智能体强化学习模型的网络架构，并初始化各卫星的多智能体强化学习模型的网络参数；

12、(3)在每一个时间间隔内，计算各卫星的位置和各小区的位置，以及确定各卫星与各小区之间的可视关系；

13、(4)根据仿真数据，获取各小区当前时间间隔的业务流量需求；

14、(5)根据各卫星和各小区之间的可视关系，以及各小区的业务流量需求，确定当前时间间隔内各卫星视野范围内小区的业务流量需求；

15、(6)各卫星根据当前时间间隔的视野范围内小区的业务流量需求，以及其它卫星的通信信息，包括上一时间间隔的业务流量需求和跳波束方案，并基于当前时间间隔多智能体强化学习模型生成各自对应的跳波束方案；

16、(7)根据设定的奖励函数评估跳波束方案，并更新多智能体强化学习模型的网络参数；

17、(8)利用更新好网络参数的多智能体强化学习模型，确定各卫星仿真时序下一时间间隔的跳波束方案，并返回(7)执行，直至达到模型停止训练的条件。

18、在本申请的一种实现方式中，其它卫星的通信信息的初始值设为0。

19、在本申请的一种实现方式中，所述奖励函数基于预设指标计算多智能体强化学习模型的损失函数。

20、在本申请的一种实现方式中，所述预设指标，包括：根据所有卫星的跳波束方案而形成的星地链路的信噪比和策略冲突情况。

21、在本申请的一种实现方式中，所述多智能体通信的方式为隐式协议通信。

22、第二方面，本申请提供一种星座协同跳波束决策系统，包括：

23、信息获取模块，用于供各卫星获取其视野范围内小区的业务流量需求的观测信息，以及基于多智能体通信获取其它卫星共享的通信信息；

24、模型求解模块，用于供各卫星基于预先训练好的多智能体强化学习模型决策对应的跳波束方案；所述多智能体强化学习模型以各卫星的观测信息和其它卫星共享的通信信息为输入，以跳波束方案为输出。

25、本发明由于采取以上技术方案，其具有以下优点：各卫星获取其视野范围内小区的业务流量需求的观测信息，以及基于多智能体通信获取其它卫星共享的通信信息，将观测信息和通信信息输入预先训练好的多智能体强化学习模型，决策出对应的跳波束方案，从而降低不同卫星间的波束干扰，降低方案间的冲突率。

技术特征：

1.一种星座协同跳波束决策方法，应用于星座协同系统中的各卫星，其特征在于，所述方法，包括：

2.根据权利要求1所述的星座协同跳波束决策方法，其特征在于，所述跳波束方案包括卫星通过波束赋形产生的多个点波束的波束指向、波束带宽和波束功率。

3.根据权利要求1所述的星座协同跳波束决策方法，其特征在于，所述其它卫星共享的通信信息，包括其它卫星的历史观测信息和历史跳波束方案的决策信息。

4.根据权利要求1所述的星座协同跳波束决策方法，其特征在于，所述方法还包括：基于仿真的方式训练所述多智能体强化学习模型的步骤。

5.根据权利要求4所述的星座协同跳波束决策方法，其特征在于，所述基于仿真的方式训练所述多智能体强化学习模型，包括：

6.根据权利要求5所述的星座协同跳波束决策方法，其特征在于，其它卫星的通信信息的初始值设为0。

7.根据权利要求5所述的星座协同跳波束决策方法，其特征在于，所述奖励函数基于预设指标计算多智能体强化学习模型的损失函数。

8.根据权利要求7所述的星座协同跳波束决策方法，其特征在于，所述预设指标，包括：根据所有卫星的跳波束方案而形成的星地链路的信噪比和策略冲突情况。

9.根据权利要求1所述的星座协同跳波束决策方法，其特征在于，所述多智能体通信的方式为隐式协议通信。

10.一种星座协同跳波束决策系统，其特征在于，包括：

技术总结
本发明涉及一种星座协同跳波束决策方法，应用于星座协同系统中的各卫星，包括：各卫星获取其视野范围内小区的业务流量需求的观测信息，以及基于多智能体通信获取其它卫星共享的通信信息；各卫星基于预先训练好的多智能体强化学习模型决策对应的跳波束方案；所述多智能体强化学习模型以各卫星的观测信息和其它卫星共享的通信信息为输入，以跳波束方案为输出。本发明引入智能体间通信行为，以实现高效的卫星协同，规避每颗卫星策略冲突，减缓波束间干扰，从而改善通信性能，提高系统吞吐量。

技术研发人员：靳瑾,温瑞清,黄振,匡麟玲
受保护的技术使用者：清华大学
技术研发日：
技术公布日：2024/4/17