一种星地网络计算卸载和资源分配方法与流程

本发明属于卫星通信，特别是一种星地网络计算卸载和资源分配方法。

背景技术：

1、多功能、软件化、可定制和可更新的用户需求是未来卫星的发展趋势，发展以软件定义卫星多功能载荷为核心，采用开放系统架构，具备功能任务软件定义、在轨功能动态重构以及在轨功能演进升级的新一代软件定义卫星的研发成为目前天基网络信息系统研究的热点。新一代软件定义卫星边缘计算网络可以根据任务需求加载不同的应用程序，通过天基网络共享资源，协作提供服务。如何最大限度地统筹和共享天基网络的资源，是任务协作面临的挑战。

2、目前，针对卫星边缘网络中计算卸载和资源分配的研究并不完善，动态复杂的多层卫星边缘网络中，将计算卸载和资源分配分解为两个子问题效果距真实网络还不够理想。

技术实现思路

1、本发明解决的技术问题是：克服现有技术的不足，提供了一种星地网络计算卸载和资源分配方法，综合考虑了卫星覆盖模型、无线信道模型、接入卫星切换和星间协作，针对计算卸载决策的离散性和资源分配的连续性，构造了参数化动作的pamdp模型，随后，使用了一种基于混合动作空间的hppo强化学习方法以最小化系统时延。

2、本发明的技术解决方案是：

3、一种星地网络计算卸载和资源分配方法，包括：

4、1)对星地网络进行定义，获得每个时隙内，星地网络的拓扑结构；其中，星地网络包括：多个物联网终端设备、多颗低轨卫星、一个地球同步轨道卫星和一个地面信关站m；

5、2)根据星地网络的拓扑结构，获得每个时隙内，每个物联网终端设备对应的覆盖时间最长的低轨卫星，得到对应的卫星覆盖时间

6、3)在每个时隙内，物联网终端设备根据覆盖时间最长的卫星和该卫星的剩余计算资源，构建无线信道模型，得到物联网终端设备选择不同计算卸载方式建立通信链路下的数据传输速率；

7、4)对每个时隙对应的参数化动作量进行初始化随机定义；参数化动作量包括：每个时隙对应的卸载决策变量以及与卸载决策变量对应的连续资源分配量

8、5)根据步骤3)获得的数据传输速率和步骤4)定义得到的参数化动作量，得到每个时隙对应的总时延

9、6)利用步骤5)得到每个时隙对应的总时延构建含有参数化动作量的马尔可夫决策过程模型，获得马尔可夫决策过程模型输出的参数化动作量和每个时隙对应的总时延；

10、7)求解目标函数，获得平均时延tp的求解结果；

11、8)返回步骤5)，重复步骤5)～7)多次，直至平均时延tp的求解结果收敛，获得平均时延tp的求解结果收敛时，参数化动作量的对应关系作为资源分配结果。

12、优选地，在每个时隙内，星地网络的拓扑结构固定不变；

13、系统时间t离散化的划分为多个长度相等的时隙，即

14、物联网终端设备的集合定义为其中，n表示物联网终端设备总数量；

15、使用表示第n个物联网终端设备在第k个时隙收到的待处理业务；n∈[1，n]；k∈[1，t]；

16、低轨卫星的集合定义为

17、物联网终端设备上待处理业务计算卸载方式如下三种：

18、计算卸载方式一、物联网终端设备上待处理业务卸载至可见低轨卫星上进行处理；

19、计算卸载方式二、物联网终端设备上待处理业务卸载至可见低轨卫星，由可见低轨卫星转发给与可见低轨卫星相邻的其他leo卫星进行处理；

20、计算卸载方式三、物联网终端设备上待处理业务利用geo卫星作为物联网终端设备和地面信关站之间的中继节点，将待处理业务卸载至地面信关站上进行处理；

21、一个时隙内，每个待处理业务仅能够使用三种计算卸载方式中的一种。

22、优选地，卫星覆盖时间具体为：

23、

24、s＝2·(r+h)·γ

25、

26、其中，vl表示低轨卫星l的运行速度，r表示地球的半径，h表示物联网终端设备与低轨卫星l轨道之间的距离，γ是对应于低轨卫星l覆盖区域的地心角，θ表示物联网终端设备与低轨卫星l之间的仰角。

27、优选地，步骤3)中，在物联网终端设备选择计算卸载方式一时，得到数据传输速率为

28、

29、其中，表示选择计算卸载方式一建立通信链路下的信道增益，pn表示物联网终端设备n的发射功率，σ2表示噪声功率，bl表示通信链路的带宽。

30、优选地，步骤3)中，在物联网终端设备选择计算卸载方式二时，得到数据传输速率为

31、

32、其中，表示选择计算卸载方式二建立通信链路下的信道增益。

33、优选地，步骤3)中，在物联网终端设备选择计算卸载方式三时，得到数据传输速率为

34、

35、其中，表示选择计算卸载方式三建立通信链路下的信道增益。

36、优选地，步骤4)中卸载决策变量的约束条件如下：

37、且

38、其中，

39、代表业务选用计算卸载方式一进行计算卸载处理；

40、代表业务选用计算卸载方式二进行计算卸载处理；

41、代表业务选用计算卸载方式三进行计算卸载处理；

42、表示第k个时隙内，选用计算卸载方式一，对应所需低轨卫星l的计算资源；表示第k个时隙内，选用计算卸载方式二，对应所需低轨卫星lc的计算资源；表示第k个时隙内，选用计算卸载方式三，对应所需地面信关站m的计算资源；

43、第k个时隙内，连续资源分配量的约束条件如下：

44、所有分配给低轨卫星l的计算资源之和不超过低轨卫星l的剩余计算资源；

45、所有分配给低轨卫星lc的计算资源之和不超过低轨卫星lc的剩余计算资源；

46、所有分配给地面信关站m的计算资源之和不超过地面信关站m的剩余计算资源。

47、优选地，步骤5)中表示选用计算卸载方式一进行计算卸载处理对应的总时延，表示选用计算卸载方式二进行计算卸载处理对应的总时延，表示选用计算卸载方式三进行计算卸载处理对应的总时延；具体为：

48、

49、

50、

51、其中，max{p·q}表示取p和q中的最大值；表示传输时延，表示处理时延，tswc表示切星时延；表示接入低轨卫星l对业务所在的物联网终端设备n的覆盖时间。

52、优选地，步骤6)中马尔可夫决策过程模型的奖励函数，具体为：

53、

54、优选地，步骤7)中获得平均时延tp，具体为：

55、

56、与现有技术相比，本发明的优点主要体现在以下几个方面：

57、1)现有技术针对单一leo卫星场景或者geo卫星场景，本发明针对leo-geo的联合使用和leo卫星间的星间协作，综合考虑接入卫星切换和leo星间协作；

58、2)现有的使用强化学习解决卫星边缘网络上计算卸载和资源分配的方法，几乎只使用强化学习方法对计算卸载进行处理，对资源分配问题使用其他方法进行求解，而本发明首先建立参数化动作的马尔可夫决策过程，然后使用了一种针对离散-连续混合动作空间的混合近端策略优化强化学习方法进行系统时延的优化，充分考虑了计算卸载决策的离散性及资源分配的连续性。