卫星边缘计算中考虑时空负载的自适应任务卸载方法

本发明属于计算机应用，具体涉及卫星边缘计算中考虑时空负载的自适应任务卸载方法。

背景技术：

1、传统云计算，通过将计算任务传输到集中式的云计算中心，通过计算能力更强大且能源不受限制的云端服务器完成任务的计算并将计算结果回传给用户。通过云端完成任务可以有效的减少移动端设备的能源消耗，并且能够突破移动设备计算性能的限制。但是由于用户和云端存在着较远的距离，导致无法满足时延敏感的应用的需求。并且随着入网设备的指数性增加使得网络中充斥着大量的数据，从而导致链路的利用率不高。然而移动边缘计算的出现使得上述问题得到了进一步的解决，边缘计算通过将计算资源下沉到距离用户更近的基站，可以有效的降低任务的传输时延以及提升链路的利用率。但是地面边缘计算还存在着以下问题，首先，地面网络仅覆盖地球陆地面积的约20％，不到地球表面的6％，难以满足地面用户随时随地接入网络的需求。其次，地面基站容易受到地震、台风等自然灾害的影响，导致地面用户之间失去通信连接。与地面通络相比，卫星网络覆盖范围广，可以实现全球无所不在的覆盖。近年来，卫星网络有了很大的发展，特别是低轨卫星，相对于中轨卫星和地球同步卫星来说具有轨道高度低、传输时延短、路径损耗小等优点，被认为是最有前途的卫星移动通信系统。

2、在卫星边缘计算中，一方面，leo卫星的高速移动特性导致leo卫星环境不断变化。另一方面，由于leo卫星广泛覆盖的特点，所以其覆盖范围内的用户数量较多，导致优化问题的解空间过大。

3、与地面mec相比，leo卫星上的计算和存储资源要稀缺得多。然而，一个星座中leo卫星数量众多，因此需要有效利用leo网络的总计算资源，为多用户服务。在考虑星间协作的时候不仅需要考虑不同卫星的负载情况，还需要考虑相应卫星下的网络的流量需求。然而，卫星网络流量的需求具有一定的不均衡性，这种不均衡性主要体现在空间和时间上。一方面，由于地理地貌、气候的影响导致人口分布不均，以及各个区域的经济发展差异导致了流量在空间上的分布不均。另一方面，由于全球的时区分布不均匀，造成用户使用网络的时间出现高峰和低峰的现象，从而导致流量在时间上的分布不均匀。

技术实现思路

1、本发明针对上述背景技术中存在的不足，提供了卫星边缘计算中考虑时空负载的自适应任务卸载方法，在卫星边缘计算中考虑了卫星的时空特性，实现低时延和低能耗的任务卸载。利用近端优化策略对任务卸载问题进行求解，可以有效的解决卫星边缘计算中的高维求解空间问题，并且达到在动态环境中快速求解的目的。

2、卫星边缘计算中考虑时空负载的自适应任务卸载方法，包括如下步骤：

3、步骤s1：根据人口密度和人均经济水平划分区域等级并得到空间因子，根据卫星网络任务量与时间的关系得到时间因子，基于空间和时间因子结合卫星队列大小构建时空负载因子；

4、步骤s2：考虑时空负载特性，针对卫星边缘计算中的任务卸载问题进行建模；首先搭建卫星边缘计算的系统模型，然后将卫星中具有时空特性的任务卸载问题形式化；

5、步骤s3：建立基于近端策略优化的任务卸载动作选择模型，并且对其网络参数进行训练；

6、步骤s4：使用训练后的基于近端策略优化的任务卸载动作选择模型为用户选择任务的计算地点，输入观察到的系统状态，输出所有用户的动作，每个用户根据该动作进行对应的任务计算工作。

7、进一步地，在步骤s1中，构建时空负载因子：

8、按照人口密度的不同，将世界各个区域划分为u个等级；用表示leo卫星m所在区域的人口因子，u越小代表卫星所在区域的人口密度越低，反之人口密度越高；按照人均经济水平，将世界各个区域划分为u个等级；用表示leo卫星m所在区域的经济因子，u越小代表卫星所在区域的经济水平越低，反之经济水平越高；

9、根据人口因子和经济因子将空间因子定义如下：

10、

11、将空间因子进行归一化处理得到

12、根据卫星网络任务量与时间的关系将leo卫星m的网络任务量随时间变化关系通过分段函数拟合表示为之后再进行归一化处理得到leo卫星m时间因子

13、

14、综合考虑空间因子和时间因子，定义t时隙leo卫星m的时空因子表示如下：

15、

16、其中，时空因子用来衡量leo卫星m未来的任务量，当该值越大说明该leo卫星未来的任务量越多，反之则越少；

17、当前的任务量通过leo卫星计算队列的大小表示；结合时空因子和leo卫星队列大小将t时隙卫星m的时空负载因子表示为:

18、

19、其中，为经过归一化之后leo卫星m的队列负载情况。

20、进一步地，在步骤s2中，具体步骤如下：

21、步骤s2-1：搭建卫星边缘计算的系统模型：

22、设卫星边缘计算系统中包括m颗leo卫星和i个地面用户分别用集合和集合表示；在每个leo卫星上都搭载了边缘服务器，使其作为边缘计算节点；在用户和leo卫星中都存在任务队列，当任务需要进一步被计算的时候需要按照先到先服务的原则在任务队列中等待计算；

23、采用时隙模型，将一段有限的时间划分为t个时隙，时隙集合表示为每个时隙长度为τ；t时隙，用户i产生一个大小为oi(t)的任务；用表示所有用户的卸载决策，其中描述用户i在t时隙的卸载决策；当时，表示t时隙任务oi(t)在本地处理，否则当时，表示t时隙任务oi(t)被卸载到leo卫星m上进行处理，否则

24、步骤s2-2：将卫星中具有时空特性的任务卸载问题形式化：

25、当用户将任务卸载至leo卫星时，通过无线通信完成任务的传输；任务的发送速率受发送功率、信道状态和通信带宽的影响；t时隙将用户i到接入卫星的发送速率ri(t)表示如下：

26、

27、其中，βi(t)∈[0,1]表示t时隙用户i被分配的信道带宽比例，它是一个连续变量；λ表示接入卫星的总信道带宽，pi表示用户i的发送功率，hi表示用户i和接入卫星之间的信道增益，n表示接入卫星的噪声功率；用表示所有用户的信道资源分配决策；

28、当任务在本地进行计算时，时延由排队时延和计算时延组成，t时隙用户i的本地计算时延表示如下：

29、

30、其中，w表示任务的计算强度，表示用户i的本地计算能力，表示t时隙用户i的队列负载情况；

31、当任务在本地计算时，t时隙用户i的本地计算能耗表示如下：

32、

33、其中，ξi是一个与用户i的芯片结构有关的能量系数，并且其计算时的功率与计算频率的三次方成正比；

34、当任务卸载到leo卫星m时，t时隙用户i的边缘计算时延表示如下：

35、

36、其中，第一项表示任务的发送时延，ri(t)表示用户i的发送速率；第二项表示任务到接入卫星的往返传播时延，l表示用户与卫星之间的距离，c表示光的传播速率；第三项表示的是从接入卫星到leo卫星m的发送时延和往返的传播时延，n表示任务在转发过程中需要经过的星间链路的跳数，d表示的是相邻两颗卫星之间的距离，redge(t)表示leo卫星的发送速率；第四项表示的是任务的排队时延，表示t时隙leo卫星m的队列负载情况，表示leo卫星m的计算能力；最后一项为任务在leo卫星m上的处理时延；

37、当任务卸载到leo卫星m时，t时隙用户i的发送能耗表示如下：

38、

39、其中，ri(t)表示用户i在t时隙的发送速率，pi表示用户i的发送功率；

40、当任务在本地计算时，将t时隙用户i的本地卸载成本表示为时延和能耗的加权和：

41、

42、其中，λ∈[0,1]表示时延和能耗之间的权重系数；

43、当任务在leo卫星上进行计算时，用户的卸载成本除了需要考虑时延和能耗之外，为了避免用户向高热点区域进行任务卸载，引入了时空负载因子作为额外的卸载成本，表示如下：

44、

45、其中，为时空负载因子的权重系数；

46、根据任务的卸载决策，将t时隙用户i的任务卸载成本表示如下：

47、

48、用户i在t时隙根据卸载决策xi(t)以及信道分配策略βi(t)进行任务卸载之后所需要的卸载成本为costi(xi(t),βi(t))；整个问题的优化目标为求解所有用户的卸载决策和信道分配策略以最小化系统中所有用户的长期卸载成本：

49、

50、

51、

52、

53、

54、其中，c1和c2表示卸载决策的约束，表示每个时隙一个任务只在本地或者一颗leo卫星上进行处理；c3和c4表示信道带宽资源的约束。

55、进一步地，在步骤s3中，具体步骤如下：

56、步骤s3-1：对于所有用户的卸载决策x(t)，通过基于近端策略优化的任务卸载动作选择模型进行求解；将卫星中具有时空特性的任务卸载问题通过马尔可夫决策过程重新表述，用一个三元组(s,a,r)表示；其中，s表示环境的状态空间；a表示所有用户的动作空间；r表示当用户处于状态s∈s并且执行动作a∈a之后得到的直接奖励；

57、步骤s3-2：构建基于近端策略优化的任务卸载动作选择模型，近端优化策略包含了actor网络、critic网络和轨迹记忆；

58、actor网络分为新actor网络和旧actor网络，均包含输入层、输出层以及两层隐藏层，其网络参数分别用θ和θold表示；新actor网络的输入为t时隙观察到的环境状态s(t)，输出为所有用户的任务卸载动作a(t)；旧actor网络用以衡量历史数据的采样概率，用以计算概率比例实现对新actor网络的更新；

59、critic网络，包含了输入层、输出层和两层的隐藏层，其网络参数用μ表示；critic网络的输入为t时隙观察到的环境状态s(t)，输出为当前的状态的价值vμ(s(t))；critic网络的作用为更新新actor网络以及自我更新；

60、轨迹记忆用以存储t时隙的环境状态s(t)、所有用户的任务卸载动作a(t)、根据所有用户的任务卸载动作a(t)进行任务卸载之后获得的直接奖励r(t)，以及在环境状态为s(t)时执行动作a(t)之后观察到的s(t+1)，即(s(t),a(t),r(t),s(t+1))；

61、步骤s3-3：训练基于近端策略优化的任务卸载动作选择模型中的参数，其具体步骤如下：

62、步骤s3-3-1：随机初始化新actor网络参数θ和critic网络参数μ，然后将θ赋值给θold，设置更新次数为y；

63、步骤s3-3-2：利用旧actor网络不断地与环境交互得到四元组(s(t),a(t),r(t),s(t+1))，并将其存入轨迹记忆中；

64、步骤s3-3-3：根据广义优势估计计算公式如下：

65、

66、其中，γ∈[0,1]为折扣因子，φ∈[0,1]是一个用以调节偏差和方差之间的估计平衡的广义优势估计参数；δ(t)＝r(t)+γvμ(s(t+1))-vμ(s(t))是时间差分误差；

67、步骤s3-3-4：重复步骤s3-3-2至s3-3-3，直到收集到足够的四元组；

68、步骤s3-3-5：从轨迹记忆中抽取批量大小为z的样本；

69、步骤s3-3-6：通过最大化截断代理损失函数lclip(θ)，更新新actor网络参数，公式表示如下：

70、

71、

72、其中，为概率比，clip(·)是一个裁剪函数用于将重要性权重ρ(θ)限制到[1-ε,1+ε]之间，ε表示裁剪系数；

73、步骤s3-3-7：通过最小化损失函数lvalue(μ)，更新critic网络参数，公式表示如下：

74、

75、

76、其中，时间差分误差(temporal difference error,td-error)的目标值

77、步骤s3-3-8：重复s3-3-5至s3-3-7，直到达到设置的更新次数y；

78、步骤s3-3-9：通过将新actor网络参数θ赋值给旧网络参数θold以同步旧网络参数；

79、步骤s3-3-10：清空轨迹记忆中的样本；

80、步骤s3-3-11：重复s3-3-2至s3-3-10，直到奖励值收敛，完成训练。

81、进一步地，步骤s3-1中，状态s：定义t时隙的环境状态为s(t)＝{o(t),qlocal(t),qedge(t),ecf(t)}。其中，o(t)＝{o1(t),…,oi(t),…,oi(t)}表示t时隙所有用户的任务大小；表示t时隙所有用户的队列负载情况；表示t时隙所有卫星的队列负载情况；表示t时隙所有卫星的时空负载因子。

82、进一步地，步骤s3-1中，动作a：t时隙，用户i根据状态s(t)选择合适的动作xi(t)进行任务卸载；定义t时隙的动作a(t)＝{x1(t),…,xi(t),…,xi(t)}表示所有用户的卸载决策；由于每个用户存在m+1个可能的卸载动作，所以整个动作空间的大小为(m+1)i。

83、进一步地，步骤s3-1中，奖励r：t时隙，接入卫星根据状态s(t)执行动作a(t)获取直接奖励r(t)；为了最小化卸载成本和，将奖励函数设置为成本的相反数，即

84、进一步地，在步骤s4中，输入观察到的系统状态s(t)，通过训练好的基于近端优化策略的任务卸载动作选择模型输出所有用户的动作a(t)，每个用户根据该动作将任务卸载到相应的leo卫星进行计算或者在本地进行计算；对于任务卸载问题中信道分配策略b(t)的求解，通过固定所有用户的卸载决策之后，再通过凸优化方法直接进行求解。

85、本发明的有益效果是：

86、1)在卫星边缘计算中对任务卸载问题进行建模时，考虑了卫星的时空特性，实现低时延和低能耗的任务卸载。

87、2)利用近端策略优化对任务卸载问题进行求解，可以有效的解决卫星边缘计算中的高维求解空间问题，并且达到在动态环境中快速求解的目的。

88、3)用户选择将任务卸载到不同的低轨道卫星进行边缘计算时，减少用户的计算时延和能耗，避免出现一些leo卫星过载而另一些leo卫星未充分利用的情况，有效的利用卫星的计算资源。