一种云边端合作的边缘计算方法

1.本发明属于移动通信领域，具体涉及一种云边端合作的边缘计算方法。


背景技术：

2.随着电子信息的发展，人们对计算密集型应用的需求越来越大。然而，移动设备(md)不可避免的挑战之一是其自身的电池容量，这使得它们难以维持这些计算密集型应用程序。另外，随着md的普及，出现了大量的通信计算任务，仅由md生成的计算容量段不足以处理如此庞大的计算任务。因此，如何满足mds对密集应用的需求，处理大量计算任务，成为迫切需要解决的问题。幸运的是，移动边缘计算(mec)的蓬勃发展为这些问题提供了可行的解决方案。mec架构通常由md、mec服务层和云服务器三部分组成。云服务器具有较大的计算容量。云服务器具有强大的计算能力，当mds生成密集型任务时，可以将这些任务卸载到云服务器上，高效地处理计算任务。但是，由于云服务器与md之间的距离较长，通常会导致传输延迟和传输过程的不确定性。mec服务层在这一点上充当中介，它弥补了远程云的缺点。mec服务层相对于md具有一定的计算能力，当计算任务可以处理时，mec服务层首先处理该任务。当计算任务超出mec的计算能力时，mec服务层可以作为中继层，将任务发送到云服务器，进一步处理。
3.随着mec和无人机的发展，无人机逐渐出现在移动边缘计算(mec)的应用场景中。无人机辅助mec可以很好地解决传统的边缘计算问题。当传统基站遭受灾害时，无人机可以发挥作用。例如，今年郑州的暴雨中断了通信线路，无人机被派往灾区提供通信服务。例如，在偏远山区，建立基站是困难和昂贵的。在这种情况下，可以在无人机上安装边缘服务平台，以高机动性和低成本为偏远地区提供通信服务。无人机辅助的移动边缘计算可以为移动终端用户灵活、快速地部署创新应用和服务，得益于无人机的灵活部署、低成本和高机动性。由于md是移动式的，所以可以应付少量的用户，但如果用户数量大，应对能力就会很差。如何使无人机辅助的移动边缘计算对多移动用户具有良好的响应能力是一个值得探讨的问题。


技术实现要素：

4.现有移动边缘计算中，考虑基站、无人机和任务处理设备之间的协作关系比较少，另外无人机的充电一直是一个难点。如何延长无人机在移动边缘计算中的工作时间，利用太阳能等清洁能源，可以提高移动设备服务质量的同时，绿色环保。
5.为解决上述技术问题，本发明采用以下技术手段：
6.一种云边端合作的边缘计算方法，针对基站所对应的目标区域，由基站、各移动设备、各无人机、各任务处理设备构成的云边端系统，基于各移动设备产生的计算任务，执行以下步骤，获得云边端系统中移动设备的计算任务卸载到基站、无人机或任务处理设备的卸载策略，无人机的计算资源分配策略，以及各无人机在目标区域内的位置部署策略：
7.步骤a：基于目标区域内的各移动设备与基站通信，各移动设备将产生的计算任务
的数据量和产生计算任务时各移动设备的位置数据传输给基站；
8.步骤b：初始化各无人机位置部署，检查无人机自身电量状况；
9.步骤c:针对云边端系统，基于移动设备的计算任务卸载到基站、无人机或任务处理设备计算分别对应的能耗，以降低云边端系统总能耗为目标构建云边端系统的优化问题；
10.步骤d:基于云边端系统构建的优化问题，针对步骤a中基站接收到各移动设备传输的计算任务的数据量与产生计算任务时各移动设备的位置数据，循环执行步骤d1至步骤d3，直到结果收敛或者达到最大循环迭代次数，获得云边端系统中移动设备的计算任务卸载到基站、无人机或任务处理设备的卸载策略，无人机的计算资源分配策略，以及各无人机在目标区域内的位置部署策略：
11.步骤d1:基于云边端系统构建的优化问题，根据各无人机位置部署，针对步骤a中基站接收到各移动设备传输的计算任务的数据量与产生计算任务时各移动设备的位置数据，采用深度强化学习方法求解云边端系统中移动设备的计算任务卸载到基站、无人机或任务处理设备的卸载决策；
12.步骤d2:基于步骤d1中求解的云边端系统卸载策略，以及各无人机位置部署，采用拉格朗日对偶法求解承载了计算任务的各无人机分别为其所对应的计算任务分配的计算资源；
13.步骤d3:基于步骤d1中求解的云边端系统卸载策略，以及步骤d2中求解的无承载了计算任务的各无人机分别为其所对应的计算任务分配的计算资源，采用遗传方法求解各无人机在目标区域内的位置部署，进而实现无人机群中各无人机位置的更新。
14.作为本发明的一种优选技术方案，所述步骤a的具体过程如下：
15.步骤a1：移动设备i的位置在t时隙的三维坐标表示为li(t)＝(xi(t)，yi(t)，0),xi(t)、yi(t)分别是移动设备i在t时隙的x轴坐标值和y轴坐标值；
16.基于高斯马尔可夫移动模型与随机移动模型，第i个移动设备在t时隙的移动速度vi(t)和方向θi(t)分别表示为：
[0017][0018][0019]
式中，和为调整前一个时隙对当前时隙的影响的系数，和值均在0和1之间；是目标区域内所有移动设备的平均速度；是第i个移动设备的平均方向；φi为服从第i个移动设备速度均值、速度方差的独立高斯分布的常数，ψi为服从第i个移动设备方向均值、方向方差的独立高斯分布的常数；
[0020]
综上，第i个移动设备在t时隙的位置li(t)表示为
[0021]
li(t)＝(xi(t-1)+τvi(t)cosθi(t)，yi(t-1)+τvi(t)sinθi(t)，0)；
[0022]
式中，τ为一个时隙的时间长度；
[0023]
步骤a2：第i个移动设备将在t时隙产生的计算任务的数据量di(t)，和产生计算任务时各移动设备的位置li(t)传输给基站。
[0024]
作为本发明的一种优选技术方案，所述步骤b的具体过程如下：
[0025]
检测上一个时隙结束后无人机的剩余能量eu(t-1)，若无人机剩余能量eu(t-1)小
于无人机与移动设备服务和通信需要的能量ec，则无人机通过设置在无人机上的太阳能电池板收割太阳能进行充电；
[0026]
因此，可以得到t时隙开始前无人机的剩余能量eu(t)公式：
[0027][0028]
式中，e
solar
为无人机通过设置在无人机上的太阳能电池板收割的太阳能。
[0029]
作为本发明的一种优选技术方案，所述步骤c的具体过程如下：
[0030]
步骤c1：当t时隙第i个移动设备产生的计算任务卸载给第j个无人机时，基于香农公式得到第i个移动设备和第j个无人机之间的数据传输速率表示为：
[0031][0032]
式中，表示移动设备与无人机之间的信道带宽，u指代无人机，m为指代移动设备，pi表示第i个移动设备的传输功率，g0表示1m处的信道增益，g0、γ均为常数，n0表示噪声功率谱密度，||li(t)-lj||为第i个移动设备和第j个无人机之间的距离,li(t)表示第i个移动设备在t时隙的位置，lj表示第j个无人机的位置；
[0033]
当t时隙第i个移动设备的计算任务卸载给第j个无人机时，数据传输时间和传输能耗分别表示为：
[0034][0035][0036]
式中，di(t)表示第i个移动设备在t时隙产生的计算任务的数据量；
[0037]
第j个无人机计算第i个移动设备的计算任务的计算时间和计算能耗表示为：
[0038][0039][0040]
式中，为第j个无人机分配给第i个移动设备的计算资源，ρ表示计算任务需要就算的比例，κ表示电容开关；
[0041]
综上，当t时隙第i个移动设备的计算任务卸载给第j个无人机时，云边端系统的总时间t1和总能耗e1表示为：
[0042][0043][0044]
步骤c2：当t时隙第i个移动设备的计算任务卸载给基站时，基于香农公式得到第i个移动设备和基站之间的数据传输速率表示为
[0045][0046]
其中，||li(t)||为第i个移动设备和基站之间的距离，表示移动设备与基站之间的信道带宽，m指代无人机，b指代基站；
[0047]
当t时隙第i个移动设备的计算任务卸载给基站时，数据传输时间和传输能耗分别表示为：
[0048][0049][0050]
综上，当t时隙第i个移动设备的计算任务卸载给基站时，云边端系统的总时间t2和总能耗e2表示为：
[0051][0052][0053]
步骤c3：当t时隙第i个移动设备的计算任务卸载给任务处理设备时，基于香农公式获得第i个移动设备和任务处理设备之间的数据传输速率表示为
[0054][0055]
式中，||li(t)-lc||为第i个移动设备和任务处理设备间的距离，lc表示任务处理设备的坐标，表示移动设备与任务处理设备之间的信道带宽，m指代无人机，c指代任务处理设备；
[0056]
当t时隙第o个移动设备的计算任务卸载给任务处理设备时，数据传输时间和传输能耗分别表示为
[0057][0058][0059]
任务处理设备计算第i个移动设备的计算任务的计算时间和计算能耗表示为：
[0060][0061][0062]
式中，fc为任务处理设备分配给移动设备的计算资源；
[0063]
综上，当t时隙第i个移动设备的计算任务卸载给任务处理设备时，云边端系统的总时间t3和总能耗e3表示为
[0064][0065]
[0066]
步骤c4，综上，优化问题可以表示为
[0067][0068]
s.t.约束1：
[0069]
约束2：||l
j-lk||≥d
min
[0070]
约束3：||lj||＜||lj||
max
[0071]
约束4：
[0072]
约束5：
[0073]
式中，a表示移动设备卸载决策矩阵；f表示无人机资源分配矩阵；l表示无人机位置矩阵；i表示目标区域内移动设备的总数；ai为云边端系统对于第i个移动设备的卸载决策动作，ai＝1表示卸载给无人机，ai＝2表示卸载给基站，ai＝3表示卸载给任务处理设备；约束1表示每个任务的处理时间不能超过自身的服务质量时间t
qos
；约束2表示每两个无人机之间要大于等于最小距离d
mim
；约束3表示每个无人机的位置不能超过空间限制；约束4表示当无人机为移动设备服务时，无人机的剩余能量应该大于此次任务处理所需要的能量；约束5表示无人机分配给移动设备计算资源不能超过无人机的计算资源上限。
[0074]
作为本发明的一种优选技术方案，所述步骤d1的具体过程如下：
[0075]
基于云边端系统构建的优化问题，根据各无人机位置，针对步骤a中基站接收到各移动设备传输的计算任务的数据量与产生计算任务时各移动设备的位置数据，采用ddqn的深度强化学习方法循环执行步骤d1.1至步骤d1.5,直到达到最大循环次数或者损失函数的绝对值小于预设阈值，得到云边端系统中移动设备的计算任务卸载到基站、无人机或任务处理设备的卸载决策；
[0076]
步骤d1.1：获得t时隙下云边端系统的状态，即t时隙下云边端系统中所有移动设备的计算任务的数据量d(t)和位置数据l(t)，状态表示为s
t
＝(d(t)，l(t))；
[0077]
步骤d1.2：ddqn网络内有包括移动设备的卸载决策动作的动作空间a
t
，移动设备的卸载决策动作包括卸载到基站、无人机或任务处理设备；
[0078]
步骤d1.3：将t时隙下云边端系统的状态s
t
输入进ddqn网络中，基于输出动作空间a
t
中各个动作的价值，再结合∈-greddy准则选择生成的动作a
t
，并计算出云边端系统能耗的负值作为ddqn的奖励，记为r
t
；并更新(t+1)时隙的状态s
t+1
，
[0079]
步骤d1.4：将步骤d1.1和步骤d1.3生成的(s
t
，a
t
，r
t
，s
t+1
，)存入到记忆库中，若记忆库中的数据已经满了，则用新的数据逐个覆盖旧的数据；
[0080]
步骤d1.5：当记忆库中的数据达到预设数量后，抽取记忆库中预设数量的数据训练ddqn网络。
[0081]
作为本发明的一种优选技术方案，所述ddqn网络内包含预测网络、目标网络，所述损失函数l为：
[0082]
l＝(q
预测-q
目标
)2[0083]q预测-q(s
t
，a
t
)
[0084]q目标
＝r
t
+γq(s
t+1
，a
t+1
)
[0085]
式中，q
预测
为基于s
t
、a
t
输入到ddqn的预测网络中得到的预测输出值，q
目标
为基于r
t
、s
t+1
、a
t+1
输入到ddqn的目标网络得到的目标输出值。
[0086]
作为本发明的一种优选技术方案，所述步骤d2的具体过程如下：
[0087]
步骤d2.1：步骤d2:基于步骤d1中求解的云边端系统卸载策略，以及各无人机位置部署，将云边端系统的优化问题重塑为：
[0088][0089]
s.t.约束1：t1＜t
qos
[0090]
约束4：
[0091]
约束5：
[0092]
式中，f表示无人机资源分配矩阵；h表示卸载动作为卸载给无人机的移动设备集合，e1表示卸载给无人机的卸载动作所对应的系统总能耗；t1表示卸载给无人机的卸载动作所对应的系统总时间，约束1表示每个任务的处理时间不能超过自身的服务质量时间t
qos
；约束4表示当第j个无人机为第i个移动设备服务时，无人机的剩余能量eu(t)应该大于此次任务处理所需要的能量约束5表示无人机分配给移动设备计算资源不能超过无人机的计算资源上限；
[0093]
步骤d2.2：引入广义拉格朗日函数，步骤d2.1的问题变化为
[0094][0095]
其中，αj、βj、γj是拉格朗日算子，是关于αj，βj，γj的函数；
[0096]
步骤d2.3：定义函数
[0097][0098]
若约束有一个不满足，将趋近于无穷，得出
[0099][0100]
综上，在满足约束的情况下，
[0101]
步骤d2.4：定义关于αj，βj，γj的函数
[0102][0103]
步骤d2.5：定义重塑问题的对偶问题
[0104][0105]
求解对偶问题的解即可求解重塑问题的解，得到承载了计算任务的各无人机分别为其所对应的计算任务分配的计算资源。
[0106]
作为本发明的一种优选技术方案，所述步骤d3的具体过程如下：
[0107]
步骤d3.1：将各个无人机的位置均采用预设长度的二进制表示，位数不够的在前
面补0；
[0108]
步骤d3.2：基于各个采用预设长度的二进制表示位置的无人机，生成一个无人机种群，其中无人机的总个数为i，每个无人机都是一个无人机个体，无人机种群公式可以表示为：
[0109][0110]
步骤d3.3：从种群i中随机抽取k个无人机个体作为父本，再随机抽取k个无人机个体作为母本，构成一组；
[0111]
步骤d3.4，对于每一组父本和母本，确定两个十进制随机数，两个随机数之和小于无人机个体长度对应的十进制数；将母本前端到第一个随机数长度的dna和母本后端到第二个随机数长度的dna替换掉父本中对应的部分，得到新的个体；
[0112]
步骤d3.5，对于新的个体每个位数都以预设概率变异，即1变为0，0变为1，若新个体满足无人机位置的约束即保留；
[0113]
步骤d3.6，将新的个体与对应的父体分别代入目标函数中进行比较，保留能耗较少的一方；
[0114]
步骤d3.7，反复迭代步骤d3.3至步骤d3.6，直到达到设定的迭代次数，得到筛选后的无人机种群；
[0115]
步骤d3.8，从筛选后的无人机种群中，抽取预设无人机个数的无人机位置部署，作为当前无人机在目标区域的位置部署。
[0116]
作为本发明的一种优选技术方案，所述步骤d3.1将各个无人机的位置均采用预设长度的二进制表示，位数不够的在前面补0的过程如下：
[0117]
确定无人机横纵坐标的范围和高度的上限和下限，这三者的最高值作为标准，并将最高值转化为二进制，其他两个数都以该最高值对应的二进制长度为标准转化为二进制，长度不足的在前面补0。
[0118]
本发明的有益效果为：本发明提供了一种云边端合作的边缘计算方法，使用基站、无人机和任务处理设备协作帮助移动设备处理计算任务，采用ddqn深度强化学习求解卸载策略，使用拉格朗日对偶法求解无人机的总资源分配，使用遗传算法求解无人机的部署。本发明综合考虑了网络内的所有可利用的计算设备，有效地降低计算任务的系统处理能耗，提高用户的服务质量，具有一定灵活性。本发明采用ddqn深度强化学习计算得到最优卸载策略，能够以较低的复杂度获得大量移动设备的卸载动作，能够适应动态的环境变化。降低复杂度后一是可以节约计算资源，降低移系统的功耗，二是节约计算时间，可以提高系统的实时性，三是高效利用太阳能清洁能源。
附图说明
[0119]
图1是本发明实施例的云边端合作的边缘计算方法流程图；
[0120]
图2为本发明实施例的无人机辅助计算网络的结构示意图；
[0121]
图3为本发明实施例的ddqn深度强化学习示意图；
[0122]
图4为本发明实施例的用于求解无人机部署的遗传算法无人机个体示意图；
[0123]
图5为本发明实施例的用于求解无人机部署的遗传算法交叉示意图；
[0124]
图6为本发明实施例的四种计算方法的能耗随着移动设备数量的增加变化示意图；
[0125]
图7为本发明实施例的四种计算方法的能耗随着移动设备任务量的增加变化示意图。
具体实施方式
[0126]
下面结合附图对本发明进行进一步说明。
[0127]
现有移动边缘计算中，考虑基站、无人机和任务处理设备之间的协作关系比较少，另外无人机的充电一直是一个难点。如何延长无人机在移动边缘计算中的工作时间，利用太阳能等清洁能源，可以提高移动设备服务质量的同时，绿色环保。图1是本发明实施例的云边端合作的边缘计算方法流程图。移动设备随时会产生计算任务，由于设备的计算能力有限，因此本实施例考虑引入基站、多无人机和空闲设备帮助多用户处理计算任务，从而降低系统总能耗，提高服务质量。
[0128]
一种云边端合作的边缘计算方法，针对基站所对应的目标区域，由基站、各移动设备、各无人机、各任务处理设备构成的云边端系统，如图2所示，任务处理设备为用于接入系统处理计算任务的硬件设备，基于各移动设备产生的计算任务，执行以下步骤，如图1所示，获得云边端系统中移动设备的计算任务卸载到基站、无人机或任务处理设备的卸载策略，无人机的计算资源分配策略，以及各无人机在目标区域内的位置部署策略。
[0129]
步骤a：基于目标区域内的各移动设备与基站通信，各移动设备将产生的计算任务的数据量和产生计算任务时各移动设备的位置数据传输给基站。
[0130]
所述步骤a的具体过程如下：
[0131]
步骤a1：移动设备i的位置在t时隙的三维坐标表示为li(t)＝(xi(t)，yi(t)，0),xi(t)、ui(t)分别是移动设备i在t时隙的x轴坐标值和y轴坐标值；
[0132]
基于高斯马尔可夫移动模型与随机移动模型(gmrm)，第i个移动设备在t时隙的移动速度vi(t)和方向θi(t)分别表示为：
[0133][0134][0135]
式中，和为调整前一个时隙对当前时隙的影响的系数，和值均在0和1之间；是目标区域内所有移动设备的平均速度；是第i个移动设备的平均方向，且不同的设备具有的平均方向也不同；φi为服从第i个移动设备速度均值、速度方差的独立高斯分布的常数，ψi为服从第i个移动设备方向均值、方向方差的独立高斯分布的常数；
[0136]
综上，第i个移动设备在t时隙的位置li(t)表示为
[0137]
li(t)＝(xi(t-1)+τvi(t)cosθi(t)，yi(t-1)+τvi(t)sinθi(t)，0)；
[0138]
式中，τ为一个时隙的时间长度；
[0139]
步骤a2：第i个移动设备将在t时隙产生的计算任务的数据量di(t)，和产生计算任务时各移动设备的位置li(t)传输给基站，由于任务的大小和位置信息的数据量非常小，因
此发送给基站的系统消耗能量可以忽略不计。
[0140]
步骤b：初始化各无人机位置部署，检查无人机自身电量状况，若电量不足则从太阳能收割能量。
[0141]
所述步骤b的具体过程如下：
[0142]
检测上一个时隙结束后无人机的剩余能量eu(t-1)，若无人机剩余能量eu(t-1)小于无人机与移动设备服务和通信需要的能量ec，则无人机通过设置在无人机上的太阳能电池板收割太阳能进行充电；
[0143]
因此，可以得到t时隙开始前无人机的剩余能量eu(t)公式：
[0144][0145]
式中，e
solar
为无人机通过设置在无人机上的太阳能电池板收割的太阳能。
[0146]
步骤c:针对云边端系统，基于移动设备的计算任务卸载到基站、无人机或任务处理设备计算分别对应的能耗，以降低云边端系统总能耗为目标构建云边端系统的优化问题。
[0147]
每个计算任务有3种计算模式，分别为：(1)ai＝1卸载给无人机计算；(2)ai＝2卸载给基站计算；(3)ai＝3卸载给附近的任务处理设备计算。
[0148]
所述步骤c的具体过程如下：
[0149]
步骤c1：当t时隙第i个移动设备产生的计算任务卸载给第j个无人机时，基于香农公式得到第i个移动设备和第j个无人机之间的数据传输速率表示为：
[0150][0151]
式中，表示移动设备与无人机之间的信道带宽，u指代无人机，m为指代移动设备，pi表示第i个移动设备的传输功率，g0表示1m处的信道增益，g0、γ均为常数，n0表示噪声功率谱密度，||li(t)-lj||为第i个移动设备和第j个无人机之间的距离,li(t)表示第i个移动设备在t时隙的位置，lj表示第j个无人机的位置；
[0152]
当t时隙第i个移动设备的计算任务卸载给第j个无人机时，数据传输时间和传输能耗分别表示为：
[0153][0154][0155]
式中，di(t)表示第i个移动设备在t时隙产生的计算任务的数据量；
[0156]
第j个无人机计算第i个移动设备的计算任务的计算时间和计算能耗表示为：
[0157][0158]
[0159]
式中，为第j个无人机分配给第i个移动设备的计算资源，ρ表示计算任务需要就算的比例，κ表示电容开关；
[0160]
综上，当t时隙第i个移动设备的计算任务卸载给第j个无人机时，云边端系统的总时间t1和总能耗e1表示为：
[0161][0162][0163]
步骤c2：当t时隙第i个移动设备的计算任务卸载给基站时，基于香农公式得到第i个移动设备和基站之间的数据传输速率表示为
[0164][0165]
其中，||li(t)||为第i个移动设备和基站之间的距离，表示移动设备与基站之间的信道带宽，m指代无人机，b指代基站；
[0166]
当t时隙第i个移动设备的计算任务卸载给基站时，数据传输时间和传输能耗分别表示为：
[0167][0168][0169]
由于基站的计算能力很强，所以基站的计算时间和计算能耗可以忽略不计。综上，当t时隙第i个移动设备的计算任务卸载给基站时，云边端系统的总时间t2和总能耗e2表示为：
[0170][0171][0172]
步骤c3：当t时隙第i个移动设备的计算任务卸载给任务处理设备时，基于香农公式获得第i个移动设备和任务处理设备之间的数据传输速率表示为
[0173][0174]
式中，||li(t)-lc||为第i个移动设备和任务处理设备间的距离，lc表示任务处理设备的坐标，表示移动设备与任务处理设备之间的信道带宽，m指代无人机，c指代任务处理设备；
[0175]
当t时隙第i个移动设备的计算任务卸载给任务处理设备时，数据传输时间和传输能耗分别表示为
[0176][0177]
[0178]
任务处理设备计算第i个移动设备的计算任务的计算时间和计算能耗表示为：
[0179][0180][0181]
式中，假定任务处理设备的计算能力是固定的，即分配给移动设备的计算资源固定为fc，fc为任务处理设备分配给移动设备的计算资源；
[0182]
综上，当t时隙第i个移动设备的计算任务卸载给任务处理设备时，云边端系统的总时间t3和总能耗e3表示为
[0183][0184][0185]
步骤c4，综上，优化问题可以表示为
[0186][0187]
s.t.约束1：
[0188]
约束2：||l
j-lk||≥d
min
[0189]
约束3：||lj||＜||lj||
max
[0190]
约束4：
[0191]
约束5：
[0192]
式中，a表示移动设备卸载决策矩阵；f表示无人机资源分配矩阵；l表示无人机位置矩阵；i表示目标区域内移动设备的总数；ai为云边端系统对于第i个移动设备的卸载决策动作，ai＝1表示卸载给无人机，ai＝2表示卸载给基站，ai＝3表示卸载给任务处理设备；约束1表示每个任务的处理时间不能超过自身的服务质量时间t
qos
；约束2表示每两个无人机之间要大于等于最小距离d
min
，防止无人机发生碰撞；约束3表示每个无人机的位置不能超过空间限制，比如横纵坐标不能超过上限，飞行高度不能低于下限也不能高于上限；约束4表示当无人机为移动设备服务时，无人机的剩余能量应该大于此次任务处理所需要的能量；约束5表示无人机分配给移动设备计算资源不能超过无人机的计算资源上限。
[0193]
给定f，l，原问题就变为求解卸载策略的问题。由于该问题是一个整数非线性规划问题，若使用传统的凸优化技术求解，复杂度会随着移动设备数量的增加而增加，另外迭代次数也会过多，因此采用ddqn的一种深度强化学习方法求解卸载策略。使用ddqn算法，算法的复杂度并不会因为移动设备数量的增加而增加。虽然，训练的过程可能会消耗一些时间，但是一旦网络拟合后，就可以在极短的时间内给出移动设备的卸载策略。
[0194]
步骤d:基于云边端系统构建的优化问题，针对步骤a中基站接收到各移动设备传输的计算任务的数据量与产生计算任务时各移动设备的位置数据，循环执行步骤d1至步骤d3，直到结果收敛或者达到最大循环迭代次数，获得云边端系统中移动设备的计算任务卸载到基站、无人机或任务处理设备的卸载策略，无人机的计算资源分配策略，以及各无人机
在目标区域内的位置部署策略，如图3所示。
[0195]
步骤d1:基于云边端系统构建的优化问题，根据各无人机位置部署，针对步骤a中基站接收到各移动设备传输的计算任务的数据量与产生计算任务时各移动设备的位置数据，采用深度强化学习方法求解云边端系统中移动设备的计算任务卸载到基站、无人机或任务处理设备的卸载决策。
[0196]
基于移动设备的任务数据量di(t)和地理位置li(t)，以降低系统总能耗为目标，采用ddqn求解用户的卸载策略的过程所述步骤d1的具体过程如下：
[0197]
基于云边端系统构建的优化问题，根据各无人机位置，针对步骤a中基站接收到各移动设备传输的计算任务的数据量与产生计算任务时各移动设备的位置数据，采用ddqn的深度强化学习方法循环执行步骤d1.1至步骤d1.5,直到达到最大循环次数或者损失函数的绝对值小于预设阈值，得到云边端系统中移动设备的计算任务卸载到基站、无人机或任务处理设备的卸载决策；
[0198]
步骤d1.1：获得t时隙下云边端系统的状态，t时隙下ddqn的状态包括两部分：即t时隙下云边端系统中所有移动设备的计算任务的数据量d(t)和位置数据l(t)，状态表示为s
t
＝(d(t)，l(t))；
[0199]
步骤d1.2：ddqn网络内有包括移动设备的卸载决策动作的动作空间a
t
，t时隙下ddqn的动作空间即移动设备的卸载策略的备选空间，移动设备的卸载决策动作包括卸载到基站、无人机或任务处理设备；(1)ai＝1卸载给无人机计算；(2)ai＝2卸载给基站计算；(3)ai＝3卸载给附近的任务处理设备计算；
[0200]
步骤d1.3：将t时隙下云边端系统的状态st输入进ddqn网络中，基于输出动作空间a
t
中各个动作的价值，再结合∈-greddy准则选择生成的动作a
t
，并计算出云边端系统能耗的负值作为ddqn的奖励，记为r
t
；并更新(t+1)时隙的状态s
t+1
，
[0201]
步骤d1.4：将步骤d1.1和步骤d1.3生成的(s
t
，a
t
，r
t
，s
t+1
，)存入到记忆库中，若记忆库中的数据已经满了，则用新的数据逐个覆盖旧的数据；
[0202]
步骤d1.5：当记忆库中的数据达到预设数量后，抽取记忆库中预设数量的数据训练ddqn网络。
[0203]
所述ddqn网络内包含预测网络、目标网络，两个网络使用完全相同的结构和不同的参数，作用是用来生成预测q值和目标q值，所述损失函数l为：
[0204]
l＝(q
预测-q
目标
)2[0205]q预测
＝q(s
t
，a
t
)
[0206]q目标
＝r
t
+γq(s
t+1
，a
t+1
)
[0207]
式中，q
预测
为基于s
t
、a
t
输入到ddqn的预测网络中得到的预测输出值，q
目标
为基于r
t
、s
t+1
、a
t+1
输入到ddqn的目标网络得到的目标输出值。
[0208]
步骤d2:基于步骤d1中求解的云边端系统卸载策略，以及各无人机位置部署，采用拉格朗日对偶法求解承载了计算任务的各无人机分别为其所对应的计算任务分配的计算资源。默认基站的计算资源与任务处理设备的计算资源为无限大。
[0209]
所述步骤d2的具体过程如下：
[0210]
步骤d2.1：步骤d2:基于步骤d1中求解的云边端系统卸载策略，以及各无人机位置部署，将云边端系统的优化问题重塑为：
[0211][0212]
s.t.约束1：t1＜t
qos
[0213]
约束4：
[0214]
约束5：
[0215]
式中，f表示无人机资源分配矩阵；h表示卸载动作为卸载给无人机的移动设备集合，e1表示卸载给无人机的卸载动作所对应的系统总能耗；t1表示卸载给无人机的卸载动作所对应的系统总时间，约束1表示每个任务的处理时间不能超过自身的服务质量时间t
qos
；约束4表示当第j个无人机为第i个移动设备服务时，无人机的剩余能量eu(t)应该大于此次任务处理所需要的能量约束5表示无人机分配给移动设备计算资源不能超过无人机的计算资源上限；
[0216]
步骤d2.2：引入广义拉格朗日函数，步骤d2.1的问题变化为
[0217][0218]
其中，αj、βj、γj是拉格朗日算子，是关于αj，βj，γj的函数；
[0219]
步骤d2.3：定义函数
[0220][0221]
若约束有一个不满足，将趋近于无穷，得出
[0222][0223]
综上，在满足约束的情况下，
[0224]
步骤d2.4：定义关于αj，βj，γj的函数
[0225][0226]
步骤d2.5：定义重塑问题的对偶问题
[0227][0228]
求解对偶问题的解即可求解重塑问题的解，得到承载了计算任务的各无人机分别为其所对应的计算任务分配的计算资源。
[0229]
步骤d3:基于步骤d1中求解的云边端系统卸载策略，以及步骤d2中求解的无承载了计算任务的各无人机分别为其所对应的计算任务分配的计算资源，采用遗传方法求解各无人机在目标区域内的位置部署，进而实现无人机群中各无人机位置的更新。
[0230]
作为本发明的一种优选技术方案，所述步骤d3的具体过程如下：
[0231]
步骤d3.1：将各个无人机的位置均采用预设长度的二进制表示，位数不够的在前面补0；
[0232]
作为本发明的一种优选技术方案，所述步骤d3.1将各个无人机的位置均采用预设
长度的二进制表示，位数不够的在前面补0的过程如下：
[0233]
确定无人机横纵坐标的范围和高度的上限和下限，这三者的最高值作为标准，并将最高值转化为二进制，其他两个数都以该最高值对应的二进制长度为标准转化为二进制，长度不足的在前面补0；
[0234]
步骤d3.2：基于各个采用预设长度的二进制表示位置的无人机，生成一个无人机种群，其中无人机的总个数为i，每个无人机都是一个无人机个体，如图4所示，无人机种群公式可以表示为：
[0235][0236]
步骤d3.3：从种群i中随机抽取k个无人机个体作为父本，再随机抽取k个无人机个体作为母本，构成一组；
[0237]
步骤d3.4，对于每一组父本和母本，确定两个十进制随机数，两个随机数之和小于无人机个体长度对应的十进制数；将母本前端到第一个随机数长度的dna和母本后端到第二个随机数长度的dna替换掉父本中对应的部分，如图5所示，得到新的个体；
[0238]
步骤d3.5，对于新的个体每个位数都以预设概率变异，即1变为0，0变为1，若新个体满足无人机位置的约束即保留；
[0239]
步骤d3.6，将新的个体与对应的父体分别代入目标函数中进行比较，保留能耗较少的一方；
[0240]
步骤d3.7，反复迭代步骤d3.3至步骤d3.6，直到达到设定的迭代次数，得到筛选后的无人机种群；
[0241]
步骤d3.8，从筛选后的无人机种群中，抽取预设无人机个数的无人机位置部署，作为当前无人机在目标区域的位置部署。
[0242]
如图6所示本发明实施例的四种计算方法的能耗随着移动设备数量的增加变化图，图7所示本发明实施例的四种计算方法的能耗随着移动设备任务量的增加变化示意图。本发明设计了一种云边端合作的边缘计算方法，使用基站、无人机和任务处理设备协作帮助移动设备处理计算任务，采用ddqn深度强化学习求解卸载策略，使用拉格朗日对偶法求解无人机的总资源分配，使用遗传算法求解无人机的部署。本发明综合考虑了网络内的所有可利用的计算设备，有效地降低计算任务的系统处理能耗，提高用户的服务质量，具有一定灵活性。本发明采用ddqn深度强化学习计算得到最优卸载策略，能够以较低的复杂度获得大量移动设备的卸载动作，能够适应动态的环境变化。降低复杂度后一是可以节约计算资源，降低移系统的功耗，二是节约计算时间，可以提高系统的实时性，三是高效利用太阳能清洁能源。
[0243]
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理。前提下的若干改进和润饰，应视为本发明的保护范围。