一种无人机辅助的智能网联汽车任务卸载和功率分配方法

本发明涉及车联网与智能网联汽车，具体涉及一种无人机辅助的智能网联汽车任务卸载和功率分配方法。

背景技术：

1、随着经济和技术的高速发展，世界范围内的汽车保有量一直在持续增加。同时5g通信和物联网(internet of things,iot)的快速发展为我们发展自动驾驶、车载娱乐等应用提供了契机。例如可以在车辆上部署虚拟现实、增强现实等应用以提升车载体验。而此类应用大多是计算密集型和延迟敏感型的，仅依靠车辆自身算力很难保证低延迟和低能耗的要求。在较早时期曾提出使用云计算方案来解决相关问题，云计算方案指计算资源部署在某一物理区域，车辆通过无线通信与路侧设备进行通信将车载任务卸载至路侧，路侧设备再将任务上发至云计算中心进行计算，云计算中心再将计算结果下发至车辆，虽然该方案解决了计算资源紧缺的问题，但由于云计算部署距离路侧较远而导致无法完全保证低时延的需求。在近年来多项研究提出了移动边缘计算(mobile edge computing,mec)为车辆进行任务卸载的方法。即将计算资源部署至路侧，车辆通过路侧通信设备进行任务卸载，使用边缘计算服务器进行计算，以此在满足计算资源供给的同时满足了低时延的要求。在beyond-5g或6g时代的愿景中，将整合地面车载网络、空中甚至太空中信息通信技术(information and communications technology，ict)基础设施，以随时随地提供更无处不在的无线连接和计算服务。将来有望在无人机(unmanned aerial vehicle,uav)上安装移动边缘计算系统，以提供来自空中的边缘计算服务。为支持智能交通系统(intelligenttraffic system，its)的未来演进，无人机和智能网联自动驾驶汽车(connectedautonomous vehicles，cav)可以在通信和计算管理上进行合作，然后形成空地协同车载网络，以灵活适应高动态拓扑。地-空网络可以作为平台在网络受损等紧急情况下实现网络覆盖，或者作为低成本基础设施在拥挤区域提供流量卸载。同时随着通信技术的发展通信带宽日渐成为紧缺资源，传统的正交多址(orthogonal multiple access,oma)技术仅允许各个用户使用独立的频段、时段等资源进行通信，而在当前5g的增强型移动宽带、高可靠低时延应用、海量机器通信三大应用场景较以往技术都需要更大带宽来保证。在当前技术中，为获得更大授权频段已经开始使用毫米波频段，而更高频的频段意味着传播损耗更大、传播范围更小。为提高通信资源的利用效率和信道容量，可以考虑非正交多址(non-orthogonalmultiple access,noma)技术。noma允许用户共享整个频谱来进行任务收发，可以比使用原有oma技术拥有更高的容量，以此实现在大规模连接时有效缓解数据拥塞问题。同时随着串行干扰消除技术的成熟，noma较oma而言支持更高连接、更低时延、更高效率。

技术实现思路

1、针对现有技术的不足，本发明提供了一种无人机辅助的智能网联汽车任务卸载和功率分配方法，能在车辆高速移动、信道质量动态变化、计算任务随机到达的环境下，考虑车辆计算任务协同计算与车辆功率分配，保证计算任务通信时延预算的同时，降低车辆能耗。

2、为实现上述目的，本发明提供如下技术方案：

3、一种无人机辅助的智能网联汽车任务卸载与功率分配方法，包括以下步骤：

4、步骤s1：车辆初始化深度强化学习模型参数，所述深度强化学习模型包括当前网络、目标网络以及评价网络；初始化无人机的初始位置、飞行高度、飞行速度、覆盖范围以及所部署移动边缘计算服务器计算容量，初始化道路宽度和车道数，初始化基站位置、高度以及覆盖范围；

5、步骤s2：车辆观测并储存局部状态信息，车辆使用当前深度强化学习模型与环境进行交互，所述交互的内容为：通过车身传感器和车载通信单元获取计算任务缓存器中剩余计算任务量、当前车辆与基站、无人机之间的信道质量，将车身传感器所感知到的局部状态信息作为部署在车辆上的当前网络模型的输入，其输出为决策动作；

6、步骤s3：车辆持续收集s2中感知的当前局部状态信息、当前网络模型输出的决策动作、当前动作奖励值并将其保存到本地缓存器中，其中决策动作为车辆当前与基站、无人机卸载任务和本地任务计算所消耗的功率；车辆通过车身传感器感知到当前计算任务缓存器中剩余计算任务量以及得到的车辆当前与基站、无人机卸载任务和本地任务计算所消耗的功率，通过以上感知所得剩余计算任务量和得到的决策动作直接得到当前动作奖励值；

7、步骤s4：当本地缓存器中数据量达到n时，使用本地缓存器中数据进行损失函数中估计函数计算和评价网络参数更新，否则重复步骤s2、s3；

8、步骤s5：使用存储的局部状态信息和决策动作获取当前网络和目标网络的重要性权重；

9、步骤s6：利用更新后的评价网络和步骤s5中所求得的重要性权重对当前网络参数进行更新；

10、步骤s7：当当前网络更新完毕以后，利用当前网络的权重更新目标网络的权重；

11、步骤s8：所有网络更新完毕后返回步骤s1，重复步骤s1-s8共计m次。

12、进一步地，在所述步骤s2中，所观测的局部状态信息包括车辆任务缓存器中剩余计算任务长度、从基站或者无人机获取当前时刻的剩余计算容量、通过基站和/或无人机获取当前信道质量；所做出的决策动作为车辆当前与基站、无人机卸载任务和本地任务计算所消耗的功率。

13、进一步地，在所述步骤s3中，车辆始终维持本地缓存器固定大小，每一轮迭代完毕以后丢弃该轮数据并持续收集新一轮数据。

14、再进一步地，所述动作奖励值的计算方式如下：

15、

16、其中，rn表示第n步动作奖励值，n＝1,2,3…,n-1，n表示迭代总步数/轮数；ζ∈[0,1]为权衡因子；tn表示计算任务缓存器中剩余计算任务量；bs指示基站，uav指示无人机，l指示本地计算，车辆第n步与基站卸载任务所消耗的功率，为无人机卸载任务所消耗的功率，为本地任务计算所消耗的功率，为所述决策动作，由当前网络模型输出得到。

17、进一步地，在所述步骤s4中，评价网络参数更新的方法为：将本地缓存器中最后一步所得到的局部状态信息输入至评价网络中，得到最后一步t的状态的价值并计算其上一步折扣奖励值；其中折扣奖励值的计算方式如下：

18、rt-1＝rt-1+κvt

19、其中κ为折扣系数；vt为第t步状态价值，rt-1为t-1步动作奖励值，rt-1表示t-1步的折扣奖励值，t＝1,2,3…,n。

20、往复步骤s1～步骤s4并依次求解出每一步的折扣奖励值r＝[r0,r1,...,rt]；随后将采样到的n个局部状态信息依次输入至评价网络中得到所有状态的价值v＝[v0,v1,...,vt]，计算差值b＝r-v并计算估计函数；第n步估计函数计算方式为：

21、

22、其中，φ为方差和偏差的权衡值，λ为折扣系数，γ为折扣系数，n为某一回合的第n步，n＝1,2,3…,n-1，v为在n+l步时的状态价值，l表示求和函数σ的变量，为折扣奖励与真实奖励差值；

23、而表达式如下：

24、

25、其中v(·；ω)为价值函数，ω为当前网络所使用的策略，sn为第n步的局部状态信息，rn为第n步的动作奖励值；

26、根据所求出的b计算评价网络的损失函数，其计算方式如下：

27、c_loss＝||b||2

28、其中||·||2为l2范数，求解出损失函数值后反向传播更新评价网络，c_loss为评价网络损失函数计算方式。

29、进一步地，在所述步骤s5中，如下式所示，重要性权重计算方式为：假设当前网络及目标网络策略的分布服从高斯分布，将所述步骤s3中收集得到的所有局部状态信息分别输入到当前网络和目标网络中得到两种网络下的策略的分布；将所述步骤s3中收集得到的所有决策动作输入到两种分布中得到对应动作在策略分布下的取值，将两种取值相除便得到重要性采样；

30、

31、其中，rn(θ)为重要性采样结果，an为第n步所采取的决策动作，θ为当前网络下采用的策略参数，θold表示目标网络采用的策略参数，sn为第n步状态。

32、进一步地，在所述步骤s6中，当前网络模型的参数更新方法为：利用所述步骤s4所得估计函数和所述步骤s5中得到的重要性权重结合以下当前网络损失函数计算公式，求解得到当前网络的损失函数值，利用反向传播更新当前网络参数；

33、

34、其中，为当前网络损失函数，ε为限制rn(θ)的超参数，rn(θ)为重要性采样结果，第n步的估计函数，φ为方差和偏差的权衡值，λ为折扣系数。

35、进一步地，在所述步骤s7中，当利用所有数据更新完成当前网络参数后利用当前网络的权重更新目标网络的权重，以此完成一次迭代。

36、与现有技术相比，本发明提供了一种无人机辅助的智能网联汽车任务卸载和功率分配方法，具备以下有益效果：

37、(1)本发明的任务卸载和功率分配方法在车辆高速移动、信道质量动态变化、计算任务随机到达的环境下，考虑车辆计算任务协同计算与车辆功率分配，保证计算任务通信时延预算的同时，降低了计算任务的时延和车辆能耗。

38、(2)本发明的任务卸载和功率分配方法综合考虑noma技术以进一步提高信道容量和通信容量。