端边云动态卸载框架中智能车辆的卸载任务分配方法

本发明属于端边云框架中资源任务动态分配调度，特别是基于强化算法的动态资源调度方法，尤其是一种端边云动态卸载框架中智能车辆的卸载任务分配方法。

背景技术：

1、随着物联网(iot)和移动边缘计算(mec)的迅猛发展，车辆已成为物联网生态系统中的关键节点。车辆作为移动的智能设备，可以直接向用户提供各种先进的智能化服务。通过v2x(vehicle-to-everything)通信系统的部署，车辆可以实现实时智能交通服务，并产生大量的任务数据。目前常见的its服务有无人驾驶、路况导航、视频监控等。互联和自动驾驶汽车(cavs)的出现为汽车行业带来了新的机遇和挑战。其中一个关键的挑战是如何有效地实时处理cavs生成的大量数据，保证能够及时且有效地为车辆处理任务。与此同时，当大量车辆同时处理任务时，如何分配本地、边缘设备和云服务器的计算资源和带宽，以及最优化时间和价格开销，是本领域一个热门的研究方向。因此，研究人员正在积极探索基于边缘计算和机器学习等技术的解决方案，以提高its系统的性能和效率。

2、在车联网的现实环境中，网络环境、用户需求和计算资源通常持续变化。如何根据环境为每个任务都制定合理的卸载与处理决策是研究该领域的重点方向。其中alasmari等人(k.alasmari,r.green,and m.alam,``mobile edge offloading using markovdecision processes,”edge computing–edge 2018:second international conference,pp.80-90,2018.)将服务卸载的决策过程抽象为马尔可夫决策过程(mdp)。之后kiumarsi等人(b.kiumarsi,k.vamvoudakis,h.modares,and f.lewis,“optimal and autonomouscontrol using reinforcement learning:a survey,”ieee transactions on neuralnetworks and learning systems,vol.29,no.6,pp.2042-2062,2018.)研究发现使用强化学习(rl)方法能够有效解决马尔可夫决策问题，他们将整个决策生成的过程抽象为智能体和环境的交互过程。arulkumaran等人(k.arulkumaran,m.deisenroth,m.brundage,anda.bharath,“deep reinforcement learning:a brief survey,”ieee signalprocessing magazine,vol.34,no.6,pp.26-38,2017.)提出将强化学习和深度学习结合(dl)，组成深度强化学习(drl)，则可以通过大量高维度仿真数据的训练，最终得到决策生成模型。上述工作虽然提出了较好的优化方案，但是基本是针对静态卸载的，也就是指每个任务的处理卸载决策，在该任务下达之后立刻生成，使得边缘服务器可以提前下载、处理和存储相关数据，从而降低任务传输延迟和网络带宽占用。然而静态卸载无法应对任务与环境的变化。在计算任务具有实时性要求、网络传输环境不稳定、计算任务大小不确定的情况下，静态卸载模型就无法为用户提供合理的决策。

技术实现思路

1、本发明的目的在于针对上述现有技术存在的问题，提供一种端边云动态卸载框架中智能车辆的卸载任务分配方法。

2、实现本发明目的的技术解决方案为：一方面，提供了一种端边云动态卸载框架中智能车辆的卸载任务分配方法，所述方法包括：

3、步骤1，建立包括一个云服务器、多个部署了边缘服务器的路边单元以及多辆智能车辆的端边云构架，定义该端边云构架中动态卸载的执行规则，并在其基础之上定义任务处理模型、任务传输模型、剩余量模型和综合了任务消耗时间与能耗的效用函数；

4、步骤2，使用改进的多智能体强化学习算法优化系统的最大化效用函数指标，并将网络的运行方式设置为集中式训练和分布式执行，运行时每辆智能车辆均根据自身当时的环境状态对此刻的卸载动作做出决策。

5、进一步地，还包括：

6、步骤3，训练完成之后各智能车辆使用本地的策略网络，独立完成卸载决策。

7、另一方面，提供了一种端边云动态卸载框架中智能车辆的卸载任务分配系统，所述系统包括：

8、第一模块，用于建立包括一个云服务器、多个部署了边缘服务器的路边单元以及多辆智能车辆的端边云构架，定义该端边云构架中动态卸载的执行规则，并在其基础之上定义任务处理模型、任务传输模型、剩余量模型和综合了任务消耗时间与能耗的效用函数；

9、第二模块，用于使用改进的多智能体强化学习算法优化系统的最大化效用函数指标，并将网络的运行方式设置为集中式训练和分布式执行，运行时每辆智能车辆均根据自身当时的环境状态对此刻的卸载动作做出决策。

10、进一步地，该系统还包括：

11、第三模块，用于实现训练完成之后各智能车辆使用本地的策略网络，独立完成卸载决策。

12、本发明与现有技术相比，其显著优点为：

13、(1)满足了智能车辆的卸载任务实时性要求：利用重复博弈的思想，允许每个任务多次卸载决策，在计算任务具有实时性要求、网络传输环境不稳定、计算任务大小不确定的情况下，能够提升系统资源的利用率。

14、(2)搭建了剩余量模型：在动态卸载模型中，构造了剩余量模型，来衡量特定的设备在特定状态下的局势，方便决策模型进行后续的判断。

15、(3)优化了智能车辆的卸载策略：本发明使用一种适应动态卸载模型的多智能体强化学习算法，来最大化系统中由耗时和耗能综合的效用函数，优化了智能车辆的卸载策略。

16、下面结合附图对本发明作进一步详细描述。

技术特征：

1.端边云动态卸载框架中智能车辆的卸载任务分配方法，其特征在于，所述方法包括：

2.根据权利要求1所述的端边云动态卸载框架中智能车辆的卸载任务分配方法，其特征在于，步骤1所述建立包括一个云服务器、多个部署了边缘服务器的路边单元以及多辆智能车的端边云构架，定义该端边云构架中动态卸载的执行规则，并在其基础之上定义任务处理模型、任务传输模型、剩余量模型和综合了任务消耗时间与能耗的效用函数，具体包括：

3.根据权利要求2所述的端边云动态卸载框架中智能车辆的卸载任务分配方法，其特征在于，步骤1.7中智能车辆即本地、路边单元和云服务器的剩余数据量具体为：

4.根据权利要求3所述的端边云动态卸载框架中智能车辆的卸载任务分配方法，其特征在于，步骤1.7中智能车辆即本地、路边单元和云服务器的剩余时间具体为：

5.根据权利要求4所述的端边云动态卸载框架中智能车辆的卸载任务分配方法，其特征在于，步骤1.7中智能车辆即本地、路边单元和云服务器的剩余能耗具体为：

6.根据权利要求5所述的端边云动态卸载框架中智能车辆的卸载任务分配方法，其特征在于，步骤1.8所述利用剩余量模型计算任务总消耗时间和总消耗能量，具体包括：

7.根据权利要求6所述的端边云动态卸载框架中智能车辆的卸载任务分配方法，其特征在于，步骤2所述使用改进的多智能体强化学习算法优化系统的最大化效用函数指标，并将网络的运行方式设置为集中式训练和分布式执行，运行时每辆智能车辆均根据自身当时的环境状态对此刻的卸载动作做出决策，具体包括：

8.根据权利要求1所述的端边云动态卸载框架中智能车辆的卸载任务分配方法，其特征在于，该方法还包括：

9.基于权利要求1至8任意一项所述方法的端边云动态卸载框架中智能车辆的卸载任务分配系统，其特征在于，所述系统包括：

10.根据权利要求9所述的端边云动态卸载框架中智能车辆的卸载任务分配系统，其特征在于，该系统还包括：

技术总结
本发明公开了一种端边云动态卸载框架中智能车辆的卸载任务分配方法，该方法首先建立由一个云服务器、多个部署了边缘服务器的路边单元以及多辆智能车组成的端边云架构，然后定义了架构中动态卸载的执行规则，并在其基础之上定义了任务处理模型、任务传输模型、剩余量模型和综合了任务消耗时间与能耗的效用函数。使用改进的多智能体强化学习算法来优化架构的最大化效用函数指标，并将网络的运行方式设置为集中式训练和分布式执行，运行时每辆智能车均能根据自身当时的环境状态对此刻的卸载动作做出决策。该方法操作简单，实用性强，提高了端边云架构的服务质量以及车辆任务执行的资源消耗。

技术研发人员：周俊龙,高艺菲,夏沛文,李丽颖,丛佩金
受保护的技术使用者：南京理工大学
技术研发日：
技术公布日：2024/1/16