一种车边协同任务卸载方法、系统以及介质与流程

本技术涉及车联网，具体而言，涉及一种车边协同任务卸载方法、系统以及介质。

背景技术：

1、随着经济的高速发展以及物联网(internetofthings,iot)技术的进步，智能汽车成为人们日常出行中不可或缺的重要交通方式。智能车辆应用和服务，包括图像辅助导航、智能车辆控制、增强现实(augmentedreality,ar)、在线游戏和社交媒体应用等应用程序计算密集且对延迟敏感，需要大量的计算和存储资源进行处理，将给车辆的计算带来很大压力。

2、为解决车联网中计算资源短缺问题，除了制造业发展、提高车辆本身的计算资源配置以外，计算任务卸载被认为一种有效的解决方案，即车辆将自身的工作负载转移到其他计算资源更丰富的设备进行处理。其中移动边缘计算(mobileedgecomputing,mec)，通过将“云”中的服务转移到更靠近用户的接入网中，从而实现边缘网络中应用、服务和内容的本地化。基于边缘计算的动机和基础，在车联网场景中，车载边缘计算(vehicularedgecomputing,vec)成为一种支持智能交通系统服务(intelligenttrafficsystem,its)、智慧城市应用和城市计算的有前途的技术。

3、另外，应用程序的内部功能模块复杂度越来越高，如各种基于机器学习算法的应用、路径规划、增强现实等任务。这类具有高复杂度、内部模块可逻辑划分成关联性任务集合的移动应用，可抽象为异构工作流，进而通过计算任务卸载计划将模块化的各个子任务分散到不同设备并行执行，以提高移动设备的执行效率。异构工作流内部结构较为复杂，子任务之间存在严格的数据或控制依赖关系，这些子任务必须在前驱任务全部完成的情况下才能开始。卸载决策要考虑到这些依赖，否则出现工作流子任务获得到计算资源，然而其前驱任务尚未执行，因此子任务不得不被迫空等的问题。因此，如何在车边协同的工作环境下实现对形式复杂、结构不同的异构工作流的卸载决策，并保证满足时延的约束和减少车辆能耗仍面临巨大的挑战。

4、针对上述问题，目前亟待有效的技术解决方案。

技术实现思路

1、本技术的目的在于提供一种车边协同任务卸载方法、系统以及介质，通过列表调度和深度强化学习的方法进行任务卸载方式的决策，能够快速有效地执行任务卸载，有效降低时延与成本，提高执行效率。

2、第一方面，本技术提供了一种车边协同任务卸载方法，所述方法包括：

3、对具有关联性子任务的车载应用进行任务抽象与建模，将其拆分成工作流应用程序；

4、通过列表调度方法，计算所述工作流应程序的各子任务优先级，并按照优先级进行排序，生成工作流子任务调度序列并计算任务嵌入向量；

5、利用序列到序列深度强化学习的任务调度方法，按序对每个工作流子任务进行二分卸载决策，得到任务卸载方式；所述任务卸载方式包括：将任务卸载到本地去执行或者将任务卸载到边缘服务端去执行；

6、车载终端将强化学习策略网络参数上传至边缘服务器进行训练，将训练好的网络参数传回本地进行强化学习策略网络的更新。

7、本方案中，对具有关联性子任务的车载应用进行任务抽象与建模，将其拆分成工作流应用程序，具体为：

8、识别车载应用中具有独立功能的子模块任务，预估每个子模块任务的输入数据量输出结果数据量执行所需的总cpu周期数xi；

9、将所述的各个子模块任务建模为有向无环图，表示为其中为有向无环图中的顶点集合，每一个顶点对应应用程序中可逻辑划分的子模块任务，表示wdg中的边集，每一个双向边为两个子任务ti和tj之间的数据和控制依赖，边的权重表示前驱任务的执行结果传递给后继任务的数据量，τ为此工作流应用的最大允许延迟，单位是毫秒。

10、本方案中，所述通过列表调度方法，计算所述工作流应程序的各子任务优先级，并按照优先级进行排序，生成工作流子任务调度序列并计算任务嵌入向量，具体包括：

11、对于有向无环图中的出口节点φi，定义子任务的优先级为rank(φi)＝ti,e，其中表示将子任务上传到边缘服务器执行，并将结果回传到车载终端的处理时间；

12、自有向无环图的出口节点向上，递归计算其他子任务的优先级为

13、

14、，式中succ(φi)表示子任务φi的后继任务，计算各任务节点的优先级后，进行从高到低排序，得到一个符合工作流依赖约束的调度序列；

15、对所述的调度序列进行编码，将各个任务节点的数据大小、预估开销特征信息编码到嵌入中。

16、本方案中，任务节点φi嵌入ψi中包含特征信息有：子任务本身的编号i、直接前驱节点向量直接后继节点向量任务在本地执行的预估时延和能耗卸载边缘服务器的预估时延包括：上传时延执行时延和回传结果时延执行能耗

17、本方案中，利用序列到序列深度强化学习的任务调度方法，按序对每个工作流子任务进行二分卸载决策，得到任务卸载方式，具体包括：

18、使用seq2seq网络作为深度强化学习模型中策略网络和价值网络的主体，各个任务的嵌入序列作为seq2seq网络编码器的输入，编码器计算当前步的隐状态hi＝fe(ψi,hi-1)，其中fe为编码器网络，最终所有时间步的隐状态转换为上下文向量c；

19、seq2seq网络的解码器网络参数为fd，计算解码器的隐藏层变换为h′j＝fd(aj-1,cj,h′i-1)，其中aj-1为解码器在上一时间步的输出，表示为子任务φj-1的二分调度动作；

20、当获得解码器的隐状态之后，使用输出层和softmax来计算在时间步j时输出调度动作aj的条件概率分布p(aj|a1,a2,…,aj-1,c)，利用条件概率可获得卸载决策

21、本方案中，车载终端将强化学习策略网络参数上传至边缘服务器进行训练，将训练好的网络参数传回本地进行强化学习策略网络的更新，具体包括：

22、在计算任务的非高峰时间，通过道路单元，车辆终端将序列到序列模型的网络参数上传至计算资源充足的边缘服务器进行训练；

23、边缘服务器利用收集的车载应用工作流调度轨迹，计算强化学习的优势、奖励值等数值，利用近端策略优化方法更新网络参数，优化工作流应用执行时间和车辆能耗；

24、边缘服务器将训练好的网络参数回传至车辆终端，从而进行车载应用任务卸载时使用更新的网络参数进行推理。

25、本技术第二方面还提供了一种车边协同任务卸载系统，该系统包括：存储器及处理器，所述存储器中包括车边协同任务卸载方法的程序，所述车边协同任务卸载方法的程序被所述处理器执行时实现以下步骤：

26、对具有关联性子任务的车载应用进行任务抽象与建模，将其拆分成工作流应用程序；

27、通过列表调度方法，计算所述工作流应程序的各子任务优先级，并按照优先级进行排序，生成工作流子任务调度序列并计算任务嵌入向量；

28、利用序列到序列深度强化学习的任务调度方法，按序对每个工作流子任务进行二分卸载决策，得到任务卸载方式；所述任务卸载方式包括：将任务卸载到本地去执行或者将任务卸载到边缘服务端去执行；

29、车载终端将强化学习策略网络参数上传至边缘服务器进行训练，将训练好的网络参数传回本地进行强化学习策略网络的更新。

30、本方案中，对具有关联性子任务的车载应用进行任务抽象与建模，将其拆分成工作流应用程序，具体为：

31、识别车载应用中具有独立功能的子模块任务，预估每个子模块任务的输入数据量输出结果数据量执行所需的总cpu周期数xi；

32、将所述的各个子模块任务建模为有向无环图，表示为其中为有向无环图中的顶点集合，每一个顶点对应应用程序中可逻辑划分的子模块任务，表示wdg中的边集，每一个双向边为两个子任务ti和tj之间的数据和控制依赖，边的权重表示前驱任务的执行结果传递给后继任务的数据量，τ为此工作流应用的最大允许延迟，单位是毫秒。

33、本方案中，所述通过列表调度方法，计算所述工作流应程序的各子任务优先级，并按照优先级进行排序，生成工作流子任务调度序列并计算任务嵌入向量，具体包括：

34、对于有向无环图中的出口节点φi，定义子任务的优先级为rank(φi)＝ti,e，其中表示将子任务上传到边缘服务器执行，并将结果回传到车载终端的处理时间；

35、自有向无环图的出口节点向上，递归计算其他子任务的优先级为式中succ(φi)表示子任务φi的后继任务，计算各任务节点的优先级后，进行从高到低排序，得到一个符合工作流依赖约束的调度序列；

36、对所述的调度序列进行编码，将各个任务节点的数据大小、预估开销特征信息编码到嵌入中。

37、第三方面，本技术还提供了一种计算机可读存储介质，所述计算机可读存储介质中包括车边协同任务卸载方法程序，所述车边协同任务卸载方法程序被处理器执行时，实现所述的车边协同任务卸载方法的步骤。

38、由上可知，本技术提供的可回收物品的回收方法、系统以及介质，通对具有关联性子任务的车载应用进行任务抽象与建模，将其拆分成工作流应用程序；通过列表调度方法，计算所述工作流应程序的各子任务优先级，并按照优先级进行排序，生成工作流子任务调度序列并计算任务嵌入向量；利用序列到序列深度强化学习的任务调度方法，按序对每个工作流子任务进行二分卸载决策，得到任务卸载方式；车载终端将强化学习策略网络参数上传至边缘服务器进行训练，将训练好的网络参数传回本地进行强化学习策略网络的更新。实现了通过列表调度和深度强化学习的方法进行任务卸载方式的决策，快速有效地执行任务卸载，有效降低时延与成本，提高执行效率。

39、本技术的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本技术实施例了解。本技术的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。