基于图注意力的车联网多智能体边缘计算内容缓存决策方法

本发明属于无线通信，具体涉及一种基于图注意力的车联网多智能体边缘计算内容缓存决策方法。

背景技术：

1、随着无线通信与物联网技术的发展，车联网已成为5g的重要场景。传感和人工智能技术的进步促进了创新型车辆应用的产生，为车辆感知周围环境提供便捷(waheed a,shah m a,mohsin s m,et al.acomprehensive review of computing paradigms,enabling computation offloading and task execution in vehicular networks[j].ieee access,2022,10:3580-3600.)。车辆能够独自分析周围的路况，执行行驶路径规划和防碰撞等任务，同时收集与用户体验有关的信息(如车辆服务质量和酒店评级等)(zhangk,zhu y,leng s,et al.deep learning empowered task offloading for mobile edgecomputing in urban informatics[j].ieee internet of things journal,2019,6(5):7635-7647.)。上述车联网应用进一步提高了车辆行驶的安全性，并使用户有更好的服务体验。

2、然而，车辆每秒产生的海量数据和内容对其通信、计算和存储需求不断增长，为缓解车辆的计算负担，移动边缘计算(mobile edge computing,mec)技术被广泛应用于车联网。mec技术将计算和存储资源下沉到车辆附近的边缘网络，赋予车联网中的基础设施(如基站和路边单元等)任务计算和内容存储功能。通过结合mec，车辆用户产生的数据无需再传输至遥远的云数据中心处理，且边缘服务器可将流行内容缓存，直接传给有内容请求的车辆用户，有效缓解了车辆到云数据中心的链路压力，减小了车辆卸载计算任务的时延(khan l u,yaqoob i,tran n h,et al.edge-computing-enabled smart cities:acomprehensive survey[j].ieee internet of things journal,2020,7(10):10200-10232.)。鉴于上述特点，移动边缘计算减轻了车联网系统的负载压力，使得车联网进一步的发展成为可能。

3、考虑到车辆的移动性和多变性，车联网中的边缘缓存系统趋于复杂，当状态空间较大时，很难在可接受的时间内获得最优解。近年来，受自然启发的人工智能算法在优化问题中表现出突出的优势。深度强化学习方法结合了深度学习在识别数据特征方面的优势和强化学习在动态规划方面的优势,可以应对动态变化环境并学习到最优策略以最大化长期奖励，近年其被广泛应用于边缘网络资源分配(tian h,xu x,qi l,et al.copace:edgecomputation offloading and caching for self-driving with deep reinforcementlearning[j].ieee transactions on vehicular technology,2021,70(12):13281-13293.)。

4、然而，由于车联网和边缘计算结合环境下建立的马尔可夫决策过程模型的状态空间和动作空间维度随着车辆数量呈指数增长。因此，许多学者针对此场景提出了使用多智能体深度强化学习的方案(yuan q,li j,zhou h,lin t,luo g,shen x.ajoint servicemigration and mobility optimization approach for vehicular edge computing[j].ieee transactions on vehicular technology,2020,69(8):9041-9052.)。其中一些学者们利用多智能体强化学习分配该场景下的网络资源时，仅将单智能体算法扩展至多智能体场景，未充分利用车联网环境中车辆的拓扑结构特点，进一步考虑用户间的相互关系，因此不能最大化利用环境信息，促进智能体合作以做出高效的缓存决策。

技术实现思路

1、本发明的目的在于提供一种基于图注意力的车联网多智能体边缘计算内容缓存决策方法，其中各车辆用户利用自身对环境的观测及邻接矩阵，通过以多头注意力为卷积核的图卷积捕获其局部区域内车辆用户的观测信息，实现多智能体合作学习完成计算任务的内容缓存，实现系统计算时延最小化。

2、实现本发明目的的技术解决方案为：一种基于图注意力的车联网多智能体边缘计算内容缓存决策方法，包括以下步骤：

3、步骤1、输入边缘车联网环境，将网络拓扑建模为图结构，初始化各车辆用户作为智能体维护的q网络参数；

4、步骤2、各车辆用户提出任务请求，判断周围服务节点是否存在任务经计算后的内容缓存：如果是，则服务节点将内容传给车辆用户；如果否，则车辆用户考虑本地计算或卸载计算任务；

5、步骤3、各车辆用户从车辆环境中观测自身坐标、自身内容缓存情况、各路边单元剩余存储空间及自身剩余存储空间；

6、步骤4、各车辆用户根据ε贪婪策略选择边缘缓存动作，并执行动作，计算奖励；

7、步骤5、收集各车辆用户的<观测、动作、下一时刻的观测、奖励、邻接矩阵>，存入经验缓存池中；

8、步骤6、对各车辆用户的观测值编码，生成节点特征。以多头注意力为卷积核的卷积层根据节点的邻接矩阵整合其局部区域内的节点特征生成隐藏特征向量；

9、步骤7、抽取经验数组，以优化系统计算时延为目标更新各智能体q网络参数。

10、步骤8、判断是否所有车辆抵达设定路段终点：如果否，则返回步骤2；如果是，则结束当前回合，进入步骤9；

11、步骤9、判断算法是否收敛：如果否，则重置环境，返回步骤2；如果是，则算法结束，得到最终的车联网内容缓存策略。

12、本发明与现有技术相比，其显著优点为：

13、(1)采用基于图注意力的车联网多智能体边缘计算内容缓存决策方案，充分利用智能体间的拓扑结构设计缓存策略，收敛速度快且训练开销小，能够实现在未知车联网动态环境下最小化车辆用户卸载计算任务的时延。

14、(2)基于图注意力的车联网多智能体边缘计算内容缓存决策方案，采用图强化学习方法，车辆用户为智能体各自维护q网络。收集各智能体的观测、动作和奖励，以多头注意力为卷积核的卷积层根据节点的邻接矩阵整合其局部区域内的节点特征，以优化系统计算时延为目标更新网络参数，进而实现多智能体合作学习完成计算任务的内容缓存，在具有完全合作关系的多智能体环境中更具优越性；

15、(3)对于车联网边缘缓存决策问题，充分考虑到环境状态的复杂性和网络拓扑的多变性，将网络拓扑建模为图结构，车辆用户通过多层卷积层可捕获其他用户的观测信息。无论车辆数量增加与否，车辆用户只与其邻居节点通信，在未影响车辆用户合作效果的同时大大减小了通信成本；

16、(4)当环境中车辆用户数量增加时，基于图注意力的车联网多智能体边缘计算内容缓存决策方案具有最高的缓存命中率，最低的系统计算时延，说明在因车辆用户数量增加造成的动作空间与状态空间增大的情况下，各车辆用户仍然能够协同制定最小化系统计算时延的决策。

17、图说明

18、图1是本发明基于图注意力的车联网多智能体边缘计算内容缓存决策方法流程图。

19、图2为本发明实施例的网络模型示意图。

20、图3为本发明实施例中不同方案的学习收敛效果示意图。

21、图4为本发明实施例中不同方案缓存命中率与用户数目的关系图。

22、图5为本发明实施例中不同方案用户完成任务计算所需时延与内容大小的关系图。

23、图6为本发明实施例中不同算法收敛平均值与服务节点存储空间大小的关系图。