车载边缘网络中基于深度强化学习的协作缓存方法

本发明属于车载边缘网络，更为具体地讲，涉及一种车载边缘网络中基于深度强化学习的协作缓存方法。

背景技术：

1、随着大量计算资源密集型应用程序和各种内容交付服务的出现，车联网中的数据呈爆炸式增长。数以万计的智能车辆会产生海量的数据和服务请求，包括各种娱乐服务、数据安全与隐私保护等需求。然而，在高度动态的环境中，很难实现长期的车对车和车对基础设施的连接。同时由于有限的通信范围和高移动性导致连接频繁的中断和重建将引入沉重的网络流量开销和内容检索延迟。目前，边缘缓存技术已经成为解决上述问题的一种有效的解决方案，其中车辆获取服务过程的连通性和延迟成为影响用户体验质量的关键因素，为缓存策略的研究带来了阻碍。现有的缓存策略往往存在较高的计算和通信开销，而且不能很好地捕捉车载网络的动态变化。车载边缘网络中缓存策略的制定需要考虑车辆的高移动性，过程中如果忽略了智能车辆间的协作，只能得到局部次最优解。同时，集中式的学习策略大多缺乏有效的协作和对动态网络环境的适应能力，在数据传输过程中会消耗大量的网络资源，还可能会产生一系列的数据隐私和安全问题。

技术实现思路

1、本发明的目的在于克服现有技术的不足，提供一种车载边缘网络中基于深度强化学习的协作缓存方法，将车载边缘网络中的路边单元和车辆作为缓存节点，构建车辆集群并在集群内进行流行内容预缓存，采用深度强化学习来确定最优的协作缓存策略，从而降低车辆的内容传输延时，提高缓存命中率。

2、为了实现上述发明目的，本发明车载边缘网络中基于深度强化学习的协作缓存方法包括以下步骤：

3、s1：记车载边缘网络包含1个云端服务器和n个路边单元，记路边单元集合rsu＝{s1,s2,…,sn}，其中sn表示第n个路边单元，n＝1,2,…,n；记内容索引集合为y＝{y1,y2,…,yq}，yq表示第q个内容，q＝1,2,…,q，q表示车载边缘网络中可请求的内容数量，记内容yq的大小为xq；

4、s2：每个路边单元sn获取当前其覆盖范围内的车辆集合其中vn,m表示路边单元sn覆盖范围内第m个车辆，m＝1,2,…,mn，mn表示路边单元sn覆盖范围内车辆数量；每个路边单元sn对其覆盖范围内的车辆进行集群划分，记路边单元sn划分得到的车辆集群数量为kn，第k个车辆集群记为an,k；

5、s3：路边单元sn获取车辆集群an,k的车辆拓扑图topn,k，根据车辆拓扑图topn,k获取车辆集群an,k中所有车辆之间可能的路径集合sn,k，对于车辆集群an,k中的车辆vn,k,p，p＝1,2,…,|an,k|，|an,k|表示车辆集群an,k中车辆数量，获取车辆vn,k,p在车辆拓扑图topn,k的度数dn,k,p，以及路径集合sn,k中通过车辆vn,k,p的路径集合sn,k,p，然后采用如下公式计算得到车辆vn,k,p的桥接中心度bn,k,p：

6、

7、其中，|sn,k,p|、|sn,k|分别表示路径集合sn,k,p和路径集合sn,k中的路径数量；

8、然后筛选车辆集群an,k中桥接中心度最大的车辆作为簇头车辆，筛选出桥接中心度大于预设阈值的车辆作为协作车辆；

9、s4：每个集群中的簇头车辆从内容索引集合y中筛选出流行内容，然后为集群中协作车辆分配不同的流行内容，对流行内容进行预缓存；路边单元从内容索引集合y中筛选出若干流行内容并进行预缓存；

10、s5：针对不同通信情况分别计算车辆的内容传输速率：

11、当车辆vn,m从集群内协作车辆vc处获取内容，其内容传输速率r(vn,m,vc)为：

12、

13、其中，b表示可用带宽，pv表示集群内车辆的发射功率，σ2表示噪声功率，h(vn,m,vc)表示车辆vn,m和协作车辆vc之间的信道增益；

14、当车辆vn,m从路边单元sn处获取内容，其内容传输速率r(vn,m,sn)为：

15、

16、其中，pb表示路边单元sn的发射功率，h(vn,m,sn)表示车辆vn,m和路边单元sn之间的信道增益；

17、当车辆vn,m从云端服务器处获取内容，其内容传输速率r(vn,m,c)为：

18、

19、其中，pc表示云端服务器的发射功率，h(vn,m,c)表示车辆vn,m和云端服务器之间的信道增益；

20、当路边单元sn需要向其他路边单元sn′处请求内容协作时，路边单元sn和路边单元sn′的内容传输速率r(sn,sn′)为：

21、

22、其中，pb′表示路边单元sn′的发射功率，h(sn,sn′)表示路边单元sn和路边单元sn′之间的信道增益；

23、s6：每当协作缓存决策到来，每个路边单元sn分别进行一次深度强化学习，得到协作缓存决策，在深度强化学习中，设置状态s为路边单元和其覆盖范围内车辆的当前缓存内容集合，设置动作a表示是否需要对当前缓存内容集合中的内容进行替换，当a＝1，则表示需要进行替换，从未缓存内容中随机选择h个内容，替换当前缓存内容集合中流行度最低的h个内容，当a＝0，则表示不需要进行替换；奖励函数r为当前缓存内容集合对应的延迟，采用如下方法进行计算：

24、对于路边单元sn覆盖范围内的车辆vn,m，记其当前请求内容集合为wn,m，对于内容yq′∈wn,m，按照车辆自身缓存、集群内协作车辆、所属路边单元sn、其他路边单元、云端服务器的优先顺序，确定该内容的获取方式，然后按照如下公式计算车辆vn,m获取该内容的奖励rn,m(yq′)：

25、

26、其中，e表示自然常数，λ1,λ2,λ3,λ4表示预设的权重，λ1+λ2+λ3+λ4＝1且0＜λ1＜λ2≤λ3＜λ4；

27、然后如下公式计算奖励函数r：

28、

29、s7：路边单元sn将步骤s6得到的更新后的请求内容集合发送至每个车辆集群的簇头车辆，簇头车辆从更新后的请求内容集合中筛选出未缓存内容集合，然后从本集群请求内容集合中筛选出流行度值最低的g个待替换内容，从未缓存内容集合中随机筛选流行度值大于待替换内容的未缓存内容对待替换内容进行替换，如果未缓存内容集合中不存在流行度值大于待替换内容的未缓存内容，则保留该待替换内容不进行替换。

30、本发明车载边缘网络中基于深度强化学习的协作缓存方法，路边单元预测车辆轨迹后将其覆盖范围内的车辆划分为车辆集群，筛选出每个车辆集群中的簇头车辆，由簇头车辆为集群中车辆分配不同流行内容进行预缓存，同时路边单元也进行流行内容预缓存，针对每种通信情况分别计算车辆的内容传输速率，每当协作缓存决策到来时，每个路边单元分别进行一次深度强化学习，得到协作缓存决策，在深度强化学习中，设置状态为当前缓存内容集合，设置动作表示是否需要对当前缓存内容集合中的内容进行替换，奖励函数为缓存内容集合对应的延迟。

31、本发明具有以下有益效果：

32、1)本发明考虑车辆移动性，将同一区域内路径、移动方向和速度类似的车辆进行聚类，生成协作集群，选择簇头车辆对集群进行管理，并选择桥接中心度较高的车辆作为协作缓存车辆，提高缓存有效性；

33、2)本发明以最小化内容传输延时作为目标，采用深度强化学习确定协作缓存决策，从而提高协作缓存决策的有效性。