一种空天地一体化网络内容缓存方法及系统

本发明属于数据缓存，涉及一种空天地一体化网络内容缓存方法及系统。

背景技术：

1、空天地一体化网络(space-air-ground integrated networks，sagin)已被广泛认为是重要的6g分层架构，异构的通信和计算环境使空天地一体化网络能够为各种服务和应用提供多样化、无缝和有弹性的网络接入，在这些服务中，内容缓存是一个非常重要的用例。

2、将内容存储在空天地一体化网络的不同层而不是仅存储在远程云服务器上，可以大大降低用户的延迟，减轻云服务器的压力，降低核心网络的负荷，实现流量传输的差异化质量，满足用户对服务质量的多样化要求。然而由于空天地一体化网络中存在不同的网络服务和传输质量需求，且其异构的硬件具有不同的存储容量，因此必须确定最佳的内容缓存位置和缓存内容。

3、然而，现有的研究集中于优化不同场景下内容传输的延迟和资源消耗，由于用户需求的高度动态性，内容流行度具有时域特征和区域特征，最佳内容缓存位置和缓存内容会随着时空内容流行度和用户需求的动态变化变得更加难以确定，因此考虑动态的时空内容流行度的内容缓存研究仍然存在大量空白。

技术实现思路

1、本发明的目的在于提供一种空天地一体化网络内容缓存方法及系统，以解决上述问题。

2、为实现上述目的，本发明采用以下技术方案：

3、第一方面，本发明提供一种空天地一体化网络内容缓存方法，包括：

4、建立包含用户、终端、边缘缓存节点的网络模型，在网络模型上构建地面和天空无线通信模型；

5、网络模型中的用户基于通信模型向终端发起内容请求，终端向最近可用的边缘缓存节点请求该内容；

6、边缘缓存节点查找本地缓存数据库是否包含该内容，若本地数据库包含该内容，则将内容直接交付用户终端；

7、本地数据库不包含该内容，则由边缘缓存节点向数据中心请求该内容，然后交付用户，使用dqn算法框架的深度强化学习方法对本地缓存内容进行更新，计算缓存命中率。

8、可选的，网络模型具体包括：

9、太空层网络、天空网络和地面层网络三个层次，公众信息内容存储在地面的云服务器中，地球同步卫星提供云服务器的接入服务，以及多个部署于无人机中的边缘服务器中；用n＝{eu,an,sn}构建网络模型，n含有三个子集，包含了网络模型中所有节点，n的具体解释如下：eu＝{e1,e2,...,er,...,er}是r个终端用户节点的全集，er代表用户节点；an＝{v1,v2,...,vj,...,vj}是j个无人机节点的全集，vj代表无人机节点；sn＝{g}是卫星节点的全集，g代表地球同步卫星节点。

10、可选的，通信模型定义如下：

11、采用对数距离路径损耗模型，并依据香农定理，推导出地面和天空的无线通信数据传输速率，其数学表达式为：

12、

13、其中，bag表示无人机与地面通信的信道带宽；pag表示无人机与地面通信的信号功率；表示无人机与地面通信的信道内高斯噪声功率；dh表示无人机的悬停高度；n表示路径损耗指数；

14、采用卫星系统常用的自由空间传播模型，自由空间路径损耗定义如下：

15、

16、其中，gt表示无人机的天线增益；gr表示卫星的天线增益；λs表示信号波长；ds表示无人机和卫星的距离；

17、引入了一个损耗因子α，无人机与地球同步卫星之间的数据传输速率定义如下：

18、

19、其中，bsa表示无人机与卫星通信的信道带宽；psa表示无人机与卫星通信的传输功率；表示无人机与卫星通信的信道内高斯噪声功率。

20、可选的，使用dqn算法框架的深度强化学习方法对本地缓存内容进行更新，计算缓存命中率：

21、初始化当前值网络参数θ和目标网络参数θ-；

22、由环境中之前的请求、当前缓存状态和内容流行度得到当前状态s(t)；根据当前请求内容序列的索引查询节点的本地缓存，通过映射确定更新缓存的决策，即动作a(t)；

23、执行动作a(t)，观察奖励r(t)与下一个状态s(t+1)；

24、通过q(s′,a′；θ-)计算目标q值，通过q(s,a；θ)计算值网络q值；

25、计算神经网络的损失，反向传播更新θ；

26、每隔n步将当前值网络的参数拷贝给目标值函数，即θ-＝θ；

27、令s(t)＝s(t+1)，a(t)＝a(t+1)，重复以上步骤直至达到设定的训练步数。

28、可选的，缓存命中率(cache hit ratio，chr)表示从缓存内容中成功检索内容的比例，是评估缓存系统有效性的关键指标；设在某一时间段t内，无人机节点vj上收到的用户请求内容的总次数为ef，则计算长期缓存命中率ht的数学表达式如下：

29、

30、其中：缓存标志为

31、设存在l个缓存内容文件，用f∈{f1,f2,...,fl,...,fl}来表示每个文件，每个无人机的存储容量为cmb，并定义第t时刻用户er请求的文件fl在无人机vj中的缓存标志为其数学表达式为：

32、

33、考虑到不同时刻用户发出的请求数量不同，设用户请求数量服从如下的参数为p的泊松分布：

34、

35、用户的请求一个一个地到达，并用参数为α的zipf分布近似描述文件在所有用户处的流行度分布，假设文件按照内容热度降序排列，文件序列随着时间t的变化而变化，则t时刻用户请求热度排名第n位的内容的概率表示为：

36、

37、其中，表示第t时刻用户er请求的文件fl即的请求频率的索引。

38、可选的，目标值函数：

39、将缓存内容模型建模为一个最大化给定参数的长期缓存命中率ht的问题，具体的目标函数表示为：

40、maxht

41、s.t.c1:ni∈n＝{eu,an,sn}

42、

43、c3:ht∈[0,1]

44、

45、其中，c1表示通信节点应为sagin中的节点；c2表示无人机vj上所有缓存内容的累计大小不超过cmb；c3表示缓存命中率ht的值域为[0,1]；c4表示缓存标志根据是否缓存命中取0或1。

46、可选的，环境以系统状态为特征，涉及内容缓存和决策更新的任务被封装在mdp的框架内；

47、系统的状态空间由之前的请求、当前缓存状态和内容流行度定义，t时刻的状态空间定义为s(t)＝[l(t-1),c(t),p(t)]，其中，l(t-1)表示前一时刻的请求状态，包括该时间段内所有内容的请求频率，c(t)表示当前缓存状态，指示当前节点上存储的文件内容，p(t)表示当前的内容流行程度；

48、设每次更新缓存时，节点中已经缓存的内容序列为(f1,f2,…,fz)，请求的内容序列为所有内容序列(f1,f2,…,fl)中的部分内容，z<l；将已经缓存的内容映射至请求的内容序列用于指示缓存决策；当代理输出缓存决策的键时，检索相应的决策索引来缓存和更新内容；t时刻的动作空间的定义为at＝{∈1,ε2,…,∈z}，其中∈z∈(f1,f2,…,fl)；

49、奖励函数定义为缓存命中次数和请求总数之间的差值，该值是一个非正数；在该场景中，缓存命中率越高，奖励值越接近0，缓存命中率越低，奖励值的绝对值越接近于请求总数，即数值越小；设在时间段t内的请求总数为ef，神经网络缓存决策的总命中次数为该时间段的奖励定义为

50、文件在所有用户处的流行度分布服从zipf分布，t时刻用户请求某个内容的概率定义为其中表示第t时刻用户er请求的文件fl即的请求频率的索引，α为zipf分布的参数。每个用户为串行请求，并由环境给出预先的缓存内容流行度分布函数，并在与智能体交互的过程中记录缓存命中次数和请求次数；

51、用户向终端发送一次请求时，由最近的可用的边缘缓存节点查找节点本地缓存数据库，如果包含该缓存内容则直接返回给用户；若本地数据库中不包含此内容，则由边缘缓存节点通过地球同步轨道卫星向数据中心请求内容。

52、第二方面，本发明提供一种空天地一体化网络内容缓存系统，包括：

53、模型建立模块，用于建立包含用户、终端、边缘缓存节点的网络模型，在网络模型上构建地面和天空无线通信模型；

54、内容请求模块，用于网络模型中的用户基于通信模型向终端发起内容请求，终端向最近可用的边缘缓存节点请求该内容；

55、判断模块，用于边缘缓存节点查找本地缓存数据库是否包含该内容，若本地数据库包含该内容，则将内容直接交付用户终端；

56、本地数据库不包含该内容，则由边缘缓存节点向数据中心请求该内容，然后交付用户，使用dqn算法框架的深度强化学习方法对本地缓存内容进行更新，计算缓存命中率。

57、第三方面，本发明提供一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现一种空天地一体化网络内容缓存方法的步骤。

58、第四方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现一种空天地一体化网络内容缓存方法的步骤。

59、与现有技术相比，本发明有以下技术效果：

60、本发明提供了一种基于深度强化学习的空天地一体化网络的内容缓存方法。使用空天地一体化网络进行内容缓存，其好处在于空天地一体化网络相对于传统的地面蜂窝网络具有更大的覆盖范围，其中无人机与地球同步轨道卫星等设备组成的空中网络为地面设备提供了灵活的网络接入方法，能够满足用户的个性化需求。

61、通过马尔可夫决策过程对内容更新问题进行建模，其好处在于，马尔可夫决策模型将内容缓存的状态和行为定义为一系列状态和动作的序列，提供了一个形式化的框架来描述智能代理与其环境之间的交互，使决策者可以更清晰地了解缓存的运行机制，帮助决策者制定出最优的策略，方便对内容缓存的不同策略进行仿真和评估，使得内容缓存的性能最优化。同时，该模型能够考虑空天地一体化网络环境中用户分布和网络拓扑的不确定性因素，例如用户的移动性、网络拓扑动态变化等，从而使得决策更为准确和可靠。

62、通过采用基于dqn算法的深度强化学习方法来优化长期缓存命中率，其好处在于，深度强化学习利用神经网络来近似值或策略函数，有效地解决了高维状态和动作空间的问题。dqn算法能够在线学习，根据不同的业务场景和用户行为进行调整和优化，更好地适应空天地一体化网络中异构的缓存容量和内容流行度动态变化的环境。同时，我们使用的缓存更新算法在dqn算法的基础上引入了double q-learning算法的思想，利用当前网络选择动作、目标网络估算q值，解决了深度强化学习中的高估问题，在高维状态空间和动作空间问题方面可以有更好的性能。

63、通过使用随机生成的数据集对本发明提出的方法进行测评，结果表明对比传统的先进先出(first in,first out,fifo)、最不常使用(least frequently used,lfu)、随机缓存(random caching,rc)缓存策略，本方法在各种条件下都能显著提高长期缓存命中率，有效提升了用户体验。