一种异构无线网络中的主动预缓存方法及装置与流程

本发明涉及无线网络的资源分配领域，特别是一种异构无线网络中的内容预缓存方法及其系统。

背景技术：

由于多媒体业务的快速增长以及二氧化碳排放量的急剧增加，绿色通信是解决此类问题的有效措施。绿色无线接入有许多方式，例如能量收集，组播和异构网络。采用太阳能，风能，动能等自然能源的eh技术可以大大降低传统电源无线通信的功耗，从而减少二氧化碳排放。它被认为是实施绿色通信的候选技术之一。无线多播通过同时提供多用户通常感兴趣的多媒体内容，同时将单个数据流扩展到不同用户，从而避免相同内容的重复重传，从而获得巨大的能源优势。异构网络使用密集部署的小型基站(sbs)，通过减少用户与基站之间的距离来提供更高的用户速率。但是，每种技术都有其局限性。

一方面由于电池容量有限，可能发生能量和请求到达不匹配的情况，导致能源浪费或短缺。另一方面，为了实现无线多播，一些用户请求需要被延迟以等待并发传输，这可能严重损害早期需求的服务质量。最后，由于微基站的部署不够灵活，部署支持电力线和高速回程链路的成本相对较高。

技术实现要素：

本发明克服了上述缺点，提供一种异构无线网络中的主动预缓存方法。

本发明解决其技术问题所采取的技术方案是：一种异构无线网络中的主动预缓存方法，包括如下步骤：考虑节点的可用绿色能量、用户数据文件请求、不同文件的流行度以及不同传输机制的能量消耗，描述出各节点在缓存资源传输过程中选择不同策略所带来的不同收益。构建基于强化学习的内容推送最优化模型；所述的内容推送最优化模型包括状态-动作对。

求解内容推送最优化模型，获取内容推送优化策略，根据所述内容推送优化方案进行内容。

所述考虑节点的可用绿色能量、用户数据文件请求、不同文件的流行度以及不同传输机制的能量消耗，描述出各节点在缓存资源传输过程中选择不同策略所带来的不同收益。构建基于强化学习的内容推送最优化模型前，还包括根据每个内容以固定的目标平均数据速率，带宽，小尺度快衰落系数，路径损耗常数和路径损耗指数，噪声加干扰功率求出功率函数。

所述根据每个内容以固定的目标平均数据速率，带宽，小尺度快衰落系数，路径损耗常数和路径损耗指数，噪声加干扰功率求出功率函数进一步包括

w是sbs的带宽，h是小尺度快衰落系数，β和α分别表示路径损耗常数和路径损耗指数，d是传输距离，σ²+pi是噪声加干扰功率。

考虑节点的可用绿色能量、用户数据文件请求、不同文件的流行度以及不同传输机制的能量消耗，描述出各节点在缓存资源传输过程中选择不同策略所带来的不同收益。构建基于强化学习的内容推送最优化模型，进一步包括：

根据zipf分布，不同文件流行度如下：

用户感兴趣的总共有n个内容，由列表c＝(c1,…,cn)表示，其中以概率(或弹出窗口)fi请求第i个排序的内容ci。统计研究表明，内容流行度分布符合zipf分布。zipf分布是哈佛的语言学家zipf在研究语料库的时候发现的，按照单词在语料库中出现的次数排序，则该单词的排序数与其在语料库中出现频数成反比，或者说，二者乘积为一个常数。

p(r)＝c/r^v

这里r表示一个单词的出现频率的排名，p(r)表示排名为r的单词的出现频率。单词频率分布中c约等于0.1。

因此，内容ci的流行度可以表示为：

用户的兴趣内容会随着时间而变化，随着时间的推移，部分流内容行会被替换。而在本模型中，不关注内容本身，所以不考虑流行内容更新的过程。根据模型可知，总是给用户推送当前存储在小基站内最流行的内容。已推送过的内容可以表示为ct＝(c1，c2，…，ck)，剩余的未推送列表可表示为

所述求解内容推送最优化模型，获取内容推送优化策略，根据所述内容推送优化方案进行内容，进一步包括：

基于强化学习算法求解所述内容推送最优化模型，将消耗传统能源量最低的方案作为内容推送优化方案，根据所述内容推送优化方案进行内容推送。

所述基于强化学习算法求解所述内容推送最优化模型，将消耗传统能源量最低的方案作为内容推送优化方案，根据所述内容推送优化方案进行内容推送，还进一步包括：

基于所述强化学习，包含三个要素，智能体状态，动作空间，回报。

所述智能体状态，智能体能够选择最佳动作的基础是首先定义状态空间。agent可感知到其环境的不同状态集合s系统状态由sk＝ek,ck,xk,yk)表示，ek代表sbs当前的电量，ck代表当前的一个推送状态，xk,yk表示向sbs发出请求的用户的状态，xk,表示sbs单播的能量消耗，yk表示bs单播的能量消耗。

所述动作空间，考虑在宏基站中加入纯绿色能源供电的具有缓存功能的接入点，接入点根据当前电量，缓存内容，和用户请求选择自己的行为。sbs的行动集合为{a0,a1,a2,a3}。sbs有4种可能的行为：a0,休眠，此时用户请求由宏基站服务；a1，直接单播给用户；a2,向bs请求内容，更新缓存并下发；a3推送最流行的内容。

所述回报函数，回报函数r(s,a)基于系统的系统消耗的传统能源量来设计的，希望系统消耗的传统能源量是最少的，规定回报函数为负值。

所述异构无线网络中的主动预缓存方法包括：宏基站，小基站，和用户请求，总的来说，sbs执行所述内容推送优化方案，选择休眠，单播，或推送。当sbs由于某些因素选择休眠或者推送，或者用户的请求不在sbs推送列表中，此时本发明的用户请求需要借助宏基站来处理。宏基站处理用户请求需要消耗传统能源，本发明的目标是在长时间段内最小化传统能源的消耗，提高绿色能源的利用率。

本发明从节省传统能源消耗及降低用户使用时延的角度出发，sbs主动缓存并在用户请求前推送内容。首先，由于先进推送机制，本发明可以有更长的时间向用户发送内容，因此传送给用户的内容可以更灵活地匹配绿色能源的到来。其次，由于可以合理地使用所收集的能量，因此避免了由于有限的电池容量而导致的能量浪费。本发明通过强化学习方法得到了每个状态下sbs动作的最优策略，从而使传统能源的消耗降到最低。

附图说明

图1为本发明异构无线网络中的主动预缓存方法流程图；

图2为采用本发明部署方案示意图；

图3为采用本发明实现的ck＝0时主动预缓存方案示意图；

图4为采用本发明实现的ck＝0主动预缓存方案示意图；

图5为采用本发明实现的ck＝0主动预缓存方案示意图；；

图6为当用户请求概率为0.4时，基于强化学习的主动预缓存方法和单播优先及推送优先方法的比较示意图；

图7为当用户请求概率为0.9时，基于强化学习的主动预缓存方法和单播优先及推送优先方法的比较示意图；

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一：为一种异构无线网络中的主动预缓存方法的优选实施例，如图1所示为本实施例的原理框图和流程。

步骤1:初始化小基站相应状态对应的动作(初始化q表)

步骤2:在动作集中选择小基站的动作(休眠，单播，更新缓存单播，推送)

在每个时隙中从用户侧生成请求qt。小型基站根据电池状态选择相应的动作并请求内容，消耗ut能量，并捕获at能量。sbs的行动集合为{a0,a1,a2,a3}。sbs有4种可能的行为：a0,休眠，此时用户请求由宏基站服务；a1，直接单播给用户；a2,向bs请求内容，更新缓存并下发；a3推送最流行的内容。考虑在宏基站中加入纯绿色能源供电的具有缓存功能的接入点，接入点根据当前电量，缓存内容，和用户请求选择自己的行为。

步骤3：执行小基站的动作

小型基站根据电池状态选择相应的动作并请求内容，消耗ut能量，并捕获at能量。同时，在用户侧，每个用户接受并保存推送内容列表ct。更新相应的参数

步骤4：估算回报值，即节省传统能源的量

回报函数r(s,a)基于系统的系统消耗的传统能源量来设计的，希望系统消耗的传统能源量是最少的，规定回报函数为负值。

步骤5：更新q表

根据以下公式更新

步骤6：最终获得稳定的q表，即小基站的最佳状态-动作对重复步骤2～步骤5，直到q表稳定，获得最优内容推送策略。

图2是本发明的部署示意图，宏基站通过回程链路接入核心网络，小基站作为网络边缘节点不熟缓存服务器，小基站可以主动推送缓存中的流行内容。

图3、图4、图5是本发明通过仿真获取的推送策略，给定用户请求状态和推送内容状态，最优策略电池能量状态显示基于阈值的结构，即，bs将保持睡眠直到电池能量超过某个值，然后对于任何大于该值的电池能量状态，它将不会休眠。这是因为当电池能量大时，bs倾向于在电池溢出的情况下贪婪地使用它。其次，对于靠近bs的用户(用户请求状态1)，总是优选单播。由于这些用户消耗非常少量的单播能量并且还可以享受更高的通信质量，因此单播比将请求传送到mbs更有益。第三，推送的内容越多，系统决定推动的趋势越小。对于ck＝0，在绝大多数状况下，bs将推送的流行内容，除了用户非常靠近bs的情况。然而，当推动内容的数量接近其最大值时，bs将仅在系统空闲(qk＝0)并且电池能量几乎满时才会推送。根据q表，本发明可以找出sbs在做出最佳决策时所呈现的规则。因此，它可以应用于实际应用场景中。

图6、图7是本发明使用unicast-only策略和push-only策略作为对比的结果。然后本发明评估该系统模型的效果。图6和图7分别表示在单个时隙tp中，用户的请求概率是pu＝0.5，pu＝0.9的能量消耗情况。如图6和图7所示。unicast-only是单播优先策略。当没有单播请求时，系统执行推送操作。push-only是将推送作为最高优先级的策略。系统优先在每个时隙上执行推送操作。当推送所有流行内容时，执行单播操作。

结果表明，与仅推送策略相比，通过q-learning学习的推送策略需要更多时间来推送内容列表中的内容，但消耗的能量最少。push-only策略可以快速将内容列表推送给用户，代价是拒绝来自先前用户的单播请求，但总体能耗很高。unicast-only。当每个时隙用户请求概率接近1时，sbs基本上没有机会执行推送操作。当用户请求概率为0.5时，当没有用户请求时，sbs可以执行推送操作。在后期阶段，内容列表可以被完全推送并且基本上不再消耗能量。因此，unicast-only策略的性能与用户请求数量有很大关系。通常，经过一段时间的学习，q-learning根据q表执行操作以获得最佳结果。

以上对本发明所提供的异构无线网络中的主动预缓存方法及装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。