一种异构小区网络中的功率分配方法与流程

本发明涉及移动通信领域，特别是指一种异构小区网络中的功率分配方法。

背景技术：

随着科技的飞速发展，5g时代的来临并不遥远，随着越来越多的智能移动设备接入无线网络，频率资源越来越少，给宏小区造成了沉重的负担。小型基站的部署可以减轻来自宏小区的过载流量，增加系统容量。但是，同层和跨层的干扰越来越严重，从而导致系统容量和服务质量(qos)的降低。为了更好的处理这种情况，一种更加合理高效的功率分配方法需要被提出。在正交频分多址频谱共享网络中，已经有了大量的研究用来减轻干扰、提高能量效率。但是，在现有技术中，还没有利用延迟约束来提高服务质量(qos)的研究。

技术实现要素：

本发明要解决的技术问题是提供一种异构小区网络中的功率分配方法，以解决现有技术所存在的还没有利用延迟约束来提高服务质量的问题。

为解决上述技术问题，本发明实施例提供一种异构小区网络中的功率分配方法，包括：

获取时延参数，根据获取的时延参数，确定小型基站的能量效率；

将功率分配问题描述为最大化小型基站的能量效率；

确定功率分配问题达到纳什平衡时的发射功率；

基于确定的发射功率，将功率分配中的能量效率看做是q学习中的回报值函数，通过基于猜想的多用户q学习算法求解最优功率分配方案。

进一步地，所述根据获取的时延参数，确定小型基站的能量效率包括：

根据获取的时延参数，确定接收信干噪比；

根据确定的接收信干噪比，确定总的接收数据速率；

根据确定的总的接收数据速率，确定有效容量；

根据确定的有效容量，确定小型基站的能量效率。

进一步地，所述接收信干噪比表示为：

其中，表示小型基站k在子信道n上用户f的接收信干噪比；表示小型基站k到用户f在子信道n上的信道功率增益；表示小型基站k在子信道n上的发射功率；表示除了小型基站k以外的其他小型基站的发射功率；为时延参数，表示在子信道n上除了小型基站k以外的其他小型基站和宏小区对第k个小型基站下用户f的干扰；δ²表示高斯白噪声。

进一步地，所述总的接收数据速率表示为：

其中，表示在子信道n上用户f总的接收数据速率，k表示小型基站的数目，是的简写形式，表示小型基站k在子信道n上用户f的接收数据速率，tf表示传输时间，b表示带宽，是的简写形式。

进一步地，所述有效容量表示为：

其中，为有效容量，表示小型基站k能够支持用户f的最大数据速率；θkf表示在小型基站k下的用户f的服务质量指数；e(·)表示误差函数；为的简写形式。

进一步地，所述小型基站的能量效率表示为：

其中，表示小型基站k下用户f的能量效率，tf表示传输时间，pk表示总的下行链路的发射功率，pc表示电路功率。

进一步地，将功率分配问题描述为最大化小型基站的能量效率：

其中，是的简写形式，表示预设的信干噪比阈值，pmask表示预设的隐藏约束功率，k^’表示小型基站的集合，f^’表示小型基站下包含的用户集合，n^’表示子信道的集合，分别表示小型基站k的最大和最小发射功率，定义为

进一步地，q学习算法中q值的更新规则为：

其中，s'k和sk分别代表小型基站k在时隙t和t+1时的状态，αt代表学习率，表示回报值函数，ak表示小型基站k的动作集中的动作，a-k表示除了小型基站k以外的其他小型基站的动作集中的动作，a-k表示为除去小型基站k之外的所有小型基站的动作集，β表示q学习中的代价因子，βk表示小型基站k的动作集ak中的动作，表示小型基站j的策略集，表示动作αk下小型基站k在子信道n上的发射功率，ik表示小型基站k下用户f的接收信干噪比的状态。

进一步地，对q学习算法中q值的更新规则进行更新，得到基于猜想的q值的更新规则为：

其中，表示基于猜想的线性函数。

进一步地，所述基于猜想的线性函数表示为：

其中，是常数参数，为正的标量恒定值；和分别表示猜想、策略集和策略集，τ表示热度值。

本发明的上述技术方案的有益效果如下：

上述方案中，获取时延参数，根据获取的时延参数，确定小型基站的能量效率；将功率分配问题描述为最大化小型基站的能量效率；确定功率分配问题达到纳什平衡时的发射功率；基于确定的发射功率，将功率分配中的能量效率看做是q学习中的回报值函数，通过基于猜想的多用户q学习算法求解最优功率分配方案。这样，通过引入时延参数(也可以称为：时延约束)来保证小区的服务质量，且将功率分配问题建模为非合作超模博弈，确定功率分配问题达到纳什平衡时的发射功率，基于确定的发射功率，通过基于猜想的多用户q学习算法求解最优功率分配方案，本方法能够在保证服务质量以及考虑能量效率的前提下，最大限度的提高小区的能量效率和吞吐量，能够满足剧增的接入需求。

附图说明

图1为本发明实施例提供的异构小区网络中的功率分配方法的流程示意图；

图2为本发明实施例提供的系统模型的结构示意图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

本发明针对现有的还没有利用延迟约束来提高服务质量的问题，提供一种异构小区网络中的功率分配方法。

如图1所示，本发明实施例提供的异构小区网络中的功率分配方法

s101，获取时延参数，根据获取的时延参数，确定小型基站的能量效率；

s102，将功率分配问题描述为最大化小型基站的能量效率；

s103，确定功率分配问题达到纳什平衡时的发射功率；

s104，基于确定的发射功率，将功率分配中的能量效率看做是q学习中的回报值函数，通过基于猜想的多用户q学习算法求解最优功率分配方案。

本发明实施例所述的异构小区网络中的功率分配方法，获取时延参数，根据获取的时延参数，确定小型基站的能量效率；将功率分配问题描述为最大化小型基站的能量效率；确定功率分配问题达到纳什平衡时的发射功率；基于确定的发射功率，将功率分配中的能量效率看做是q学习中的回报值函数，通过基于猜想的多用户q学习算法求解最优功率分配方案。这样，通过引入时延参数(也可以称为：时延约束)来保证小区的服务质量，且将功率分配问题建模为非合作超模博弈，确定功率分配问题达到纳什平衡时的发射功率，基于确定的发射功率，通过基于猜想的多用户q学习算法求解最优功率分配方案，本方法能够在保证服务质量以及考虑能量效率的前提下，最大限度的提高小区的能量效率和吞吐量，能够满足剧增的接入需求。

为了更好地理解本发明实施例所述的异构小区网络中的功率分配方法，对其进行详细说明，所述方法可以包括：

步骤1，建立正交频分多址(orthogonalfrequencydivisionmultipleaccess，ofdma)小区下行数据链路的系统模型，例如，如图2所示，采用一个半径为500米的宏小区，小型基站(smallcell)自由分布在宏小区内，小型基站与宏小区之间的最小距离为40米，小型基站间的最小距离为300米，载波频率为2ghz，带宽b为1mhz，子信道数n为30，其中，n0是附加高斯白噪声的功率谱密度，n0的取值可以为-174dbm/hz，σ²表示增加的高斯白噪声功率。初始化所述系统模型中的相关参数，例如，小型基站k在子信道n上的发射功率，小型基站k到用户f之间的链路以及小型基站k到用户f在子信道n上的信道功率增益以及从小型基站j到用户f在子信道n上的信道功率增益。

需要说明的是：

1)由于建立的是ofdma小区下行数据链路的系统模型，所以，在小区子信道上同一时隙只允许有一个用户被接入。

2)小型基站是一种低功率的无线接入节点，其发射功率小，在100mw到5w之间，重量轻，在2到10kg之间，用于热点地区覆盖。

步骤2，计算接收信干噪比和接收数据速率

1)引入时延参数根据引入的时延参数计算接收信干噪比：

其中，表示小型基站k在子信道n上用户f的接收信干噪比；表示小型基站k到用户f在子信道n上的信道功率增益；表示小型基站k在子信道n上的发射功率；表示除了小型基站k以外的其他小型基站的发射功率；为时延参数，表示在子信道n上除了小型基站k以外的其他小型基站和宏小区对第k个小型基站下用户f的干扰；δ²表示高斯白噪声。

2)根据得到的接收信干噪比，计算在传输时间tf内的接收数据速率：

其中，表示小型基站k在子信道n上用户f的接收数据速率，tf表示传输时间，b表示带宽，是的简写形式。

3)计算总的接收数据速率:

其中，表示在子信道n上用户f总的接收数据速率，k表示小型基站的数目，是的简写形式。

步骤3，根据计算得到的总的接收数据速率计算有效容量

其中，为有效容量，表示小型基站k能够支持用户f的最大数据速率；θkf表示在小型基站k下的用户f的服务质量指数；e(·)表示误差函数；为的简写形式，为的简写形式。

本实施例中，定义有效容量与总的小区能量消耗的比值为能量效率，在已知电路功率和发射功率的情况下，根据得到的有效容量，计算小型基站k下用户f的能量效率

其中，是的简写形式，表示小型基站k下用户f的能量效率，tf表示传输时间，pk表示总的下行链路的发射功率，pc表示电路功率。

本实施例中，

步骤4，本实施例中，总目标是最大化小型基站的能量效率因此，功率分配就能被描述为问题：

本实施例中，小型基站k下用户f的接收信干噪比γkf还要满足大于预设的信干噪比阈值，同样为了保证宏小区用户的服务质量，发射功率要小于等于引入的隐藏约束功率pmask，即：因此，功率分配问题可以描述为以下凸优化问题：

其中，表示预设的信干噪比阈值，pmask表示预设的隐藏约束功率，k’表示小型基站的集合，f’表示小型基站下包含的用户集合，n’表示子信道的集合，分别表示小型基站k的最大和最小发射功率，定义为

步骤5，将功率分配问题看作是一个非合作博弈，为每一个小型基站选择一个合适的策略，当能量效率达到最优值或接近最优就称达到纳什均衡。

步骤6，通过验证，步骤5中的功率分配方案满足超模博弈的条件，可以重写表达式，而且至少达到一组纳什平衡。

本实施例中，在满足超模博弈后，来自其他小区的干扰和噪声比接收到的信号功率小的多，因此系统的能量效率可以更新为：

步骤7，在超模博弈条件下，当小型基站网络达到最大收益并且每个用户的最佳响应是单值的，则用户更新发射功率方案从其策略空间的最大值(或最小值)开始，会收敛到纳什平衡，在达到纳什平衡后，更新的发射功率表示为

其中，表示达到纳什平衡的条件，小型基站k在子信道n上的发射功率；表示达到纳什平衡的条件，除了k以外的其他小型基站的发射功率。

步骤8，根据确定的发射功率进行功率分配，在功率分配中引入多用户q学习算法，每个用户都是相互独立且不交换任何信息，定义将小型基站作为代理，功率分配作为动作，并定义动作集，更新此时的能量效率具体的：

1)在多用户q学习算法解决凸优化问题过程中，定义状态

本实施例中，其中，表示小型基站k在时隙t的状态，表示动作αk下小型基站k在子信道n上的发射功率，ik的取值为{0,1}，表示小型基站k下用户f的接收信干噪比的状态，定义为

其中，γkf表示小型基站k下用户f的接收信干噪比，表示预设的信干噪比阈值，表示小型基站k在子信道n上用户f的接收信干噪比，表示子信道n上小型基站k的动作集中的动作，表示子信道n上除了小型基站k以外的其他小型基站的动作集。

2)将功率分配中的能量效率看做是q学习中的回报值函数如下：

其中，sk表示小型基站k的状态离散集。

3)小型基站k在状态sk时的功率选择以确保服务质量和最大化能量效率为目标，即：其中，πk(·)表示小型基站k的策略集；π-k(·)表示除去小型基站k以外的其他小型基站的策略集，β表示q学习中的代价因子，β值属于0到1。

步骤9，初始化当前状态然后从动作集中选择任一动作ak进行迭代，到达下一状态q值更新规则为当回报值达到最大值时，则得到最优解

本实施例中，q值更新规则为：

其中，s'k和sk分别代表小型基站k在时隙t和t+1时的状态，αt代表学习率，ak表示小型基站k的动作集中的动作，a-k表示除了小型基站k以外的其他小型基站的动作集中的动作，a-k表示为除去小型基站k之外的所有小型基站的动作集，βk表示小型基站k的动作集ak中的动作。

当回报值达到最大值时，则得到最优解根据得到的最优解确定功率分配方案。

步骤10，由于所有小型基站的信息难以全部获得，所以提出基于多用户的q学习算法猜想，给出线性函数表达式，并基于猜想重写q函数，得到基于猜想的线性函数

本实施例中，得到的基于猜想的线性函数可以表示为：

其中，是一个正的标量恒定值，和分别表示最后一个时隙里的猜想和策略集。

本实施例中，在基于猜想的策略完成后，步骤9中的q值更新规则变为：

步骤11，学习的过程中加强对功率策略的选择是有益的，贪婪选择是一种平衡探索和利用的有效方式，但是地位同等选择会造成弊端，本实施例中，引入玻尔兹曼分布，选择下一步动作αk进行迭代，直至得出最优的功率分配方案。

本实施例中，基于玻尔兹曼分布的策略集可以表示为：

其中，τ是一个正参数，表示热度值。

本实施例中，对热度值τ进行分析，τ越大对应的概率值之间差异越小，从而说明，本实施例所述的异构小区网络中的功率分配方法，能够最大限度地提高能量效率以及小区的吞吐量。

综上，本申请所述的异构小区网络中的功率分配方法，在小区中通过引入时延约束和有效容量来保证服务质量，将功率分配问题建模为非合作超模博弈，并证明其收敛于纳什均衡，然后转化为凸优化问题，由基于猜想的多用户q学习算法求解，最大限度的提高能量效率以及小区的吞吐量。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。