基于Q学习的免授权频谱下5G多系统共存资源分配方法与流程

本发明提供了一种基于q学习的免授权频谱下5g多系统共存资源分配方法，属于无线通信中的频谱分配技术领域。

背景技术：

移动通信即将迈入第五代时代，交互式游戏、虚拟/增强现实技术、远程医疗服务等基于5g网络的新兴业务呈井喷式涌现。与此同时，随着全球工业互联网或物联网等新技术的快速发展和应用普及，对产业技术升级要求远高于传统互联网或物联网应用。为了应对爆炸式增长的海量数据，如何科学规划和高效利用频谱资源提高网络容量是解决该难题的重要途径。

5g网络是多网融合共存的异构系统，网络类型多样且支持大规模连接，迫切需要使用免授权频谱为其分担移动通信业务。但是，由于不同网络底层传输技术的异构性、传输功率差异以及隶属于不同运营商而导致无线接入标准不统一，使得免授权频段中的共存问题更加复杂。当5g系统运行在免授权频谱(5thgenerationmobilenetworksnewradioinunlicensed,5gnr-u)时，会加剧免授权频段密集组网环境中干扰强度，特别是对免授权频段上现存的wifi系统造成直接的干扰。因此，如何解决免授权频段上5gnr-u系统与wifi系统共存是一个亟待解决的问题。

目前，针对以上问题主要使用基于几乎空白子帧(almostblanksubframe,abs)的共存方案。其中，基于abs的共存方案是受到lterelease10中提出的将abs用于增强的小区间干扰协调的启发，并在abs的基础上进行改进，从而实现nr-u系统与wifi系统共存。此外，现存的abs共存方案都是静态地为wifi分配空白子帧，没有考虑wifi的流量负载等因素从而造成了abs子帧的浪费。因此，如何根据wifi的流量负载从而为wifi分配合适的abs数量是一个亟待解决的问题。

此外，考虑到nr-u系统与wifi系统是异构系统，两种系统之间不能进行信息的交互。然而，机器学习能对当前环境或状态做出预测或最佳判决，且不需要通信设备间进行数据交互，故非常适合异构网络的通信环境。因此，运用机器学习方法能够有效解决免授权频段上的nr-u系统与wifi系统共存问题。

技术实现要素：

本发明的目的是为了解决免授权频段上nr-u系统与wifi系统在未经约束前提下无法共存的技术缺陷，提出了基于q学习的免授权频谱下5g多系统共存资源分配方法。

本发明的目的主要通过以下技术方案实现：

所述5g多系统共存资源分配方法，包括吞吐量计算、abs数量计算以及abs位置匹配三部分；

其中，吞吐量计算，包括以下步骤：

步骤1：计算共存场景下nr-u系统与wifi系统的吞吐量；

其中，wifi系统的吞吐量为(1):

其中，ptr和ps表示信道中有用户传输且传输成功的概率以及信道中至少有一个用户在传输的概率，e[p]表示在一个时隙中传输的平均数据，tσ，ts和tc分别表示空闲时隙的平均时间、数据成功传输的平均时间和发生碰撞的平均时间；ptr、ps、ts和tc分别表示为(2)、(3)、(4)和(5)：

ptr＝1-(1-τ)ⁿ(2)

ts＝h+e[p]+sifs+δ+ack+difs+δ(4)

tc＝h+e[p]+difs+δ(5)

其中，n为共存场景下wifista个数，h为mac和phy层头部的长度，δ为传输时延，ack、difs和sifs分别代表dcf的帧间距、确认帧时间和短帧间距，τ为每个wifista在任意时隙内的传输概率，表示为(6)：

其中，cwmin表示最小竞争窗的大小，m代表最大退避状态，pc表示信道中数据帧发生碰撞的概率，通过(7)计算：

pc＝1-(1-τ)^n-1(7)

nr-u系统的吞吐量为(8):

其中，b为免授权频段一个信道的子带宽，γm为第m个ue的信干噪比，可表示为γm＝pm|gm|²/(i+r)，pm为第m个ue的传输功率，gm为第m个ue的信道增益，i为干扰功率，r为白噪声的功率；

其中，用户设备，全称userequipmentdevices,简写为ue；

步骤2：计算共存场景下的最优abs数量，具体包括如下子步骤：

步骤2.1依次遍历目标函数(9)中q的所有取值找到符合优化目标的q值：

其中，约束条件q∈[0.1,0.2,...,0.9]是为了保证为wifi分配的abs数量是子帧的整数倍；stotal为系统的总吞吐量即nr-u系统与wifi系统吞吐量之和，q为nr-u系统占用的时间比例，(1-q)为nr-u系统静默时间也就是abs的持续时间，λ为衡量吞吐量和公平性的权重因子，fq表示nr-u系统与wifi系统的公平指数，表示为(10)：

步骤2.2根据步骤2.1找出来的q值计算出abs的数量nabs，具体通过公式(11)实现：

nabs＝(1-q)t(11)

其中，t为5gnr系统中一个无线帧的长度；

步骤3：匹配共存场景下的abs位置，具体运用q学习实现wifi系统与abs位置的匹配，步骤如下：

步骤3.1)nr-u系统作为q学习中的智能体通过侦听wifi系统的网络环境参数，获得abs持续时间内wifi吞吐量的最小值smin以及最大值smax；

步骤3.2)初始化q值表，从状态空间s中随机选择一个状态st以及从动作集合a＝{at},t∈[0,10-nabs]随机选择一个动作at；

其中，状态空间s表示为(12):

其中，sw为wifi在abs持续时间内的平均吞吐量；

步骤3.3)执行动作at获得其回报值r，并观察下一状态at+1；

其中，回报值r定义为智能体在状态st下采取动作at可以获得的奖励值，表示为(13)：

其中，表示在第i个abs对应的持续时间内wifi系统的吞吐量，σ的设置是为了避免分母为0；当与smax越接近，回报值越高；反之，当与smax差距越大，回报值越低；

步骤3.4)按照(14)更新q值表，并更新当前状态st＝st+1；

q(st,at)＝(1-α)q(st,at)+α[r+γmaxaq(st+1，a)]

(14)

其中，q(st,at)表示在当前状态st下，智能体执行动作at得到的累计决策信息；

步骤3.5)找到当前状态st下对应最好的q值，其对应的动作就是abs的位置。

至此，完成了基于q学习的nr-u系统与wifi系统的共存，实现了基于q学习的免授权频谱下5g多系统共存资源分配方法。

有益效果

基于q学习的免授权频谱下5g多系统共存资源分配方法，对比现有的技术，所述方法具有以下特点：

(1)所述共存资源分配方法能在最大化系统吞吐量的同时根据wifi的负载确定合适的abs数量，与现有的静态的abs配置方案相比，在保证系统公平性的同时还能够有效提高异构网络系统的总吞吐量；

(2)所述方法利用q学习算法将wifi的传输位置与abs位置相匹配，能够有效提高共存系统的频谱资源利用率。

附图说明

图1是基于q学习的免授权频谱下5g多系统共存资源分配方法及实施例1中的nr-u系统与wifi系统的共存系统模型；

图2是基于q学习的免授权频谱下5g多系统共存智能资源分配方法及实施例1中的wifi系统数据发送位置和abs位置在不匹配情况下的示意图。

具体实施方式

下面结合附图对本发明基于q学习的免授权频谱下5g多系统共存资源分配方法内容作进一步详细说明。

实施例1

基于q学习的免授权频谱下5g多系统共存资源分配方法具体实施时，基于如图1所示的场景。如图1描述，nr-u系统中有2个ue，wifi系统中有2个sta，不失一般性，在具体实施时中，10个ue以及8个sta共享同一免授权频谱资源。

但由于nr-u系统采用集中调度的mac机制因此具有较好的干扰容忍度。而wifi系统采用的是基于竞争的mac机制，当仅以最大化共存系统吞吐量为优化目标时，免授权频段的资源会尽可能多地被分配给nr-u系统，从而导致wifi无法接入信道进行通信，wifi系统的吞吐量大大降低。此外，共存系统模型中nr-u系统占据了整个免授权频段，wifi系统只能在nr-u系统静默时期使用免授权频段通信。

因此，本发明所述方法通过计算nr-u系统和wifi系统的吞吐量，在保证最大化系统吞吐量以及nr-u系统和wifi系统的公平性的前提下，为wifi系统分配合理的abs数量。

基于q学习的免授权频谱下5g多系统共存智能资源分配方法，包括以下步骤：

步骤a：计算共存场景下nr-u系统与wifi系统的吞吐量；

在本实施例中，nr-u系统中ue的个数为10，wifi中sta的个数为8，联立(6)和(7)就能得到pc和τ的值。然后，再把τ的值代入到(2)和(3)中就能得到ptr和ps的值。在本发明的实施例中，h＝phy数据头+mac数据头，其中phy数据头＝192bits，mac数据头＝224bits。此外，e[p]＝8224bits，sifs＝16μs，difs＝34μs，δ＝9μs，ack＝112bits+phy数据头。将上述取值代入(4)和(5)中就能求出ts和tc的值。最后，将ptr、ps、e[p]、tσ＝20μs、ts以及tc代入(1)中就能求得wifi的吞吐量。

对于nr-u系统的吞吐量，将pm＝20dbm，i＝-95dbm以及路径损耗模型为15.3+50log(100)代入到γm＝pm|gm|²/(i+r)求得γm的值，然后再将其代入(8)中就能求得nr-u系统的吞吐量。

步骤b：共存场景下最优abs数量计算；

在本实施例中，遍历求解共存场景下最优abs数量，其具体算法流程为：(1)设置q的取值范围为[0.1,0.9]，搜索步长为0.1；(2)初始化q＝0.1，q^*＝0，计算uq＝λ(qsl+(1-q)sw)+(1-λ)fq；(3)如果则q^*＝q；(4)跳到下一个q，q＝q+1；(5)直到q＝0.9，返回q^*和

通过上面的遍历算法就能得出最优abs数量。

步骤c：共存场景下的abs位置匹配；

图2给出了wifi系统数据发送位置和abs位置在不匹配情况下的示意图。可以看出wifi系统在非空白子帧的时候有数据需要传输，由于此时频谱资源正在被nr-u系统使用，因此wifi系统检测到信道处于忙碌状态从而启动退避机制。此时，如果退避时间正好在abs内，由于wifi系统处于退避状态导致其不能占用信道进行通信，这样不仅会造成频谱资源的浪费还会降低系统的吞吐量。因为，在考虑使用abs机制实现nr-u系统与wifi系统的共存时，除了需要配置合适的abs数量以外，还需要根据wifi系统数据传输情况将abs置于合适的位置。

本发明所提出的一种基于q学习的免授权频谱下5g多系统共存智能资源分配方法能够根据wifi的数据传输规律匹配合适的abs位置，从而实现wifi与nr-u系统的共存。

至此完成了基于q学习的免授权频谱下5g多系统共存资源分配方法。

本领域技术人员知道，不限于上述参数在本实施例中的具体赋值，本领域技术人员可以根据具体的应用场景以及参数的物理含义进行具体赋值。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。