非授权频段LTE‑U和WiFi系统基于Q算法的动态占空比共存方法与流程

本发明属于无线通信
技术领域：
，涉及一种非授权频段LTE-U和WiFi系统基于Q算法的动态占空比共存方法。
背景技术：
：随着无线通讯技术的高速发展，越来越多的无线应用丰富着人们的生活。高数据量业务的爆发式增长，加剧了当前频谱资源紧张的局面。据预测，到2020年，无线数据业务比起2010年将会增长1000倍。为此，业内众多公司提出了将LTE系统借助于载波聚合技术(CarrierAggregation，CA)在5GHz非授权频上使用的想法，即LTE-U。更宽的频谱极大的提升了LTE系统的吞吐量，但考虑到非授权频段的传输性能并不稳定，为了给用户提供较高的服务质量，通常建议LTE-U借助于LAA(LicensedAssistedAccess，LAA)来进行数据传输，即控制数据和用户数据分别在2GHz与5GHz上传输，如此一来，即使当非授权频段传输质量无法保障的情况下，LTE-U用户的关键控制数据也不被丢失，有效的改善并保证了LTE-U用户的服务体验。目前，WiFi(Wireless-Fidelity，无线局域网)是5GHz频段最常用的一种无线接入方式。该系统采用载波监听、多路访问以及碰撞避免(CarrierSenseMultipleAccesswithCollisionDetection，CSMA/CA)的方式接入信道，即在接入信道前，先进行信道监听，当判断信道空闲后，持续监听信道一段时间，若信道仍保持空闲，则开始数据传输，否则随机后退一段时间，待到信道空闲后，继续监听信道一段时间，直到此时间内信道依旧空闲，则开始数据传输。这种接入方式能有效的减小碰撞的概率，提高WiFi用户传输性能。然而，WiFi基于竞争的接入机制正是其在与LTE-U在5GHz上共存受到干扰的原因。当LTE-U与WiFi共存时，WiFi系统将会因受到LTE-U的传输干扰而导致其一直处于监听和回退的状态，进而使得WiFi系统的吞吐量受到严重影响。因此，LTE-U对WiFi的公平共存问题共成为了LTE-U在5GHz上使用亟需解决的问题。现有的LTE-U和WiFi的共存方案是大多基于时分复用的共存方式，通过将LTE-U和WiFi从传输时间上相互隔离，达到共存目的。而实际情况中，由于无线环境的复杂性以及WiFi接入机制的不可控性，传统的时分复用共存方式在解决LTE-U和WiFi系统共存问题上表现并不理想。技术实现要素：有鉴于此，本发明的目的在于提供一种非授权频段LTE-U和WiFi系统基于Q算法的动态占空比共存方法，在该方法中，LTE-U通过Q学习算法，动态调整其与WiFi系统的共存时间，使得网络整体吞吐量在达到预期吞吐量的同时，保证WiFi系统一定的传输机会，降低LTE-U对WiFi系统的干扰。该方法具有简便高效的特点，此外，方法中Q算法预期吞吐量值的设定可根据网络实际情况，即用户数，业务类型等因素进行灵活的调整，具备一定的可移植性。为达到上述目的，本发明提供如下技术方案：一种非授权频段LTE-U和WiFi系统基于Q算法的动态占空比共存方法，该方法利用Q算法，不断学习探索网络环境，动态调节LTE-U与WiFi的最佳共存时间，以此来降低LTE-U对WiFi系统的干扰，提高网络整体吞吐量；该方法具体包括以下步骤：S1：分别给LTE-U和WiFi设置预期吞吐量并给LTE基站编号；S2：划分状态State和动作Action；S3：对全部LTE基站建立全零Q矩阵；S4：确定当前网络整体吞吐量C所处的状态Statej，j表示当前的状态编号，1≤j≤N，N表示状态总数；S5：选择动作Action：产生一个服从均匀分布的0到1的随机数r，如果r小于预设固定值ε，则随机选择动Actionq，否则，则选择中对应的动作Actionq；此种选择动作Action方式，即可保证以一定概率随机探索新动作Action，又可依照经验选择此状态下Q值，即代价最小的动作Action；q表示当前的动作编号，1≤q≤S，S表示动作Action总数；S6：执行所选择的动作Actionq，并在当前传输周期T结束后，记录下LTE-U和WiFi系统当前各自的吞吐量CL、CW；S7：更新网络整体吞吐量Cupd，得出此时网络所处的状态Stateupd并更新Q矩阵；S8：更新状态State：根据步骤S7中得出的当前状态Stateupd，更新此时的网络状态State，并跳转至步骤S5，进行下一个传输周期T内动作Action的选择。进一步，在步骤S1中，网络侧根据LTE-U和WiFi系统各自的瞬时吞吐量峰值乘以相应的百分比，设置LTE-U和WiFi系统的预期吞吐量设置LTE基站编号，编号从场景中心小区的基站起始，依次编号：B1、B2…BM，M为场景中的基站总数。进一步，在步骤S2中，状态State的划分可对网络整体期望吞吐量进行均分得出，理论上，State的个数并没有明确的规定，故可以按照实际的情况进行调整，需要注意的是，相邻两个State之间的距离不宜太大或太小，否则容易使得Q算法调节网络整体吞吐量效果不明显或算法效率低下。进一步，在步骤S2中，动作Action划分为4种情况，即20％、40％、60％、80％；该4种Action代表LTE-U在一个传输周期内T的传输时间比例，即LTE-U与WiFi在一个传输周期时间T内共存的时间。进一步，在步骤S3中，全部LTE基站建立全零Q矩阵，基站Bi的Q矩阵元素为其中，j表示当前的状态编号，q表示当前的动作编号，1≤j≤N，1≤q≤S；N表示状态总数，S表示动作总数，即为4。进一步，在步骤S4中，根据步骤S2中的State划分规律，确定当前网络整体吞吐量C所处的Statej。进一步，在步骤S5中，考虑到Q学习算法是根据过去的经验选择动作Actionq，为了保证Q算法选择的有效性，在Q算法中规定以一定的概率ε跳出经验的限制以探索更优的选择结果并进一步保障Q算法在提高网络整体吞吐量的优势，其中，ε的取值为0.04。进一步，在步骤S6中：在当前传输周期T内，LTE-U系统执行Actionq对应的传输时间比例，传输比例与传输时间比例的对应关系为：传输时间＝传输时间比例×传输周期T。进一步，在步骤S7中，利用步骤S6中记录的LTE-U和WiFi的当前吞吐量CL、CW，通过Cupd＝CL+CW计算出此时网络整体吞吐量Cupd，结合步骤S2中确定的State划分情况，得出此时的网络状态Stateupd。进一步，在步骤S7中，每一个传输周期结束后，都需要对Q矩阵进行更新，Q矩阵更新式为：QBi(Statej.Actionq)=(1-∝)QBi(Statej.Actionq)+α[Cost+γQ_value]]]>上式等号右边的为更新后的Q值，等号左边的为更新前的Q其中，代价Cost和更新的Q_v的计算方式为：Cost=|CLt-CL|+|CWt-CW|]]>Q_value=(minActionupd(QBi(Stateupd.Actionupd))]]>代价Cost值代表着已选的动作Actionq对于LTE-U和WiFi网络达到预期吞吐量是否有促进的作用；当Cost值较小，表示Actionq有利于LTE-U和WiFi网络达到预期吞吐量，反之，则表示Actionq不利于使LTE-U和WiFi网络达到预期吞吐量；更新公式中的学习因子α和折扣因子γ，取值范围都为(0，1)，二者协同作用调节Q矩阵的更新，进而影响Q算法的学习效果，α取值0.5，γ取值0.9。本发明的有益效果在于：本发明通过LTE-U在传输周期T内间断传输，而WiFi保持持续传输的方式实现LTE-U和WiFi的共存。与传统的时分复用方式相比，本方法中LTE-U和WiFi的共存方式充分利用了LAA的传输优点，改变了传统时分复用方式内任意传输周期T中需要分别中断LTE-U和WiFi的传输的情况，并改善了网络整体用户的传输性能和用户体验。此外，该方法中利用Q学习算法根据网络当前实际的吞吐量来进行动态的调节最佳LTE-U和WiFi的共存时间，在保证WiFi用户一定的传输能力的同时，有效降低LTE-U对WiFi系统的干扰，使得网络整体吞吐量达到预期值并优化网络整体性能。附图说明为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：图1为本方法适用的网络场景图；图2为LTE-U和WiFi的共存方式示意图；图3为Q算法动态调整LTE-U传输时间的流程图。具体实施方式下面将结合附图，对本发明的优选实施例进行详细的描述。本发明针对LTE-U和WiFi在5GHz上共存问题，提出一种LTE-U和WiFi系统非授权频段上基于Q算法的动态占空比方案。不同于传统的时分复用共存方案，本发明中将时间划分为若干个传输周期T，LTE借助CA技术同时使用2GHz和5GHz。此外，LTE-U将采用LAA的传输方式，即将重要控制数据放置在2GHz上传输，用户数据放置在5GHz上传输。如此一来，即使LTE-U在5GHz上的传输被中断，LTE-U用户的重要数据也不会丢失。方案中，LTE-U用户一方面保持其在2GHz上的传输，一方面按照Q算法选择的传输时间比例(20％、40％、60％、80％)所对应的传输时间在5GHz上进行传输。完成规定时间的传输后，LTE-U用户将在剩余的时间断开5GHz频段上的传输，此时LTE-U用户在2GHz上的传输依旧继续，待到下一个传输周期T开始时，LTE-U重新借助载波聚合技术聚合5GHz频段，并根据此时Q算法选择的结果在5GHz频段上传输相应的时间。WiFi用户则依旧使用CSMA/CA的竞争接入方式，不同于LTE-U在一个传输周期T内的间断传输，WiFi用户在每一个传输周期T内一直保持数据传输。这种LTE-U在传输周期内间断传输，而WiFi在传输周期内保持传输的共存方式，一方面可以避免传统时分复用共存方案中，需要同时间断LTE-U和WiFi传输的情况，并将间断的次数减至最小，保护了WiFi用户的传输性能；另一方面，考虑到LTE-U较之WiFi具有更强的抗干扰能力，且LTE-U采用LAA的传输方式，即使LTE-U间断在5GHz上传输，也不会对LTE-U的服务质量(QualityofService，QOS)造成严重的影响。方案中，LTE-U在传输周期T内的传输时间由Q算法决定，Q算法依照上一个传输周期T时网络整体的吞吐量判断此时网络的状态State，随后根据以往经验，得出该网络状态State下，网络希望在该传输周期T内达到预设吞吐量时的LTE-U最优传输比例，即动作Action。此外，为了避免Q算法的选择受到以往经验值的限制，Q算法内还采用贪婪法则，即允许Q算法以一定的概率随机寻找LTE-U在传输周期T内的传输比例。贪婪法则使得Q算法有机会去发现网络在当前状态State下，LTE-U在传输周期T内更优的传输时间分配策略，在一定程度上保证了Q算法调节LTE-U与WiFi共存时间的正确性。Q算法的具体步骤如下：1)设置预设吞吐量。网络侧根据LTE-U和WiFi系统各自的吞吐量峰值，设置LTE-U和WiFi系统的目标吞吐量2)设置基站编号。给场景中所有的LTE基站设置编号，编号从场景中心小区的基站开始，依次编号：B1、B2…BM.M为场景中的LTE基站总数；3)划分状态State和动作Action。利用式1计算网络整体期望吞吐量并给网络吞吐量划分状态State和动作Action，划分情况见表1、表2，其中C为网络整体吞吐量,N+1为划分的状态State个数；表1表2传输比例网络行为20％Action140％Action260％Action380％Action44)初始化Q矩阵。由于任意基站都有N+1种状态State，和4种行为Action，因此，给基站Bi建立[N+1，4]的全零Q矩阵其中，矩阵的元素为1≤j≤N+1，1≤q≤4；5)确定网络当前状态State。利用表1，确定网络总整体吞吐量C所处的Statej，1≤j≤N+1。6)产生一个服从均匀分布的0到1的随机数r，如果r小于固定值ε，则随机选择Actionq，1≤q≤4否则，选择中对应的Actionq。此种选择动作Action方式，即可保证以一定概率随机探索新动作Action，又可依照经验选择此状态下代价最小的动作Action。7)执行Actionq。在当前传输周期内，LTE-U系统按照动作Actionq对应的传输时间进行传输，动作Actionq与传输时间的对应公式见式2，并在传输周期T结束后，记录下LTE-U和WiFi系统各自的吞吐量CL、CW。传输时间＝动作Actionq×传输周期(1≤q≤4)(式2)8)更新网络整体吞吐量Cupd。利用式3计算更新后的网络整体吞吐量Cupd。Cupd＝CL+CW(式3)9)更新Q矩阵。利用表1，判断Cupd所处状态Stateupd。通过式4更新Q矩阵，其中，代价Cost以及Q_value的计算见式5、式6。10)更新状态State。将状态Statej更新为状态Stateupd并重复执行步骤6)，为下一个传输周期T内动选择作Action。图1为本方法适用的网络场景图，在本实施例中，本方法适用场景考虑双层小区结构，层一与层二分别有7宏蜂窝小区结构，并依次在每层各小区的中心位置部署LTE宏基站(MacrocellBaseStation，MBS)或WiFi的接入节点(Access，Point，AP)，具体如图1所示。场景中LTE-U用户和WiFi用户在各层的各小区中等量均匀分布，并按照一定的速度向任意方向的运动。此外，LTE-U用户将采用LAA(LicensedAssistedAccess)的传输方式来提高传输质量。LAA，即控制数据和用户数据分别在2GHz与5GHz上传输，此传输方式可在当非授权频段传输质量无法保障的情况下，保证LTE-U用户的关键控制数据不被丢失。在本实施例中，LTE采用频分双工(FimeDivisionDuplexing，FDD)模式，WiFi采用802.11a标准，LTE-U用户与WiFi用户的共存方式如图2所示。图2中将时间划分为若干个传输周期T，在每个传输周期T内，WiFi用户一直在5GHz上传输，而LTE-U用户一方面一直保持其在2GHz上的传输，一方面按照Q算法选择的传输时间比例(20％、40％、60％、80％)所对应的传输时间在5GHz上进行传输。完成规定时间的传输后，LTE-U用户将停止使用5GHz频段，此时LTE-U用户在2GHz上的传输依旧继续，待到下一个传输周期T开始时，LTE-U重新借助载波聚合技术聚合5GHz频段，并根据此时Q算法选择的结果在5GHz频段上传输相应的时间。对每个LTE基站使用Q算法，即可得出各小区的LTE-U用户在任意传输周期T内传输时间。Q算法执行的步骤流程如图3所示。当一个传输周期T开始时，网络侧首先会根据上个传输周期T所记录的LTE-U和WiFi各自的吞吐量计算出网络整体吞吐量，进而得出网络整体所处的状态State。随后产生一个服从均匀分布的0到1的随机数r，如果r小于固定值ε，则随机选择动作Action，否则，则在该基站Bi的Q矩阵中，寻找此状态State下，最小的Q值对应的动作Action，即根据此时选择出的动作Action，对应出LTE-U在该传输周期T内的传输比例，并通过将该传输比例得出LTE-U在该传输周期T内的传输时间。LTE-U在该传输周期T内执行此传输时间，并在传输周期结束后，记录LTE-U和WiFi各自的吞吐量CL、CW，根据二者的吞吐量更新此时的网络整体吞吐量值Cupd＝CL+CW，并判断此时网路整体吞吐量Cupd所处的状态Stateupd。接着，确定该传输周期T内选择的动作Action所带来的代价Cost，代价Cost的计算公式：其中，和分布是LTE-U和WiFi网络的预期吞吐量值，根据代价Cost，更新Q矩阵，更新公式为：QBi(State.Action)=(1-∝)QBi(State.Action)+α[Cost+γQ_value]]]>公式中，α和γ分别为学习因子和折扣因子，Q_value为Q矩阵在Stateupd状态下的最小Q值。随后，将状态State更新为状态Stateupd。到此，Q算法的此次循环结束，待到下一个传输周期T开始，重复执行上述步骤即可。本方案中，Q算法通过不断学习动作Action后所产生的代价Cost，确保了Q算法可在不断的更新后，得出在不同状态State下为了达到预期吞吐量所需选择的动作Action的最优策略，灵活的调整LTE-U和WiFi的共存时间，在达到预期吞吐量同时，降低LTE-U对WiFi的干扰，实现LTE-U和WiFi网络的公平共存。最后说明的是，以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其做出各种各样的改变，而不偏离本发明权利要求书所限定的范围。当前第1页1 2 3