专利名称：基于q学习的异构网络接入控制优化选择方法
技术领域：
本发明涉及基于Q学习的异构网络接入控 制优化选择方法，属于无线网络领域。
背景技术：
随着手机、笔记本、上网本等终端的丰富，多媒体等多种业务的兴起，単一网络已经越来越无法满足人们对带宽和业务质量的需求，同吋，网络类型的繁多与彼此的不兼容也给用户带来了诸多不便，因此，多种无线接入网络的融合已经成为下一代无线网络ー个新的趋势。在所有接入网络中，由于3G无线网络系统WCDMA和无线局域网WLAN优缺点存在互补性，引起了各界专家的关注。WLAN具有数据速率高、灵活、建网迅速、个人化等特点，但是覆盖范围小，而WCDMA的移动终端可广泛的配置，覆盖范围遍布全球，但是通信速率不高，适合语音传输。通过将WCDMA与WLAN这两种异构网络进行融合能够以较低的成本共享两者的优点。无线网络融合首先遇到的挑战性问题就是接入控制。现在提出的接入控制方案主要是基于測量和基于模型的，基于测量的接入控制方案通常比较有效而且易于实现。然而，由于没有理论基础，这些方案很难达到全局最优。基于模型的接入控制方案有明确的数学根据，更能够全局优化，然而这些方案计算过于复杂，而且模型常常建立在一些与实际不符的假设上(例如信道传输无错，每个站点都是贪婪的)，所以很难应用于实际的系统。马尔科夫决策的方法是解决接入控制问题的基于模型的经典方法，已经被应用到各个领域，但是这种方法的转移概率和回报函数都需要精确的定义，而且，在真正的实际环境中，模型的状态空间和计算复杂度会戏剧性的増大，这会使得马尔科夫决策的方法很难应用。
发明内容
本发明目的是为了解决针对WCDMA/WLAN融合异构网络系统，采用基于测量的接入方案选择网络类型不能实现全局最优，而采用基于模型的接入方案选择网络类型计算过于复杂，很难应用于实际系统的问题，提供了一种基于Q学习的异构网络接入控制优化选择方法。本发明所述基于Q学习的异构网络接入控制优化选择方法，该方法包括以下步骤步骤一、判断接入新用户时的异构网络状态；步骤ニ、查询Q值表，选择步骤一所述异构网络状态对应的Q值表中的最大Q值对应的子网络作为新用户的接入网络。所述异构网络指的是WCDMA子网络和WLAN子网络采用松耦合的方式组成的融合异构网络，所述异构网络状态是根据WCDMA子网络的基于干扰的四种网络状态和WLAN子网络的基于信道繁忙率的四种网络状态共同确定的，WCDMA子网络的基于干扰的四种网络状态向量S。= [Ivery low，Ilow, Ihigh, Ivery high]，WLAN子网络的基于信道繁忙率的四种网络状态向量
S\vvery low，low，high，^b-very high」， 则所述WCDMA子网络和WLAN子网络构成的异构网络的网络状态向量s为 S I-1^b-Very low^-very low，^b-very low丄low，Rb—very low^high Rb—very low^-very high， Rb—low^very low，^b-Iow
权利要求
1.基于Q学习的异构网络接入控制优化选择方法，其特征在于，该方法包括以下步骤 步骤一、判断接入新用户时的异构网络状态； 步骤ニ、查询Q值表，选择步骤一所述异构网络状态对应的Q值表中的最大Q值对应的子网络作为新用户的接入网络。
2.根据权利要求I所述基于Q学习的异构网络接入控制优化选择方法，其特征在于，所述异构网络指的是WCDMA子网络和WLAN子网络采用松耦合的方式组成的融合异构网络， 所述异构网络状态是根据WCDMA子网络的基于干扰的四种网络状态和WLAN子网络的基于信道繁忙率的四种网络状态共同确定的， WCDMA子网络的基于干扰的四种网络状态向量s。= [Ivery low, Ilow, Ihigh, Ivery high]，WLAN子网络的基于信道繁忙率的四种网络状态向量 Sftr [Rb—very low Rb-low，Rb-high，Rb-very high]，则所述W⑶MA子网络和WLAN子网络构成的异构网络的网络状态向量S为
3.根据权利要求2所述基于Q学习的异构网络接入控制优化选择方法，其特征在于，确定WCDMA子网络的基于干扰的四种网络状态的规则为 当O彡Itotal+A I < I1吋，WCDMA子网络处于Ivery low状态； 当I1 く Itotai+AI < I2吋，WCDMA子网络处于Ilow状态； 当I2彡Ittrtal+A I < I3吋，WCDMA子网络的基于干扰的四种网络状态处于Ihigh状态； 当Itotai+aI彡I3吋，WCDMA子网络处于Ivery high状态； 其中，I1 = 4 7，I2 = 8 9，I3 = 10 12， Itotal为WCDMA子网络的基站的接入新用户前的N个用户时的总干扰， A I为接入新用户增加的干扰，且按如下公式获取
4.根据权利要求3所述基于Q学习的异构网络接入控制优化选择方法，其特征在干，I1=4, I2 = 8, I3 = 12。
5.根据权利要求2所述基于Q学习的异构网络接入控制优化选择方法，其特征在于，确定WLAN子网络的基于信道繁忙率的四种网络状态的规则为 当O < Rb_max < Rbl吋，WLAN子网络的基于信道繁忙率的四种网络状态处于Rb_VOTy low状态； 当Rbi≤Rb-Hiax < Rb2吋，WLAN子网络处于Rn_low状态； 当Rb2 ≤ Rb-fflax < Rb3吋，WLAN子网络处于Rb_high状态； 当Rb-_≥Rb3吋，WLAN子网络处于Rb__y high状态；其中，Rbi = 0. 25, Rb2 = 0. 5, Rb3 = 0. 75, Rb-fflax为最大呑吐量时的信息繁忙率，且Rb__的获取过程为 步骤I、根据公式= 0求解最大呑吐量时的P值PpP为在所观察的时隙内至 dp少有ー个传输的概率，其中RS(P) = PsTノ (Pi O +psTs+pcTc) 式中PS是数据成功传输概率，且Ps = npt (l-pt) n^1, Pt与P存在关系式p = I-(I-Pt)n_S n为WLAN子网络内的用户数； Pi是所观察的回退时隙内信道为空的概率，iPi = (I-Pt)n; P。是同样的回退时隙内信道中至少有两个传输的碰撞概率，且P。= I-Pi-Ps ; O是空回馈时隙的长度； Ts为数据包发送过程中发送数据包所需要的时间，
6.根据权利要求2至5任ー权利要求所述基于Q学习的异构网络接入控制优化选择方法，其特征在于，Q值表的获取过程为 步骤a、初始化Q值表，在
区间内随机赋值Q值表中的Qs〗\a = I和Qs〗\a^2,
7.根据权利要求6所述基于Q学习的异构网络接入控制优化选择方法，其特征在于，折扣因子Y =0.9。
全文摘要
基于Q学习的异构网络接入控制优化选择方法，属于无线网络领域，本发明为解决针对WCDMA/WLAN融合异构网络系统，采用基于测量的接入方案选择网络类型不能实现全局最优，而采用基于模型的接入方案选择网络类型计算过于复杂，很难应用于实际系统的问题。本发明所述基于Q学习的异构网络接入控制优化选择方法包括以下步骤步骤一、判断接入新用户时的异构网络状态；步骤二、查询Q值表，选择步骤一所述异构网络状态对应的Q值表中的最大Q值对应的子网络作为新用户的接入网络。本发明方法用于新用户接入时能根据当前的实际情况快速选择接入的网络类型。
文档编号H04W48/16GK102647773SQ201210132200
公开日2012年8月22日 申请日期2012年5月2日 优先权日2012年5月2日
发明者刘宁庆, 徐玉滨, 邓志安, 陈佳美, 马琳 申请人:哈尔滨工业大学