基于交互式认知学习的下行功率调整方法和装置制造方法
【专利摘要】基于交互式认知学习的下行功率调整方法和装置，涉及通信技术。家庭基站作为具备学习能力的智能体，以提高组网性能为学习目标，通过调整资源块的功率分配来进行网络优化。除了自身的学习进化，家庭基站之间还可以根据交流相似度和专业知识度，来进行交互式学习以提高学习效率同时节省由自身通过空中接口积累学习经验的长时间能量损耗。通过调整资源块的功率分配来进行网络优化，能够减小混合组网的干扰，提高吞吐量。除自身学习以外，将家庭基站网关作为案例库，家庭基站可以根据相似度和专业知识度，来交互学习以提高学习效率同时节省由空中接口积累学习经验的长时间能量损耗。
【专利说明】基于交互式认知学习的下行功率调整方法和装置
【技术领域】
[0001] 本发明涉及通信技术，尤其是涉及一种基于交互式认知学习的下行功率调整方法 和装置。
【背景技术】
[0002] 文献《Femtocells: technologies and deployment》（Zhang, J.，&De la Roche, G. (2010).Femtocells:technologies and deployment(pp.l_13).New York:Wiley.)中调查 显示，在传统的蜂窝小区中有2/3的话音业务和90%的数据业务发生在室内，室内无线接 入网的覆盖和容量显得格外重要。而宏基站价格十分昂贵，并且站址的选取，设备的安装、 调试和维护都要耗费大量的人力、财力、物力和时间，通过增加宏基站来解决这一问题会增 加运营商的开支并带来大量复杂的网络规划问题。在这样的大背景下，家庭基站等新兴设 备应运而生。
[0003] 家庭基站又称毫微微蜂窝式基站，是一种低功率无线接入点，工作于授权频段，由 用户已有宽带（如DSL、有线电缆、光纤）接入，远程通过专用网关实现从IP网到移动核心 网的连通。它具有成本低廉、安装方便、自动配置、即插即用等特点，与运营商的其它移动基 站同制式、同频段，因此手机等移动终端可以通用。其发射功率与Wi-Fi设备相差不大，约 为10?100mW，覆盖半径为10?50m，支持数个活动用户，用于灵活地改善室内室外的无线 信号覆盖和增加网络容量。但是，在宏基站与家庭基站的混合组网中不可避免地存在干扰。 一方面，家庭基站作为一种商品，是由用户自由购买和安装，导致运营商不知道其位置分布 情况；另一方面，随着家庭基站的普及，其在数量上将全面超越传统宏基站的规模，这将进 一步地影响整网的性能。从功率的角度来看，如果不进行干扰管理，下行可能会出现以下负 面情况：
[0004] (1)家庭基站的信号过小而被宏蜂窝信号覆盖淹没，导致家庭基站的覆盖区域很 小、信号质量差；
[0005] (2)若家庭基站信号相对于宏基站信号过大，可能导致宏蜂窝用户失去与宏基站 的连接进入一个盲区（死区），即宏蜂窝用户既没有接入闭合模式下的家庭基站的权限，又 不能连接到宏基站；也可能使得宏蜂窝用户受到家庭基站干扰过大，性能降低。
[0006] 传统的LTE家庭基站下行功率调整方法主要有以下几种：
[0007] 文献〈〈Improved Decentralized Q-learning Algorithm for Interference Reduction in LTE-Femtocells》（Serrano A M G. Self-organized Femtocells:a Time Difference Learning Approach[J]· 2012.)中提到的固定功率分配。
[0008] 文献《Interference control for LTE Rel_9HeNB cells》（Jeju，Interference control for LTE Rel-9HeNB celIs[S],3GPP TSG RAN WG4, R4-094245,November 9th-13th，2009)中提出的智能功率控制（SPC)方法。
[0009] 文献《Cognition and docition in OFDMA-based femtocell networks》 (Galindo-Serrano A, Giupponi L, Dohler M. Cognition and docition in OFDMA-based femtocel1 networks[C]//Global Telecommunications Conference(GLOBECOM 2010)，2010IEEE. IEEE, 2010:1-6.)中提到的迭代注水算法。
[0010] 这些方法有以下不足：
[0011] (1)首先，在LTE中定义能分配给用户的最小时频单位为资源块，而大部分传统方 法只对最大总发射功率进行调整，没有考虑基于资源块的功率调整；
[0012] (2)其次，分布式管理中，支持基于资源块的功率调整方法很少考虑到家庭基站之 间的交互学习，只以提高自身性能为唯一目的。
【发明内容】
[0013] 本发明的目的在于提供一种用以降低家庭基站对于宏蜂窝用户产生的干扰，并加 速该过程实现的基于交互式认知学习的下行功率调整方法和装置。
[0014] 所述基于交互式认知学习的下行功率调整方法，包括两个进程：
[0015] 1.基于交互式认知的下行功率调整，包括：
[0016] (1)每个家庭基站维护一张下行功率信息表，所述下行功率信息表以资源块为最 小单位，用于决定每个资源块的发射功率，对下行功率信息表的所有数据进行初始化；
[0017] (2)家庭基站周期性地感知当前发射功率配置所造成的干扰情况，然后根据感知 的信息和相应的更新规则更新下行功率信息表中所对应的数据；
[0018] (3)使用更新后的下行功率信息表和规定的分配方法决定下一周期的发射功率配 置；
[0019] (4)重复进行步骤⑵和（3)，最终目标是使得每次根据感知信息所分配的发射功 率最佳；
[0020] 2.基于交互式学习的下行功率调整，包括：
[0021] (1)家庭基站周期性地将自身维护的功率信息表、相似度参数、专业知识度等信息 作为一个案例上报给具有汇聚功能的终端设备，所述终端设备采用家庭基站网关，家庭基 站网关为每个案例设定一个生存时间，案例超过生存时间后，自动删除；
[0022] (2)家庭基站进行主动学习，家庭基站网关进行主动教授，两种方式同时进行，用 于对下行功率进行调整；
[0023] 所述主动学习是指：对于开启时间小于阈值的家庭基站，主动向家庭基站网关发 出学习申请，并上报相似度参数和专业知识度；网关根据上报的相似度参数计算与案例库 中各案例的相似度，将相似度在阈值以上的案例作为备选案例，再比较备选案例的专业知 识度，取最高者作为终选案例，将该案例的对应表格发送给发出学习申请的家庭基站，并将 此案例在从案例库中删除，基站使用该表格信息执行基于交互式认知的功率调整后，若专 业知识度提高，则向网关发送确认信号并覆盖原有表格，结束学习过程；否则，网关选择当 前备选案例中专业知识度最高的案例作为终选案例，发送给发出学习申请的家庭基站进行 学习，直到备选案例为空，网关向基站发送反馈信息，停止学习过程。
[0024] 所述主动教授是指：对于最新上报的案例，家庭基站网关计算该案例与案例库中 各案例的相似度，选择相似度最高的案例，比较上报案例与选择案例的专业知识度；若相差 在阈值以内，则停止教授过程；否则将专业知识度较大的案例的表格发送给专业知识度较 小的那一案例对应的家庭基站，以进行基于交互式认知的功率调整，若执行后专业知识度 提高，则向网关发送确认信号并覆盖原有表格，结束教授过程；否则，保留原有表格，结束教 授过程。此过程不需对所有新上报案例执行。
[0025] 以上所述交互式认知和学习的下行功率调整方法在实际操作中循环执行。
[0026] 所述基于交互式认知学习的下行功率调整装置，在基站侧包括三个模块单元：信 息存储模块、信息发送/接收模块、信息处理模块；
[0027] 所述信息存储模块的主要功能是：1)存储基于交互式认知的功率调整所维护的 功率信息表，信息处理模块将使用功率信息表，处理后再存入信息存储模块；2)暂时存储 基于交互式学习的功率调整中获得的案例信息并决定当前使用的表格；
[0028] 所述信息发送/接收模块的主要功能是：1)周期性地接收由邻区宏蜂窝用户反馈 的各种信息，并将接收值上报给信息处理模块，对于干扰信息，若不存在邻区宏蜂窝用户的 干扰或者干扰极小（小于某预定的阈值），可忽略，则人为地规定上报值为〇 ;若存在多个邻 区宏蜂窝用户的干扰，则从中选取干扰最大的作为上报值，使得最终处理结果满足对所有 的宏蜂窝用户的干扰降至阈值以下；2)负责向家庭基站网关发送自身案例及其它相关信 息；
[0029] 所述信息处理模块的主要功能是：1)在基于交互式认知的功率调整中，与信息接 收模块同周期地处理存储信息和上报信息，具体是指更新表格信息以及决定资源块发射功 率；2)在基于交互式学习的功率调整中，将自身维护表格、相似度参数、专业知识度以及其 它所需信息组成案例并交予信息发送/接收模块。
[0030] 本发明通过调整资源块的功率分配来进行网络优化，能够减小混合组网的干扰， 提商吞吐量。除自身学习以外，将家庭基站网关作为案例库，家庭基站可以根据相似度和专 业知识度，来交互学习以提高学习效率同时节省由空中接口积累学习经验的长时间能量损 耗。
【专利附图】
【附图说明】
[0031] 图1为本发明实例中LTE宏基站和家庭基站混合组网的系统架构图。
[0032] 图2为家庭基站的交互式认知学习的功率调整装置模块功能关系图。
[0033] 图3为家庭基站基于交互式认知的功率调整流程图。
[0034] 图4为家庭基站基于交互式学习的主动学习流程图。
[0035] 图5为家庭基站网关基于交互式学习的主动教授流程图。
【具体实施方式】
[0036] 以下结合附图对本发明进行详细描述。
[0037] 本发明实施场景以LTE宏基站与家庭基站混合组网为例，LTE宏基站与家庭基站 混合组网系统架构如图1所示。
[0038] 本发明为基于交互式认知学习的下行功率调整方法，该方法主要进程为：1、基于 交互式认知的下行功率调整；2、基于交互式学习的下行功率调整；进程1、2在实际操作中 循环执行，并且基于1、信息存储模块；2、发送/接收模块；3、信息处理模块实现，模块功能 关系如图2所不。
[0039] 信息存储模块的主要功能是：1)存储基于交互式认知的功率调整所维护的功率 信息表，信息处理模块将使用功率信息表，处理后再存入信息存储模块；2)暂时存储基于 交互式学习的功率调整中获得的案例信息并决定当前使用的表格。
[0040] 发送/接收模块的主要功能是：1)周期性地接收由邻区宏蜂窝用户反馈的各种信 息，并将接收值上报给信息处理模块，对于干扰信息，若不存在邻区宏蜂窝用户的干扰或者 干扰极小（小于某预定的阈值），可忽略，则人为地规定上报值为0 ;若存在多个邻区宏蜂窝 用户的干扰，则从中选取干扰最大的作为上报值，使得最终处理结果满足对所有的宏蜂窝 用户的干扰降至阈值以下；2)负责向家庭基站网关发送自身案例及其它相关信息。
[0041] 信息处理模块的主要功能是：1)在基于交互式认知的功率调整中，与信息接收模 块同周期地处理存储信息和上报信息，具体是指更新表格信息以及决定资源块发射功率； 2)在基于交互式学习的功率调整中，将自身维护表格、相似度参数、专业知识度以及其它所 需信息组成案例并交予信息发送/接收模块。
[0042] 本发明提供一个实施例，本例中的家庭基站资源分配采用比例公平算法独立地将 资源块分配给不同的用户；本例中基于交互式认知的下行功率调整以Q学习为例进行说 明。
[0043] Q学习中的智能体，状态，动作，回报定义如下：
[0044] 智能体：家庭基站，基站数量i = {1，2,…，N}，每个基站的资源块r = U，2, ...，R}。
[0045] 第i个家庭基站第r个资源块上的状态S:S〃= {Ι〃，Ρο^}，其中，1〃为信干噪 比指示符。
[0046]
【权利要求】
1. 基于交互式认知学习的下行功率调整方法，其特征在于包括以下进程： 进程1.基于交互式认知的下行功率调整； 进程2.基于交互式学习的下行功率调整。
2. 如权利要求1所述基于交互式认知学习的下行功率调整方法，其特征在于在进程1 中，所述基于交互式认知的下行功率调整，包括： (1) 每个家庭基站维护一张下行功率信息表，所述下行功率信息表以资源块为最小单 位，用于决定每个资源块的发射功率，对下行功率信息表的所有数据进行初始化； (2) 家庭基站周期性地感知当前发射功率配置所造成的干扰情况，然后根据感知的信 息和相应的更新规则更新下行功率信息表中所对应的数据； (3) 使用更新后的下行功率信息表和规定的分配方法决定下一周期的发射功率配置； (4) 重复进行步骤（2)和（3)，最终目标是使得每次根据感知信息所分配的发射功率最 佳。
3. 如权利要求1所述基于交互式认知学习的下行功率调整方法，其特征在于在进程2 中，所述基于交互式学习的下行功率调整，包括： (1) 家庭基站周期性地将自身维护的功率信息表、相似度参数、专业知识度作为一个案 例上报给具有汇聚功能的终端设备，所述终端设备采用家庭基站网关，家庭基站网关为每 个案例设定一个生存时间，案例超过生存时间后，自动删除； (2) 家庭基站进行主动学习，家庭基站网关进行主动教授，两种方式同时进行，用于对 下行功率进行调整。
4. 如权利要求3所述基于交互式认知学习的下行功率调整方法，其特征在于在步骤 (2)中，所述主动学习是指：对于开启时间小于阈值的家庭基站，主动向家庭基站网关发出 学习申请，并上报相似度参数和专业知识度；网关根据上报的相似度参数计算与案例库中 各案例的相似度，将相似度在阈值以上的案例作为备选案例，再比较备选案例的专业知识 度，取最高者作为终选案例，将该案例的对应表格发送给发出学习申请的家庭基站，并将此 案例在从案例库中删除，基站使用该表格信息执行基于交互式认知的功率调整后，若专业 知识度提高，则向网关发送确认信号并覆盖原有表格，结束学习过程；否则，网关选择当前 备选案例中专业知识度最高的案例作为终选案例，发送给发出学习申请的家庭基站进行学 习，直到备选案例为空，网关向基站发送反馈信息，停止学习过程。
5. 如权利要求3所述基于交互式认知学习的下行功率调整方法，其特征在于在步骤 (2)中，所述主动教授是指：对于最新上报的案例，家庭基站网关计算该案例与案例库中各 案例的相似度，选择相似度最高的案例，比较上报案例与选择案例的专业知识度；若相差在 阈值以内，则停止教授过程；否则将专业知识度较大的案例的表格发送给专业知识度较小 的那一案例对应的家庭基站，以进行基于交互式认知的功率调整，若执行后专业知识度提 高，则向网关发送确认信号并覆盖原有表格，结束教授过程；否则，保留原有表格，结束教授 过程，此过程不需对所有新上报案例执行。
6. 如权利要求1所述基于交互式认知学习的下行功率调整方法，其特征在于所述交互 式认知的下行功率调整和交互式学习的下行功率调整在实际操作中循环执行。
7. 基于交互式认知学习的下行功率调整装置，其特征在于在基站侧包括三个模块单 元：信息存储模块、信息发送/接收模块、信息处理模块。
8. 如权利要求7所述基于交互式认知学习的下行功率调整装置，其特征在于： 所述信息存储模块的主要功能是：1)存储基于交互式认知的功率调整所维护的功率 信息表，信息处理模块将使用功率信息表，处理后再存入信息存储模块；2)暂时存储基于 交互式学习的功率调整中获得的案例信息并决定当前使用的表格； 所述信息发送/接收模块的主要功能是：1)周期性地接收由邻区宏蜂窝用户反馈的各 种信息，并将接收值上报给信息处理模块，对于干扰信息，若不存在邻区宏蜂窝用户的干扰 或者干扰小于预定的阈值，可忽略，则人为地规定上报值为〇 ;若存在多个邻区宏蜂窝用户 的干扰，则从中选取干扰最大的作为上报值，使得最终处理结果满足对所有的宏蜂窝用户 的干扰降至阈值以下；2)负责向家庭基站网关发送自身案例及其它相关信息； 所述信息处理模块的主要功能是：1)在基于交互式认知的功率调整中，与信息接收模 块同周期地处理存储信息和上报信息，具体是指更新表格信息以及决定资源块发射功率； 2)在基于交互式学习的功率调整中，将自身维护表格、相似度参数、专业知识度以及其它所 需信息组成案例并交予信息发送/接收模块。
9. 一种下行功率调整方法，其特征在于，包括以下步骤： (1) 周期性地接收由邻区宏蜂窝用户反馈的基于资源块信息； (2) 根据所述基于资源块信息确定单资源块的信干噪比； (3) 根据所述信干噪比更新功率信息表，并根据功率信息表确定资源块的发射功率； (4) 将确定的资源块发射功率分配给对应的家庭基站用户。
10. 如权利要求9所述的方法，其特征在于：将确定的资源块发射功率分配给邻区宏蜂 窝用户，具体步骤如下：将确定的资源块发射功率发送给邻区宏蜂窝用户；其中，所述功率 信息表至少包括状态维度参数s、动作维度参数a、资源块维度参数r，其中，状态维度参数s 为：基于家庭基站用户资源块的信干噪比和该家庭基站用户对应发射功率的集合；动作维 度参数a为可分配给每个资源块的功率等级； 根据所述信干噪比更新功率信息表的具体步骤如下：
其中，Q(s，a, r)为基于状态维度参数s、动作维度参数a、资源块维度参数r的当前功 率信息表配置规则；If为常数学习因子，用于控制收敛的速率，If e [〇，1) ;Y为常数折现 因子，Y e (0，1) ;s'为前一次状态维度参数的量化值，a'为前一次动作维度参数的量化 值。
【文档编号】H04W52/14GK104113903SQ201410373841
【公开日】2014年10月22日 申请日期:2014年7月31日 优先权日:2014年7月31日
【发明者】高志斌, 温斌, 黄联芬, 蔡鸿祥, 姚彦, 张远见, 李馨 申请人:厦门大学, 京信通信系统（广州）有限公司