推理系统，其为利用 模糊规则进行相应的动作选择的推理系统;4)去模糊化模块，其为根据去模糊化规则将离 散状态的动作转换为连续域上执行动作。Q学习控制器包括:1)Q值更新模块，根据调整后网 络的瞬时奖赏值和新状态下的值函数进行Q值的更新；2)离散状态动作对的Q值函数数据 库，其为进行新的状态动作对的选择时的准则;3)更新离散状态动作对的Q值函数数据库， 其根据瞬时奖赏值和新的状态的值函数进行Q值表的更新，为下一次的状态动作对的选择 提供更优的准则。
[0033] 图3为多Agent合作下感知网络状态质量的流程示意图。
[0034] 步骤301:移动用户在每个子帖周期性的测量服务基站和干扰基站的下行参考信 号强度，进行每个子载波上的SINR计算。
[0035] 步骤302:再计算等效的宽带SINR，周期性的进行下行信道指示CQI的上报。
[0036] 步骤303:密集小蜂窝基站在200ms的调整周期内将每个用户在每个子帖内上报的 CQI映射为频谱效率，按从小到大的顺序进行存储统计，调整粒度到期时，遍历存储统计单 元缓存区，找出对应的5%用户的边缘频谱效率和50%用户平均频谱效率。
[0037] 步骤304: W权重w = 2按公式将作为单个小蜂窝的网络状态质量的评价指标。其 中，W为边缘频谱效率相比于平均频谱效率在网络状态质量中的权重因子。
[0038] 步骤305: W分布式方式存在各个网元单元中的Agent W合作的方式将邻区列表中 的小区中的邻小区网络状态质量纳入考虑范畴，W公式来计算需要考虑的网络整体平均状 态质量，后续用来计算瞬时奖赏值。
[0039] 图4为对输入参数的模糊化处理准则示意图。将密集小蜂窝功率模糊化为低、中、 高=个模糊标识，将小蜂窝平均频谱效率模糊化为低、中、高=个模糊标识，将小蜂窝边缘 频谱效率模糊化为低、中、高=个模糊标识，从而形成3*3*3 = 27个模糊规则。将输出调整值 模糊化为减小、微减、不变、微增、增加五个模糊标识。
[0040] 图5为基于模糊逻辑Q学习的微蜂窝功率控制下容量与覆盖联合优化算法总体流 程示意图。
[0041] 步骤501:初始化每条规则对应的调整动作（即状态动作对)的Q值评估函数表。
[0042] 步骤502:将作为模糊逻辑Q学习控制器FQLC的输入变量，根据模糊规则和隶属度 函数，利用公式确定当前输入向量所对应的每条规则的真实度。其中表示连续域的输入变 量向量S进行模糊化处理后对应的第i条规则中第k个模糊标识对应的隶属函数真实度。然 后，对每条激活了的模糊规则（即模糊规则的真实度非零值），按探索/利用的e-greedy贪屯、 策略进行调整的动作选择，即：按概率进行利用的调整的动作选择;按概率进行探索的调整 的动作选择。
[0043] 步骤503:根据模糊逻辑系统进行去模糊化处理，输出连续域的功率调整值。
[0044] 步骤504:评价估计当前状态动作对的Q值函数。
[0045] 步骤505:将连续域的功率调整值叠加到当前基站的发射功率上进行自适应的功 率。基站根据新的发射功率，进行资源分配，接收CQI测量报告，更新用户频谱效率存储单元 缓存区。
[0046] 步骤506:在一个调整粒度200ms到期时，智能体Agent W合作的方式评价联合瞬时 奖赏值作为上一次调整好坏的瞬时评判指标。计算当前时刻的值函数。利用当前状态值函 数和折扣因子计算与上一时刻Q函数的差值。
[0047] 步骤507:采用梯度下降的方法来更新模糊规则状态动作的q值表：。然后根据更新 的q值表进行e-greedy动作选择，重复上述过程，直至收敛到理想的网络容量与覆盖联合优 化调整状态。
[0048] W上运些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在 阅读了本发明的记载的内容之后，技术人员可W对本发明作各种改动或修改，运些等效变 化和修饰同样落入本发明权利要求所限定的范围。
【主权项】
1. 一种异构密集网络中容量与覆盖联合优化方法，其特征在于，包括W下步骤： a、 移动用户终端获取服务基站的接收信号强度和干扰基站的接收信号强度并进行信 干噪比SINR的计算：其中RSRPs为服务基站接收信号强度，RSRPi为干 扰基站接收信号强度，no为噪声;周期性的上报下行信道质量指示CQI; b、 密集小蜂窝基站在调整周期内进行小区平均频谱效率和边缘频谱效率的统计，按权 重进行网络状态质量指标的衡量，衡量公式为SQ = SEcenter+W SEedge，其中SQ为网络状态质 量指标，SEcenter为小区平均频谱效率，SEedge为边缘频谱效率，W为权重因子； C、获取邻小区的网络状态质量指标，在模糊逻辑Q学习算法中W多Agent合作的方式评 价网络整体状态质量，作为Agent单步调整好坏的评价指标，用来计算瞬时奖赏值； d、 对密集小蜂窝功率，将平均频谱效率和边缘频谱效率作为模糊逻辑Q学习系统的输 入值进行模糊化处理，形成模糊规则，初始化状态动作Q值表，根据e-greedy策略对每条激 活了的规则进行动作选择，采用加权和方式进行去模糊化处理，输出调整值； e、 根据输出调整值进行小蜂窝功率的自适应的调整，进入下一个调整周期的网络整体 状态质量的衡量； f、 在一个调整粒度到期时，结合步骤C评价多Agent合作方式下的瞬时奖赏值，进行模 糊逻辑规则下的状态动作的Q值表的更新，然后按步骤d所述的e-greedy策略进行动作选 择，进行重复的功率自适应调整过程，直至收敛到设定网络容量与覆盖联合优化调整状态。2. 根据权利要求1所述的异构密集网络中容量与覆盖联合优化方法，其特征在于，在步 骤a中，移动用户终端获取服务基站的接收信号强度和干扰基站的接收信号强度并进行信 干噪比SINR的计算的公式为庚中RSRPs为服务基站接收信号强度， RSRPi为干扰基站接收信号强度，N为干扰小区个数，no为噪声；周期性的进行下行信道指示 CQI的上报。3. 根据权利要求1或2所述的异构密集网络中容量与覆盖联合优化方法，其特征在于， 在步骤b中，密集小蜂窝基站在200ms的调整周期内将每个用户在每个子帖内上报的CQI映 射为频谱效率，按从小到大的顺序进行存储统计，调整粒度到期时，遍历存储统计单元缓存 区，找出对应的5%用户的边缘频谱效率和50%用户平均频谱效率，W权重w = 2按公式将作 为单个小蜂窝的网络状态质量的评价指标，其中，W为边缘频谱效率相比于平均频谱效率在 网络状态质量中的权重因子。4. 根据权利要求3所述的异构密集网络中容量与覆盖联合优化方法，其特征在于，在步 骤C中，W分布式方式存在各个网元单元中的AgentW合作的方式获取邻区列表中的小区中 的邻小区网络状态质量SQ，W来计算计算需要考虑的网络整体平均状 态质量SQavg，后续用来计算瞬时奖赏值。其中N为邻小区个数。5. 根据权利要求4所述的异构密集网络中容量与覆盖联合优化方法，其特征在于，步骤 d具体为：，将密集小蜂窝功率模糊化为低、中、高Ξ个模糊标识，将小蜂窝平均频谱效率模 糊化为低、中、高Ξ个模糊标识，将小蜂窝边缘频谱效率模糊化为低、中、高Ξ个模糊标识， 从而形成3*3*3 = 27个模糊规则，将输出调整值模糊化为减小、微减、不变、微增、增加五个 模糊标识，初始化每条规则对应的调整动作的Q值评估函数表，其中，i为所有模糊规则状 态，为执行的调整动作，将作为模糊逻辑Q学习控制器FQLC的输入变量，根据模糊规则和隶 属度函数，利用公式确定当前输入向量所对应的每条规则的真实度，其中表示连续域的输 入变量向量S进行模糊化处理后对应的第i条规则中第k个模糊标识对应的隶属函数真实 度，然后，对每条激活了的模糊规则即模糊规则的真实度非零值，按探索/利用的e-greedy 贪屯、策略进行调整的动作选择，即：按概率进行利用的调整的动作选择;按概率进行探索的 调整的动作选择;最后，根据模糊逻辑系统进行去模糊化处理，输出连续域的功率调整值， 同时，评价估计当前状态动作对的Q值函数。6.根据权利要求5所述的异构密集网络中容量与覆盖联合优化方法，其特征在于，在步 骤f中，在一个调整粒度200ms到期时，智能体AgentW合作的方式评价联合瞬时奖赏值作为 上一次调整好坏的瞬时评判指标，计算当前时刻的值函数，利用当前状态值函数和折扣因 子计算与上一时刻Q函数的差值，采用梯度下降的方法来更新模糊规则状态动作的q值表： 然后根据更新的q值表进行e-greedy动作选择，重复上述过程，直至收敛到理想的网络容量 与覆盖联合优化调整状态。
【专利摘要】本发明请求保护一种异构密集网络中容量与覆盖联合优化方法，涉及到异构密集SON自组织网络领域。本方法采用了一种基于模糊逻辑与Q学习的进行小蜂窝功率控制的联合优化网络平均频谱效率和边缘频谱效率的方法。本方法首先需要密集小蜂窝根据移动台的测量上报信息在一个调整周期内进行网络平均频谱效率和边缘频谱效率的衡量。然后，将密集小蜂窝的功率，平均频谱效率和边缘频谱效率作为模糊逻辑的输入变量，进行模糊逻辑与Q学习的自优化控制处理，自适应的使网络收敛到理想的容量与覆盖联合优化调整状态。本方法，以在线的学习方式有效的改善高密集小蜂窝部署时由于功率设置不合理引起的容量覆盖问题，具有一定实用性。
【IPC分类】H04W52/24, H04W16/18, H04W72/12, H04W24/02
【公开号】CN105578486
【申请号】CN201610111107
【发明人】唐伦, 刘伟, 陈前斌
【申请人】重庆邮电大学
【公开日】2016年5月11日
【申请日】2016年2月29日