1.本技术涉及无线通信
技术领域：
：，具体而言，涉及一种网络优化方法及装置。
背景技术：
：：2.随着移动互联网进入快速发展的时代，其对未来无线通信网络的容量要求也越来越高。为了满足用户的业务需要，用户对无线接入网所提供服务的质量要求也越来越高，而当前对网络部署的相关参数均有专业人员进行配置，因此，网络规划、优化和运营成本相当大。3.运营商为了一方面为了降低运营成本，另一方面为了提供较好的用户体验，因此，提出了在无线通信系统中引入了自组织网络(son，self-organizednetworks)技术，旨在增强无线网元，实现无线网络自组织功能。son技术有助于优化运营商的操作维护，大大提升网络性能，减少操作代价，降低无线网络的运营成本。4.覆盖及容量优化(coverageandcapacityoptimization，cco)作为son技术的一项重要功能，可以周期性根据无线环境情况或者根据业务负载及用户位置的变更进行基站射频调整以提升网络覆盖及系统容量性能。然而，相关技术对于网络覆盖和容量优化问题，仍是通过专业技术人员通过网络优化工具获取系统状态参数，对系统状态参数进行分析，从而判断出系统存在的问题，并通过人工调整系统存在的问题，但这种方法的弊端在于，调节结果的准确度较差，并且调节效率极低。5.针对上述的问题，目前尚未提出有效的解决方案。技术实现要素：6.本技术实施例提供了一种网络优化方法及装置，以至少解决相关技术优化网络的准确度较差且效率较低的技术问题。7.根据本技术实施例的一个方面，提供了一种网络优化方法，包括：周期性获取网格单元集合中每个网格单元中的基站的天线下倾值、以及每个网格单元中的平均频谱效率和边缘频谱效率，并接收移动终端采集的每个网格单元中的基站的第一网络状态质量，其中，每个网格单元对应目标区域内的一个子区域；将天线下倾角、平均频谱效率和边缘频谱效率作为模糊逻辑系统的输入状态向量，基于隶属度函数将模糊逻辑系统的输入状态向量进行模糊化处理，形成与输入状态向量对应的多个模糊规则，并确定多个模糊规则的真实度；依据模糊逻辑系统对每条非零真实度对应的目标模糊规则进行动作选择，并通过去模糊化处理得到每个网格单元中的基站的目标下倾角；基于目标下倾角对每个网格单元中的基站的下倾角进行调整。8.可选地，在周期性获取网格单元集合中每个网格单元中的基站的天线下倾值、以及每个网格单元中的平均频谱效率和边缘频谱效率之前，还包括：获取目标区域内第一待优化网格单元周边预设范围内的第二网格单元，并确定第二网格单元的影响指数；在影响指数大于预设的阈值指数时，确定第二网格单元为待优化网格单元，并将第二网格单元与第一待优化网格单元合并，得到网格单元集合，其中，阈值指数用于确定合格的网格单元。9.可选地，第二网格单元包括：与第一待优化网格单元相邻的第一子网格单元以及与第一待优化网格单元不相邻的第二子网格单元，确定第二网格单元的影响指数，包括：确定第二网格单元与第一待优化网格单元之间的第一影响因素，其中，第一影响因素包括：用于反映第一子网格单元与第一待优化网格单元的第一接近率，以及用于反映第二子网格单元与第一待优化网格单元的第二接近率；基于第一影响因素、第二网格单元的资源利用率以及第二网格单元与第一待优化网格单元的切换次数，确定第二网格单元自身的第二影响因素；基于第一影响因素和第二影响因素，计算第二网格单元的影响指数。10.可选地，周期性获取网格单元集合中每个网格单元中的基站的天线下倾值、以及每个网格单元中的平均频谱效率和边缘频谱效率，包括：周期性获取网格单元集合中每个网格单元中的基站的天线下倾值；周期性获取每个网格单元中的基站在调整周期内所有目标对象在每个子帧内上报的下行信道质量指示，得到第一频谱效率，并将第一频谱效率按照从小的大的顺序进行统计；基于第一频谱效率，确定每个网格单元中的平均频谱效率和边缘频谱效率。11.可选地，将天线下倾角、平均频谱效率和边缘频谱效率作为模糊逻辑系统的输入状态向量，基于隶属度函数将模糊逻辑系统的输入状态向量进行模糊化处理，形成与输入状态向量对应的多个模糊规则，并确定多个模糊规则的真实度，包括：将天线下倾角、平均频谱效率和边缘频谱效率作为模糊逻辑系统的输入状态向量，并分别将天线下倾值模糊化为第一数量的第一模糊标识，以及将平均频谱效率和边缘频谱效率模糊化为第二数量的第二模糊标识；确定每个模糊标识对应的隶属度函数，基于隶属度函数将模糊逻辑系统的输入状态向量进行模糊化处理，形成与输入状态向量对应的多个模糊规则，并初始化每条模糊规则对应的调整动作的q值表；依据多个模糊规则，确定输入状态向量对应的每个模糊规则的真实度，其中，真实度为零值或非零值。12.可选地，依据模糊逻辑系统对每条非零真实度对应的目标模糊规则进行动作选择，并通过去模糊化处理得到每个网格单元中的基站的目标下倾角，包括：确定真实度为非零值的多条目标模糊规则；依据模糊逻辑系统对每条目标模糊规则按照探索/利用策略进行调整的动作选择，其中，调整的动作选择包括：按照概率进行利用的调整的动作选择，以及按照概率进行搜索的调整的动作选择；采用加权求和方式进行去模糊化处理，输出每个网格单元中的基站的目标下倾角。13.可选地，在基于目标下倾角对每个网格单元中的基站的下倾角进行调整之后，还包括：接收移动终端采集调整后每个网格单元中的基站的第二网络状态质量；依据第一网络状态质量和第二网络状态质量，计算瞬时奖赏值；基于瞬时奖赏值，更新每条模糊规则对应的调整动作的q值表，便于衡量下一调整周期内的网络状态质量。14.可选地，基于瞬时奖赏值，更新每条模糊规则对应的调整动作的q值表，包括：计算输入状态向量在调整周期内的目标q值，并计算模糊逻辑系统的控制器在调整后的第一状态值；依据第一状态值和折扣因子，计算第一状态值与模糊逻辑系统的控制器在调整前的第二状态值的目标差值，其中，折扣因子用于反映瞬时奖赏值的重要程度；基于目标q值和目标差值，更新每条模糊规则对应的调整动作的q值表。15.根据本技术实施例的另一方面，还提供了一种网络优化装置，包括：获取模块，用于周期性获取网格单元集合中每个网格单元中的基站的天线下倾值、以及每个网格单元中的平均频谱效率和边缘频谱效率，并接收移动终端采集的每个网格单元中的基站的第一网络状态质量，其中，每个网格单元对应目标区域内的一个子区域；模糊化处理模块，用于将天线下倾角、平均频谱效率和边缘频谱效率作为模糊逻辑系统的输入状态向量，基于隶属度函数将模糊逻辑系统的输入状态向量进行模糊化处理，形成与输入状态向量对应的多个模糊规则，并确定多个模糊规则的真实度；去模糊化处理模块，用于依据模糊逻辑系统对每条非零真实度对应的目标模糊规则进行动作选择，并通过去模糊化处理得到每个网格单元中的基站的目标下倾角；调整模块，用于基于目标下倾角对每个网格单元中的基站的下倾角进行调整。16.根据本技术实施例的另一方面，还提供了一种电子设备，该电子设备包括：存储器和处理器，其中，存储器中存储有计算机程序，处理器被配置为通过计算机程序执行上述的网络优化方法。17.在本技术实施例中，周期性获取网格单元集合中每个网格单元中的基站的天线下倾值、以及每个网格单元中的平均频谱效率和边缘频谱效率，并接收移动终端采集的每个网格单元中的基站的第一网络状态质量，其中，每个网格单元对应目标区域内的一个子区域；将天线下倾角、平均频谱效率和边缘频谱效率作为模糊逻辑系统的输入状态向量，基于隶属度函数将模糊逻辑系统的输入状态向量进行模糊化处理，形成与输入状态向量对应的多个模糊规则，并确定多个模糊规则的真实度；依据模糊逻辑系统对每条非零真实度对应的目标模糊规则进行动作选择，并通过去模糊化处理得到每个网格单元中的基站的目标下倾角；基于目标下倾角对每个网格单元中的基站的下倾角进行调整。其中，将基站的天线下倾角作为模糊逻辑系统的输入状态向量，从而实现了可快速学习最佳下倾值，依据天线下倾角自适应实现了网络的自组织覆盖和容量优化，进而解决了相关技术优化网络的准确度较差且效率较低的技术问题。附图说明18.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：19.图1是根据本技术实施例的一种可选的网络优化方法的流程示意图；20.图2是根据本技术实施例的一种可选的隶属度函数的示意图；21.图3是根据本技术实施例的一种可选的网络优化装置的结构示意图。具体实施方式22.为了使本
技术领域：
：的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分的实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本技术保护的范围。23.需要说明的是，本技术的说明书和权利要求书及附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。24.为了更好地理解本技术实施例，首先对本技术实施例描述过程中出现的部分名词或术语翻译解释如下：25.q-learning：q-learning是强化学习算法中value-based的算法，ql依赖于时间差方法来逐步解决学习问题。q即为q(s,a)，也就是在某一时刻的s状态下，采取动作a能够获得收益的期望，环境会根据agent(智能体)的动作反馈响应的回报r(reward)，这个算法的主要思想就是将state与action构建一种q-table来存储q值，并根据q值选择能够获得最大收益的动作。即q-learning依赖于时间差方法来逐步解决学习问题，通过估计每对s-a的价值函数，其中价值函数估计从状态s开始，遵循固定策略π从所有可能的动作中采取动作a的预期回报，每个动作都将智能体从状态st转换为st+1，并为此获得奖励rt+1，因此最终需要获得的为最大化整体奖励，且q-learning必须为每个状态动作对维护一个q值。26.实施例127.当前，网络运营商在网络部署初期会由网络子配置功能对新加入到网络中的网络节点进行初始参数的配置，但由于蜂窝网络的日益复杂，在网络初始配置下会由于参数设置不合理导致容量和覆盖问题必定会发生。密集蜂窝之间由于功率设置过大虽然会相应的提升其辖属的覆盖范围，但也会导致相邻蜂窝网络之间和其与宏蜂窝之间产生严重干扰，从而恶化sinr水平，最终影响系统整体吞吐量的提升。28.为了减少网络部署的成本开销，在无线通信网中引入自组织网络，对于复杂蜂窝网络部署下会导致容量覆盖问题，相关技术主要通过人工调节网络参数从而改善区域网络容量覆盖问题，但该方法的准确度较差且效率较低，且难以自主实现覆盖和容量优化。29.为了解决上述技术问题，本技术实施例提供了一种网络优化方法，通过将基站的天线下倾角作为模糊逻辑系统的输入状态向量，从而实现了可快速学习最佳下倾值，在大尺度上保证基站的容量和覆盖保持在一个合适的水平，从而保证网络的整体的可靠性和有效性。30.需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。31.图1是根据本技术实施例的一种可选的网络优化方法的流程示意图，如图1所示，该方法至少包括步骤s102-s108，其中：32.步骤s102，周期性获取网格单元集合中每个网格单元中的基站的天线下倾值、以及每个网格单元中的平均频谱效率和边缘频谱效率，并接收移动终端采集的每个网格单元中的基站的第一网络状态质量，其中，每个网格单元对应目标区域内的一个子区域。33.具体地，可以使用模拟器搭建用于下行链路传输的蜂窝网络。例如，蜂窝网络由7个enb(演进型基站)组成，每个enb有3个无线电网络单元，网络场景为均质六边形小区结构。每个移动设备每隔200ms向服务单元报告一次接收到的sinr(信干燥比)，且服务单元可以使用200ms内统计的频谱效率数据来定义secenter和seedge的kpi。34.可选地，可以通过q-learning技术构建模糊逻辑系统。其中，模糊逻辑系统的学习速度和收敛特性取决于有多少智能体同时采取行动。当前，模糊逻辑系统通常一次只允许一个智能体进行更新是高度稳定的，且会收敛到最佳值。但随着网络规模的不断增长，如果所有智能体同时采取行动，虽然会加快进程，但会降低性能增益。35.为了解决上述问题，本技术实施例在周期性获取网格单元集合中每个网格单元中的基站的天线下倾值、以及每个网格单元中的平均频谱效率和边缘频谱效率之前，通过如下步骤s1021-s1022确定网格单元集合内的各个待优化网格单元，确保后续模糊逻辑系统中的所有智能体可以在每个快照中更新对应的下倾角，同时还可以更好表征环境的变化。36.步骤s1021，获取目标区域内第一待优化网格单元周边预设范围内的第二网格单元，并确定第二网格单元的影响指数，其中，影响指数i由两个可以量化的影响因素决定，分别为：第一影响因素和第二影响因素。37.具体地，第二网格单元包括与第一待优化网格单元相邻的第一子网格单元以及与第一待优化网格单元不相邻的第二子网格单元，其中，定义第二子网格单元至少为第一待优化网格单元的二阶邻居。38.第一影响因素为第二网格单元与第一待优化网格单元之间相互干扰影响因素，其表征第二网格单元与第一待优化网格单元之间的干扰程度，即在第一待优化网格单元中进行任何优化工作，第二网格单元的覆盖性能改变的程度。因此，该第一影响因素可以由邻居接近率量化计算求得，具体计算思路如下：39.通过下式计算第一子网格单元与第一待优化网格单元a的第一接近率：[0040][0041]其中，na是第一待优化网格单元的相邻单元的用户设备点x的集合，sk是一组服务单元为k的样本点，ncra,k表示样本点与第一待优化网格单元相关的百分比。[0042]通过下式计算第二子网格单元与第一待优化网格单元的第二接近率：[0043][0044]其中，nj是作为第二子网格单元的相邻网格单元j的一组样本点，sk是一组服务单元为k的样本点。另外，将第二子网格单元和第一待优化网格单元之间的单元友好距离定义为第二子网格单元到第一待优化网格单元所需的相邻网格单元的数量。[0045]另外，第二影响因素为第二网格单元的自身影响，通过第二网格单元的资源利用率(prb)以及第二网格单元与第一待优化网格单元的切换次数(ho)来量化，因此，第二影响因素的计算公式如下：[0046]ia,k＝ncra,k×f(hok)×f(prbk)[0047]其中，f是切换次数(ho)和资源利用率(prb)的sigmoid函数。另外，需要注意的是，还需要将计算得到的ia,k转换到[0,1]区间内。[0048]确定第一影响因素和第二影响因素之后，可以通过下式计算目标区域内第一待优化网格单元与周边预设范围内的第二网格单元之间所有可能桥梁对应的i：[0049][0050]其中，选择最大值作为第二网格单元的影响指数。[0051]步骤s1022，在影响指数大于预设的阈值指数δ时，确定第二网格单元为待优化网格单元，并将第二网格单元与第一待优化网格单元合并，得到网格单元集合，其中，阈值指数δ用于确定合格的网格单元。[0052]需要注意的是，在实际应用时，一个待优化网格单元可能是另一个待优化网格单元的邻居，或者这两个待优化网格单元可能是共享共同的相邻小区。在以上情况下，需要将这两个待优化网格单元合并为一个超级待优化网格单元组，在合并后，相应的超级待优化网格单元组的影响指数i也需要进行更新，此时i始终为超级待优化网格单元组中待优化网格单元的最大值。[0053]对于网络覆盖和容量优化来说，由于天线下倾会影响天线辐射方向图的方向，因而，天线下倾角对于网络覆盖和容量优化起着至关重要的作用，本技术实施例中将天线下倾角作为模糊逻辑系统的输入状态向量，同时，为了直接反映可用频谱的利用效率，还将频谱效率也作为模糊逻辑系统的输入状态向量。[0054]可以通过如下方式获取模糊逻辑系统的输入状态向量：首先周期性获取网格单元集合中每个网格单元中的基站的天线下倾值dt；然后周期性获取每个网格单元中的基站在调整周期内所有目标对象在每个子帧内上报的下行信道质量指示，得到第一频谱效率，并将第一频谱效率按照从小的大的顺序进行统计；最后基于第一频谱效率，确定每个网格单元中的平均频谱效率secenter和边缘频谱效率seedge。[0055]其中，边缘频谱效率secenter可以取较低的5个百分位测量的第一频谱效率，确定边缘频谱效率有助于确保调整后的网络性能不仅在平均水平上有所提升，而且在单元网格边界处也能有所提升。[0056]在确定每个网格单元中的平均频谱效率secenter和边缘频谱效率seedge之后，可以直接接收移动终端采集的每个网格单元中的基站的第一网络状态质量sq，第一网络状态质量sq可以作为模糊逻辑系统中智能体调整好坏的评价指标，用来后续计算瞬时奖赏值。[0057]举例而言，可以通过如下方式确定第一网络状态质量sq。首先每个网格单元中的基站在200ms的调整周期内将每个用户在每个子帧内上报的下行信道质量指示映射为频谱效率，并按从小到大的顺序进行存储统计。当调整粒度到期时，可以遍历存储统计单元缓存区，找出对应的5％边缘频谱效率和50％单元频谱效率，再通过如下公式计算第一网络状态质量sqt：[0058]sqt＝secenter+ωseedge[0059]其中，w为边缘频谱效率相比于平均频谱效率在网络状态质量中的权重因子。在本技术实施例中可以设置权重w＝2得到作为每个网格单元中的基站的网络状态质量。[0060]步骤s104，将天线下倾角、平均频谱效率和边缘频谱效率作为模糊逻辑系统的输入状态向量，基于隶属度函数将模糊逻辑系统的输入状态向量进行模糊化处理，形成与输入状态向量对应的多个模糊规则，并确定多个模糊规则的真实度。[0061]具体地，可以通过步骤s1041-s1043完成对网格单元集合中每个网格单元进行状态和动作变量的模糊化处理，其中：[0062]步骤s1041，将网格单元中的基站的天线下倾角dt、平均频谱效率secenter和边缘频谱效率seedge作为模糊逻辑系统的输入状态向量s，则s定义为：[0063]s＝[dtsecenterseedge][0064]针对输入状态变量的模糊化处理，可以将每个输入和输出变量的域上定义有限数量的模糊标识，其中，将天线下倾值和目标下倾值模糊化为极低、低、中、高、极高五个数量(即第一数量)的第一模糊标识，将平均频谱效率和边缘频谱效率模糊化为低、中、高(即第二数量)的第二模糊标识。[0065]步骤s1042，确定每个模糊标识对应的隶属度函数，基于隶属度函数将模糊逻辑系统的输入状态向量进行模糊化处理，形成与输入状态向量对应的多个模糊规则，并初始化每条模糊规则对应的调整动作的q值表。[0066]其中，针对每个模糊标识分配一个隶属度函数，并将输入状态变量内的所有模糊标识对应的隶属度函数映射到实际区间[0,1]内，其中，图2示出了一种可选的隶属度函数的示意图。[0067]由于模糊逻辑系统定义了输入状态向量到输出动作的映射关系，则可以通过输入状态向量的所有模糊标识对应的隶属度函数的不同组合定义多个模糊规则，因此，本技术实施例中模糊逻辑系统共有5*3*3＝45条模糊规则。[0068]通常，模糊逻辑系统的模糊规则初始化如下所示：[0069][0070][0071][0072]ork[0073][0074]其中，是定义输入状态向量s＝[s1，s2，k，sn]的第j个状态分量sj中的不同模糊集的模糊标识，是模糊规则i的第k个输出动作，为模糊规则i的模态向量，表示模糊逻辑q学习模糊逻辑q学习控制器fqlc的一种状态。是模糊状态li和输出动作的q值，并初始化为0，最后得到初始化每条模糊规则对应的调整动作的q值表。[0075]步骤s1043，依据多个模糊规则，确定输入状态向量对应的每个模糊规则的真实度。[0076]具体地，可以将i条模糊规则作为模糊逻辑q学习模糊逻辑q学习控制器fqlc的输入状态向量，根据多条模糊规则和隶属度函数，确定当前输入状态向量所对应的每条模糊规则的真实度ai(s)，其计算公式如下：[0077][0078]其中，真实度ai(s)的取值为零值或非零值。[0079]步骤s106，依据模糊逻辑系统对每条非零真实度对应的目标模糊规则进行动作选择，并通过去模糊化处理得到每个网格单元中的基站的目标下倾角。[0080]根据本技术的一种可选的实施方式，可以通过步骤s1061-s1063完成对去模糊化处理，其中：[0081]步骤s1061，确定真实度为非零值的多条目标模糊规则，其中，设定p是激活规则(也即真实度为非零值的模糊规则)集。[0082]步骤s1062，依据模糊逻辑系统对每条目标模糊规则按照探索/利用策略进行调整的动作选择，其中，调整的动作选择包括：按照概率进行利用的调整的动作选择，以及按照概率进行搜索的调整的动作选择。[0083]其中，每条激活规则按照探索/利用策略选择输出的调整动作，具体地选择规则如下：[0084][0085][0086]其中，∈定义了算法中探索和利用之间的权衡，当∈＝1，表示不进行探索，此时进选择具有最大q值的动作。[0087]步骤s1063，采用加权求和方式进行去模糊化处理，输出每个网格单元中的基站的目标下倾角。[0088]具体地，按照上述方法完成所有激活规则的动作选择后，再通过加权求和的方式进行去模糊化处理，得到模糊逻辑q学习模糊逻辑q学习控制器fqlc的应用动作，从而完成网络自组织覆盖和容量优化，目标下倾角的计算公式如下，[0089][0090]步骤s108，基于目标下倾角对每个网格单元中的基站的下倾角进行调整。[0091]举例而言，若在智能体快照1中，针对所有网格单元，当其所在基站的天线下倾角为6度时，所有网格单元的网络覆盖范围都非常大，同时对周边预设范围内的网格单元的干扰也更大，从而导致网络状态质量较低。[0092]在本技术实施例中通过模糊逻辑系统可以快速学习得到目标下倾值22度，调整其所在基站的天线下倾角为目标下倾值22度，此时网络状态质量稍有提升，且对对周边预设范围内的网格单元的干扰减弱。[0093]作为本技术的一个可选的实施方式，在基于目标下倾角对每个网格单元中的基站的下倾角进行调整之后，需要通过步骤s1-s3完成q值的更新，便于进行下一次网络自组织覆盖和容量优化。[0094]s1，接收移动终端采集调整后每个网格单元中的基站的第二网络状态质量。[0095]例如，每个网格单元中的基站在调整后的200ms内将每个用户在每个子帧内上报的下行信道质量指示映射为频谱效率，并按从小到大的顺序进行存储统计。当调整粒度到期时，可以遍历存储统计单元缓存区，找出对应的5％用户的边缘频谱效率和50％单元频谱效率，再依据边缘频谱效率和单元频谱效率第二网络状态质量sqt+1。[0096]s2，依据第一网络状态质量和第二网络状态质量，计算瞬时奖赏值。[0097]其中，瞬时奖赏值rt+1是表示模糊逻辑q学习模糊逻辑q学习控制器fqlc从状态st对应的网络状态质量sqt转换到状态st+1对应的网络状态质量sqt+1的瞬时奖励，因此，瞬时奖赏值rt+1的计算公式如下：[0098]rt+1＝sqt+1-sqt[0099]s3，基于瞬时奖赏值，更新每条模糊规则对应的调整动作的q值表，便于衡量下一调整周期内的网络状态质量。[0100]具体地，可以通过如下方式更新每条模糊规则对应的调整动作的q值表，其中：[0101]首先计算输入状态向量在调整周期内的目标q值：[0102][0103]其中，目标q值q(s，a(s))为激活规则的当前q值以及真实度的差值。[0104]同时，模糊逻辑系统的模糊逻辑q学习控制器fqlc的应用动作将智能体转换到新状态后，模糊逻辑q学习控制器fqlc在调整后的第一状态值的计算公式如下：[0105][0106]接着，为了更新q值，需要依据第一状态值和折扣因子，通过下式计算第一状态值与模糊逻辑系统的控制器在调整前的第二状态值的目标差值：[0107][0108]其中，折扣因子γ用于反映瞬时奖赏值的重要程度，其取值范围在[0,1)之间，与长期奖励相比，折扣因子γ的值越小，说明当前的瞬时奖励的重要性越高。[0109]最后，基于目标q值和目标差值，通过下式更新每条模糊规则对应的调整动作的q值表：[0110]qt+1(st,at)＝qt(st,at)+β(st,at)[rt+1+γmaxqt(st+1,a)-qt(st,at)][0111]其中，β定义了新信息对先前知识的影响，其取值范围在[0,1]区间内。当β＝0时，表示不学习，当β＝1时，表示只考虑最新信息。[0112]需要说明的是，由于最终动作是不同模糊规则输出的多个fqlc的应用动作的组合，因此，包含每个激活规则的真实度ap(st)，以突出每个模糊规则对最终目标下倾角的调整贡献。[0113]在本技术实施例中，将基站的天线下倾角作为模糊逻辑系统的输入状态向量，从而实现了可快速学习最佳下倾值，依据天线下倾角自适应实现了网络的自组织覆盖和容量优化；另外，对智能体进行单元集群，确保大量的智能体可以在每个快照中更新它们的倾斜角，还可以较好地表征环境的变化，解决了相关模糊逻辑q学习系统的学习速度和收敛特性受智能体采取行动个数的限制，提高了模糊q学习算法对网络覆盖和容量优化的作用，进而解决了相关技术优化网络的准确度较差且效率较低的技术问题。[0114]实施例2[0115]根据本技术实施例，还提供了一种用于实现上述网络优化方法的网络优化装置，如图3所示，该网络优化装置中至少包括获取模块31，模糊化处理模块32，去模糊化处理模块33和调整模块34，其中：[0116]获取模块31，用于周期性获取网格单元集合中每个网格单元中的基站的天线下倾值、以及每个网格单元中的平均频谱效率和边缘频谱效率，并接收移动终端采集的每个网格单元中的基站的第一网络状态质量，其中，每个网格单元对应目标区域内的一个子区域。[0117]具体地，可以使用模拟器搭建用于下行链路传输的蜂窝网络。例如，蜂窝网络由7个enb(演进型基站)组成，每个enb有3个无线电网络单元，网络场景为均质六边形小区结构。每个移动设备每隔200ms向服务单元报告一次接收到的sinr(信干燥比)，且服务单元可以使用200ms内统计的频谱效率数据来定义secenter和seedge的kpi。[0118]可选地，可以通过q-learning技术构建模糊逻辑系统。其中，模糊逻辑系统的学习速度和收敛特性取决于有多少智能体同时采取行动。当前，模糊逻辑系统通常一次只允许一个智能体进行更新是高度稳定的，且会收敛到最佳值。但随着网络规模的不断增长，如果所有智能体同时采取行动，虽然会加快进程，但会降低性能增益。[0119]作为一种可选的实施方式，为了更好表征环境的变化，且确保后续模糊逻辑系统中的所有智能体可以在每个快照中更新对应的下倾角，本技术实施例在周期性获取网格单元集合中每个网格单元中的基站的天线下倾值、以及每个网格单元中的平均频谱效率和边缘频谱效率之前，获取模块31通过如下方式确定网格单元集合内的各个待优化网格单元。[0120]获取目标区域内第一待优化网格单元周边预设范围内的第二网格单元，并确定第二网格单元的影响指数；在影响指数大于预设的阈值指数时，确定第二网格单元为待优化网格单元，并将第二网格单元与第一待优化网格单元合并，得到网格单元集合，其中，阈值指数用于确定合格的网格单元。[0121]具体地，第二网格单元包括与第一待优化网格单元相邻的第一子网格单元以及与第一待优化网格单元不相邻的第二子网格单元，其中，定义第二子网格单元至少为第一待优化网格单元的二阶邻居。[0122]第一影响因素为第二网格单元与第一待优化网格单元之间相互干扰影响因素，其表征第二网格单元与第一待优化网格单元之间的干扰程度，即在第一待优化网格单元中进行任何优化工作，第二网格单元的覆盖性能改变的程度。因此，该第一影响因素可以由邻居接近率量化计算求得，具体计算思路如下：[0123]通过下式计算第一子网格单元与第一待优化网格单元a的第一接近率：[0124][0125]其中，na是第一待优化网格单元的相邻单元的用户设备点x的集合，sk是一组服务单元为k的样本点，ncra,k表示样本点与第一待优化网格单元相关的百分比。[0126]通过下式计算第二子网格单元与第一待优化网格单元的第二接近率：[0127][0128]其中，nj是作为第二子网格单元的相邻网格单元j的一组样本点，sk是一组服务单元为k的样本点。另外，将第二子网格单元和第一待优化网格单元之间的单元友好距离定义为第二子网格单元到第一待优化网格单元所需的相邻网格单元的数量。[0129]另外，第二影响因素为第二网格单元的自身影响，通过第二网格单元的资源利用率(prb)以及第二网格单元与第一待优化网格单元的切换次数(ho)来量化，因此，第二影响因素的计算公式如下：[0130]ia,k＝ncra,k×f(hok)×f(prbk)[0131]其中，f是切换次数(ho)和资源利用率(prb)的sigmoid函数。另外，需要注意的是，还需要将计算得到的ia,k转换到[0,1]区间内。[0132]确定第一影响因素和第二影响因素之后，可以通过下式计算目标区域内第一待优化网格单元与周边预设范围内的第二网格单元之间所有可能桥梁对应的i：[0133][0134]其中，选择最大值作为第二网格单元的影响指数。[0135]需要注意的是，在实际应用时，一个待优化网格单元可能是另一个待优化网格单元的邻居，或者这两个待优化网格单元可能是共享共同的相邻小区。在以上情况下，需要将这两个待优化网格单元合并为一个超级待优化网格单元组，在合并后，相应的超级待优化网格单元组的影响指数i也需要进行更新，此时i始终为超级待优化网格单元组中待优化网格单元的最大值。[0136]对于网络覆盖和容量优化来说，由于天线下倾会影响天线辐射方向图的方向，因而，天线下倾角对于网络覆盖和容量优化起着至关重要的作用，本技术实施例中将天线下倾角作为模糊逻辑系统的输入状态向量，同时，为了直接反映可用频谱的利用效率，还将频谱效率也作为模糊逻辑系统的输入状态向量。[0137]可以通过如下方式获取模糊逻辑系统的输入状态向量：首先周期性获取网格单元集合中每个网格单元中的基站的天线下倾值dt；然后周期性获取每个网格单元中的基站在调整周期内所有目标对象在每个子帧内上报的下行信道质量指示，得到第一频谱效率，并将第一频谱效率按照从小的大的顺序进行统计；最后基于第一频谱效率，确定每个网格单元中的平均频谱效率secenter和边缘频谱效率seedge。[0138]其中，边缘频谱效率secenter可以取较低的5个百分位测量的第一频谱效率，确定边缘频谱效率有助于确保调整后的网络性能不仅在平均水平上有所提升，而且在单元网格边界处也能有所提升。[0139]在确定每个网格单元中的平均频谱效率secenter和边缘频谱效率seedge之后，可以直接接收移动终端采集的每个网格单元中的基站的第一网络状态质量sq，第一网络状态质量sq可以作为模糊逻辑系统中智能体调整好坏的评价指标，用来后续计算瞬时奖赏值。[0140]模糊化处理模块32，用于将天线下倾角、平均频谱效率和边缘频谱效率作为模糊逻辑系统的输入状态向量，基于隶属度函数将模糊逻辑系统的输入状态向量进行模糊化处理，形成与输入状态向量对应的多个模糊规则，并确定多个模糊规则的真实度。[0141]具体地，模糊化处理模块32可以通过如下完成对网格单元集合中每个网格单元进行状态和动作变量的模糊化处理：[0142]首先将网格单元中的基站的天线下倾角dt、平均频谱效率secenter和边缘频谱效率seedge作为模糊逻辑系统的输入状态向量s，则s定义为：[0143]s＝[dtsecenterseedge][0144]针对输入状态变量的模糊化处理，可以将每个输入和输出变量的域上定义有限数量的模糊标识，其中，将天线下倾值和目标下倾值模糊化为极低、低、中、高、极高五个数量(即第一数量)的第一模糊标识，将平均频谱效率和边缘频谱效率模糊化为低、中、高(即第二数量)的第二模糊标识。[0145]然后，确定每个模糊标识对应的隶属度函数，基于隶属度函数将模糊逻辑系统的输入状态向量进行模糊化处理，形成与输入状态向量对应的多个模糊规则，并初始化每条模糊规则对应的调整动作的q值表。[0146]其中，针对每个模糊标识分配一个隶属度函数，并将输入状态变量内的所有模糊标识对应的隶属度函数映射到实际区间[0，1]内。[0147]由于模糊逻辑系统定义了输入状态向量到输出动作的映射关系，则可以通过输入状态向量的所有模糊标识对应的隶属度函数的不同组合定义多个模糊规则，因此，本技术实施例中模糊逻辑系统共有5*3*3＝45条模糊规则，并初始化每条模糊规则对应的调整动作的q值表。[0148]最后，依据多个模糊规则，确定输入状态向量对应的每个模糊规则的真实度。[0149]具体地，可以将i条模糊规则作为模糊逻辑q学习模糊逻辑q学习控制器fqlc的输入状态向量，根据多条模糊规则和隶属度函数，确定当前输入状态向量所对应的每条模糊规则的真实度ai(s)，其计算公式如下：[0150][0151]其中，真实度ai(s)的取值为零值或非零值。[0152]去模糊化处理模块33，用于依据模糊逻辑系统对每条非零真实度对应的目标模糊规则进行动作选择，并通过去模糊化处理得到每个网格单元中的基站的目标下倾角。[0153]根据本技术的一种可选的实施方式，去模糊化处理模块可以通过如下完成对去模糊化处理，其中：[0154]首先，确定真实度为非零值的多条目标模糊规则，其中，设定p是激活规则(也即模糊规则的真实度为非零值)集。[0155]接着，依据模糊逻辑系统对每条目标模糊规则按照探索/利用策略进行调整的动作选择，其中，调整的动作选择包括：按照概率进行利用的调整的动作选择，以及按照概率进行搜索的调整的动作选择。[0156]最后，采用加权求和方式进行去模糊化处理，输出每个网格单元中的基站的目标下倾角，从而完成网络自组织覆盖和容量优化。[0157]调整模块34，用于基于目标下倾角对每个网格单元中的基站的下倾角进行调整。[0158]举例而言，若在智能体快照1中，针对所有网格单元，当其所在基站的天线下倾角为6度时，所有网格单元的网络覆盖范围都非常大，同时对周边预设范围内的网格单元的干扰也更大，从而导致网络状态质量较低。[0159]在本技术实施例中通过模糊逻辑系统可以快速学习得到目标下倾值22度，调整其所在基站的天线下倾角为目标下倾值22度，此时网络状态质量稍有提升，且对对周边预设范围内的网格单元的干扰减弱。[0160]需要说明的是，本技术实施例中的网络优化装置中的各模块与实施例1中的网络优化方法的各实施步骤一一对应，由于实施例1中已经进行了详尽的描述，本实施例中部分未体现的细节可以参考实施例1，在此不再过多赘述。[0161]实施例3[0162]根据本技术实施例，还提供了一种电子设备，该电子设备包括：存储器和处理器，其中，存储器中存储有计算机程序，处理器被配置为通过计算机程序执行实施例1中的网络优化方法。[0163]具体地，处理器被配置为通过计算机程序执行实现以下步骤：周期性获取网格单元集合中每个网格单元中的基站的天线下倾值、以及每个网格单元中的平均频谱效率和边缘频谱效率，并接收移动终端采集的每个网格单元中的基站的第一网络状态质量，其中，每个网格单元对应目标区域内的一个子区域；将天线下倾角、平均频谱效率和边缘频谱效率作为模糊逻辑系统的输入状态向量，基于隶属度函数将模糊逻辑系统的输入状态向量进行模糊化处理，形成与输入状态向量对应的多个模糊规则，并确定多个模糊规则的真实度；依据模糊逻辑系统对每条非零真实度对应的目标模糊规则进行动作选择，并通过去模糊化处理得到每个网格单元中的基站的目标下倾角；基于目标下倾角对每个网格单元中的基站的下倾角进行调整。[0164]可选地，在周期性获取网格单元集合中每个网格单元中的基站的天线下倾值、以及每个网格单元中的平均频谱效率和边缘频谱效率之前，还包括：获取目标区域内第一待优化网格单元周边预设范围内的第二网格单元，并确定第二网格单元的影响指数；在影响指数大于预设的阈值指数时，确定第二网格单元为待优化网格单元，并将第二网格单元与第一待优化网格单元合并，得到网格单元集合，其中，阈值指数用于确定合格的网格单元。[0165]可选地，第二网格单元包括：与第一待优化网格单元相邻的第一子网格单元以及与第一待优化网格单元不相邻的第二子网格单元，确定第二网格单元的影响指数，包括：确定第二网格单元与第一待优化网格单元之间的第一影响因素，其中，第一影响因素包括：用于反映第一子网格单元与第一待优化网格单元的第一接近率，以及用于反映第二子网格单元与第一待优化网格单元的第二接近率；基于第一影响因素、第二网格单元的资源利用率以及第二网格单元与第一待优化网格单元的切换次数，确定第二网格单元自身的第二影响因素；基于第一影响因素和第二影响因素，计算第二网格单元的影响指数。[0166]可选地，在基于目标下倾角对每个网格单元中的基站的下倾角进行调整之后，还包括：接收移动终端采集调整后每个网格单元中的基站的第二网络状态质量；依据第一网络状态质量和第二网络状态质量，计算瞬时奖赏值；基于瞬时奖赏值，更新每条模糊规则对应的调整动作的q值表，便于衡量下一调整周期内的网络状态质量。[0167]可选地，基于瞬时奖赏值，更新每条模糊规则对应的调整动作的q值表，包括：计算输入状态向量在调整周期内的目标q值，并计算模糊逻辑系统的控制器在调整后的第一状态值；依据第一状态值和折扣因子，计算第一状态值与模糊逻辑系统的控制器在调整前的第二状态值的目标差值，其中，折扣因子用于反映瞬时奖赏值的重要程度；基于目标q值和目标差值，更新每条模糊规则对应的调整动作的q值表。[0168]上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。[0169]在本技术的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。[0170]在本技术所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。[0171]作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。[0172]另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。[0173]集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本技术各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。[0174]以上仅是本技术的优选实施方式，应当指出，对于本
技术领域：
：的普通技术人员来说，在不脱离本技术原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本技术的保护范围。当前第1页12当前第1页12