蜂窝网络中的性能指标的预测的制作方法

本申请要求于2016年12月8日提交的申请号为15/373,177、题为“蜂窝网络中的性能指标的预测”的美国非临时专利申请的优先权，其通过引用并入本申请，就如同将其全部再现一样。本公开涉及基于关键性能和质量指标预测小区性能问题来维护蜂窝网络。
背景技术：
：蜂窝网络的性能受到许多因素的影响，例如数据和语音业务负载、rf覆盖范围、小区间干扰水平，用户位置和硬件故障。在许多情况下，蜂窝网络内的一些无线小区的性能可能看起来异常，并且由这些小区服务的移动用户将遭受糟糕的用户体验。糟糕的用户体验会引起客户的不满。小区网络运营商通常需要检测异常行为，然后在情况恶化之前采取措施来解决问题。运营商依靠所谓的关键性能指标(keyperformanceindicator,kpi)和关键质量指标(keyqualityindicator,kqi)来测量蜂窝网络的性能。kpi或kqi(例如访问设置成功率、平均小区吞吐量或每用户设备的平均吞吐量)反映了网络质量和用户体验。这些性能指标由运营商密切监控。当小区中的业务或用户数量增加时或在发生任何网络更改之前，运营商使用这些性能指标来预测未来的kpi。kpi通常是指示网络性能的特定性能因子的时间序列量化。示例包括：包括蜂窝网络中每个小区中的所有用户设备的下行链路平均小区吞吐量、蜂窝网络中每个小区中每个用户设备的下行链路平均吞吐量、或蜂窝网络中每个小区的总传输比特。准确预测kpi在服务提供和网络规划中非常重要，例如预测网络支持的容量是否满足用户设备需求。如果不满足，网络管理员可以，例如向网络添加新的基站，以解决潜在的资源或容量问题。技术实现要素：本公开的一个方面包括处理器实现的方法，其基于来自蜂窝网络中的小区的观察性能指标数据来预测蜂窝网络性能。所述方法包括访问观察性能指标数据集，所述性能指标数据包括所述蜂窝网络的性能指标的时间序列度量。然后，所述方法基于小区将所述观察性能数据分类为高负载增长小区和高负载无增长小区之一。基于所述小区的所述分类，所述方法基于所述观察性能指标数据中的所述小区的测试数据使用预测模型计算至少一个性能指标的未来值。所述预测模型是根据所述观察性能指标数据中的训练数据推导出的。当所述未来值超过预警值时，输出所述至少一个所述性能指标的所述未来值的指示。本公开的另一方面包括非暂时性计算机可读介质，其存储计算机指令，所述计算机指令在由一个或多个处理器执行时使得所述一个或多个处理器执行以下步骤：访问观察性能指标数据集，所述性能指标数据包括蜂窝网络的性能指标的时间序列度量；使用集成预测模型基于所述观察性能指标数据中被分类为高负载增长小区的小区的测试数据计算至少一个性能指标的未来值，所述集成预测模型是根据所述观察性能指标数据中的被分类为高负载增长小区的所述小区的至少一部分的训练数据推导出的，并且包括所述高负载增长小区的至少两个预测模型。所述非暂时性计算机可读介质还包括当由一个或多个处理器执行时使得所述一个或多个处理器执行以下操作的指令：当所述未来值超过预警值时，输出所述至少一个所述性能指标的所述未来值的指示。该方面的其他实施例包括记录在一个或多个计算机存储设备上的相应计算机系统、装置和计算机程序，每个计算机系统、装置和计算机程序被配置为执行所述方法的所述动作。又一方面包括蜂窝网络监控系统。所述蜂窝网络监控系统包括处理系统，所述处理系统包括至少一个处理器、耦合到所述处理器的存储器以及网络接口。存储在所述存储器上的指令可操作以指示所述至少一个处理器：访问观察性能指标数据集，所述性能指标数据包括所述蜂窝网络的性能指标的时间序列度量；基于所述数据源自的小区分类所述观察性能数据，包括将所述小区分类为高负载增长小区和高负载无增长小区之一；至少使用集成预测模型基于所述观察性能指标数据中被分类为高负载增长小区的小区的测试数据计算至少一个性能指标的未来值，所述集成预测模型是根据所述观察性能指标数据中的被分类为高负载增长小区的所述小区的至少一部分的训练数据推导出的，并且包括所述高负载增长小区的至少两个预测模型，其中所述至少两个预测模型中的每个都基于来自高负载增长小区、所有高负载小区和高负载无增长小区中的不同小区的训练数据；以及当所述未来值超过预警值时，输出所述至少一个性能指标的未来值的指示。本公开的又一方面包括蜂窝网络监控系统，其包括访问观察性能指标数据集的访问元件，所述性能指标数据包括以时间序列测量的蜂窝网络的性能指标；使用集成预测模型基于所述观察性能指标数据集中的测试数据计算至少一个性能指标的未来值的计算元件，所述测试数据用于被分类为高负载增长小区或高负载无增长小区的小区，所述集成预测模型是根据所述观察性能指标数据中的被分类为高负载增长小区的所述小区的至少一部分的训练数据推导出的，并且包括所述高负载增长小区的至少两个预测模型；以及输出所述至少一个所述性能指标的所述未来值的输出元件。本公开的又一方面包括蜂窝网络监控系统，其包括访问蜂窝网络的性能指标的观察性能指标数据集的访问元件；基于所述观察性能数据对小区分类的分类元件，包括将所述小区分类为高负载增长小区或高负载无增长小区之一；至少使用集成预测模型基于被分类为高负载增长小区的小区的测试数据计算至少一个性能指标的未来值的计算元件，所述小区基于所述观察性能指标数据被分类为高负载增长小区，所述集成预测模型是根据所述观察性能指标数据中的被分类为高负载增长小区的所述小区的至少一部分的训练数据推导出的，并且包括所述高负载增长小区的至少两个预测模型，其中所述至少两个预测模型中的每个都基于来自高负载增长小区、所有高负载小区和高负载无增长小区中的不同小区的训练数据；以及输出所述至少一个所述性能指标的所述未来值的输出元件。可选地，在上述任一方面中，所述观察性能指标数据集包括一段时间的性能指标数据，并且所述计算包括通过计算所述高负载增长小区的至少两个预测模型结合未来值来计算集成预测模型。可选地，在上述任一方面中，所述方法包括第一预测模型、第二预测模型和第三预测模型。每个模型预测至少一个性能指标的高负载增长小区未来值。所述第一预测模型基于来自高负载增长小区的训练数据，并且使用所述集成预测模型计算未来值包括利用来自高负载增长小区的测试数据计算所述第一预测模型。所述第二预测模型基于来自所有高负载小区的训练数据，并且使用所述集成预测模型计算还包括利用来自高负载增长小区的所述测试数据计算所述第二预测模型。所述第三预测模型基于来自所有高负载无增长小区的训练数据，并且使用所述集成预测模型计算还包括利用来自高负载增长小区的所述测试数据计算所述第三预测模型。可选地，在上述任一方面中，所述性能指标数据集还包括验证数据，并且所述方法还包括通过以下方式确定所述方法输出的未来值：将所述第一预测模型、所述第二预测模型和所述第三预测模型中的每一个计算的所述至少一个性能指标的预测未来值与所述验证数据中的所述至少一个性能指标的至少一个实际值比较，并且如果所有预测未来值都高于或低于所述至少一个实际值，则所述预测模型选择相对于所述验证数据具有最小误差的预测未来值；或者如果不是所有预测未来值都高于或低于所述至少一个实际值，则通过对每个模型相对于所述性能指标的所述至少一个实际值的误差进行加权来将所述第一预测模型、所述第二预测模型和所述第三预测模型中的每一个的所述预测未来值融合成集成预测值。提供本
发明内容是为了以简化的形式介绍一些概念，这些概念将在下面的具体实施方式中进一步描述。本
发明内容不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。附图说明图1描绘了可以实现本系统和方法的示例性系统的功能和结构组件，包括适合于实现该系统和方法的处理设备的框图。图2是示出了根据本公开的基于蜂窝网络中的小区分类来预测关键性能指标的方法的流程图。图3是示出了预测蜂窝网络中的第一小区分类的kpi的第一种方法的流程图。图4是示出了预测蜂窝网络中的第二小区分类的kpi的第二种方法的流程图。图5是示出了预测蜂窝网络中的第三小区分类的kpi的第三种集成方法的流程图。图6是示出了图5中的选择最佳预测模型的步骤的流程图。具体实施方式公开一种系统和方法，以准确地预测蜂窝网络中的性能指标小区，并提供报警或警告输出，以警告操作者在网络性能或用户体验进一步退化发生之前采取预防措施。在一个方面，本公开使用多种方法和不同的训练数据来基于小区分类创建预测模型，并利用不同方法预测性能指标的未来值以增强预测准确性。在一种方法中，使用多个预测模型来预测一个小区分类的相同测试数据的未来值。在该集成方法中，选择最佳预测未来值或者融合值以完全整合多个算法的强度以增强预测准确性。将通过关于关键性能指标(kpi)的示例来讨论本文所讨论的公开内容。将认识到的是，本文的技术可以同样地应用于蜂窝网络的其他性能指标的预测，例如关键质量指标(kqi)、服务质量(qualityofservice,qos)指标和体验质量(qualityofexperience,qoe)指标。本公开使用针对小区的多种方法和不同的训练数据来创建不同的性能指标预测方法。来自网络的观察性能指标数据用作为训练数据、测试数据以及在某些情况下用作为验证数据。基于负载将观察数据中的小区分类为中高负载小区，将高负载小区进一步分类为增长小区和无增长小区。在一种集成方法中，创建预测未来预测指标的不止一种算法，并且基于多种算法的输出智能地选择或融合预测结果。对于网络运营商来说，准确预测kpi是非常重要的，因为这允许他们预见网络支持的容量是否能够满足网络用户期望的性能要求并确定是否需要进行任何纠正操作。本公开公开了一种通过使用多种预测方法来准确地预测网络元件的kpi的解决方案。传统上，网络性能指标(kpi/kqi)是基于每个趋势分析的工程经验来估算的，例如：根据历史数据或利用某些定义的增量预测kpi值，如平均值。耗时并且通常不能移植到具有不同业务模型或场景的其他市场。相对于使用单个方法预测所有小区条件的kpi的传统预测方法，在小区的不同条件下使用多种方法可以提高每个单独条件的预测准确度。集成学习利用多种算法整体的强度来提高相对于单个算法方法的预测准确性。图1描绘了执行网络分析的网络监控系统195的实施例的功能和结构组件。图1包括网络100，其是使用该系统监控的主题网络。尽管仅示出了一个网络，但是可以监控多个网络，每个网络具有基于这种网络的历史网络数据和工程数据构建的自己的指纹数据库。网络100可以包括为设备提供通信连接的任何有线或无线网络。网络100可以包括各种蜂窝网络和分组数据网络组件，例如基站收发器台(basetransceiverstation.bts)、节点b、演进节点b(enodeb)基站控制器(basestationcontroller,bsc)、无线电网络控制器(radionetworkcontroller,rnc)、服务gprs支持节点(servicegprssupportnode,sgsn)、网关gprs支持节点(gatewaygprssupportnode,ggsn)、wap网关、移动交换中心(mobileswitchingcenter,msc)、短消息服务中心(shortmessageservicecenter,smsc)、归属位置寄存器(homelocationregister,hlr)、访问者位置寄存器(visitorlocationregister,vlr)、因特网协议多媒体子系统(internetprotocolmultimediasubsystem,ims)等。网络100可以采用任何已知和可用的通信协议，例如码分多址(codedivisionmultipleaccess,cdma)、全球移动通信系统(globalsystemformobilecommunications,gsm)、通用移动电信系统(universalmobiletelecommunicationssystem,umts)、长期演进(longtermevolution,lte)或促进通信网络100和网络使能设备之间的通信的其他网络协议。通信网络100还可以与未来的移动通信标准兼容，包括但不限于高级lte和高级wimax。网络100可以包括从无线电收发器、网络、因特网和其他内容传递网络接收语音、数据和组合信息和向无线电收发器、网络、因特网和其他内容传递网络发送语音、数据和组合信息的其他类型的设备和节点。网络可以支持来自具有网络连接功能的任何便携式或非便携式通信设备的通信，例如蜂窝电话、计算机、平板电脑等可以可操作地连接到通信网络100。关键性能指标(kpi)是基于时间参考的网络计数器的内部指标。此kpi在其他计数器的情况下进行评估，并与kqi相关。每个kpi可以是指标的时间参考的度量。每个kpi的变化可以追溯到时间指示。可以使用无线网络中的定义的标准接口来测量和监控网络kpi。这些kpi包括多个网络性能计数器和计时器。例如，在移动数据服务网络中，可以通过分组数据协议(packetdataprotocol,pdp)上下文激活成功率kpi来确定服务可访问性，分组数据协议(pdp)上下文激活成功率kpi可以是成功的pdp上下文激活与pdp上下文尝试的聚合比率。该kpi指示移动用户访问分组交换服务的能力。本文引用的若干示例性kpi包括：ps.service.downlink.average.throughput-小区级别的平均下行链路服务业务吞吐量；l.traffic.activeuser.dl.qci.total-小区级别的下行链路缓冲区中从qci1到qci9的活跃的用户设备的数量；l.thrp.bits.dl-小区中分组数据汇聚协议(packetdataconvergenceprotocol,pdcp)服务数据单元(servicedataunit,sdu)的总下行链路业务量；和l.thrp.bits.ul-小区中pdcp协议数据单元(protocoldataunit,pdu)的总上行链路业务量。如下所述，这些kpi可以在本文的公开中用作为训练数据、测试数据或验证数据，以便预测网络分析中的该kpi的未来趋势，然后可以警告网络管理员一个或多个小区的潜在问题，允许网络管理员在影响用户体验之前解决该问题。返回图1，网络监控系统195可以包括处理设备102。图1示出了适合于实现系统和方法的处理设备102的框图。处理设备102可以包括例如处理器110、随机存取存储器(randomaccessmemory,ram)120、非易失性存储器130、显示单元(输出设备)150、输入设备160和网络接口设备140。在某些实施例中，处理设备102可以嵌入个人计算机、移动计算机、移动电话、平板电脑或其他合适的处理设备中。在非易失性存储器130中示出的是功能组件，其可以由可操作以使得处理器110实现下面描述的一个或多个过程的指令来实现。虽然被示为非易失性存储器130的一部分，但是该指令可用于使得处理器使用图1中所示的任何一个或多个硬件组件来执行本文描述的各种过程。这些功能组件包括网络监控器132、小区分类器134和kpi分析器135。在非易失性存储器130中还示出了数据库190，其存储从蜂窝网络100收集的网络数据115。非易失性存储装置130可包括一个或多个计算机可读介质的任何组合。计算机可读介质可以是计算机可读存储介质。计算机可读存储介质可以是，例如但不限于，电子、磁、光、电磁或半导体系统、装置或设备，或者前述的任何合适的组合。计算机可读存储介质的更具体示例(非详尽列表)将包括以下内容：计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(read-onlymemory,rom)、可擦除可编程只读存储器(erasableprogrammableread-onlymemory,eprom或闪存)、具有中继器的适当光纤、光盘只读存储器(compactdiscread-onlymemory,cd-rom)、光学存储设备、磁存储设备或前述的任何合适的组合。在本文件的上下文中，计算机可读存储介质可以是任何有形介质，其可以包含或存储由指令执行系统、装置或设备使用或与其结合使用的程序。处理设备102可以包括一组指令，其可以被执行以使得计算机系统102执行本文公开的方法或基于计算机的功能中的任何一个或多个。执行本公开多个方面的操作的计算机程序代码可以以一种或多种编程语言的任何组合来编写，该一种或多种编程语言包括面向对象的编程语言，传统过程编程语言。程序代码可以完全在计算机系统102上执行、部分在计算机系统102上执行、作为独立的软件包执行、部分地在计算机系统102上并且部分在远程计算机上执行，或者完全在远程计算机或服务器上执行。在后一种情况下，远程计算机可以通过任何类型的网络连接到用户的计算机，该网络包括局域网(localareanetwork,lan)或广域网(wideareanetwork,wan)，或者该连接可以连接到外部计算机(例如，通过互联网使用互联网服务提供商)、在云计算环境中、或作为服务提供。如图1中所示，处理系统102包括处理器110。处理设备102的处理器110被配置为执行软件指令以执行本文的各种实施例中描述的功能。处理设备102的处理器110可以是通用处理器，或者可以是专用集成电路(applicationspecificintegratedcircuit,asic)的一部分。处理设备102的处理器110还可以是微处理器、微计算机、处理器芯片、控制器、微控制器、数字信号处理器(digitalsignalprocessor,dsp)、状态机或可编程逻辑设备。处理设备102的处理器110也可以是逻辑电路，包括例如现场可编程门阵列(fieldprogrammablegatearray,fpga)的可编程门阵列(programmablegatearray,pga)，或者是包括离散门和/或晶体管逻辑的其他类型的电路。处理设备102的处理器110可以是中央处理单元(centralprocessingunit,cpu)、图形处理单元(graphicsprocessingunit,gpu)或两者。此外，本文描述的任何处理器可以包括多个处理器、并行处理器或两者。多个处理器可以包括在单个设备或多个设备中或耦合到单个设备或多个设备。此外，处理设备102包括可以彼此通信的ram120和非易失性存储器130，以及处理器110，经由总线108。如图所示，处理设备102还可包括显示单元(输出设备)150，例如液晶显示器(liquidcrystaldisplay,lcd)、有机发光二极管(organiclightemittingdiode,oled)、平板显示器、固态显示器或阴极射线管(cathoderaytube,crt)。另外，成像处理器可以包括输入设备160，例如键盘/虚拟键盘或触敏输入屏幕或具有语音识别的语音输入，并且输入设备160可以包括光标控制设备，例如鼠标或触敏输入屏幕/垫。网络监控器132是可以在网络监控系统195的管理员或操作者的命令下查询或使能网络数据115收集的组件。可以周期性地、间歇地或者每当期望新的蜂窝网络100的kpi分析时收集信息。本文讨论了小区分类器134和kpi分析器135的功能。图2是示出了根据本公开的方法的流程图。尽管将针对kpi描述该方法，但是将认识到的是，该方法可以等同于其他形式的性能指标数据，例如蜂窝或其他网络的kqi。图2的方法示出了总体分析方法，其产生输出-例如对网络管理员的预警-以允许前瞻地管理蜂窝网络。当对kpi的未来值的预测超过预警阈值时，可以生成预警。图2的方法，可以作为一个或多个蜂窝网络提供商或管理员的服务，间隔重复地由操作网络监控系统195的网络管理员或服务提供商选择。在任一情况下，从蜂窝网络重新获取一段时间内的kpi数据集，以针对该蜂窝网络执行分析，并且执行图2的分析以提供kpi值的未来预测，kpi值的未来预测可以警告管理员潜在的网络问题。然后可以根据需要重复该方法。在210处，在定义的时间段上收集kpi数据。步骤210处的kpi数据可以是图1中所示的观察网络数据115。可以在适合于提供足够数据以完成本文所述的计算和预测的时间段上收集网络数据115。适合于提供足够数据以完成本文所述的计算和预测的时间段的一个示例是两个月的时间段。观察网络数据115可以如本文所述的细分为训练数据、测试数据和验证数据。例如，在包括两个月的观察kpi数据的观察网络数据115的数据集中，可以利用四(4)周的数据来训练本文所讨论的算法(“训练数据”)，两(2)周的观察数据可以用于未来kpi预测(“测试数据”)，并且可以使用两(2)周的数据(“验证数据”)来确定kpi预测中的误差。在210处重新获取到观察kpi数据之后，本公开基于数据源自的小区对数据进行分类。如本文所使用的，在一个上下文中，术语小区可以指与蜂窝网络100中的特定小区相关联的观察数据115中的观察数据。步骤215、220、225、230、245和255被示为被分组为分类器步骤134a，并且表示可以由分类器134执行的功能。在215处，过滤掉来自极轻负载的小区的数据。对于极轻的业务负载小区，通常不需要预测kpi，因为该小区不处于增长模式或者存在对用户体验产生不利影响的危险。通常，该小区尚未达到资源或容量限制。在一个实施例中，首先使用识别的业务相关指标(kpi)来定义非常低的业务负载阈值，该阈值用于在215处确定极轻业务负载小区。用于确定极轻型业务小区的一个示例是为这样的小区使用阈值：超过10％的包括“l.traffic.activeuser.dl.qci.total”的小区观察值(所有qci的活跃的下行链路用户的平均数量)小于0.1。该阈值通常可以基于工程知识确定或由网络监控系统195的管理员或操作员设置。在过滤步骤215之后剩余的小区数据属于非轻业务负载小区。该小区经历可以被表征为中等负载业务到高负载业务的情况，并且将用于预测小区的未来kpi变化，该小区可能经历增长或资源约束，而不利地影响用户体验。如下所述，将来自这些剩余小区的数据进一步分类为中等业务负载小区和高业务负载小区。高业务负载小区数据用于训练预测模型，因为该小区更可能遇到性能问题。具有相对较低业务负载的小区(中等业务负载小区)不用于训练预测模型，因为在当前分析的情况下它们的性能可能是可接受的。之后，使用高业务负载小区构建的训练模型将用于预测相对较低业务负载小区的kpi。在步骤220，进行关于小区是否满足预测模型构建的标准的第一确定。在220处，模型构建的标准可以是在蜂窝网络100的繁忙时段期间具有重(相比于中等)业务负载的那些小区。那些是高业务负载小区的小区是可以被表征为在峰值使用期间具有高于特定阈值(例如可测量的业务指示kpi的85％容量)的kpi的小区。在220处，那些不满足模型构建的高负载标准的小区将是与高业务负载小区相比具有相对较低业务负载(中等业务)的那些小区，以及在部署高业务负载小区之后可以在网络100中部署的那些小区。在245处，那些不满足高负载标准的小区被称为“a2”小区。与具有高业务负载的小区相比，该小区不太可能看到更快的业务增长。高业务小区将被分类为“a1”小区，并且在步骤225、230和255处进一步被分类为增长小区和无增长小区。在225处，确定高业务a1小区是否可能观察到业务增长。如果不可能，则在230处，由于小区不太可能增长，将a1小区进一步分类为a1，阶段1(a1,phase1，a1p1)小区。如果小区可能看见增长，则在255处，将小区分类为a1，阶段2(a1,phase2，a1p2)小区。在225处，确定业务增长(小区级别的)的条件包括超过g％(其中g在一个示例中为35％)的测试观察值是否是“超出特征范围”。在这种情况下，“超出特征范围”意味着观察数据中的至少一个kpi特征的值大于例如训练数据集的第95个百分位值。例如，测试观察的平均“l.thrp.bits.dl”大于训练观察的“l.thrp.bits.dl”的第95个百分位值。根据分类，基于小区的观察网络数据，将三种不同预测方法中的一种用于kpi预测。步骤235、250、260表示可以由图1的kpi分析器135执行的功能。对于a2(中等业务或之后部署的)分类的小区，在250处，利用在此称为方法2的预测方法。对于a1p1(重业务，无增长)小区，在235处，利用在此称为方法1的预测方法。对于a1p2(重业务，增长)小区，在255处，利用在此称为方法3的预测方法，在本文中有时也称为集成方法。在利用每一种方法-方法1、方法2或方法3之后-可以在240提供预测分析的输出。各种方法中的每一种-方法1、方法2或方法3-是下面进一步详细讨论。各种方法中的每一种可以由图1的kpi分析器135执行。输出可以采用显示输出设备150上显示器的形式或合适输出的任何其他形式，例如电子报告，其可以被提供给蜂窝网络运营商。例如，输出可以是性能指标(例如本文的预测系统所考虑的kpi和kqi)的未来值的完整报告，或者当性能指标的预测未来值中的一个或多个超过预警阈值时，可以是特定kpi或kqi的预警。本文讨论的各种方法中的每一个计算可以替代地称为预测模型或预测计算，其结果是性能指标(例如kpi或kqi)的未来值。图3是示出了如上所述与与图2的步骤250有关的以预测性能指标的未来值的方法1的流程图。在310处，重新获取所有a1(高业务负载)分类小区的训练数据。如上所述，训练数据将包括特定时间段内网络110的数据集115中的观察数据的子集。在一个示例中，时间段是2个月。在这样的示例中，训练数据可以例如包括蜂窝网络100的第一个月的观察数据。在315处，基于来自步骤310的观察数据115中的训练数据训练预测模型，该预测模型包括全局水平回归模型。众所周知，全局水平回归分析可用于表征某些因变量的值随着一个或多个自变量的变化而如何变化。在一个实施例中，用于预测所识别的网络kpi因变量的回归算法是广义加法模型(generalizedadditivemodel,gam)。在一个实施例中，所利用的因变量是：ps.service.downlink.average.throughput(小区级别的平均下行链路服务业务吞吐量)，并且自变量是：l.traffic.activeuser.dl.qci.total(小区的下行链路缓冲器中从qci(qosclassidentifier,qos类标识符)1到qci9的活跃的用户设备的数量)、l.thrp.bits.dl(小区中pdcpsdu的总下行链路业务量)、和l.thrp.bits.ul(小区中pdcppdu的总上行链路业务量)。接下来，320，对于每个小区，计算每个小区的训练误差参数。训练误差可以通过拟合度值(例如r2)(或确定系数)、预测误差(例如均方根误差(rootmeansquarederror,rmse))、平均绝对偏差百分比(percentmeanabsolutedeviation,pmad)和平均绝对百分比误差(meanabsolutepercentageerror,mape)中的任何一个计算。在325处，基于所有a1小区的训练误差参数将所有a1小区聚类成k个聚类。例如，k平均聚类将观察值(在这种情况下为训练误差参数)划分为k个聚类，其中每个观察值属于具有最近均值的聚类，用作聚类的原型。在330处，训练k个聚类级回归预测模型，一个聚类级回归预测模型用于在步骤325中确定的每个第k个聚类。这些聚类级回归模型也用于方法1和方法2，如下所述。在335处，对于每个a1p1小区，将a1p1小区的测试数据用作该小区所属的聚类的第k个模型的输入，以预测该小区的kpi。在340处，对于每个a1p1小区，根据来自原始观察数据集的数据的验证来评估用于该小区的模型。尽管a1p1小区已经表现出高业务负载，但是方法1的分析的输出可以指示a1p1小区接下来可能即将出现的问题。如上所述，未来kpi中的这些预测的报告在图2的240处输出。图4是示出用于执行上述与图2相关的方法2以预测性能指标的未来值的方法的流程图。在410处，重新获取观察数据115中的来自所有a2(中等业务)小区的数据。在415处重新获取在图3的方法1中创建的k聚类级(预测)模型。在420处，对于每个a2小区数据，并且在425处，对于k个模型中的每一个，a2小区数据被用作为第k个模型中的每一个的输入，以在435处计算每一个该小区的kpi预测。在440处，确定第k个模型训练误差。同样，误差可以是k个回归模型中的每一个的拟合度值(或确定系数)(例如r2)、预测误差(例如均方根误差(rmse))、平均绝对偏差百分比(pmad)和平均绝对百分比误差(mape)。在445处，如果(在420处)所考虑的a2小区存在下一个模型，则该方法返回步骤425并重复步骤430到440，直到已经为每个小区计算了k个模型中的所有模型。如果在445处不考虑额外的模型，则在450处确定是否可以选择最佳模型。在450处，如果来自所有k个回归模型的预测误差大于预定阈值，则确定不能为该小区选择合适的模型并且在455处发出警告。小区的预测结果将在455处以警告指示标记。可以基于在对预测误差进行预测中使用的度量来定义预定义阈值。在一个实施例中，在通过pmad计算预测误差的情况下，可以使用阈值30％。如果在450处，一个或多个预测误差低于阈值，则对于每个小区，在460处，对于训练观察值，选择具有最低预测误差的回归模型(使用pmad示例)作为最佳模型。阈值可以是蜂窝网络提供商或网络监控系统管理员可配置的。如果在465处要计算另一个小区，则该方法返回到步骤420以重复下一个小区的计算(425-460)。一旦完成465处所有小区，然后对每个小区使用“最佳”聚类级模型，在470处，基于观察数据中可用的测试数据，为每个这样的a2小区预测kpi。在475处，可选地，可以使用相同的a2小区的观察数据中的验证数据，来对a2小区的预测性能评估进行评估。如上面所看到的那样，方法3使用三种不同的算法来执行a1p2(高负载，增长)小区的kpi预测。图5示出了用于执行方法3的本公开的实施例，方法3用于预测业务量可能随时间增加的高负载小区的kpi的未来值。在方法3中，在一个实施例中，多个算法用于预测，并且算法被集成在一起以形成多算法集。这提供了稳健的多算法预测，并提高了蜂窝网络运营商的kpi预测的准确性。在510处，在510处收集a1小区的观察网络性能数据115。同样，网络数据115包括训练数据、测试数据和验证数据。在515处，基于a1p2小区的训练数据开发自回归预测模型。自回归模型有时在本文中被称为算法1。可以通过任何数量的自回归技术来执行自回归算法，该自回归技术包括例如向量自回归模式、自回归移动平均模型和其他自回归模型。在520处，基于使用a1p2测试数据作为自回归模型的输入的训练模型，在520处预测每个a1p2小区的性能指标kpi的未来值。表1是算法1在蜂窝网络的观察数据115的真实数据集上的计算的性能误差方面的预测性能的示例：表1r2rmsemapepmad算法10.5378181525.7510.1490630.142817如表1所示，在一个实施例中，算法1为a1p2小区kpi的kpi预测提供足够的准确度，以允许网络运营商进行纠错。在525处，以类似于上述与图3和图4相关的方式，用所有a1小区的训练数据训练k个聚类预测模型。这里的一个区别在于来自所有a1小区(a1p1小区和a1p2小区两者)的数据用于在步骤525中训练k个聚类模型。在530处，这些聚类模型用于，基于作为模型的输入的a1p2测试数据，来预测a1p2小区的kpi的未来值。在535处，算法3以类似于步骤525的方式开始，其中仅利用a1p1小区数据训练k个聚类预测模型。在540处，基于作为模型的输入的使用a1p2测试数据的训练模型，使用利用来自步骤535的a1p1小区数据训练的k个聚类模型，预测a1p2数据的性能指标kpi的未来值。在545处，选择“最佳”预测。选择“最佳”预测的方法在图6相关处公开。可选地，在550处，可以使用各个算法中的每一个的验证数据来验证预测的分析。图6示出了确定最佳预测的集成方法。在610处，对于每个a1p2小区，在615处将来自算法1-3的kpi预测结果与每个算法的观察输入kpi数据的相应验证数据进行比较。在620处，在620处利用交叉验证数据计算每个算法的预测误差。在步骤620，对于相同时间间隔，验证数据集中可能存在不止一个验证观察值。在一个实施例中，在620处，计算每种方法的平均预测值(如果适用，跨越多个预测结果)，并且计算验证数据集中的平均实际值(如果适用，跨越多个观察值)。然后比较这些平均值以在620处确定预测误差。然而，如果仅存在一个kpi的验证数据集观察值(对于相同的间隔)，则不需要在该步骤计算平均值，并且比较单个预测的kpi和观察kpi。根据步骤615和620的预测误差和交叉验证，将导致两种情况：在625处，如果在620处的交叉验证之后，所有三个算法的总体预测都高于观察kpi的总体实际值(来自交叉验证数据)，或者如果所有三个算法的总体kpi预测都低于kpi的实际值，然后在630处，选择“最佳”结果为来自具有最小交叉验证误差(例如，根据在步骤620计算的pmad)的算法的预测结果，以作为集成预测结果，并且该方法返回到610以预测下一个a1p2小区。返回步骤625，如果并非所有三个算法预测都高于或低于kpi的实际值，则在步骤635，三个算法的总体预测结果中的两个高于来自观察数据的kpi的总体实际值，而算法的总体预测中的一个低于来自观察数据的kpi的总体实际值，或者算法的总体预测中的一个高于来自观察数据的kpi的总体实际值而其他两个算法的总体预测低于来自观察数据的kpi的总体实际值。如果是这种情况，则在640处，将来自三个算法的结果融合。在该上下文中，“总体预测”包括计算识别的kpi/kqi的单个或平均预测结果是否大于/低于根据所有3种方法的单个或平均值。如果是，则该方法转到步骤630以选择较低的预测误差率以预测识别的kpi/kqi的未来值。如果不是，(意味着至少一种方法不一致)，则该方法转到步骤635和640，使用以下公式计算所有3种方法的权重并相应地生成最终预测结果。在640处，将三个算法的结果融合成集成预测值，其可以根据以下公式计算：预测集成＝权重a·预测a+权重b1·预测b1+权重b2·预测b2其中在前述融合公式中，将相对较高的权重给予被确定具有较低预测误差率的模型的结果，并且将相对较低的权重给予被确定为具有较高预测误差率的模型的结果。应当认识到，并非所有三个算法(算法1-3)都需要在每个实施例中使用。在一个实施例中，仅使用三种算法中的一种算法。在另一个实施例中，使用三种算法中的两种算法的任何组合。在另一个实施例中，使用所有三种算法，并且在又一个实施例中，使用多于三种算法。本文讨论的各个算法中的每个算法计算可以替代地称为预测模型或预测计算，因为这样的算法表示结果是性能指标(例如关键性能指标或关键质量指标)的未来值的计算。这些未来值表示在方法3中融合的预测结果。下面的表2示出了使用与表1所示的来自蜂窝网络的样本数据相同的样本数据的集成算法1和算法2的预测性能示例。表3示出了集成所有3种算法的预测性能示例。比较表2和表3以及上面的表1，证明两算法集成比使用单个算法1具有更好的预测性能，并且三算法集成在两算法集成之上进一步改善了预测性能。表2：集成算法1和算法2的预测性能的示例r2rmsemapepmad算法10.5378181525.7510.1490630.142817算法20.5234461549.2910.1777520.1601322-算法集成0.5973281424.1400.1372050.131301平均改善12.6％7.4％15.4％13.1％表3：集成所有3种算法的集成性能的示例r2rmsemapepmad算法10.5378181525.7510.1490630.142817算法20.5234461549.2910.1777520.160132算法30.5690671473.2690.1698270.1526293-算法集成0.6364831353.1290.1353840.128654平均改善17.2％10.7％17.7％15.1％使用三算法集成，r2的平均改善是17.2％，并且平均绝对偏差百分比(pmad)的改善是15.1％应该认识到，可以提供许多替代形式的输出。在一个替代方案中，用户界面可以提供经历异常的一个或多个质量或性能指标的预警，其中界面提供功能以提供关于根本原因(或使置信度或提升有序的潜在根本原因)的进一步信息。本文描述的存储器是可以存储数据和可执行指令的有形存储介质，并且在存储指令的期间是非暂时的。本文描述的存储器是一件产品和/或机器部件。本文描述的存储器是计算机可读介质，计算机可以从该计算机可读介质读取数据和可执行指令。本文描述的存储器可以是随机存取存储器(ram)、只读存储器(rom)、闪存、电可编程只读存储器(electricallyprogrammablereadonlymemory,eprom)、电可擦除可编程只读存储器(electricallyerasableprogrammableread-onlymemory,eeprom)、寄存器、硬盘、可移动磁盘、磁带、光盘只读存储器(cd-rom)、数字通用磁盘(digitalversatiledisk,dvd)、软盘、蓝光光盘或本领域已知的任何其他形式的存储介质。存储器可以是易失性的或非易失性的、安全的和/或加密的、不安全的和/或未加密的。这里参考根据本公开的实施例的方法、装置(系统)和计算机程序产品的流程图图示和/或框图来描述本公开的各方面。应当理解的是，流程图图示和/或框图的每个框以及流程图图示和/或框图中的框的组合可以由计算机程序指令实现。这些计算机程序指令可以被提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器以生产机器，从而使得通过计算机或其他可编程指令执行装置的处理器执行的指令创建实现流程图和/或程序框图框中指定的功能/动作的机制。这些计算机程序指令还可以存储在计算机可读介质中，该计算机可读介质在被执行时可以管理计算机、其他可编程数据处理装置或以特定方式运行的其他设备，从而使得指令，在存储在计算机可读介质中时，生产包括指令的一件产品，该件产品在被执行时，使得计算机实现流程图和/或框图框中指定的功能/动作。这种计算机可读介质特别地排除信号。计算机程序指令还可以被加载到计算机、其他可编程指令执行装置或其他设备上，从而使得在计算机、其他可编程装置或其他设备上执行一系列操作步骤，以产生计算机实现的过程，从而在计算机或其他可编程装置上执行的指令，提供实现在流程图和/或框图框中指定的功能/动作的过程。本文的主题有利地提供了一种处理器实现的方法：访问观察性能指标数据集，所述性能指标数据包括所述蜂窝网络的性能指标的时间序列度量；基于数据源自的小区分类所述观察性能数据，所述分类包络将所述小区分类为高负载增长小区和高负载无增长小区之一；基于所述分类，使用预测模型基于所述观察性能指标数据中的所述小区的测试数据计算至少一个性能指标的未来值，所述预测模型是根据所述观察性能指标数据中的训练数据推导出的；当所述未来值超过预警值时，输出所述至少一个所述性能指标的所述未来值的指示。在一个方面，本公开包括操作蜂窝网络的方法，其中网络运营商在一段时间内观察网络数据，并执行处理器实现的方法以确定网络问题。然后，网络运营商通过例如向网络添加新的基站来对网络采取纠正措施，从而解决潜在问题。在一个方面，本公开包括一种由服务提供商向蜂窝网络的运营商提供信息的方法。该方法包括在一段时间内接收、观察或以其他方式获取网络数据，并且包括执行处理器实现的方法以确定网络的问题。然后可以向网络运营商提供信息，以便运营商之后通过例如向网络添加新的基站来对网络采取纠正措施，从而解决潜在问题。根据本公开，针对网络性能指标预测设计了多种方法，并且定义了小区的不同条件(基于负载)，以最佳地利用不同方法的强度，来具体针对每个小区条件。在集成方法中，基于高负载增长小区预测的不同测试数据来训练不止一个预测模型，并且预测结果被整合以形成多算法集成。与仅使用过去值或使用其他自变量来预测网络性能指标的算法相比，这提高了预测能力。本公开提供了效率的改进，利用其可以操作蜂窝网络，从而为网络客户提供改进的服务，因为网络运营商可以预测未来的网络问题并在网络故障或进一步性能退化之前解决它们。可以在操作蜂窝网络的自动方法中进一步实现本文描述的公开内容。网络或系统管理员可以监控本文描述的任何关键性能或质量指标并收集网络的性能数据。然后，管理员可以应用本文公开的方法或使用蜂窝网络监控系统来生成可以预测关键质量和性能指标的未来值的报告，并且基于该报告，管理员可以在网络上采取前瞻行动以便维持网络处于高峰运行状态。尽管用结构特征和/或方法动作专用的语言描述了本主题，但应理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。相反，将上述具体特征和动作公开为实现权利要求的示例形式。当前第1页12