专利名称：通信网络中关键性能指标的置信区间的制作方法
技术领域：
本说明书总体上针对网络监控并且尤其针对在通信网络中计算和呈现(多个)关键性能指标(KPIs)的(多个)置信区间的系统和方法。
背景技术：
网络和客户体验监控解决方案是被广泛接受的用于电信公司服务提供商网络穿过两个固定网络(例如，Cable/MSO, IP宽带例如DSL, FTTH等)和移动网络(例如，2.5G，3G，LTE等)的操作的标准。这些系统通过探测器设备监控网络业务，然后通过各种阶段得到可操作的信息(因为所述信息属于订户体验(服务质量、体验质量)，订户行为(应用程序使用情况，服务使用情况等)，订户位置等)来处理所述业务。实际上，可操作的信息可以涉及静态指标(典型地被称为关键性能指标或KPIs)，所述静态指标被从由探测器处理的源数据中计算得到，并随后被电信公司的各种不同用户构成部分获得以达到驱动其商业过程的目的。KPIs的一些例子包括:切换成功(通过节点，位置等)，掉话率(通过节点，手机等)，应用程序使用情况(通过节点，订户等)，订户计数(通过位置，人口统计学等)，等等。如本发明人已经认识到的，存在呈现在今天的市场中的多宏观层驱动，其以可以影响电信服务提供商(CSPs)的监控系统和KPIs的部署和使用的方式来影响他们。例如，因为订户增长、订户的每用户平均收入(ARPU)下降的压力，增长的网络复杂性等，CSPs必须持续提高操作的效率。CSPs提高效率的一个主要方法是通过增加直接嵌入商业过程和自动控制的KPIs的可靠性。也就是说，CSPs日益依赖于精确的数据来做出关于网络上的活动的实时操作决定。同样，存在增长的推动使CSPs影响数据在他们的网络上的呈现以便实现新的收入流。一些例子包括使用订户行为数据来更好地以额外的CSP服务提供为目标，打包关于订户对第三方广告商的兴趣和行为的聚合数据等。总之，这些驱动意味着如下:KPIs的可用性和精确性比以往更加重要，因为从监控系统获得的KPIs日益用于触发网络、商业和潜在的收入影响决定。同样地，本发明人已经确定了对一种系统和方法的需要，所述系统和方法提供了一种向用户呈现给定KPI的置信区间的能力，以便用户可以在进行网络或商业影响行动之前更充分地认识到度量的重要性。但是，如本发明人已经认识到的，现有的KPI测量解决方案采用了监控所有数据，并且所有被监控的数据都被考虑到KPI计算中。当存在其他使用采样方法的解决方案时，这些系统使用了固定的全局采样率，这使得根据观测数据对KPIs的推断是相对徒劳的运用。
发明内容
用于计算和呈现(多个)关键性能指标(KPIs)的(多个)置信区间的系统和方法的实施例在这里被描述。在一个说明性的、非限制性的实施例中，一种方法可以包括识别表示被网络监控系统观测的网络事件的向量，每个向量包括:维度(dimension);以其来观测相应的网络事件的采样率的指示；和与所述维度相关联的值。所述方法还可以包括至少部分基于所述值来计算针对所述维度对应于被观测的网络事件的KPI，和至少部分基于采样率来计算与KPI相关联的置信。在一些实施例中，所述维度可以包括:国际移动设备识别码(MEI)，国际移动用户识别码(MSI)，移动台综合业务数字网(MSISDN)，用户代理(UA)简档，用户代理，手机制造商，手机型号，软件版本，统一资源定位器(URL)，服务，应用，位置，移动国家码(MCC)或移动网络码(MNC)等。此外，所述值可以包括会话长度、上行链路字节计数、下行链路字节计数、尝试的数目，失败的数目、或等待时间。此外，所述维度可以以第一采样率被观测，另一个维度可以以第二采样率被观测，而第二采样率可以不同于第一采样率。附加地或可选地，采样率可以包括由网络监控系统响应于网络或资源加载而控制的自适应采样率。附加地或可选地，所述采样率可以随时间而改变。附加地或可选地，所述采样率可以包括基于白名单或黑名单的区别采样率。 在一些实施例中，计算置信可以包括估计在不存在采样的情况下将会被网络监控系统观测的网络事件的数目(ΚΝ)，确定所观测的网络事件的数目(κη)，和计算所述值的标准偏差(K O )。所述置信包括置信水平或置信区间，并且所述置信水平或置信区间可以至少部分基于KN、Kn和K O。例如，在某种情况下，计算置信可以包括识别期望的置信水平和至少部分基于所述期望的置信水平来计算置信区间。在其他情况下，计算置信可以包括识别期望的置信区间和至少部分基于所述期望的置信区间来计算置信水平。另外，该方法还可以包括至少部分基于用户对置信水平或置信区间的调整来使得修改将来要以其来观测网络事件的采样率。在另一个说明性的、非限制性的实施例中，网络监控系统可以包括处理器和耦合到该处理器的存储器，所述存储器被配置为存储程序指令，所述程序指令能够由处理器执行来使网络监控系统执行一个或多个操作。例如，该网络监控系统可以识别多个表示所采样的网络事件的向量，每个向量包括:多个维度；所述多个维度中的每一个都与以其来采样相应的维度的采样率的指示相关联；和与每个相应的维度相关联的值，所述采样率经历根据网络或资源加载而随时间的修改。所述网络监控系统还可以至少部分基于关于相应的值而执行的操作来计算与多个维度中的所选一个相关联的关键性能指标(KPI)，所述操作包括下述各项中的至少一个:均值(mean),平均数(average),最小值,或最大值。网络监控系统可以进一步估计在不存在采样的情况下将会被观测的网络事件的数目(Kn)，确定所采样的网络事件的数目(Kn)，计算值的标准偏差(1(0)，至少部分基于1(,、1(11和1(0来计算与KPI相关联的置信值。在一些实施例中，网络监控系统还可以以图表和/或文本形式向用户显示KPI和/或置信值。进一步地，为了计算置信值，网络监控系统可以识别期望的置信水平并至少部分基于该期望的置信水平来计算置信区间。附加地或可选地，网络监控系统可以识别期望的置信区间并至少部分基于该期望置信区间来计算置信水平。同样，在一些情况下，该网络监控系统可以至少部分基于对置信值的调整来自动修改在后续网络事件中要以其来对所选维度进行采样的采样率。在另一个说明性的、非限制性的实施例中，一种有形的电子存储介质可以具有存储在其上的程序指令，当所述程序指令被计算机系统中的处理器执行时，使得该计算机系统执行一个或多个操作。例如，所述计算机系统可以至少部分基于与表示被检测的网络事件的多个向量中的维度相关联的值来确定KPI，所述被检测的网络事件已经由网络监控系统使用采样率进行自适应采样。计算机系统还可以至少部分基于采样率来计算与KPI相关联的置信值，并且其还可以至少部分基于用户对置信值的调整来计算第二采样率，利用所述第二采样率来检测后续的网络事件。为了计算置信值，所述程序指令可以进一步使计算机系统估计在不存在可变采样率的情况下将会被检测的网络事件的数目(Kn)，确定所监控的、所检测的事件的数目(Kn)，以及计算值的标准偏差(K σ )。在一些实施例中，在这里描述的技术中的一种或多种可以由一个或多个计算机系统执行。在其他实施例中，有形的计算机可读存储介质可以具有存储在其上的程序指令，当所述程序指令由一个或多个计算机或网络监控系统执行时，使该一个或多个计算机系统来执行在这里描述的一个或多个操作。在其他实施例中，系统可以包括至少一个处理器和耦合到所述至少一个处理器的存储器，所述存储器被配置为存储能够由所述至少一个处理器执行来实行在这里描述的一个或多个操作的程序指令。
现在将对附图进行参考，其中:图1是根据一些实施例的网络监控系统的框图。图2是根据一些实施例的网络监控软件程序的框图。图3是根据一些实施例被配置为实现于此描述的各种系统和方法的计算机系统的框图。图4是根据一些实施例的计算关键性能指标(KPI)的置信值的方法的流程图。图5是根据一些实施例的调整采样率来使KPI结果符合期望的置信值的方法的流程图。
具体实施例方式虽然本说明书提供了几个实施例和说明性的附图，但本领域普通技术人员应该认识到本说明书并非只是限于所描述的实施例或附图。应该理解的是，附图和详细说明并不意图将说明限于所公开的特殊形式，而是正相反，目的是涵盖所有落入权利要求的精神和范围内的修改、等同和替换。同样，任何于此使用的标题只是用于组织的目的而不是意图限制描述的范围。如这里所使用的，词“可以”表示传达许可的含义(即，意思为“有可能”)，而不是强制性的含义(即，意思为“必须”)。类似地，词“包括”，“包含”和“具有”意味着包括而不是限于。详细描述。
图1示意网络监控系统的示例性框图。如所示，移动设备105和110可以能够通过网络115传输和接收去往和来自彼此的数据(例如，网页，音频，视频，等等)。同样，网络服务器120可以被配置为通过网络115提供一个或多个网页给客户端设备125。在各种实施例中，网络115可以包括任何适当的有线或无线/移动计算机或数据网络，其包括例如第三代(3G)，第四代(4G)，或3GPP长期演进(LTE)无线网络，IP语音(VoIP)网络，IP多媒体子系统(MS)网络，因特网，等等。移动设备105和110之间的通信以及网络服务器120和客户端设备125之间的通信可以由网络监控系统100监控，因为数据分组包括这些经过网络115的通信。同样地，网络监控系统100可以包括耦合到网络115的网络监控器或分析器，分组嗅探器，探测器，或诸如此类。可以选择在图1中被用来使得能够发生通信的协议，例如，根据要被传递的内容的类型，网络115的类型，和/或设备105、110、和/或125的能力。可以被使用的协议的类型的例子包括，但不限于，超文本传输协议(HTTP)，实时消息传送协议(RTMP)，和实时传输协议(RTP)。针对各种设备105、110和/或125的每个通信会话可以有不同的开始和结束时间，并且它们也可以经受不同的网络业务限制。在每个会话期间，针对该会话可用的带宽可以多次改变。同样，数据流可以在给定的会话期间开始和结束。因此，网络监控系统100可以被配置成针对通信会话对相关的数据分组进行采样(例如，不明显地)以便为每个会话和每个客户端追踪相同的用户体验信息集合而不用考虑用来支持所述会话的协议(例如，HTTP, RTMP, RTP，等等)。例如，通过计算和/或呈现(多个)关键性能指标(KPIs)以及针对所述KPIs的(多个)置信区间，监控系统100可以能够识别关于每个用户的体验的特定信息，如在下文中更详细地描述那样。服务提供商可以使用这些信息，例如以便调整可用于客户端设备105、110、和/或125的网络服务(如分配给每个用户的带宽)和对通过网络115的数据分组的路由。一般而言，客户端设备105、110和125可以包括任何计算机系统或设备，诸如例如，个人计算机，膝上型计算机，平板计算机，移动设备，智能电话，网络使能的设备，网络使能的电视，等等。客户端设备105、110和125可以允许用户执行语音通信，操纵因特网或其他通过图形用户界面(GUI)使用网页浏览器应用程序或类似物的数据网络，等等。附加地或可选地，客户端设备125可以通过独立的或基于网络的客户端应用访问由网络服务器120使得可用的内容目录。网络服务器120可以包括任何能够递送内容给设备125的服务器或计算机系统。虽然只有设备105、110、120和125在图1上显示出来，但应该理解的是，网络115可以包括任意数目的节点和端点。例如，在一些实施方式中，网络115可以包括可能为3G或4G无线网络中的组件的节点或端点，例如服务GPRS支持节点(SGSN)，网关GPRS支持节点(GGSN)，或通用分组无线业务(GPRS)网络中的边界网关，CDMA2000网络中的分组数据服务节点(PDSN)，长期演进/服务系统架构演进(LTE/SAE)网络中的移动性管理实体(MME)或任何其他在端点之间传递数据分组或消息的核心网络节点或路由器。而且，应该理解的是，这样的节点和端点可以以任何合适的方式互相连接，包括被耦合到一个或多个其他这样的节点和/或端点。如上所述，很多分组在端点之间穿过网络115。这些分组可以表示很多不同的会话和协议。例如，如果移动设备105用于语音或视频呼叫，则它可以使用实时传输协议(RTP)与SIP/VOIP服务器(没有示出)交换互联网协议电话(VoIP)或会话初始化协议(SIP)数据分组。如果移动设备105用于发送或取回电子邮件，则它可以与电子邮件服务器(没有示出)交换因特网消息访问协议(IMAP)，邮局协议3协议(POP3)，或简单邮件传输协议(SMTP)消息。如果客户端设备105用于下载视频或使视频流出，则它可以使用实时流协议(RTSP)来同网络服务器120建立和控制媒体会话。可选地，移动设备105和110或客户端设备125处的用户可以使用超文本传输协议(HTTP)访问多个网站以便同网络服务器120交换数据。应该理解的是，在设备端点之间交换的分组可以遵守许多其他现在已知或之后开发的协议。在一个典型的情况下，大约百分之一的经过网络115的分组承载控制数据，例如在端点之间建立、管理或拆除呼叫或会话的信息。其他百分之九十九的分组承载用户数据，例如去往和来自所连接的设备的实际的语音、视频、电子邮件或信息内容。在各种实施例中，网络监控系统100可以用于监控网络115的性能。为此，监控系统100可以被配置为捕获经过网络115传输的分组。在一些实施例中，分组捕获设备可以非侵入式地耦合到网络链路以便充分地捕获所有经过链路传输的分组。应该理解的是，在实际网络中，节点之间存在许多或上百个物理、逻辑或虚拟连接和链路。在一些情况下，网络监控系统100可以耦合到所有或者高百分比的这些链路。在其他实施例中，监控系统100可以只耦合到网络115的一部分，例如只耦合到与特定运营商或服务提供商相关联的链路。分组捕获设备可以是网络监控系统100的一部分，例如线路接口卡，或可以是从不同位置远程耦合到网络监控系统100的独立组件。监控系统100可以包括一个或多个运行一个或多个软件应用的处理器，其从网络
115收集、关联和/或分析媒体和信令数据分组。监控系统100可以通过表征通过网络115上的链路、节点、应用和服务器的IP业务的特征，来结合协议分析器、会话分析器、和/或业务分析器功能，其提供OSI (开放系统互连)第二层到第七层的故障诊断。在一些实施例中，这些操作可以被提供，例如，通过可从Tektronix公司获得的IPIS :工具集，虽然其他合适的工具可能存在或稍后被开发出`来。将网络监控系统100耦合到网络115的分组捕获设备可以是高速、高密度探测器，其被优化为处理高带宽IP业务，例如GEOPR〇BE G10，其同样可以从Tektronix公司得到，虽然其他合适的工具可能存在或稍后被开发出来。月艮务提供商或网络运营商可以通过带有显示器或图形用户界面的用户接口站从监控系统100访问数据，例如IRISVIEW可配置的软件框架，其为几个应用提供单一的、完整的平台，包括对客户体验管理系统和操作支持系统(OSS)和商业支持系统(BSS)应用的反馈，这也可以从Tektronix公司得到，虽然其他合适的工具可能存在或稍后被开发出来。监控系统100可以进一步包括内部或外部存储器用于存储所捕获的数据分组、用户会话数据、和配置信息。监控系统100可以捕获和关联与特定数据会话相关联的分组。在一些实施例中，相关的分组可以被关联和结合到针对网络115上的特定流、会话或呼叫的记录。这些数据分组或消息可以被捕获到捕获文件中。呼叫跟踪应用可以被用于将消息分类成呼叫并建立呼叫详细记录(CDRs)。这些呼叫可能属于基于优先网络或由优先网络定义的方案。在一个说明性的、非限定性的例子中，相关的分组可以使用5元组关联机制来关联。这样的5元组关联处理可以使用IP相关密钥，其包括5部分:服务器IP地址、客户端IP地址、源端口、目的端口和第四层协议(传输控制协议(TCP)、用户数据报协议(UDP)或流控制传输协议(SCTP))。因此，网络监控系统100可以被配置成针对通信会话来对相关数据分组进行采样(例如，不明显地)以便为每个会话和每个客户端追踪相同的用户体验信息集合而不用考虑用来支持所述会话的协议(例如，HTTP，RTMP，RTP，等等)。例如，监控系统100可以能够识别关于每个用户的体验的特定信息，如在下文中更详细地描述那样。服务提供商可以使用这些信息，例如以便调整可用于端点105、110、和/或125的网络服务(如分配给每个用户的带宽)和对通过网络115的数据分组的路由。尽管网络115的容量向10吉比特/秒(Gbps)增长并超过(例如，IOOGbps)，但是，它支持更多用户的流量和会话。同样的，对服务提供商或网络运营商来说，分析所有经过网络115的业务(例如，识别问题节点或链路)变得困难。一些系统可以在相对短的时间段内收集所有的数据，期望采样具有代表性。其他系统可以在全部时间收集一部分的网络业务并试图通过对其进行简单地缩放来为整个网络推断数据。为了解决这些和其他所关心的问题，某些于此描述的系统和方法可以实现电信网络的自适应监控。现在转向图2，描述了网络监控软件程序的框图。在一些实施例中，网络监控软件200可以是可由图1的监控系统100执行的软件应用程序。如之前提到的，多个通信会话或数据流可以在设备105、110、120和/或125之间穿过网络115被传送。这样的通信可以通过HTTP、RTMP、RTP或任何其他合适的协议被流传输。监控探测器205可以被配置为从网络115捕获数据分组，包括例如来自一个或多个HTTP请求或会话的数据。同样地，监控探测器205可以为所捕获的数据分组确定识别信息并可以将相关数据结合到会话或请求记录中。监控探测器205可以随后将会话记录和所捕获的分组数据反馈到监控引擎210。在一些情况下，会话记录可以包括多个段，当相关的会话处于活动时周期性地将所述段提供给监控引擎210。监控引擎210可以接着被配置成从每个会话记录提取会话数据并为每个会话记录识别协议。会话数据可以被作为监控反馈提供给会话监控模块215和/或可以被存储到数据库220。数据库220还可以存储订户信息和客户端设备数据。网络监控软件200可以允许服务提供商针对网络115从各种HTTP请求或会话并行或同时地收集数据。用于多个请求或会话的数据被存储在数据库220中，其允许服务提供商追踪每个会话或提取全系统参数。例如，监控探测器205和/或监控引擎210可以通过分析所述会话的一个或多个数据分组的报头来识别用于每个会话的协议的类型。监控探测器205和/或监控引擎210还可以追踪每个VoIP会话可用的带宽，并且可以识别实时发生的带宽改变。此外，监控探测器205和/或监控引擎210可以在用于任何请求或会话的数据分组的流中发生间隙或片段丢失时进行检测。所述请求或会话参数、带宽信息和间隙数据可以被收集给数据库200和/或呈现给服务提供商。存储在数据库220中的数据可以由服务提供商查询，例如，基于每会话、每用户、每设备或每协议。会话监控模块210可以使用收集到的信息来为每个会话和为整个网络生成体验质量(QoE)和关键质量指标(KQIs)。所述QoE和KQIs可以基于例如检测到的多少时候一次重新缓冲、屏幕分辨率改变、间隙、和/或丢失的片段。会话期间额外的缓冲(即重新缓冲)，许多的屏幕分辨率改变和VoIP流中的间隙可能降低用户的QoE。
返回参考图1和2，网络监控系统100可以被配置为通过网络监控软件200来监控它所接近的网络业务的可编程片段(例如，10GbpS，100GpbS，等)。这样的可编程部分可以被定义，例如，通过采样率等等。在一些情况下，监控探测器205和/或引擎210可以基于一组试探法来智能地分析业务以便区别高值业务和低值业务(或任何其他所选形式的业务)。这样的试探法的例子可能包括(但不限于)具有共同的源或目的地址、共同的订户识别符、共同的传输协议、共同的端口号、共同的内容类型等等的业务。根据不同类型的业务，可以应用不同的采样规则(或规则集合)。每个规则可以依次指示会在后续的处理中被使用的业务的一部分，例如，KPIs的计算等等。KPIs的例子包括，但不限定于，服务性能指标、网络拥塞指标、连接保持指标、服务质量指标、和/或网络可用性指标。在软件200的控制下，网络监控系统100还可以被配置为聚合数据来实现回程，生成网络流和基础KPI计算，数据的时间戳，数据的端口戳，滤除不需要的数据，协议分类，和深度分组检测(DPI)分析。另外，网络监控系统100可以进一步被配置为执行数据的有状态分析，对呼叫关联的关键参数的提取和呼叫数据记录(CDRs)的生成，应用特殊处理，等等。在操作中，监控引擎210可以被配置为接收负载信息(例如，CPU和/或存储器使用)和存储所述信息到数据库220中。其也可以被配置为生成和/或修改存储在数据库220中的采样规则。基于负载信息和/或网络条件确定，监控引擎210可以自适应地修改存储在数据库220中的规则的一个或多个方面，以及使用修改后的滤波器器、优先码和采样率等更新监控探测器205。下面的表I提供了可以被存储在数据库220中的假定采样规则的一个例子用于说明:表I
权利要求
1.一种方法，包括: 使用一个或多个计算机系统执行: 识别表示由网络监控系统观测的网络事件的向量，每个向量包括:维度；以其来观测相应的网络事件的采样率的指示；和与所述维度相关联的值； 至少部分基于所述值来计算针对所述维度与被观测的网络事件相对应的关键性能指标(KPI)；以及 至少部分基于所述采样率来计算与所述KPI相关联的置信。
2.如权利要求1所述的方法，其中所述维度包括以下各项中的至少一个:国际移动设备识别码(ΠΙΕΙ)、国际移动用户识别码(IMSI)、移动台综合业务数字网(MSISDN)、用户代理(UA)简档、用户代理、手机制造商、手机型号、软件版本、统一资源定位器(URL)、服务、应用、位置、移动国家码(MCC)或移动网络码(MNC)。
3.如权利要求1所述的方法，其中以第一采样率来观测所述维度，其中以第二采样率来观测另一个维度，并且其中所述第二采样率不同于所述第一采样率。
4.如权利要求1所述的方法，其中所述采样率包括由所述网络监控系统响应于网络或资源加载而控制的自适应采样率。
5.如权利要求1所述的方法，其中所述采样率随时间而改变。
6.如权利要求1所述的方法，其中所述采样率包括基于白名单或黑名单的区别采样率。
7.如权利要求1所述的方法，其中所述值包括以下各项中的至少一个:会话长度、上行链路字节计数、下行链路字节计数、尝试的数目、失败的数目、或等待时间。
8.如权利要求1所述的方法，其中计算置信进一步包括: 使用所述一个或多个计算机系统执行: 估计当不存在采样时将会被所述网络监控系统观测的网络事件的数目(Kn)； 确定被观测的网络事件的数目(Kn);以及 计算所述值的标准偏差(Ko )。
9.如权利要求8所述的方法，其中所述置信包括置信水平或置信区间中的至少一个，并且其中所述置信水平或置信区间至少部分基于KN、Kn和K O。
10.如权利要求9所述的方法，其中计算所述置信进一步包括: 使用所述一个或多个计算机系统执行: 识别期望的置信水平；以及 至少部分基于所述期望的置信水平来计算置信区间。
11.如权利要求9所述的方法，其中计算所述置信进一步包括: 使用所述一个或多个计算机系统执行: 识别期望的置信区间；以及 至少部分基于所述期望的置信区间来计算置信水平。
12.如权利要求9所述的方法，进一步包括: 使用所述一个或多个计算机系统执行: 至少部分基于用户对置信水平或置信区间的调整来促使修改将来要以其来观测网络事件的采样率。
13.一种网络监控系统，包括: 处理器；以及 耦合到所述处理器的存储器，所述存储器被配置为存储程序指令，所述程序指令能够由处理器执行来使所述网络监控系统: 识别多个表示被采样的网络事件的向量，每个向量包括:多个维度；与所述多个维度中的每一个相关联的采样率的指示，以所述采样率来对相应的维度进行采样；和与每个相应的维度相关联的值，所述采样率经历根据网络或资源加载而随时间的修改； 至少部分基于关于相应的值而执行的操作，计算与所述多个维度中的所选一个相关联的关键性能指标(KPI)，所述操作包括以下各项中的至少一个:均值、平均数、最小值、或最大值； 估计在不存在采样的情况下将会被观测的网络事件的数目(Kn)； 确定被采样的网络事件的数目(Kn)； 计算所述值的标 准偏差(Ko);以及 至少部分基于KN、Kn和K σ来计算与KPI相关联的置信值。
14.如权利要求13所述的网络监控系统，其中所述程序指令能够由处理器进一步执行使得所述网络监控系统: 将KPI显示给用户；以及 以图表或文本形式向用户显示置信值。
15.如权利要求13所述的网络监控系统，其中为了计算置信值，所述程序指令能够进一步由处理器执行使得所述网络监控系统: 识别期望的置信水平；以及 至少部分基于所述期望的置信水平来计算置信区间。
16.如权利要求13所述的网络监控系统，其中为了计算置信值，所述程序指令能够进一步由处理器执行使得所述网络监控系统: 识别期望的置信区间；以及 至少部分基于所述期望的置信区间来计算置信水平。
17.如权利要求13所述的网络监控系统，所述程序指令能够进一步由处理器执行使得所述网络监控系统:至少部分基于对置信值的调整来自动修改在后续网络事件中要以其来对所选维度进行采样的采样率。
18.一种有形的电子存储介质，其具有存储在其上的程序指令，所述程序指令在由计算机系统中的处理器执行时使得所述计算机系统: 至少部分基于与多个表示被检测的网络事件的向量中的维度相关联的值来确定关键性能指标(KPI)，所述被检测的网络事件已经由网络监控系统使用采样率进行自适应采样； 至少部分基于所述采样率来计算与KPI相关联的置信值；以及 至少部分基于用户对置信值的调整来计算要以其来检测后续网络事件的第二采样率。
19.如权利要求18所述的有形的电子存储介质，其中为了计算置信值，所述程序指令进一步使得计算机系统: 估计在不存在可变采样率的情况下将会被检测的网络事件的数目(Kn)；确定被观测、被检测的事件的数目(Kn);以及 计算所述值的标准偏差(Ko )。
20.如权利要求19所述的有形的电子存储介质，其中所述置信值包括置信水平或置信区间中的至少一个。
全文摘要
本发明涉及通信网络中关键性能指标的置信区间。公开用于计算和呈现(多个)关键性能指标(KPIs)的(多个)置信区间的系统和方法。例如，在一些实施例中，一种方法可以包括识别表示由网络监控系统观测的网络事件的向量，每个向量包括维度；以其来观测相应的事件的采样率的指示；和与维度相关联的值。该方法还可以包括至少部分基于所述值来计算针对所述维度与被观测的事件对应的KPI。该方法还可以包括至少部分基于所述采样率来计算与KPI关联的置信。在一些情况下，可以以不同的采样率来观测事件。附加地或可选地，采样率可以包括由网络监控系统响应于网络或资源加载(例如经历随时间而改变)、白名单区别采样率等等而控制的自适应采样率。
文档编号H04L12/26GK103188119SQ201210599239
公开日2013年7月3日 申请日期2012年12月26日 优先权日2011年12月27日
发明者R·T·威尔金森 申请人:特克特朗尼克公司