专利名称：数据完整性计分和网络可视化及用户体验监控的制作方法
技术领域：
该说明书总体上涉及网络监控，更具体地说，涉及用于数据完整性计分和网络可视化及用户体验监控的方法和系统。
背景技术：
网络和用户体验监控方案是被广泛接受的标准，用于载波业务提供者网络跨越固定网络(如，Cable/MSO，IP宽带，如DSL，FTTH等)和移动网络(如，2.5G，3G，LTE等)两者的操作。这些系统通过探测设备监控网络业务量，然后通过多个阶段来处理该业务量以得到可行性信息，因为其与用户体验(业务质量，体验质量)，用户行为(应用程序使用，业务使用等)，用户位置等有关。实际上，可行性信息可以涉及从由探测设备处理的源数据计算的统计指标(典型地被称为关键性能指标或KPI)，并且然后为了驱动用户的业务处理的目的，可用于载波处的大量不同的用户构成。几个KPI的例子包括切换成功(通过节点，位置等)，掉话率(通过节点，手提电话等)，应用程序使用(通过节点，用户等)，用户量(通过位置，人口统计等)，等等。如本发明人已经认识到的，目前在市场中存在大量宏指令级驱动，其以可以影响载波业务提供者(CSP) 的监控系统与KPI的调配和使用的方式来冲击载波业务提供者。例如，由于用户增长的下行压力、每用户的用户平均收入(ARPU)、发展网络复杂度等，CSP必须持续提高操作效率。CSP提高效率的主要方式是通过提高对直接嵌入到业务程序和自动化中的KPI的依赖。S卩，CSP日益依赖于精确数据以在网络上作出关于行为的实时操作决定。而且，给CSP—个增长的推动来平衡在它们的网络上出现的数据，以能够实现新的收入流。几个例子包括使用用户行为数据来改善目标额外CSP业务提供，包装关于用户兴趣和行为的聚合数据到第三方广告商等。一并考虑，这些驱动意味着下述:KPI的有效性和准确性比其他的都重要，因为从监控系统获取的KPI日益进入影响决定的触发网络、业务和潜在收入。这样，本发明人认识到需要提供向当今用户呈现用于给定的KPI的置信区间的能力的系统和方法，使得用户可以更充分理解他们采取影响行为的网络或业务之前测量的重要性。然而，如本发明人进一步认识到的，大多数KPI估计方法依赖于相对人工行为来关联在载波处可用的大批不同系统(激活测试，单元管理系统等)之间的信息。例如，不存在这样的方案:提供将KPI直接嵌入到完整性测量的完全自动过程，使得在任何情况下它们对任何用户都容易地可用。
发明内容
以下描述了用于数据完整性计分和网络可视化以及用户体验监控的系统和方法的实施例。在说明性的、非限制性的实施例中，一种方法可以包括:接收第一向量集，第一向量集中的每个向量代表至少部分地由电信网络测试系统生成的网络事件，第一向量集中的每个向量包括多个维度和第一多个值，第一多个值中的每个值与该多个维度中的相应的一个维度相关联。该方法还可以包括识别第二向量集，其代表由不同于该电信网络测试系统的电信网络监控系统观测的网络事件中的至少一部分，第二向量集中的每个向量包括多个维度和第二多个值，第二多个值中的每个值与该多个维度中的相应的一个维度相关联，第二向量集中的每个向量与第一向量集中的相应向量对应和/或关联。该方法可以进一步包括计算存在分数作为第二向量集中的向量数与第一向量集中的向量数之间的比率。在一些实施例中，该多个维度可以包括下述中的至少一个:国际移动设备识别(MEI)，国际移动用户识别(IMSI)，移动台综合业务数字网(MSISDN)，用户代理(UA)设置文件，用户代理，手机制造商，手机型号，软件版本，统一资源定位器(URL)，业务，应用，位置，移动国家代码(MCC)，或移动网络编码(MNC)。此外，与该多个维度相关联的值可以包括下述中的至少一个:会话长度，上行字节数，下行字节数，尝试次数，失败次数，或等待时间。在一些实施方式中，该存在分数可以与其中设置了电信网络测试系统的地理区域相关联，和/或与至少部分地由该电信网络测试系统生成的网络事件的传输和/或接收中所涉及的网元的子集相关联。该方法也可以包括:至少部分地基于与第二向量集中选出的维度对应的值，为该多个维度中选出的一个维度计算关键性能指标(KPI);以及至少部分地基于存在分数，计算与该KPI相关联的完整性。对于该多个维度中选出的那个维度，在第一向量集中的第一向量的第一值可以不同于第二向量集中的第二向量的第二值，该第一和第二向量与相同的网络事件对应。该方法可以进 一步包括:为该多个维度中给定的那个维度，计算准确性分数作为第一和第二值之间的差异的测量。例如，基于该多个值中相应的值，该准确性分数可以被计算为均方根误差(RSME)。该方法然后可以包括:以图形或文本的形式向用户显示存在分数或准确性分数中的至少一个。例如，存在分数和/或准确性分数的指示可以与相应的地理区域和/或网元的子集相关联地被显示。在一些实施例中，可以采用一个或多个计算机系统来执行这里描述的一个或多个技术。在其他实施例中，有形的计算机可读存储介质可以具有存储在其上的程序指令，当所述程序指令由一个或多个计算机或网络监控系统执行时，所述程序指令使得该一个或多个计算机系统执行这里公开的一个或多个操作。在其他实施例中，一种系统可以包括至少一个处理器和耦合到该至少一个处理器的存储器，该存储器被配置为存储可由该至少一个处理器执行的程序指令以便执行这里公开的一个或多个操作。
现在将对附图进行参考，其中:图1是根据一些实施例的网络监控系统的框图；图2是根据一些实施例的网络监控软件程序的框图3是根据一些实施例的计算机系统的框图，该计算机系统被配置为实施此处描述的多种系统和方法；图4是根据一些实施例的执行存在分析的方法的流程图；图5是根据一些实施例的为关键性能指标(KPI)计算置信度或完整度因子的方法的流程图；图6是根据一些实施例的执行准确度分析的方法的流程图；尽管该说明书提供了几个实施例并说明了附图，但是本领域技术人员将意识到本说明书不仅仅限于所描述的实施例或附图。应当理解，附图和详细的描述并不旨在将说明书限制为所公开的具体形式，而是相反地，意图是覆盖落入权利要求的精神和范围之内的所有的修改、等效和替换。而且，这里使用的任何标题只是为了组织的目的，并且不旨在限制描述的范围。如这里使用的，词语“可以”意欲表达允许的意思(即，表示“具有...的可能性”)，而不是强制的意思(即，表示“必须”)。类似地，词语“包括”、“包含”和“含有”表示“包括，但不限于”。
具体实施例方式图1示出了网络监控系统的框图。如所示，移动设备105和110可以能够通过网络115彼此之间发射和接收数据(如，网页，音频，视频等)。而且，网络服务器120可以被配置为通过网络115向客户端设备125提供一个或多个网页。在不同的实施例中，网络115可以包括任何合适的有线或无线/移动计算机或数据网络，包括，例如，第三代(3G)，第四代(4G)，或3GPP长期演进(LTE)无线网络，IP语音(VoIP)网络，IP多媒体子系统(IMS)网络，因特网等。移动设备105和110之间的通信，以及网络服务器120和客户端设备125之间的通信，可以由电信网络监控系统100来监控，因为包括那些通信的数据分组经过网络115。这样，网络监控系统100可 以包括耦合到网络115的网络监控器或分析器，分组嗅探器，探测设备等。可以例如根据正在被传送的内容的类型、网络115的类型和/或设备105，110和/或125的能力来选择用于实现在图1中发生的通信的协议。可以使用的协议的类型的例子包括，但不限于，超文本传输协议(HTTP)，实时消息传送协议(RTMP)和实时传输协议(RTP)。各种不同设备105，110和/或125的每个通信会话可以具有不同的开始和停止时间，并且可能经历不同的网络业务量约束。在每个会话期间，该会话可用的带宽可以改变多次。而且，在给定的会话期间，数据流可以开始和停止。相应地，网络监控系统100可以配置成对通信会话的相关数据分组进行采样(如，不引人注意地)，以便为每个会话和每个客户端跟踪相同的用户体验信息集，而不考虑支持会话的协议(如，HTTP, RTMP, RTP等)。例如，通过计算和/或呈现关键性能指示(KPI)，以及对于这种KPI的完整度分数，监控系统100可以能够识别关于每个用户的体验的特定信息，如下面更详细描述的。服务提供者可以使用该信息，例如，来调整可用于客户端设备105，110和/或125的网络业务，如分配给每个用户的带宽，和通过网络115对数据分组的路由。一般而言，客户端设备105，110和125可以包括任何计算机系统或设备，例如，诸如个人计算机，膝上型计算机，平板电脑，移动设备，智能电话，网络功能的设备，网络电视等。客户端设备105，110和125可以允许用户执行语音通信，使用网页浏览器应用等通过图形用户接口(⑶I)等导航因特网或其他数据网络。另外或可替换地，客户端设备125可以通过独立的或基于网页的客户端应用访问通过网络服务器120可用的内容目录。网络服务器120可以包括能够传递内容到设备125的任何服务器或计算机系统。在一些情况中，设备105,110和125中的一个或多个可以包括电信网络测试系统。这样的网络测试系统可以是，诸如，被配置为产生能够遍历网络115内的节点和其他元素的实时业务量会话的有效测试系统。在一些实施例中，这样的测试系统可以包括移动手持设备，便携式电脑等，其执行被配置为生成业务量以及跨过各种不同的维度收集测试结果的测试软件。该测试系统还可以能够发射或以其他方式提供其测试数据(如，事件向量的形式等等)到监控系统100。一般而言，有效网络测试系统在商业上可用于不同的结构，并且这里描述的很多技术与使用哪个特定测试系统无关。而且，尽管图1中只示出了设备105，110，120和125，但将理解的是，网络115可以包括任何数量的节点和端点。例如，在一些实施方式中，网络115可以包括节点或端点，它们可以是在3G或4G无线网络中的部件，如GPRS服务支持节点(SGSN)，GPRS网关支持节点(GGSN)或通用分组无线业务(GPRS)中的边界网关，CDMA2000网络中的分组数据业务节点(PDSN)，长期演进/业务结构演进(LTE/SAE)网络中的移动管理实体(MME)或其他核心网络节点或在端点之间传输数据分组或消息的路由器。而且，将理解的是，这类节点和端点可以以任何适当的方式互连，包括耦合到一个或多个其他这类节点和/或端点。如上所述，很多分组遍历端点之间的网络115。这些分组可以代表很多不同会话和协议。例如，如果移动设备105(例如网络测试系统或手机)被用于语音或视频电话，随后它可以使用使用实时传输协议(RTP)与SIP/VoIP服务器(未示出)交换网络协议语音(VoIP)或会话启动协议(SIP)数据分组。如果移动设备105被用于发送或获取邮件，它可以与邮件服务器(没有示出)交换因特网消息访问协议(IMAP)、邮局协议3协议(POP3)、或简单邮件传输协议(SMTP)消息。如果客户端设备105被用于下载或流出视频，它可以使用实时流协议(RTSP) 建立和控制与网络服务器120的媒体会话。可替换地，移动设备105和110或客户端设备125处的用户可以使用超文本传输协议(HTTP)访问多个网站，以便与网络服务器120交换数据分组。应当理解的是，设备端点之间被交换的分组可以遵守多个其他的现在已知或以后开发的协议。在典型的情况下，遍历网络115的分组的大约百分之一携带控制数据，诸如用于设置、管理或拆开呼叫、或端点间的会话的信息。另外百分之九十九的分组携带来往于连接设备的用户数据，如实时语音，视频，邮件或信息内容。在不同的实施例中，网络监控系统100可以被用于监控网络115的性能。为该目的，监控系统100可以被配置为捕获从实时网络用户(如，客户)和网络测试系统跨越网络115被传输的分组。在一些实施例中，分组捕获设备可以非侵入性地耦合到网络链路来捕获基本上所有的跨越所述链路被传送的分组。应当理解的是，在实际网络中，在节点之间可以存在数十或数百的物理、逻辑或虚拟连接和链路。在一些情况下，网络监控系统100可以被耦合到所有这些链路或高百分比的这些链路上。在其他实施例中，监控系统100可以仅耦合到网络115的一部分，如仅耦合到与特定载波或业务提供者相关的链路。分组捕获设备可以是网络监控系统100的一部分，如线路接口卡，或可以是从不同的位置与网络监控系统100远程耦合的独立部件。监控系统100可以包括一个或多个处理器，其运行一个或多个软件应用程序，所述应用程序收集、关联和/或分析来自网络115的媒体和信令数据分组。监控系统100可以并入协议分析仪、会话分析仪、和/或业务量分析仪功能，其通过用网络115上的链路、节点、应用程序和服务器表征IP业务量来提供OSI (开放式系统互连)层2到层7故障排除。在一些实施例中，可以例如由可从Tektronix Inc.获得的IRIS 工具箱来提供这些操作，但也可存在或以后开发其他合适的工具。将网络监控系统100耦合到网络115的分组捕获设备可以是被优化以处理高带宽IP业务量的高速、高密度探测设备，诸如也可从TektronixInc.获得的GEOPROBEg^GIO,但也可存在或以后开发其他合适的工具。业务提供者或网络操作者可以从监控系统100通过具有显示或图形用户接口的用户接口站来访问数据，如IRISVIEW可配置软件框架，其为几个应用程序提供单独的，集成的平台，包括给客户体验管理系统和操作支持系统(OSS)和业务支持系统(BSS)应用的供给，其也可从TektronixInc.获得，但也可存在或以后开发其他合适的工具。监控系统100可以进一步包括内部或外部存储器，用于存储捕获的数据分组，用户会话数据和配置信息。监控系统100可以捕获和关联与特定数据会话相关联的分组。在一些实施例中，相关的分组可以被关联和组合为在网络115上的特殊流、会话或呼叫的记录。可以在捕获文件中捕获这些数据分组或消息。呼叫跟踪应用程序可以被用于将消息分类为呼叫并创建呼叫详细记录(CDR)。这些呼叫可以属于基于或由基础网络定义的情景。在示例性的、非限制性的例子中，可以使用5-元组关联机制来关联相关的分组。这样的5-元组关联过程可以使用IP关联密钥，该密钥包括5部分:服务器IP地址，客户端IP地址，源端口，目的地端口和层4协议(传输控制协议(TCP)，用户数据包协议(UDP)或流控制传输协议(SCTP))。相应地，网络监控系统100可以配置成对通信会话的相关数据分组进行采样(如，不引人注意地)，以便为每个会话和每个客户端跟踪相同的用户体验信息集，而不考虑支持会话的协议(如，HTTP, RTMP, RTP等)。例如，监控系统100可以能够识别关于每个用户的体验的特定信息，如下面更详细描述的。服务提供者可以使用该信息，例如，来调整可用于客户端设备105，110，120和/或125的网络业务，如分配给每个用户的带宽，和通过网络115对数据分组的路由。网络监控系统100也可以被配置为观察由有效测试系统(如，设备105)产生的网络事件。从该测试系统得到的网络事件可以与监控系统100所观察的相应网络事件相关联，并且然后被用于，例如，生成数据完整性分数，如结合图4-6更详细描述的。现在转向图2，描述了网络监控软件程序的框图。在一些实施例中，网络监控软件200可以是图1中的由监控系统100可执行的软件应用程序。如上所述，多个通信会话或数据流可以被跨越网络115在设备105，110，120和/或125之间传送，其一个或多个可以是网络测试系统等。这样的通信可以在HTTP，RTMP, RTP或其他合适的协议上被流传输。监控探测设备205可以被配置为捕获来自网络115的数据分组，包括，例如，来自一个或多个HTTP请求或会话的数据。这样，监控探测设备205可以确定捕获的数据分组的识别信息，并可以将相关数据组合到会话或请求记录中。监控探测设备205接着可以将会话记录和捕获的分组数据提供给监控引擎210。在一些情况下，会话记录可以包括多个部分，当相关的会话有效时，周期性地将该多个部分提供给监控引擎210。监控引擎210又可以被配置为从每个会话记录中提取会话数据，并识别每个会话记录的协议。会话数据可以被提供作为到会话监控模块215的监控供给和/或可以被存储到数据库220。数据库220也可以存储用户信息和客户端设备信息。网络监控软件200可以允许业务提供者为了网络115并发地或同时地收集来自不同HTTP请求或会话的数据。多个请求或会话的数据被存储在数据库220中，其允许业务提供者跟踪每个会话或提取系统范围参数。例如，监控探测设备205和/或监控引擎210可以通过分析该会话的一个或多个数据分组的报头，识别用于每个会话的协议的类型。另外，监控软件200也可以从网络测试系统(如，设备105)接收测试数据并存储那些结果到数据库220中。监控探测设备205和/或监控引擎210也可以跟踪每个VoIP会话可用的带宽，并可以识别实时发生的带宽变化。而且，监控探测设备205和/或监控引擎210可以检测在任何请求或会话的数据分组流中何时出现间隙或丢失的碎片。请求或会话参数，带宽信息，和间隙数据可以被收集到数据库200和/或呈现给业务提供者。可以由业务提供者例如在每个会话，每个用户，每个设备或每个协议的基础上对存储在数据库220中的数据询问。会话监控模块210可以使用收集的信息来生成每个会话和整个网络的体验质量(QoE)和关键质量指标(KQI)。QoE和KQI可以基于例如多久检测到重新缓冲、屏幕分辨率改变、间隙和/或丢失的碎片。在会话期间的过度缓冲(即，重新缓冲)，大量的屏幕分辨率改变和VoIP流中的间隙可能会降低用户的QoE。返回参照图1和2，网络监控系统100，在软件200的控制之下，也可以被配置为聚集数据来启动回程，以生成网络流和基本的KPI计算、数据的时戳、数据的端口戳、滤出不想要的数据、协议分类、和深分组检查(DPI)分析。KPI的例子包括，但并不限于，业务性能指标，网络拥塞指标 ，连接维持指标，业务质量指标，和/或网络可用性指标。另外地，网络监控系统100，可以进一步被配置为执行数据的状态分析，呼叫关联的关键参数的提取和呼叫数据记录(OTR)的生成、应用特定处理等。网络监控系统100的实施例可以由一个或多个计算机系统来实施或执行。图3中示出了一个这样的计算机系统。在不同实施例中，计算机系统300可以是服务器，主计算机系统，工作站，网络计算机，台式计算机，便携式电脑等等。例如，在一些情况下，图1中示出的网络监控系统100可以被实施为计算机系统300。而且，流传输服务器120或设备105，110和125中的一个或多个可以包括计算机系统300的形式的一个或多个计算机。如上所述，在不同实施例中，这些不同的计算机系统可以被配置为以任何合适的方式彼此通信，例如，诸如，通过网络115。如所示，计算机系统300包括通过输入/输出(I/O)接口 330耦合到系统存储器320的一个或多个处理器310。计算机系统300进一步包括耦合到I/O接口 330的网络接口 340，以及一个或多个输入/输出设备350，如指针控制设备360，键盘370，和显示器380。在一些实施例中，可以使用计算机系统300的单个实例来实施给定的实体(如，网络监控系统110)，而在其他实施例中构成计算机系统300的多个这类系统或多个节点可以被配置为主持实施例的不同部分或实例。例如，在一个实施例中，可以通过计算机系统300的一个或多个节点实施一些单元，所述节点不同于实施其他单元的那些节点(如，第一计算机系统可以实施监控探测设备205，而另一个计算机系统可以实施监控引擎210)。在不同实施例中，计算机系统300可以是包括一个处理器310的单个处理器系统，或者是包括两个或更多个处理器310 (如，两个，四个，八个，或其他合适的数量)的多处理器系统。处理器310可以是任何能执行程序指令的处理器。例如，在不同实施例中，处理器310可以是实施多种指令集架构(ISA)中的任何一个的通用处理器或嵌入式处理器，如χ86,POWERPC ,ARM , SPARC ，或者MIPS ISA，或任何其他合适的ISA。在多处理器系统中，每个处理器310可以通常，但不一定，实施相同的ISA。而且，在一些实施例中，至少一个处理器310可以是图形处理单元(GPU)或其他专用的图形绘制设备。系统存储器320可以被配置为存储程序指令和/或由处理器310可访问的数据。在不同的实施例中，可以使用任何合适的存储技术来实施系统存储器320，如静态随机存取存储器(SRAM)，同步动态RAM(SDRAM)，非易失性/闪存型存储器，或任何其他类型的存储器。如所示，实施如这里描述的特定操作的程序指令和数据可以被存储在系统存储器320中，分别作为程序指令325和数据存储335。在其他实施例中，程序指令和/或数据可以被接收，发送或存储到与系统存储器320或计算机系统300分开的不同类型的计算机可访问的介质上或相似的介质上。一般而言，计算机可访问的介质可以包括任何有形存储介质或如磁性介质或光学介质这样的存储介质，如，通过I/o接口 330耦合到计算机系统300的盘或⑶/DVD-ROM。通过传输介质或如电信号，电磁信号，或数字信号的信号可以进一步传送非暂时形式的存储在有形计算机可访问的介质上的程序指令和数据，其可以通过通信介质被传达，如网络和/或无线链路，如可以通过网络接口 340被实施。在一个实施例中，I/O接口 330可以被配置为协调处理器310，系统存储器320和设备中的任何外围设备之间的I/o业务量，包括网络接口 340或其他外围接口，如输入/输出设备350。在一些实施例中，I/O接口 330可以执行任何所需协议，定时或其他数据变换来将数据信号从一个部 件(如，系统存储器320)转变为适用于由另一个部件(如，处理器310)使用的格式。在一些实施例中，例如，I/O接口 330可以包括对于通过不同类型的外围总线附着的设备的支持，如外围部件互连(PCI)总线标准或通用串行总线(USB)标准的变型。在一些实施例中,例如，I/o接口 330的功能可以被分到两个或更多个独立部件中，如北桥和南桥。另外地，在一些实施例中，I/O接口 330的一些或所有功能，如到系统存储器320的接口，可以被直接并入处理器310中。网络接口 340可以被配置为允许数据在计算机系统300和其他附着到网络115的设备之间被交换，如其他计算机系统，或者在计算机系统300的节点之间被交换。在不同实施例中，例如，网络接口 340可以通过有线或无线通用数据网络，如任何合适类型的以太网网络；通过电信/电话的网络，如模拟语音网络或数字光纤通信网络；通过存储区域的网络，如光纤信道SAN，或通过任何其他合适类型的网络和/或协议，来支持通信。在一些实施例中，输入/输出设备350可以包括一个或多个显不终端,键盘,小键盘，触摸屏，扫描设备，语音或光学识别设备，或任何其他适于通过一个或多个计算机系统300进入或恢复数据的设备。多输入/输出设备350可以出现在计算机系统300中或可以被分布在计算机系统300的不同节点上。在一些实施例中，类似的输入/输出设备可以与计算机系统300分开，并可以通过有线或无线连接，如通过网络的接口 340，与计算机系统300的一个或多个节点进行交互。如图3所示，存储器320可以包括程序指令325，其被配置为实施这里描述的特定实施例；以及数据存储335，其包括由程序指令325可访问的不同数据。在一个实施例中，程序指令325可以包括图2中示出的实施例的软件元素。例如，可以采用任何所需的程序语目、脚本语目，或程序语目和/或脚本语目的组合(如，C, C++, C#，JAVA , JAVASCRIPT , PERL 等)在不同实施例中实施程序指令325。数据存储335可以包括在这些实施例中可以使用的数据。在其他实施例中，可以包括其他或不同的软件元素和数据。本领域技术人员将认识到，该计算机系统300仅仅是示例性的，并不旨在限制这里描述的公开的范围。尤其地，计算机系统和设备可以包括能执行所指示的操作的硬件或软件的任何组合。另外，在一些实施例中，由所示部件执行的操作可以由较少部件执行或被跨越另外的部件分配。类似地，在其他实施例中，所示部件中的一些的操作可以不被执行和/或其他的附加操作可以是可用的。相应地，可以利用其他计算机系统配置来实施或执行这里描述的系统和方法。在一些实施例中，以上描述的系统可以配置为执行数据完整性计分和网络可视化和用户体验监控。例如，假设在网络监控系统100中的监控探测设备205为每个观测到的网络事件(“事件”)生成以下的网络事件向量(“事件向量”或“向量”):(T, D1, D2, , Dn, V0 = I, V1, V2, , Vn)其中T是事件时间，Dx是维度，以及Vx是值。具体地，维度是存在的、通过其KPI可以被聚集或观看的场。“维度”的例子可以包括，但不限于，用户(如，由国际移动用户识别或MSI，国际移动设备识别或MEI，移动用户集成业务数字网络编号或MSISDN等)，小区，节点，手机，用户代理(UA)，UA设置文件，释放代码，统一资源定位器(URL)，移动国家代码(MCC)，移动网络代码(MNC)等。同时，“值”可以包括任何可以被操作，聚集等以创建KPI的适合数值。值的例子可 以包括:等待时间，字节计算(上行链路和/或下行链路)，吞吐量，会话长度，尝试次数(如，连接尝试)，失败次数(如，连接失败)等。在以上示出的例子中，V0 = I可以作为计数器使用，即，为了简单计数KPI的目的，它代表事件本身的发生(如，释放事件的计数使得X可以被表示为总和(Vtl)，其中Dk = X)。在不同实施例中，至少部分地由网络测试系统(如，设备105)在其正常操作期间，生成相似的向量。在一些时间周期内，这样的测试系统一般被配置为生成相对小(与总业务量成比例)的测试呼叫集，测试会话集等。进一步，这些测试系统也具有生成事件向量的能力，如以上含有每个呼叫/会话结果的向量。然而，在测试系统生成的事件向量中，维度可以是不同的，因为有效测试系统易于将该网络看作“黑盒子”，并且因此可能不具有网络节点层也没有被提供给该网络监控系统的低层协议栈可见度。然而，可以存在常用维度，特定定时，用户ID(即，IMSI)，和其他的，其能够实现有效测试事件向量和由该监控系统生成的事件之间的关联。在这方面，对于给定的时间周期，使“A_ts ”为来自网络测试系统的事件向量集，并且对于给定的时间周期，使“M_nts”代表该网络监控系统观测的事件向量。在没有丢失事件的完美执行的监控系统中，A_ts可以是M_ts的严格子集(即，应当存在针对M_ts的AeventS的每个事件的一个或多个相应事件)。而且，当期望值的一些改变时，在两个不同事件向量中的可比值应该就统计显著性而言是高度相关的。例如，诸如等待时间的测量的有效测试代理感知可以不同于监控系统，因为该监控系统是网络中的不同点处的观测业务量(如，该监控系统可以被耦合到网络核心处的接口，而该测试系统可以位于网络的边缘)。在一些实施例中，可以执行事件的存在的评估，例如，以确定在A—中但不在Mevmts中的事件的程度，该评估可以指示在监控设备中的错误。该类型的存在分析可以涉及计算丢失事件比率和/或存在分数，其又可以用于基于从A_ts，M_ts或其组合(或子集)获得的值为KPI计算完整性或置信因子。换言之，存在分析可以估计在该监控系统的输出中可观测到的实际数据的比例。阻拦任何灾难性的低值，在CSP网络中监控系统的该数据集是典型地充分足够大，使得大部分不可数的KPI仍然很可能是非常高度地统计准确的。然而，基于计数的KPI，可能经受a%的差异，其大致对应于丢失事件比率。现在转向图4，示出了一种执行存在分析的方法的流程图。在一些实施例中，可以至少部分地由网络监控系统100来执行方法400。在块405，监控系统100可以接收第一向量集(如，A_nts)，每个向量代表电信网络测试系统(如，设备105)生成的网络事件。在块410，监控系统100可以接收第二向量集(M_nts)，每个向量代表监控系统100观测到的网络事件。在块415，监控系统100可以识别在代表相应的或匹配的网络事件的第一和第二集之中的相应的或匹配的向量。例如，监控系统100可以使用时间戳(T)或其他维度，例如，诸如MEI，MSI等来关联Aevents和Mevents的向量。接着，在块420，监控系统100可以计算丢失事件比率。在一些实施例中，该丢失事件比率可以与测试系统产生的匹配事件数量和事件总数(即，Aevents中的向量总数)的比率成比例。出于示例的目的，如果测试系统生成100个向量，但那些向量中只有95个可以与Mevents中的向量关联，则该丢失事件比率为5%。反之，在该实例中“存在分数”将是95%。一旦计算了该丢失事件比率或存在分数，其可以基于Aevents和/或Mevents来计算KPI的因子的完整性或 置信值。例如，该监控系统可以产生假设这些事件向量中的一个或多个维度已经以等于存在分数的采样比被采样。在一些实施例中，KPI聚集引擎(如，在监控引擎210内)可以使用丢失事件比率和/或存在分数来正确地计算KPI。假设KPI的通用表示为:(AT,D1； D2,....Dn, K)相比于事件向量或描述符，替代时间值，可以针对特定时间范围Λ T计算KPI。而且，可以每一维度集地计算ΚΡΙ，如，存在于事件记录中的维度的子集。并且，KPI计算典型地产生单独的值或结果K，尽管其在对于相同的维度和时间范围计算KPI集的实施方式中是非常常见的。如上所证实的，均为了正确地计算K，可以使用附加信息。尤其地，用于自适应的米样系统的KPI可以表不为:( Δ Τ, D1, D2, , Dn, K, KN, Kn, K σ )其中K代表计算的KPI值(普通情况下其是采样平均值)，Kn表示如果没有事件被丢失(即，如果存在分数为100% )时总集合中的事件的数量，其与A_nts中的向量数相等，Kn表示针对该KPI计算存在的采样的数量，其在一些情况下可以是与在Amerts和M_ts中的相同网络事件相应的匹配向量的数量。同时，Ko表示观测值的标准偏差。
在一些情况中，由于与KPI —起存储的附加计算，该系统具有足够的信息来报告给定目标置信因子的置信区间(即，+/-X)，或使用以下公式为给定的区间范围报告置信因子(gp，95% ):
权利要求
1.一种方法，包括: 使用一个或多个计算机系统来执行: 接收第一向量集，该第一向量集中的每个向量代表至少部分地由电信网络测试系统生成的网络事件，该第一向量集中的每个向量包括多个维度和第一多个值，该第一多个值中的每个值与该多个维度中的相应的一个维度相关联； 识别第二向量集，该第二向量集代表由不同于该电信网络测试系统的电信网络监控系统观测的网络事件中的至少一部分，第二向量集中的每个向量包括多个维度和第二多个值，该第二多个值中的每个值与该多个维度中的相应的一个维度相关联，以及第二向量集中的每个向量与第一向量集中的向量对应； 计算存在分数作为第二向量集中的向量数与第一向量集中的向量数之间的比率。
2.根据权利要求1的方法，其中该多个维度包括下述中的至少一个:国际移动设备识别(MEI)，国际移动用户识别(MSI)，移动台综合业务数字网(MSISDN)，用户代理(UA)设置文件，用户代理，手机制造商，手机型号，软件版本，统一资源定位器(URL)，业务，应用，位置，移动国家代码(MCC)，或移动网络编码(MNC)。
3.根据权利要求1的方法，其中与该多个维度相关联的值包括下述中的至少一个:会话长度，上行字节数，下行字节数，尝试次数，失败次数，或等待时间。
4.根据权利要求1的方法，其中该存在分数与其中设置了电信网络测试系统的地理区域相关联。
5.根据权利要求1的方法，其中该存在分数与至少部分地由该电信网络测试系统生成的网络事件中所涉及的网元的子集相关联。
6.根据权利要求1的方法，包括: 使用该一个或多个计算机系统执行: 至少部分地基于与第二向量集中选出的维度对应的值，为该多个维度中选出的一个维度计算关键性能指标(KPI)；以及 至少部分地基于存在分数，计算与该KPI相关联的完整性。
7.根据权利要求6的方法，其中对于该多个维度中选出的那个维度，在第一向量集中的第一向量的第一值不同于第二向量集中的第二向量的第二值，该第一和第二向量与相同的网络事件对应。
8.根据权利要求1的方法，进一步包括: 使用该一个或多个计算机系统执行: 为该多个维度中给定的那个维度，计算准确性分数作为第一和第二值之间的差异的测量。
9.根据权利要求8的方法，进一步包括: 使用该一个或多个计算机系统执行: 基于该多个值中相应的值，计算均方根误差(RSME)。
10.根据权利要求8的方法，进一步包括: 使用该一个或多个计算机系统执行: 以图形或文本的形式向用户显示存在分数或准确性分数中的至少一个。
11.一种系统,包括:处理器，以及 存储器，其耦合到该处理器，该存储器被配置为存储可由处理器执行的程序指令以使得该系统: 接收第一向量集，该第一向量集中的每个向量代表至少部分地由电信网络测试系统生成的网络事件，该第一向量集中的每个向量包括多个维度和第一多个值，该第一多个值中的每个值与该多个维度中的相应的一个维度相关联； 识别第二向量集，该第二向量集代表由不同于该电信网络测试系统的电信网络监控系统观测的网络事件中的至少一部分，第二向量集中的每个向量包括多个维度和第二多个值，该第二多个值中的每个值与该多个维度中的相应的一个维度相关联，以及第二向量集中的每个向量与第一向量集中的向量关联； 计算准确性分数作为第一和第二多个值的相应值之间的差异的测量。
12.根据权利要求11的系统，其中为了计算准确性分数，程序指令进一步可由处理器执行以使得该系统: 基于第一和第二多个值的相应值来计算均方根误差(RSME)。
13.根据权利要求11的系统，其中该准确性分数与其中设置了电信网络测试系统的地理区域相关联，和/或与由电信网络测试系统生成的网络事件中所涉及的网元的子集相关联。
14.根据权利要求11的系统，其中程序指令进一步可由处理器执行以使得该系统: 显示其中设置了电信网络测试系统的地理区域的指示，或者显示至少部分地由电信网络测试系统生成的网络事件中所涉及的网元的子集的指示；以及 显示该地理区域中的该准确性分数或针对所述网元的子集的指示。
15.—种有形电子存储介质，其具有存储在其上的程序指令，当所述程序指令由计算机系统内的处理器执行时，所述程序指令使得该计算机系统: 接收第一向量集，该第一向量集中的每个向量代表至少部分地由电信网络测试系统生成的网络事件，该第一向量集中的每个向量包括多个维度和第一多个值，该第一多个值中的每个值与该多个维度中的相应的一个维度相关联； 识别第二向量集，该第二向量集代表由不同于该电信网络测试系统的电信网络监控系统观测的网络事件中的至少一部分，第二向量集中的每个向量包括多个维度和第二多个值，该第二多个值中的每个值与该多个维度中的相应的一个维度相关联，以及第二向量集中的每个向量具有第一向量集中的相应向量； 计算存在分数作为第二向量集中的向量数与第一向量集中的向量数之间的比率；以及 计算准确性分数作为第一和第二多个值的相应值之间的差异的测量。
16.根据权利要求15的有形电子存储介质，其中当由处理器执行时所述程序指令进一步使得该计算机系统: 至少部分地基于该多个值，为该至少一个维度中选出的一个维度计算关键性能指标(KPI)。
17.根据权利要求16的有形电子存储介质，其中为了计算准确性分数，当由处理器执行时所述程序指令进一步使得该计算机系统: 基于该多个值中相应的值，计算均方根误差(RSME)。
18.根据权利要求17的有形电子存储介质，其中当由处理器执行时所述程序指令进一步使得该计算机系统: 从用户接收对KPI的请求； 向用户显示该请求的KPI ;以及 以图形或文本的形式向用户显示存在分数或准确性分数中的至少一个。
19.根据权利要求18的有形电子存储介质，其中当由处理器执行时所述程序指令进一步使得该计算机系统: 显示其中设置了电信网络测试系统的地理区域的指示；以及 显示与该地理区域相关联的存在分数或准确性分数中的至少一个。
20.根据权利要求18的有形电子存储介质，其中当由处理器执行时所述程序指令进一步使得该计算机系统: 显示至少部分地由电信网络测试系统生成的网络事件中所涉及的网元的子集的指示；以及 显示与该地理区域相关联的存 在分数或准确性分数中的至少一个。
全文摘要
数据完整性计分和网络可视化及用户体验监控。描述了用于数据完整性计分和网络可视化及用户体验监控的系统和方法。在一些实施例中，一种方法可以包括接收第一向量集，每个向量代表由网络测试系统生成的网络事件，每个向量包括多个维度和第一多个值，每个值与所述维度中的相应的一个维度相关联。该方法还可以包括识别第二向量集，其代表由网络监控系统观测的网络事件中的至少一部分，第二向量集中的每个向量包括多个维度和第二多个值。该方法可以进一步包括计算存在分数作为第二向量集中的向量数与第一向量集中的向量数之间的比率，和/或计算准确性分数作为相应值之间的差异的测量。
文档编号H04L12/26GK103220164SQ20121059916
公开日2013年7月24日 申请日期2012年12月26日 优先权日2011年12月27日
发明者R·T·威尔金森 申请人:特克特朗尼克公司