网络控制的终端数据呼叫性能测试的制作方法

本发明涉及网络控制的终端数据呼叫性能测试。更具体地，本发明涉及用于允许/实现网络控制的终端数据呼叫性能测试的措施(包括方法、装置和计算机程序产品)，例如，使用网络相关控制信令控制终端数据呼叫性能测试。

背景技术：

在通信系统中，系统部署内各个地方的各个实体的性能测试需要进行监控、规划和/或故障排除。在现有通信系统(和无线电接入技术(rat))(包括lte、lte-a、wcdma等)中，存在用于无线电接入网络(ran)(即诸如bsc、(e)nodeb、bsc、ranc等ran实体)的性能测试模型，用于验证测试中的ran实体符合基础标准并且满足标准质量要求。在这方面，可以在专用测试(即实验室)环境中或在实时网络环境中执行涉及ran实体的性能的测量。但是，目前还没有为现有的通信系统(和无线电接入技术(rat))中的诸如用户设备(ue)等终端规定这样的性能测试模型，特别是用于实时网络测试。对于终端性能测试，传统上使用专用硬件和/或软件，以便仅在测试(即，实验室)环境中，例如使用在终端上运行的特定性能测试应用来执行涉及终端的性能的测量。这种传统上已知的应用通常针对于测试语音质量。因此，这样的语音质量测试通常基于专有测试程序，该测试程序由待测试终端上的测试应用中运行的脚本和与测试应用的用户交互来控制。

因此，用于终端性能测试、特别是终端数据呼叫性能测试的当前可用的方法在效率、便利性、可靠性等方面是不够的。

在下文中，描述了用于终端性能测试的当前可用的方式的缺点的一些示例方面。

当ue操作/行为存在问题时，通常难以在整个系统部署内查明这样的问题的实际原因，即问题是否由信号条件、网络性能问题、ue性能问题等引起的。例如，如果在功率控制中存在怀疑的问题，则难以说明问题是否由以下各项中的一项或多项引起的：处理功率控制次优功率控制参数的ue侧的ue不准确性，ran中(例如在bts或rnc处)的次优功率控制算法，和/或功率控制的ran侧的处理中的错误。

此外，传统上，在实时网络环境中测量终端的(数据)呼叫性能、即用户(数据)up呼叫性能，是不可行或至少是困难的。这是因为ran实体通常不具有报告个体终端/用户呼叫up呼叫统计数据的可能性。作为这方面的一个解决方案，已经利用驱动测试来测量终端/用户up呼叫性能，但是一个终端/用户的结果高度依赖于小区负载，而小区负载可能随时间而变化。此外，驱动测试处理成本高昂，并且需要专用测试终端和测试/控制pc，它们能够生成数据并且报告终端/用户up呼叫统计数据。本文中，术语“测试/控制pc”是指测试/控制相关的个人计算机，并且通常是指可以用于收集终端跟踪测量数据和信令信息以及生成用于测试呼叫的业务的任何测试/控制相关的计算机或控制单元(其中终端跟踪软件通常在这种控制pc而不是终端本身上运行)。然而，较新的终端可能不支持终端跟踪，总之这将限制现代和未来通信系统中的驱动测试的可能性。此外，不同的终端跟踪可能给出不同的结果，这使结果比较更加复杂和/或更加不可靠。此外，驱动测试需要大量时间，并且在分配终端时存在问题，因为呼叫发生器体积庞大并且需要大量电力，并且呼叫发生器可能会给出误导的结果，因为终端与实时网络环境中的现实商业订户相比，彼此位置更接近。在这方面，应当注意，终端的吞吐量性能非常难以估计，除非已知较高级的应用行为和所使用的协议(例如tcp流)。否则，由轮询信令等组成的空闲时段可能会混淆up结果。

因此，终端/用户up呼叫性能的基准设置利用目前可用的终端性能测试方法在不同小区或不同运营方之间是有问题的。这还归因于在测试(即实验室)环境中模拟实际条件时的问题，例如，产生上行链路干扰，构建现实生活测试环境，特别是当需要现实的核心网络或核心网络模拟器来生成业务时，以及针对特定的待测试终端再现针对客户投诉的呼叫场景。

特别提到与功率控制中的怀疑问题相关的性能测试，注意以下几点。

终端的功率控制取决于针对不同系统存在偏差的各种参数。在lte中，ueul功率控制例如取决于用于估计路径损耗的ue能力、用于满足olpc公式的ue能力、dl和ul之间的路径损耗对称性、用于olpc的较高层功率控制参数、业务类型、以及ul和dl资源分配。在wcdma中，ueul功率控制例如取决于用于估计路径损耗的ue能力、用于满足olpc公式的ue能力、用于olpc的较高层功率控制参数、业务类型、以及ul和dl资源分配。在功率控制中存在问题的情况下，通常非常难以估计实际/根本原因，因为当使用许多不同的ue模型、不同的业务类型等时，实时网络环境中的测试条件可能变化很大。

因此，ue功率控制通常在仅具有少量ue模型和少数业务类型的受控测试(实验室)环境中进行测试。在这方面，用于ue功率控制的无线电网络参数基于网络kpi和它们与功率控制参数的相关性的假设来优化。用户数据速率、ber和cqi经由终端跟踪软件通过驱动测试来测量。

因此，需要允许/实现改进的终端数据呼叫性能测试，特别是在实时网络环境中。

技术实现要素：

本发明的各种示例性实施例旨在解决至少部分上述议题和/或问题和缺点。

在所附权利要求中阐述了本发明的示例性实施例的各个方面。

根据本发明的示例方面，提供了一种方法，包括一种方法，该方法包括：使用网络相关控制信令来与至少一个终端建立网络连接以用于数据呼叫性能测试，使用网络相关控制信令来配置终端处的针对该终端的数据呼叫性能测试，处理来自终端的通过所建立的网络连接的测试数据呼叫，以及使用网络相关控制信令来从终端获取针对终端的数据呼叫性能测试的结果。

根据本发明的示例方面，提供了一种方法，包括一种方法，该方法包括：使用网络相关控制信令来与至少一个无线电接入网络实体建立网络连接以用于数据呼叫性能测试，使用来自无线接入网实体处的网络相关控制信令来配置数据呼叫性能测试，通过所建立的网络连接来执行去往无线接入网实体的测试数据呼叫，以及使用网络相关控制信令来向无线接入网实体报告数据呼叫性能测试的结果

根据本发明的示例方面，提供了一种装置，包括一种装置，该装置包括处理器和被配置为存储计算机程序代码的存储器，其中处理器被配置为使该装置执行：使用网络相关控制信令来与至少一个终端建立网络连接以用于数据呼叫性能测试，使用网络相关控制信令来配置终端处的针对终端的数据呼叫性能测试，处理来自终端的通过所建立的网络连接的测试数据呼叫，以及使用网络相关控制信令来从终端获取针对终端的数据呼叫性能测试的结果。

根据本发明的示例方面，提供了一种装置，包括一种装置，该装置包括处理器和被配置为存储计算机程序代码的存储器，其中处理器被配置为使该装置执行：使用网络相关控制信令来与至少一个无线电接入网络实体建立网络连接以用于数据呼叫性能测试，使用来自无线接入网实体的网络相关控制信令来配置数据呼叫性能测试，通过所建立的网络连接来执行去往无线电接入网络实体的测试数据呼叫，以及使用网络相关控制信令来向无线电接入网络实体报告数据呼叫性能测试的结果。

根据本发明的示例方面，提供了一种装置，该装置包括：用于使用网络相关控制信令来与至少一个终端建立网络连接以用于数据呼叫性能测试的部件，用于使用网络相关控制信令来配置终端处的针对终端的数据呼叫性能测试的部件，用于处理来自终端的通过所建立的网络连接的测试数据呼叫的部件，以及用于使用网络相关控制信令来从终端获取针对终端的数据呼叫性能测试的结果的部件。

根据本发明的示例方面，提供了一种装置，该装置包括：用于使用网络相关控制信令来与至少一个无线电接入网络实体建立网络连接以用于数据呼叫性能测试的部件，用于使用来自无线电接入网络实体的网络相关控制信令来配置数据呼叫性能测试的部件，用于通过所建立的网络连接来执行去往无线电接入网络实体的测试数据呼叫的部件，以及用于使用网络相关控制信令来向无线电接入网络实体报告数据呼叫性能测试的结果的部件。

根据本发明的示例方面，提供了一种计算机程序产品，该计算机程序产品包括计算机可执行的计算机程序代码，当程序代码在计算机上被执行(或被运行)或程序在计算机(例如，根据本发明的上述装置相关的示例方面中任一示例方面的装置的计算机)上被运行时，计算机可执行的计算机程序代码被配置为使计算机执行根据本发明的上述方法相关示例方面中的任一示例方面的方法。

计算机程序产品可以包括或可以被体现为(有形/非暂态)计算机可读(存储)介质等，计算机可执行的计算机程序代码被存储于其上，并且/或者程序直接可加载到计算机的内部存储器或其处理器中。

以下列出了本发明的上述示例方面的进一步的发展和/或修改。

通过举例说明本发明的实施例，可以允许/实现网络控制的终端数据呼叫性能测试，例如，使用网络相关控制信令来控制终端数据呼叫性能测试。因此，可以改进终端数据呼叫性能测试，特别是在实时网络环境中。

附图说明

在下文中，将参考附图通过非限制性示例更详细地描述本发明，在附图中：

图1示出了图示根据本发明的示例性实施例的过程的第一示例的示意图，

图2示出了图示根据本发明的示例性实施例的过程的第二示例的示意图，

图3示出了图示根据本发明的示例性实施例的过程的第三示例的示意图，

图4示出了图示根据本发明的示例性实施例的过程的第四示例的示意图，以及

图5示出了图示根据本发明的示例性实施例的装置的结构的示例的示意图。

具体实施方式

本文中参考特定的非限制性示例以及目前被认为是本发明的可想到的实施例来描述本发明。本领域技术人员将理解，本发明决不限于这些示例和实施例，而是可以更广泛地应用。

应当注意，本发明及其实施例的以下描述主要涉及用作某些示例性网络配置和系统部署的非限制性示例的规范。也就是说，本发明及其实施例主要关于用作非限制性示例的3gpp规范来描述。因此，本文中给出的示例性实施例的描述具体涉及与其直接相关的术语。这样的术语仅在所提出的非限制性实施例和实施例的上下文中使用，并且自然不以任何方式限制本发明。相反，任何其它网络配置或系统部署，只要符合本文中所描述的内容和/或本文中所描述的示例性实施例，就对其可适用。

在下文中，使用几种变型和/或备选方案来描述本发明的各种示例性实施例和实施方式及其各方面。通常需要注意，根据某些需要和限制，可以单独或以任何可想到的组合(也包括各种变型和/或备选方案的个体特征的组合)来提供所有描述的变型和/或备选方案。在本文的描述中，词语“包括”和“包含”应当被理解为不将所描述的示例性实施例和实施方式限制为仅包括已经特别提及的特征，并且这些示例性实施例和实现还可以包含没有具体提及的特征、结构、单元、模块等。

在附图中，应当注意，将个体块或实体互连的线/箭头一般性地意在说明其间的操作耦合，其可以是物理和/或逻辑耦合，其一方面是实施无关的(例如有线或无线)，另一方面也可以包括未示出的任意数目的中间功能块或实体。为了清楚和清晰起见，以简化的方式示出了所有示例性网络系统配置和结构。

根据本发明的示例性实施例，总体来说，提供了用于允许/实现网络控制的终端数据呼叫性能测试的措施和机制，例如，使用网络相关控制信令控制终端数据呼叫性能测试。这样的数据呼叫性能测试最终可以提供针对涉及分组数据性能和/或信令性能的终端性能和网络性能(特别是对于空中接口性能/质量)二者的结果。如本文中所描述的，终端可以是能够经由到网络设备的空中接口使用移动数据服务(即，移动(宽带)数据服务)的任何设备或设备的任何模块/组件，包括任何种类的移动台、用户设备、蜂窝电话、智能电话、平板手机、笔记本电脑、平板电脑或任何其他种类的移动单元。

图1示出了图示根据本发明的示例性实施例的过程的第一示例的示意图。因此，示出的过程在由ue表示的至少一个终端和由ran表示的无线电接入网络实体(诸如bts、(e)nodeb、bsc、rnc等)之间可操作。

如图1所示，根据本发明的示例性实施例的过程(或方法)基本上包括以下操作：网络连接建立(s110)、数据呼叫性能测试配置(s120)、测试数据呼叫执行和数据呼叫性能测试(s130)、和数据呼叫性能测试结果处理(s140)。

在操作s110中，使用网络相关控制信令在ran实体和终端之间建立网络连接，以用于数据呼叫性能测试。更具体地，ran实体和终端分别使用网络相关控制信令来建立相互的网络连接以用于数据呼叫性能测试。在操作s120中，使用网络相关控制信令来配置终端处的数据呼叫性能测试。更具体地，ran实体使用网络相关控制信令来配置终端处的针对终端的数据呼叫性能测试，并且终端使用来自ran实体的网络相关控制信令来配置数据呼叫性能测试。在操作s130中，通过所建立的网络连接在ran实体和终端之间执行测试数据呼叫，并且基于测试数据呼叫来执行数据呼叫性能测试。更具体地，终端通过所建立的网络连接(发起和)执行去往ran实体的测试数据呼叫，并且执行针对测试数据呼叫的数据呼叫性能测试，而ran实体处理来自终端的通过所建立的网络连接的测试数据呼叫(并且还可以执行针对测试数据呼叫的数据呼叫性能测试)。在操作s140中，使用网络相关控制信令报告和获取针对终端的数据呼叫性能测试的结果。更具体地，终端使用网络相关控制信令向ran实体报告数据呼叫性能测试的结果，并且ran实体使用网络相关控制信令从终端获取针对终端的数据呼叫性能测试的结果(并且潜在地还获取针对终端的数据呼叫性能测试的本地测量结果)。

根据本发明的示例性实施例，网络相关控制信令可以是取决于基础标准的任何网络控制信令。在lte和wcdma系统中，网络相关控制信令可以包括l3信令，例如诸如，rrc信令，如下所示例的。

图2示出了图示根据本发明的示例性实施例的过程的第二示例的示意图。因此，所示的过程在由ue表示的至少一个终端和由ran表示的无线电接入网络实体(诸如bts、(e)nodeb、bsc、rnc等)之间协同由cn表示的核心网络实体(诸如mme、msc、mgw、sgsn、ggsn、sgw等)可操作。

在图2中，网络连接建立(s210)、数据呼叫性能测试配置(s220)、测试数据呼叫执行和数据呼叫性能测试(s230)、和数据呼叫性能测试结果处理(s240)等基本操作由虚线框指示。

如图2所示，在网络连接建立操作中，ran实体可以经由cn实体发起终端的寻呼。寻呼可以通过使用(ran或rat特定的)cp协议消息(例如，专用的s1ap消息)的请求来发起，其可以基于终端的imsi或imei号码和/或特定订户简档通知标志等。根据这样的请求，cn实体可以在其在相同的跟踪区域或服务区域的情况下如所请求的来寻呼终端。在寻呼请求消息中，cn实体可以指示寻呼与数据呼叫性能测试相关。在接收到这样的寻呼请求消息之后，终端可以向ran实体发出连接请求消息，诸如rrc连接请求消息，指示所请求的网络连接与数据呼叫性能测试相关。这样的指示例如可以借助于rrc连接请求消息中的专用原因值来提供。然后，ran实体可以处理指示所请求的网络连接与数据呼叫性能测试相关联的诸如rrc连接请求的连接请求消息，并且诸如所请求的rrc连接的所请求的网络连接可以在终端和ran实体之间被建立。

根据本发明的示例性实施例，特定订户简档通知标志通常用于标识/指定具有针对特殊(大多数情况下，更好的)服务的特殊(大部分情况下，更高级的)订阅的终端或订户，并且可以具有以下属性。特定订户简档通知标志可以标记特殊用户简档和/或具有特殊用户简档的终端或订户的呼叫。它可以被包括在用于特殊订户或特殊终端的l3(例如rrc)信令中，例如用于重要/vip订户、测试终端、友好用户、演示终端等。更具体地，cn实体可能能够在承载(待)被建立时利用特殊用户简档通知标志(例如，除传统qci信息)标记例如针对vip/友好用户或测试终端的(待建立的)新呼叫，并且ran实体可能能够处理特殊用户简档通知标志，以便例如使用该标志为不同的订户简档或者通过在其无线电资源管理算法中使用订户简档信息来创建单独的pm计数器，以及在切换的情况下将其传递给相邻ran实体。这样的标记也可以用于诊断目的，使得对于重要/vip订户，在掉线呼叫或kpi分析中要特别注意，并且例如覆盖差的问题可以从运营方主动解决。此外，当用户简档在l3信令中可见时，结果可以作为pm计数器或通过跟踪l3信令，通过整个网络以自动方式被收集。这允许比较用于不同用户简档的不同无线电资源管理算法的效率。

也就是说，特定订户简档通知标志可以用于标识/指定特殊终端，包括专用于终端性能测试的终端，而不是使用终端的imsi或imei号码。由于不需要终端的imsi或imei号码，所以订户或终端完整性不会有风险，并且可以直接从诸如ltebts等ran实体分析测试结果，其中终端的imsi或imei号码通常甚至不可见。当呼叫利用特定订户简档通知标志被标记时，ran实体(诸如ltebts等)可以使用其无线电资源管理算法中的信息，用于为诸如重要/vip订户或友好用户提供更好的服务，或者用于为测试终端或演示终端测试不同算法(即应用不同的测试模型)。在测试模型的情况下，特定订户简档通知标志在如下情况下可以表示即使没有来自端用户的投诉也可以为某些终端或订户(例如不良行为的终端)开始测试模型的指示，该情况为在特定订户简档通知标志指示所讨论的终端是或代表重要/vip订户或友好用户。

如图2所示，在数据呼叫性能测试配置的操作中，ran实体可以通过确定用于数据呼叫性能测试的设置来配置针对终端的数据呼叫性能测试，并且在诸如rrc连接重配置消息等连接重配置消息中向终端用信令传输用于数据呼叫性能测试的设置。然后，终端可以在连接重配置消息(诸如rrc连接重配置消息)中从ran实体接收用于数据呼叫性能测试的设置，并且可以通过实施用于数据呼叫性能测试的该设置来配置数据呼叫性能测试。根据本发明的示例性实施例，用于数据呼叫性能测试的设置可以包括以下中的一项或多项的设置：至少一个(标准化或预定义)测试模型、至少一个待测试终端、至少一个终端模型、用于测试数据呼叫的至少一个业务模型、用于测试数据呼叫的源和/或目标、用于测试呼叫的协议、用于测试呼叫的承载、以及至少一个测试参数。通常，数据呼叫性能测试可以(设置为)与现有承载或呼叫、在现有承载或呼叫上、作为现有承载或呼叫并行地运行，或者与相应地设置的新的承载或呼叫、在该新的承载或呼叫上、作为该新的承载或呼叫并行地运行。这种设置可以基于较高级别的测试配置。

如图2所示，在数据呼叫性能测试的操作中，终端可以通过所建立的到ran实体的网络连接来发起并执行测试数据呼叫，该呼叫根据所实施的用于数据呼叫性能测试的设置。这样的测试数据呼叫可以包含预定义的内容，可以基于设置的协议(例如，ping、udp、ftp、流等)，可以被寻址到/发往ran实体、另一ran实体或另一终端，等等。ran实体可以相应地处理来自终端的通过所建立的网络连接的测试数据呼叫。例如，根据需要，ran实体可以用作测试数据呼叫被寻址到/发往的数据测试(模型)服务器/实体，可以将测试数据呼叫路由到(在其服务或覆盖区域中的)另一终端，或者可以(例如在移动性情况/事件中)执行测试数据呼叫到另一ran实体的切换。在前一种情况下，ran实体可以终止测试数据呼叫，并且必须具有或支持(数据测试(模型)服务器/实体的)数据分析器/接收器功能。在后一种情况下，ran实体转发测试数据呼叫(到或者至少经由数据测试(模型)服务器/实体)，并且不必具有或支持这样的数据分析器/接收器功能本身；相反，这样的数据分析器/接收器功能被包括在数据测试(模型)服务器/实体中(其未示出，但是可以例如在终端、另一ran实体、一些专用/单独的元件等中实施)。然后可以在测试数据呼叫的基础上执行数据呼叫性能测试。也就是说，设置的测试参数可以例如借助于终端(和/或ran实体)处的测量、检测等被掌握。

在示例中，bts可以在rrcconnectionreconfiguration(rrc连接重配置)中用信令传输测试模型数据呼叫承载参数、测试模型数据呼叫发生器类型以及数据发送和接收模式，例如，ul/dl方向的数据呼叫qci和最大传输数据量、以及测试模型持续时间。此外，在rrcconnectionreconfiguration或其nas容器中，可以包括目的地ip地址信息(测试数据呼叫中的数据分组被发送到哪儿和从哪儿被接收)以及用于携带它们的所使用的协议(例如，ping、udp、ftp、流)。在目的地是ue而不是数据测试(模型)服务器的情况下，还可以包括目的地ue的msidn/imsi号码。bts可以根据较高级别的配置决定测试模型源和目标目的地，例如，是否在终端和数据测试(模型)服务器之间配置测试模型。在移动性的情况下，bts可以在ho信令中通知目标网络元件，切换的承载或呼叫与数据呼叫性能测试相关。在数据呼叫性能测试完成之后，ue可以在rrcconnectionreconfigurationcomplete(rrc连接重配置完成)中利用测试模型持续时间和ho信息报告数据速率、prb分配、ber和cqi平均信息。而且，功率控制方面的平均值、最小值和/或最大值也可以被包括在rrcconnectionreconfiguration-complete中，例如ue功率控制结果(2g)、ue功率控制特定的路径损耗(lte)和uesir目标(wcdma)。

尽管图2中未示出，但是ran实体可以(指示)停止、取消或中止数据呼叫性能测试(以及相关的测试数据呼叫)。这可以借助于到终端的连接重配置消息(例如rrc连接重配置消息)来实现。因此，即使在设置的测试持续时间之前或者在没有设置测试持续时间的情况下，当特定情况或事件发生时，例如收集了足够的测试数据，由于能量状态低、处理负荷大等原因测试处理不再可行，等等，ran实体也可以(指示)停止、取消或中止数据呼叫性能测试(和相关联的测试数据呼叫)。

如图2所示，在数据呼叫性能测试结果处理操作中，终端可以通过如下操作来报告数据呼叫性能测试的结果，该操作为在连接重配置完成消息(诸如rrc连接重配置完成消息)中向ran实体用信令传输该结果。ran实体可以通过如下操作来获取数据呼叫性能测试的结果，该操作为在连接重配置完成消息(例如rrc连接重配置完成消息)中从终端接收该结果。附加地或备选地，ran实体可以通过借助于测量、检测等局部地掌握这些结果来获取数据呼叫性能测试的结果。根据本发明的示例性实施例，结果可以包括以下中的一项或多项：数据速率、误比特率(ber)、信道质量指示符(cqi)信息、切换(ho)信息、物理资源块(prb)分配、终端功率控制特定的路径损耗信息、终端信干比(sir)目标信息、和测试持续时间。具体地，例如，ue功率控制特定的路径损耗可以用作lte和lte-a中的终端性能结果，并且uesir目标可以用作wcdma中的终端性能结果。对于这些结果，可以使用平均值、最小值和/或最大值。

鉴于上述内容，根据本发明的示例性实施例，ran实体(例如bts、(e)nodeb、bsc、rnc等)可以开始/发起对一个或多个终端的数据呼叫性能测试。

尽管在图2中未示出，但是在开始/发起数据呼叫性能测试时，ran实体还可以相应地通知一个或多个待测试终端。也就是说，ran实体可以通知任何终端(即其用户)其数据呼叫性能预计被测试，或者ran实体可以在预计的数据呼叫性能测试需要批准时查询来自任何终端(即其用户)的这样的预计的数据呼叫性能测试的接受。在后一种情况下，预计的数据呼叫性能测试在没有用户批准的情况下(在预定的时间段内)或在用户拒绝的情况下可以被取消。这种通知可以通过终端和ran实体之间适用的任何机制来实现，例如通过sms。

图3示出了图示根据本发明的示例性实施例的过程的第三示例的示意图。

如图3所示，根据本发明的示例性实施例的过程(或方法)可以包括在上述网络连接建立操作(s310)、数据呼叫性能测试配置(s320)、测试数据呼叫执行和数据呼叫性能测试(s330)、和数据呼叫性能测试结果处理(s340)之前的终端测试能力验证操作。

如图3所示，在终端测试能力验证操作中，终端可以向ran实体报告指示终端的数据呼叫性能测试能力的终端能力参数(s301)。在获取到指示终端的数据呼叫性能测试能力的终端能力参数之后，ran实体可以基于所获取的终端能力参数注册具有数据呼叫性能测试能力的终端(s302)，例如作为具有测试能力的ue。

这样的数据呼叫性能测试能力可以表示对处理(标准化或预定义的)数据呼叫性能测试(或数据呼叫性能测试模型)的支持。其报告/信令可以在ue无线电能力参数中完成。这里描述的报告和注册操作本质上与数据呼叫性能测试的后续操作无关。也就是说，报告和注册操作可以在任何时候进行，不仅在数据呼叫性能测试的直接准备的上下文中或作为数据呼叫性能测试的直接准备。

以上述方式，ran实体可以将多个终端注册为具有测试能力的ue(例如，其服务或覆盖区域中的很多或甚至所有终端)，并且可以基于这种注册执行后续操作。例如，ran实体可以仅针对具有相应数据呼叫性能测试能力的一个或多个终端开始/执行数据呼叫性能测试。更具体地，ran实体可以选择一个或多个待测试终端，并且可以如上所述仅针对所选择的ue经由cn实体发起终端的寻呼，并且cn实体可以仅寻呼展示相应能力一个或多个这样的终端，即具有适当测试标准的这样的ue。

基于这样的注册，ran实体可以在不同类别的终端之间，即在具有和不具有数据呼叫性能测试能力的ue类别之间进行区分。因此，根据本发明的示例性实施例，诸如bts、(e)nodeb、bsc、rnc等ran实体可以相应地开始/发起一个或多个具有测试能力的终端的数据呼叫性能测试。

图4示出了图示根据本发明的示例性实施例的过程的第四示例的示意图。

如图4所示，根据本发明的示例性实施例的过程(或方法)可以包括数据呼叫性能测试的配置中的失败，即基本分别对应于图1、2、3中的操作s120、s220和s320的操作s420中的失败。

也就是说，可能存在网络配置/控制的数据呼叫性能测试可能没有在待测试终端处被配置/实施的情况，例如由于缺乏必要的数据呼叫性能测试能力、低能量状态、高处理负载、安装某些(不支持的)操作系统等。也就是说，终端可以基于某个准则来检查是否能够/允许实施指示/配置的数据呼叫性能测试。在这种情况下，终端可以相应地通知ran实体，例如，借助于连接重配置完成/失败消息(诸如rrc连接重配置完成/失败消息)中的失败指示。这种失败指示也可以指示所指示/配置的数据呼叫性能测试无法实施的原因。

根据本发明的示例性实施例，当ran实体处于用于ran实体的性能测试的测试专用状态时，可以执行图1至图4中任一个的过程。也就是说，ran实体本身可以处于测试专用状态，并且因此应该能够独立地开始数据呼叫性能测试，寻呼一个或多个(所选择的)ue，并且处理测试数据呼叫。在测试专用状态下，类似于ran实体本身的性能测试的设置，用于数据呼叫性能测试的设置(包括例如ue测试模型和寻呼的ue)可以经由ran实体的管理接口(例如，bts管理器gui)来配置。因此，还可以设置ran实体应该(被允许)用作分组数据测试(模型)服务器还是仅支持ue之间的分组数据信令。当仅支持分组数据信令被设置时，ran实体不必具有或支持可能复杂的数据分析器/接收器功能。因此，可以组合ran实体测试(例如在测试(实验室)环境中)和ue测试(例如，在实时网络环境中)。

根据本发明的示例性实施例，用于终端数据呼叫性能测试的(标准化或预定义的)测试模型可以由网络控件使用网络相关控制信令(在控制ran实体和受控终端之间)来执行。

根据本发明的示例性实施例，这样的用于终端数据呼叫性能测试的(标准化或预定义的)测试模型能够在各种用例中提供技术效果和益处，如下文中所示例。

当订户呼叫运营方的客户服务中心并且投诉性能差(例如吞吐量或中断呼叫)时，运营方可以运行订户的终端的一组(预定义或标准化的)数据呼叫测试模型。相应地，可以经由运营方的无线电接入网络来实现基于适当的(预定义或标准化的)数据呼叫测试模型的数据呼叫性能测试。因此，可以验证主要(实际/现实)信号/传播条件以及网络和终端性能。利用(预定义或标准化的)数据呼叫测试模型，运营方可以快速排除与终端、网络或信号条件中的问题相关的较高级别的原因，而无需将任何人派往现场。因此，为运营方改进了故障排除。

如果怀疑(在无线电接入网络中的)次优功率控制参数，则可以利用不同的功率控制参数对同一终端或一组终端(在(预定义或标准化的)数据呼叫测试模型下)运行数据呼叫性能测试的数据测试呼叫。然后，可以比较自身的和相邻小区up和cpkpi，以用于分析最佳功率控制结果。特别地，这样的数据呼叫性能测试可以在实时网络环境中运行，例如利用专用测试终端，而无需对小区进行重配置。

当使用网络相关控制信令来实施数据呼叫性能测试的网络控制时，如上所述，本发明的原理及其示例性实施例的使用在s1ap和rrc信令中可见，例如，当ue无线电能力参数被引入时，并且在测试开始和/或相应地结束时在rrc信令和cncp信令中可见时。当功率控制参数在诸如l3信令等网络相关控制信令中可见时，结果可以作为pm计数器或者通过跟踪诸如l3信令的网络相关控制信令，通过整个网络以自动方式被收集。

如果预期在处理lte路径损耗测量、wcdmasir目标或功率控制算法等方面的终端能力存在问题，则例如在实时网络环境中，当所使用的业务类型被标准化并且终端报告所测量的路径损耗和/或sir目标时，在((预定义或标准化的)数据呼叫测试模型下的)数据呼叫性能测试中使用不同的终端模型并且针对功率控制结果对这些终端模型进行比较。不同的业务模型还有助于排除与所分配的数据和控制信道之间的特定空闲/活动时段相关的问题。这是因为ran侧功率控制算法通常高度取决于某些信道的调度频繁程度。

也就是说，当终端操作/行为出现问题时，允许/促成在整个系统部署内查明这样的问题的实际原因，即问题是否时由信号条件、网络性能问题、终端性能问题等引起的。例如，如果在功率控制方面存在怀疑的问题，则允许/促成说明问题是否是由处理功率控制次优功率控制参数的终端侧的终端不准确性、和/或由ran中(例如在bts或rnc处)的次优功率控制算法、和/或由功率控制的ran侧的处理中的错误引起的。具体来说，(在(预定义或标准化的)数据呼叫测试模型下的)数据呼叫性能测试可以扩展到实时网络级别，而不是仅在测试(例如实验室)环境中的单个ran实体上运行。因此，在网络侧(即ran实体)上提供针对终端测试和网络测试二者(特别是针对空中接口性能测试)的较好的诊断功能。

有益的是，如上所述，待测试终端不需要具有测试/控制pc，例如，用于产生测试业务，这使得测试设置较简单并且较便宜，并且允许测试任何终端，即使先前没有在其上安装特定的测试硬件和/或软件。此外，由于不需要测试/控制pc，因此待测试终端较容易被部署到不同的位置，这是有益的。例如，运营方可以与(在出租车司机之间共享测试终端的)当地的出租车公司达成协议，或者在其员工之间共享例如在家里的要被携带或保有的测试终端，以用于获得所需的地理测试终端覆盖。唯一需要的是一个小型充电器，并且测试终端能够运行测试模型，优选地连续运行。当数据呼叫测试模型可以在ran实体的测试专用状态下设立时，允许较容易地与终端和ran实体进行组合实验室测试。此外，有益的是，实际上不需要核心网络或核心网络模拟器并且不需要呼叫发生器用于测试目的，这使测试设置更便宜并且更简单。因此，允许/促成不同终端模型的终端/用户up呼叫性能和/或功率控制准确度的基准设置。

应当注意，本发明的示例性实施例一般性地涉及数据呼叫性能测试，包括分组数据性能和信令性能。

虽然前面的描述主要参考涉及分组数据性能相关的数据呼叫性能测试，但是涉及信令性能的数据呼叫性能测试同样在上述概念中同样适用。也就是说，本发明的示例性实施例同样地覆盖以网络控制的方式测试cp信令的情况，即当分组数据性能本身不相关时。这种信令性能测试是有效的。这是因为对于数据呼叫(即分组数据通信)而言，相比于比语音呼叫(即连接交换通信)，信令导致更多的负载，因为终端应用通常只发送几个轮询字节，这需要大量的信令但不需要那么多up资源。

因此，可以配置数据呼叫性能测试，使得在测试数据呼叫中不传送特定分组数据(即应用数据)，并且测试信令性能而不是数据通信性能。为此，数据呼叫测试模型可以是用于测试的信令测试模型，例如，ran实体处理信令负载的能力、终端的信令响应时间、测量报告准确度和网络信号条件。

信令测试模型被配置为触发终端和ran实体之间的某种信令。如下情况可能就是这样：诸如bts、(e)nodeb、rnc或bsc等等的ran实体向终端发送与承载处理和测量报告相关的不同种类的信令命令，终端根据在例如针对l3(例如rrc)的适用标准中定义的方式对其应答。ran实体应该能够用信令传输和配置终端的数据呼叫测试模型。在测试数据中使用的用于信令测试模型的数据是可以在ran实体和/或终端处生成的虚拟数据。虚拟数据优选地仅在需要用于执行测试数据呼叫的信令情景时使用，并且在l2处理之后直接在接收侧终止并且既不转发也不分析，从而使实施比数据分组数据性能测试更简单。在这方面，确定和实施用于信令性能测试的设置、测试数据呼叫中的实际信令性能测试、结果获取/报告、能力信息获取/报告等有效用于与以上在一般意义上和/或针对分组数据性能测试所描述的相对应信令性能测试。也就是说，结合图2至图4描述的概念相应地适用。

借助于根据本发明的示例性实施例的信令性能测试，可以利用简单的设置在实时网络环境和测试(例如实验室)环境中实现寻呼、控制信道和协议负载测试。在这方面，控制信道可以例如是rach、pucch、pdcch等，并且协议可以是rrc等。唯一需要的是支持待置于测试ran实体区域下的终端的相应测试模型、以及用于开始测试模型的其标识信息。此外，可以将不同的终端类型参考如下cp性能进行比较，例如，对信令进行应答的延迟或准确地测量和报告自身和相邻小区信号电平的能力。测试中的终端可以用作无线接入网络中的智能天线。例如，在重要的小区中，可以配置测试终端，其通过测试模型始终针对来自自身和相邻小区的dl信号条件报告周期性测量，以用于检测可能的差的dl信号条件或异常的dl干扰。

凭借本发明的示例性实施例，从上文可以看出，可以允许/实现网络控制的终端数据呼叫性能测试，例如可以使用网络相关控制信令(例如专用信令消息和/或参数)来控制终端数据呼叫性能测试。因此，可以改进终端数据呼叫性能测试(可能与网络数据呼叫性能测试相组合)，特别是在实时网络环境中。

一般来说，本发明的示例性实施例提供了在实时网络和测试环境二者中运行单承载或多承载数据呼叫性能测试(包括测试程序的(半)自动控制)的解决方案，需要最少的附加测试设备/布置。因此，提供了使用网络相关控制信令来控制测试过程的基于来自待测试终端的现实生活测试数据呼叫和呼叫数据分析(其可以被称为入侵测试方法)的客观性能/质量测试。

从上述可以看出，(在(预定义或标准化的)数据呼叫测试模型下的)数据呼叫性能测试可以从终端的网络侧开始，以用于测量诸如ber、cqi和数据速率等测试参数。测试中的终端向网络侧报告测试参数测量数据，例如功率控制方面的平均、最小和/或最大结果，例如ue功率控制结果(2g)、ue功率控制特定的路径损耗(lte)和uesir目标(wcdma)。通过配置测试中的终端的标识信息，例如测试ue的msisdn/imsi信息，可以在网络侧呼叫处理中进行测试，而不需要核心网络或核心网络模拟器。在((预定义或标准化的)数据呼叫测试模型下的)数据呼叫性能测试中，测试中的终端开始(通过ran实体)到另一终端的(预定义的)测试数据呼叫，或者开始到专用数据呼叫测试(模型)服务器(例如ran实体)的(预定义的)测试数据呼叫。在这方面，网络侧的ran实体能够用信令传输和配置针对终端的(在(预定义或标准化的)数据呼叫测试模型下)的数据呼叫性能测试。

如上所述，估计终端的吞吐量性能是非常困难的，除非已知较高级的应用行为和使用的协议(例如tcp流)。因此，本发明的示例性实施例教导了使用预定义或标准化的较高级别的应用行为(例如，包括要在测试数据呼叫中传送的规定的应用数据)和协议来利用预定义或标准化的数据呼叫测试模型(例如，包括预定义或标准化的测试应用)。因此，终端性能测试的结果变为跨不同的小区和不同的网络中而可比。例如，可以预定义或标准化测试应用以尝试建立20mbps流连接或尽可能快地打开某些测试网页，并且可以将终端性能作为这种预定义或标准化测试的结果而导出。

上述方法、过程和功能可以由相应的功能元件、实体、模块、单元、处理器等来实现，如下所述。

虽然在上述本发明的示例性实施例中主要参考方法、程序和功能来描述，但是本发明的相应的示例性实施例还覆盖各个装置、实体、模块、单元、网络节点和/或系统，包括软件和/或其硬件。

下面参考图5描述本发明的相应示例性实施例，然而为了简洁，参考根据图1至4的各个对应的配置/设置、方案、方法和功能、原理和操作的详细描述。

在图5中，框基本上被配置为执行如上所述的各种方法、过程和/或功能。框的整体基本上被配置为分别执行如上所述的方法、过程和/或功能。关于图5，应当注意，各个框意在分别示出实施相应功能、处理或过程的相应功能块。这样的功能块是实施无关的，即可以借助于任何种类的硬件或软件或其组合来分别实施。

此外，在图5中，仅示出了与上述方法、过程和/或功能中的任何一个相关的功能块。本领域技术人员将认识到存在各种结构布置的操作所需的任何其它传统功能块，例如，电源、中央处理单元、各自的存储器等。其中，提供一个或多个存储器用于存储用于控制或允许各个功能实体或其任何组合如本文中关于示例性实施例所述地进行操作的程序或程序指令。

图5示出了图示根据本发明的示例性实施例的装置的结构的示例的示意图。

如图5所示，根据本发明的示例性实施例，装置10可以包括至少一个处理器11以及至少一个存储器12(并且可能还有至少一个接口13)，其可以例如分别通过总线14等可操作地连接或耦合。

装置10的处理器11和/或接口13还可以包括调制解调器等，以便于分别通过(硬线或无线)链路进行通信。装置10的接口13可以包括合适的传输器、接收器或收发器，其连接或耦合到一个或多个天线，天线单元，诸如用于分别与所链接的、耦合的或连接的设备的(硬线或无线)通信的天线阵列或通信设施或部件。装置10的接口13通常被配置为与至少一个其他装置、设备、节点或实体(特别是其连接器)通信。

装置10的存储器12可以表示(非暂态/有形)存储介质，并且存储相应的软件、程序、程序产品、宏或小程序等或其一部分，其可以被假设为包括当由相应处理器执行时允许各个电子设备或装置根据本发明的示例性实施例来操作的程序指令或计算机程序代码。此外，装置10的存储器12可以(包括数据库以)存储在装置的操作中使用的任何数据、信息等。

一般来说，各个装置(和/或其部分)可以表示用于执行各自的操作和/或展示相应的功能的装置，和/或各个装置(和/或其部分)可以具有用于执行各自的操作和/或展示各自的功能的功能。

鉴于上述，如图所示，所示出的装置10适用于实践本发明的一个或多个示例性实施例。

当在随后的描述中陈述处理器(或一些其他装置)被配置为执行某个功能，这被解释为等同于陈述以下内容的描述：一个(即至少一个)处理器或相应的电路(可能与存储在相应装置的存储器中或者以其他方式可用的计算机程序代码协作(应当理解的是，存储器也可以是外部存储器或者由云服务等提供/实现))被配置为使装置至少执行上述功能。

一方面，因此示出的装置10可以表示或实现/体现(一部分)ran实体。具体地说，因此示出的装置10可以被配置为如图1至图4中任一个中针对ran实体所描述地执行过程和/或展示功能。

因此，装置10可以被引起或者装置10或其处理器11(可能与存储在存储器12中的计算机程序代码一起)以其最基本形式被配置为执行或引起：使用网络相关控制信令与至少一个终端建立网络连接以用于数据呼叫性能测试，使用网络相关控制信令配置终端处的针对该终端的数据呼叫性能测试，处理来自终端的通过所建立的网络连接的测试数据呼叫，并且使用网络相关控制信令从终端获取针对终端的数据呼叫性能测试的结果。

另一方面，因此示出的装置10可以表示或实现/体现(一部分)终端。具体来说，因此所示的装置10可以被配置为如图1至图4中任一个中针对ue所描述地执行过程和/或展示功能。

因此，装置10可以被引起或者装置10或其处理器11(可能与存储在存储器12中的计算机程序代码一起)以其最基本形式被配置为执行或引起：使用网络相关控制信令来与至少一个无线电接入网络实体建立网络连接以用于数据呼叫性能测试，使用来自无线电接入网络实体的网络相关控制信令来配置数据呼叫性能测试，通过所建立的网络连接执行去往无线电接入网络实体的测试数据呼叫，以及使用网络相关控制信令向无线电接入网络实体报告数据呼叫性能测试的结果。

如上所述，根据本发明的示例性实施例的任何装置可以通过包括用于执行相应的操作、过程和/或功能的相应部件来构造。例如，这种部件可以根据如图5所例示的装置结构，即由一个或多个处理器11、一个或多个存储器12、一个或多个接口13或其任何组合来实施/实现。

可操作为或表示/实现/体现(一部分)ran实体的装置可以包括：用于使用网络相关控制信令来与至少一个终端建立网络连接以用于数据呼叫性能测试的部件，用于使用网络相关控制信令来配置终端处的针对该终端的数据呼叫性能测试的部件，用于处理来自终端的通过所建立的网络连接的测试数据呼叫的部件，以及用于使用网络相关控制信令从终端获取终端的数据呼叫性能测试的结果的部件。

可操作为或表示/实现/体现(一部分)终端的装置可以包括：用于使用网络相关控制信令来与至少一个无线电接入网络实体建立网络连接以用于数据呼叫性能测试的部件，用于使用来自无线电接入网络实体的网络相关控制信令来配置数据呼叫性能测试的部件，用于通过所建立的网络连接执行去往无线电接入网络实体的测试数据呼叫的部件，以及使用网络相关控制信令向无线电接入网络实体报告数据呼叫性能测试的结果的部件。

对于关于根据本发明的示例性实施例的各个装置(或其部件)的可操作性/功能性的进一步细节，分别参考以上结合图1至图4中的任一个的描述。

根据本发明的示例性实施例，处理器、存储器和连接器中的任何一个以及部件中的任何一个可以被实施为个体模块、芯片、芯片组、电路等，或者其中的一个或多个可以分别实施为公共模块、芯片、芯片组、电路等。

根据本发明的示例性实施例，系统可以包括如上所述的设备/装置和其他网络元件的任何可想到的组合，其被配置为如上所述地协作。

一般来说，应当注意，根据上述各方面的各个功能块或元件可以由任何已知的部件分别在硬件和/或软件中实施，如果其只适用于执行相应部分的所描述的功能的话。所提到的方法步骤可以在各个功能块或个体设备中实现，或者一个或多个方法步骤可以在单个功能块中或由单个设备实现。

通常，任何方法步骤都适合实施为软件或硬件，而不改变本发明的思想。这样的软件可以是软件代码无关的，并且可以使用任何已知或未来开发的编程语言来规定，例如，java、c++、c和assembler，只要方法步骤定义的功能得以保留。这样的硬件可以是硬件类型无关的，并且可以使用任何已知或未来开发的硬件技术或这些的任何混合来实现，例如mos(金属氧化物半导体)、cmos(互补mos)、bimos(双极mos)、bicmos(双极cmos)、ecl(发射极耦合逻辑)、ttl(晶体管-晶体管逻辑)等，使用例如asic(专用ic(集成电路))组件、fpga(现场可编程门阵列)组件、cpld(复杂可编程逻辑设备)组件或dsp(数字信号处理器)组件。设备/装置可以由半导体芯片、芯片组或包括这种芯片或芯片组的(硬件)模块表示；然而，这不排除如下可能性：将设备/装置或模块的功能(代替硬件实施)实施为(软件)模块中的软件，诸如包括用于在处理器上执行/运行的可执行软件代码部分的计算机程序或计算机程序产品。例如，设备可以被认为是设备/装置或者多个设备/装置的组件，不管在功能上彼此协调还是在功能上彼此独立，但是在相同的设备外壳中。

设备和/或其部件或部分可以被实施为个体设备，但是这并不排除它们可以在整个系统中以分布式方式来实施，只要该设备的功能被保留。这样的和类似的原理被认为是本领域技术人员已知的。

在本说明书的意义上的软件包括软件代码本身，包括代码部件或部分，或者用于执行相应功能的计算机程序或计算机程序产品、以及在有形介质(例如其上存储有相应数据结构或代码部件/部分的计算机可读(存储)介质)上体现或者在信号或芯片中有可能在其处理过程中体现的软件(或计算机程序或计算机程序产品)。

本发明还覆盖上述方法步骤和操作的任何可想到的组合以及上述节点、装置、模块或元件的任何可想到的组合，只要上述方法和结构布置的概念适用。

鉴于上述，提供了允许/实现网络控制的终端数据呼叫性能测试的措施，例如，使用网络相关控制信令来控制终端数据呼叫性能测试。这种措施示例性地包括：使用网络相关控制信令在无线电接入网络实体与至少一个终端之间的用于数据呼叫性能测试的网络连接的建立，使用网络相关控制信令的终端处的数据呼叫性能测试的配置，在无线电接入网络实体与至少一个终端之间的通过所建立的网络连接的测试数据呼叫的执行，以及使用网络相关控制信令的针对终端的数据呼叫性能测试的结果的报告和获取。

即使参照附图的实施例对本发明进行了说明，但是应当理解，本发明不限于此。相反，对于本领域技术人员显而易见的是，在不脱离本文公开的发明构思的范围的情况下，可以以很多方式修改本发明。

首字母缩略词列表

3gpp第三代合作伙伴项目

ber误比特率

bsc基站控制器

bts基站收发器

cn核心网

cp控制平面

cqi信道质量指示符

dl下行链路

ftp文件传输协议

ggsn网关gprs支持节点

gprs通用分组无线电业务

gui图形用户接口

ho切换

imei国际移动设备标识

imsi国际移动用户标识

kpi关键性能指示符

l3层3osi参考模型

lte长期演进

lte-a高级长期演进

mgw媒体网关

mme移动性管理实体

msc移动交换中心

msisdn移动台综合业务数字网络号码

nas非接入层

olpc外环功率控制

pc个人计算机

pdcch物理下行链路控制信道

pm性能测量

prb物理资源块

pucch物理上行链路控制信道

qci质量等级指示符

rach随机接入信道

ran无线电接入网络

rat无线电接入技术

rnc无线电网络控制器

rrc无线电资源控制

s1aps1应用协议

sgsn服务gprs支持节点

sgw进行服务的网关或服务网关

udp用户数据报协议

ue用户设备

ul上行链路

up用户平面

wcdma宽带码分多址