328。网络模拟器328包括控制器332，协议栈模块330，以及无线收发器334。协议栈模块330连接至无线收发器334，无线收发器334连接至天线336，天线336能够与用户设备340双向无线通信。被测设备340可以-举例来说-手机，PDA，平板计算机或其他移动计算机，连接至计算机的软件狗(dongle)，在计算机上运行的基于软件的协议桟，原型硬件和/或用于机器对机器式应用程序的嵌入式无线设备。
[0032]测试计算机300具有一套应用程序，在该示例中，包括测试应用程序302，记录器应用程序304和后处理应用程序306。在测试计算机300上运行的新型测试应用程序302从数据库310调用测试规范，并修改新型非确定性测试机制，从而使它们能够通过网络模拟器328被自动执行。可能被记录在数据库的某些测试规范的例子包括，但是不限于确定长期信令开销(即，信令量)的测试规范，和/或确定信令时间频率(信令定时)的测试规范。
[0033]在该示例中，协议栈模块330是可配置的协议栈，它的不同层能够支持各种已知的无线通信无线电接入技术，包括-举例来说-2G，3G和/或LTE (也称为4G)通信协议。
[0034]在使用过程中，测试应用程序302根据测试规范确定网络模拟器328的控制参数，包括协议栈330的不同层的设置和其他可配置网络设置。测试应用程序302被配置为将控制参数发送给网络模拟器328的控制器332。控制器332接下来根据测试的初始部分设置网络模拟器328的协议栈内的可配置块的控制参数，优选所需的任何其他的网络模拟器设置。例如，根据来自测试应用程序302的指令，控制器322可以设置协议栈中不同层的可配置参数，包括层3、2或I (层I也称为物理层或PHY层)。为了达到根据非确定性测试机制的第一期望网络状态而对网络模拟器328进行的测参数设置可以包括根据测试的第一部分中所期望的第一网络状态设置-举例来说-PDCP参数，RLC/MAC参数和物理层参数。特别地，这在这些类型的测试中有用，能够设置用户设备340所发起的接受/拒绝/忽略配置程序，以及信号发送给用户设备的计时器和/或计数器的值。
[0035]将在测试用户设备340的过程中使用的初始网络状态可以是特定的参数化网络设置。或者，或另外地，它可以引起消息或一系列消息从处于特定参数化状态的网络模拟器328发送。随后，测试应用程序302控制网络模拟器328进入互动模式，在互动模式中，参数化的网络模拟器和用户设备以非脚本的方式通信。例如，在采用将在测试中使用的初始网络状态之后可以将一个或多个消息从用户设备340传输至网络模拟器328，网络模拟器328可以基于它的状态进行响应。
[0036]在执行测试机制的过程中，测试计算机300与网络模拟器328的控制器332保持通信。记录器软件304在日志文件中记录与网络模拟器328和用户设备340之间的系列事件以及通信相关的数据。这种日志文件可以包括-举例来说-网络模拟器和用户设备所采用的各种状态和条件的时间戳记录，和/或它们之间发送的消息的记录。日志文件还可以包括与消息自身相关的数据，包括-举例来说-有效载荷数据和/或尺寸数据。
[0037]在一个时间点之后，测试应用程序302引起网络模拟器328改变为第二网络状态，从而进入第二交互模式，实现用户设备340和处于其第二状态的网络模拟器328之间的进一步非脚本交互。从初始网络状态到第二网络状态的改变可以-举例来说-自动或手动编程为-举例来说-在某个时间延迟之后发生，在特定时间发生，或者可以编程为响应于与用户设备340或网络模拟器328相关的触发器而发生。例如，触发器可以是与用户设备340相关的特定事件，或者可以是与网络模拟器328相关的特定事件。对于网络模拟器328或用户设备340而言，触发事件可以包括，例如，特定条件的确立或者特定消息的发送。第二网络状态可以是为了的重新参数化。或者，或另外地，第二网络状态可以是从参数化(或重新参数化)的网络模拟器328向用户设备340发送特定消息或一组消息。
[0038]根据测试应用程序所执行的测试机制，可能存在任意数量的编程网络模拟器状态改变，在这些改变之间插入有非脚本互动周期。根据本说明书，很明显，在部署初始网络状态的情况下，测试应用程序302不会驱动网络模拟器无线收发器334和用户设备340之间高度定义的脚本消息的发送，如同已知测试脚本一样。相反，交互模式表示用户设备340和网络模拟器328之间的一种一段时间的非脚本通信，在此期间，受测试应用程序302控制的网络模拟器328对非脚本通信进行监控和记录。这些可能包括信令序列，用户数据，静止周期或者任何其他系统行为。这些类型的通信包括-例如-用户设备340尝试注册到网络上，请求数据通道以传输用户设备340产生的数据，和/或发送与用户设备340所监控的网络条件有关的测量值。当检测到针对下一个网络模拟器状态改变的编程触发器时，控制器根据测试机制将进程前移。
[0039]图4显示了根据本发明一种实施方式的，尤其是网络模拟器328和用户设备340之间的通信，所述实施方式执行非确定性测试机制。
[0040]在时间TSl，网络模拟器328根据测试软件302正在执行的测试机制采取初始网络状态度。在该示例中，初始网络状态包括网络模拟器328的参数化和从网络模拟器328向用户设备340发送测试消息400。在此之后，网络模拟器328进入交互模式，在该模式期间，网络模拟器328和用户设备340之间存在一段时间的非脚本通信402。根据前面的解释，“交互模式”在此背景下意指用户设备340和参数化的网络模拟器之间的一段时间的通信，该通信是没有脚本的或者直接由测试应用程序302控制，而不是说用户设备340和网络模拟器328在这种情况下能够根据它们的正常运行模式继续交互式通信。通信被运行测试应用程序302和记录器应用程序307的测试计算机300监控和记录。
[0041]在稍晚的时间TSC1，测试应用程序302识别针对网络模拟器328状态改变的编程触发器，并实施状态改变，由此网络模拟器328在必要时重新参数化并在时间TS2采用它的第二网络状态。在其第二网络状态中，网络模拟器328进入与用户设备340进行交互式通信的模式。如前所述，测试计算机300监控处于其第二状态的网络模拟器和用户设备340之间的一段时间交互式非脚本通信，并在日志文件中记录相关数据。当测试应用程序302的控制器确定针对网络模拟器328的进一步状态改变的触发器时，第二段时间的交互式通信404在时间TSC2结束。
[0042]网络模拟器328改变为第三网络状态的这种进一步状态改变在时间TS3发生。在该示例中，网络模拟器328的第三网络状态是通过重新参数化实现的，不向用户设备340发送任何测试消息。在此之后，网络模拟器328和用户设备340进入第三段时间404的交互式非脚本通信，该通信由测试计算机记录在日志文件中。如前所述，当编程触发器的控制器确定时，所述交互式通信在时间TSC3结束。
[0043]实施的测试机制可以包括任意期望数量的编程网络模拟器状态改变和交互通信周期。日志文件可以包括-举例来说-信息，该信息包括网络模拟器设置，用户设备条件或设置，用户设备ID，用户设备类型和/或制造商，消息类型，时间戳，有效载荷数据，应用程序代码，和/或在用户设备的非确定性无线测试机制背景下有用的任何其他数据。
[0044]使用后处理软件306来自动解析日志文件，从而确定测试结论。例如，后处理软件可以解析日志文件以确定在不同网络设置(例如，在变化的收发器功率水平和/或信道质量)下达到的数据吞吐量。或者，或另外地，后处理软件可以自动识别用户设备340和网络模拟器328之间不同类型的过量通信，包括特定用户设备导致的同网络的高水平不必要通信。后处理软件优选生成关于消息计数和/或消息延迟的有用报告和/或自动将结果与测试规范比较，从而警示特定问题。
[0045]本领域技术人员可以理解，测试计算机300和网络模拟器328可以包括一个以上的计算机，并且这里所描述的不同测试应用程序和网络模拟功能可以不同方式实施和/或在多个计算机上实施。例如，测试应用程序300可以由自动化计算机辅助，该自动化计算机被配置为控制设备和/或执行应用程序。测试脚本可以包含命令，这些命令通过预定义连接发送至自动化计算机。自动化计算机可以在用户定义的配置文件中查找命令，并采取合适动作，该动作可以是-举例来说-控制测试计算机范围外的应用程序或硬件，和/或从应用程序或硬件请求状态信息。根据需要，协议栈，或者协议栈内的层，或者网络模拟器的其他组件可以通过与所示方式不同的方式实施，网络模拟器的一部分在不同计算机上实施。或者，测试计算机和网络模拟器可以作为一个设备来提供。
[0046]在纯软件环境下对用