用于测试的装置和方法
【技术领域】
[0001]本发明涉及一种用于测试的装置和方法，特别是用于测试或无线测试用户设备的性能、互操作性和无线标准兼容性的计算机实施的装置和方法。
【背景技术】
[0002]用于对用户设备进行测试的装置和方法早就存在，但是，现有的装置和测试方法存在诸多问题。
[0003]在第一种已知类型的无线测试-称为“基于脚本的”测试中，测试计算机控制网络模拟器自动执行高度定义的测试脚本，网络模拟器将根据该测试脚本向用户设备发送一系列消息，并且用户设备将进行响应。这是一种确定性测试，其中通过结果是前因的必然结果。前因可能是单个消息或者一系列消息，但是必然结果要么被来自被测设备的响应满足，要么不满足。在这种基于脚本的测试中，满足必然结果表示“通过”，而缺少预期的必然结果表示“失败”。基于脚本的测试适于无线用户设备的自动化大规模测试，但是它不是很灵活，不能通过高度定义的测试脚本，经常漏掉未明确识别的各类故障。
[0004]一个替代选择是基于用户的测试，其中操作者认知地确定将发送给用户设备的测试消息，并对响应进行监控以确定接下来测试什么。这是个手动过程，其中用户确定每个测试消息，并对响应进行评估。它易受任务失误的影响，并且可扩展性有限。
[0005]所有以上已知的测试技术对在不同网络条件下用户设备的行为进行可重复大规模测试根本不起作用。
[0006]本发明的实施方式要提供一种对设备特别是无线设备进行测试的改进的装置和方法。
【发明内容】
[0007]本
【发明内容】
部分以简化的形式介绍了一系列概念，在下面的【具体实施方式】部分中对这些概念进行进一步描述。本
【发明内容】
部分不是为了对所要求保护的主题的关键特征或必要特征进行确认，也不应用于对所要求保护的主题的范围进行确定。
[0008]根据本发明的一个方面，提供了一种可以被配置为对设备进行测试的测试装置，该装置包括:测试计算机，该测试计算机被配置为在测试应用程序的控制下执行测试；以及被提供有通信电路的网络模拟器，该通信电路可操作以与被测设备进行通信，其中所述测试应用程序可操作以控制所述网络模拟器在多个不同网络状态之间转换，并且其中在至少一个所述网络状态下，与所述设备和所述网络模拟器之间的非脚本(unscripted)通信相关的数据被监控。所述数据可以随后被分析，从而确定测试结论。
[0009]根据本发明的另一个方面，提供了一种可以被配置为对设备进行非确定性测试的测试装置，该装置包括:测试计算机，该测试计算机被配置为在测试应用程序的控制下执行非确定性测试机制；以及网络模拟器，该网络模拟器连接至所述测试计算机并被提供有通信电路，该通信电路可操作以和被测设备进行通信，其中所述网络模拟器可以根据所述非确定性测试机制配置为不同网络状态，并且其中所述测试应用程序可操作以控制所述网络模拟器在多个不同网络状态之间转换，并且在所述转换之间的交互周期中监控与所述网络模拟器和所述设备之间的非脚本通信相关的数据。
[0010]根据本发明的另一个方面，提供了一种测试应用程序，该测试应用程序用于对设备进行基于网络模拟器的测试，包括适于在计算机上运行的计算机程序代码，当在计算机上运行时，所述计算机代码可操作以引起所述计算机:利用根据非确定性测试机制使用的网络参数确立第一网络模拟器状态；监控当所述网络模拟器处于所述第一状态时所述网络模拟器与所述设备之间的一段时间的非脚本通信；基于根据所述测试机制的第二组网络参数引起所述网络模拟器转换为第二网络模拟器状态，监控当所述网络模拟器处于所述第二状态时所述网络模拟器与所述设备之间的一段时间的非脚本通信；并且引起与每个网络模拟器状态相关的日志数据和所述网络模拟器与所述用户设备之间的相关通信被记录在日志文件中。
[0011]根据本发明的另一个方面，提供了一种被配置为对设备进行测试的网络模拟器，该网络模拟器包括:协议栈模块；传输电路，该传输电路包括与用户设备进行通信的至少一个天线；以及控制器，该控制器具有针对测试应用程序的接口，其中所述控制器可操作以从所述应用程序接收参数，该参数包括协议栈参数，并且基于所述参数引起所述网络模拟器依次在多个编程网络模拟器状态之间转换，并且其中所述控制器可操作以在每个网络状态期间监控被测设备和所述网络模拟器之间的一段时间的非脚本通信。
[0012]在权利要求中提供了测试装置、测试应用程序和网络模拟器的其他可选特征。
[0013]本发明还公开了用于实施本发明的任意上述方面的系统、装置和制品。
[0014]优选特征视情况可以组合在一起，这对于本领域技术人员来说是明显的，并且可以与本发明的任意方面组合。
【附图说明】
[0015]现在参考以下附图对本发明进行详细说明:
[0016]图1是根据现有技术的无线测试装置图；
[0017]图2是根据基于脚本的测试的测试脚本的示意图；
[0018]图3是根据本发明的实施方式的测试装置图；
[0019]图4是根据本发明的实施方式的非脚本自动测试的示意图；以及
[0020]图5显示了来自日志文件的数据的一部分。
[0021 ] 现在通过举例的方式描述本发明的实施方式。
[0022]可以理解，尽管每个实施方式的特征在附图和整个说明书中由不同的附图标记识另O，但是来自一个实施方式的相似特征，包括特性和归属于该特性的功能可以与另一个实施方式的特征互换。
【具体实施方式】
[0023]图1显示了已知类型的无线测试装置。该装置具有测试计算机100，该测试计算机100连接至数据库102，并连接至任意网络模拟器104。网络模拟器具有协议栈，在这种情况下，该协议栈能够根据已知的无线通信标准对基站行为进行仿真。网络模拟器的协议栈与无线收发器模块相连，无线收发器模块连接至天线106，天线106能够与用户设备108双向无线通信。
[0024]在图1的结构中，用户设备108是被测设备。在测试计算机100上运行的测试应用程序120从数据库102调用测试规范，并配置测试脚本，以使测试脚本通过网络模拟器104执行。可以记录在数据库中的测试脚本可能是基于3GPP技术规范，例如24.008,24.301，
25.331，36.331 或 44.018 系列。
[0025]在使用过程中，测试应用程序120根据测试脚本确定网络模拟器的控制参数，包括但是不限于协议栈不同层的设置和其他可配置网络设置。优选地，测试应用程序120还根据测试脚本安排和/或控制网络模拟器收发器单元106和用户设备108之间的消息发送。
[0026]图2显示了一种示例性的基于脚本的确定性测试技术的测试脚本。在时间Tl，根据测试脚本的第一消息200 (举例来说，通过网络模拟器收发器单元106)从网络模拟器发送至用户设备108。在时间R1，网络模拟器从用户设备108接收到响应消息220。在时间T2，从网络模拟器向用户设备108发送第二测试消息202，响应于此，在时间R2，网络模拟器从用户设备108接收到另一个响应消息222。在该示例中，测试脚本的已展示部分包括测试消息204和响应消息224的第三循环。
[0027]消息的类型可以包括，但是不限于无线资源控制消息(例如，无线承载建立消息和无线承载建立完成响应)，认证和安全控制消息(例如，安全模式命令，安全模式完成响应)。通常，脚本涉及数十至数百个消息，并可能运行数分钟至数小时。
[0028]从网络模拟器发送的每个消息都根据测试脚本精确规定，即使脚本中的某些稍后测试消息会考虑来自用户设备108的稍早响应。因此，即使这些测试脚本包括测试分支，但是它们仍然保持高度确定性，取决于来自用户设备108的响应，这些测试分支可能会进行或不进行。这些响应提供了结论250，它可以是“通过”或“失败”。在这类确定性测试中，所期望的响应是前因的必然结果。前因可能是单个测试消息或者一系列测试消息，但是必然结果要么被被测设备108响应满足，要么不满足。在这种基于脚本的测试中测试软件识别出必然结果则表示“通过”，而缺少所预期的必然结果则表示“失败”。
[0029]另一个极端是非自动的，用户驱动的测试，根据该测试，在执行测试时，网络模拟器图形用户界面的操作人员生成将被发送至用户设备108的测试消息，并分析从用户设备108接收的响应。操作人员接下来-通常参考指导材料-可以确定接下来发送什么消息，此外还决定用户设备108是通过还是失败。
[0030]图3显示了根据本发明一个实施方式的无线测试装置。
[0031]该装置具有测试计算机300，该测试计算机300连接至数据库310，并连接至任意网络模拟器