一种系统测试方法以及装置与流程

1.本技术涉及测试领域，具体涉及一种系统测试方法以及装置。


背景技术：

2.tpc
‑
w测试基准，可以理解为针对如网上书店这类电子商务环境的数据库测试，或者，也可以称为针对web服务系统的系统测试，其规范了涉及的电子商务网络事务交易的类型以及性能指标。
3.可以理解，tpc
‑
w测试基准是从理论层面上对测试进行规范的，而实际操作中，需要在其规范范围内做出相应的测试工具，符合其测试要求即可，因此，在测试工具的研发工作中，还可能碰到tpc
‑
w测试基准在理论层面上未考虑到的实际问题。
4.而在现有的相关技术的研究过程中，发明人发现，现有的tpc
‑
w测试工具，其在部分测试场景中存在测试效率较差的问题。


技术实现要素：

5.本技术提供了一种系统测试方法以及装置，用于将tpc
‑
w测试任务拆分成两个阶段，由初步的第一阶段筛选出不满足tpc
‑
w测试基准的待测系统，进而可在一定程度上提高tpc
‑
w测试效率。
6.第一方面，本技术提供了一种系统测试方法，方法包括：测试设备在触发对目标系统的tpc
‑
w测试任务后，配置tpc
‑
w测试任务对应的用户模拟程序以及tpc
‑
w模拟事务，tpc
‑
w测试任务为在tpc
‑
w测试基准下进行的系统测试任务，tpc
‑
w测试任务包括第一阶段以及第二阶段，tpc
‑
w模拟事务包括第一阶段对应的第一tpc
‑
w模拟事务以及第二阶段对应的第二tpc
‑
w模拟事务；测试设备通过用户模拟程序模拟目标系统的用户，并以并发模式向目标系统发起第一tpc
‑
w模拟事务；测试设备采集目标系统对于第一tpc
‑
w模拟事务的响应结果；当第一tpc
‑
w模拟事务的响应结果中的页面响应时长小于tpc
‑
w测试基准中的时长限制时，测试设备通过用户模拟程序模拟目标系统的用户，并以并发模式向目标系统发起第二tpc
‑
w模拟事务；测试设备采集目标系统对于第二tpc
‑
w模拟事务的响应结果，并在预设的测试需求下根据第二tpc
‑
w模拟事务的响应结果分析得到目标系统的tpc
‑
w测试结果，tpc
‑
w测试结果包括交易吞吐率测试结果以及acid特性测试结果，交易吞吐率测试结果包括选定测试的比例因子下每秒的web交互次数wips@sf、正常商务模式下每个web交互的代价$/wips@sf、浏览模式下每秒的web交互次数wipsb、订购模式下每秒的web交互次数wipso，acid特性测试结果包括原子性测试结果、一致性测试结果、隔离性测试结果以及耐久性测试结果。
7.结合本技术第一方面，在本技术第一方面第一种可能的实现方式中，原子性测试结果的acid测试处理包括：
执行trade
‑
order事务，并将输入参数roll_it_back标志设置为0；验证是否已在trade以及trade_history表中插入了相应的行，若是则确定trade
‑
order事务的语句已被执行，符合原子性特性；以及，执行trade
‑
order事务，并将输入参数roll_it_back标志设置为1；验证与trade
‑
order事务相应的行是否没有分别插入到trade表以及trade_history表，若是则确定trade
‑
order事务的语句已被执行，符合原子性特性。
8.结合本技术第一方面，在本技术第一方面第二种可能的实现方式中，一致性测试结果的acid测试处理包括：broker表以及trade表中的条目满足以下关系：b_num_trades = count（*）；统计条件（b_id = ca_b_id）and（ca_id = t_ca_id）and（t_st_id =“cmpt”）；以及，broker表以及trade表中的条目满足以下关系：b_comm_total =sum（t_comm）；统计条件（b_id = ca_b_id）and（ca_id = t_ca_id）and（t_st_id =“cmpt”）；以及，holding_summary表以及holding表中的条目满足以下关系：hs_qty = sum（h_qty）；统计条件（hs_ca_id = h_ca_id）and（hs_s_symb = h_s_symb）。
9.结合本技术第一方面，在本技术第一方面第三种可能的实现方式中，隔离性测试结果的acid测试处理包括：选取部分的模拟事务，并构造不同的并发事务冲突事件，并发事务冲突事件的冲突类型包括脏写、脏读、不可重复读以及幻读；在并发事务冲突事件的事件处理结果的基础上，根据预设表中的隔离级别以及允许发生的读写冲突现象，确定目标系统的隔离级别，作为隔离性测试结果。
10.结合本技术第一方面，在本技术第一方面第四种可能的实现方式中，耐久性测试结果的acid测试处理包括：触发正在运行的目标系统产生断电故障事件，待目标系统重启恢复运行后查看已完成的事务数据是否已持久化保存，若是则符合耐久性特性。
11.第二方面，本技术提供了一种系统测试装置，装置包括：配置单元，用于在触发对目标系统的tpc
‑
w测试任务后，配置tpc
‑
w测试任务对应的用户模拟程序以及tpc
‑
w模拟事务，tpc
‑
w测试任务为在tpc
‑
w测试基准下进行的系统测试任务，tpc
‑
w测试任务包括第一阶段以及第二阶段，tpc
‑
w模拟事务包括第一阶段对应的第一tpc
‑
w模拟事务以及第二阶段对应的第二tpc
‑
w模拟事务；发起单元，用于通过用户模拟程序模拟目标系统的用户，并以并发模式向目标系统发起第一tpc
‑
w模拟事务；采集单元，用于采集目标系统对于第一tpc
‑
w模拟事务的响应结果；发起单元，还用于当第一tpc
‑
w模拟事务的响应结果中的页面响应时长小于tpc
‑
w
测试基准中的时长限制时，测试设备通过用户模拟程序模拟目标系统的用户，并以并发模式向目标系统发起第二tpc
‑
w模拟事务；采集单元，还用于采集目标系统对于第二tpc
‑
w模拟事务的响应结果；分析单元，用于在预设的测试需求下根据第二tpc
‑
w模拟事务的响应结果，分析得到目标系统的tpc
‑
w测试结果，tpc
‑
w测试结果包括交易吞吐率测试结果以及acid特性测试结果，交易吞吐率测试结果包括选定测试的比例因子下每秒的web交互次数wips@sf、正常商务模式下每个web交互的代价$/wips@sf、浏览模式下每秒的web交互次数wipsb、订购模式下每秒的web交互次数wipso，acid特性测试结果包括原子性测试结果、一致性测试结果、隔离性测试结果以及耐久性测试结果。
12.结合本技术第二方面，在本技术第二方面第一种可能的实现方式中，原子性测试结果的acid测试处理包括：执行trade
‑
order事务，并将输入参数roll_it_back标志设置为0；验证是否已在trade以及trade_history表中插入了相应的行，若是则确定trade
‑
order事务的语句已被执行，符合原子性特性；以及，执行trade
‑
order事务，并将输入参数roll_it_back标志设置为1；验证与trade
‑
order事务相应的行是否没有分别插入到trade表以及trade_history表，若是则确定trade
‑
order事务的语句已被执行，符合原子性特性。
13.结合本技术第二方面，在本技术第二方面第二种可能的实现方式中，一致性测试结果的acid测试处理包括：broker表以及trade表中的条目满足以下关系：b_num_trades = count（*）；统计条件（b_id = ca_b_id）and（ca_id = t_ca_id）and（t_st_id =“cmpt”）；以及，broker表以及trade表中的条目满足以下关系：b_comm_total =sum（t_comm）；统计条件（b_id = ca_b_id）and（ca_id = t_ca_id）and（t_st_id =“cmpt”）；以及，holding_summary表以及holding表中的条目满足以下关系：hs_qty = sum（h_qty）；统计条件（hs_ca_id = h_ca_id）and（hs_s_symb = h_s_symb）。
14.结合本技术第二方面，在本技术第二方面第三种可能的实现方式中，隔离性测试结果的acid测试处理包括：选取部分的模拟事务，并构造不同的并发事务冲突事件，并发事务冲突事件的冲突类型包括脏写、脏读、不可重复读以及幻读；在并发事务冲突事件的事件处理结果的基础上，根据预设表中的隔离级别以及允许发生的读写冲突现象，确定目标系统的隔离级别，作为隔离性测试结果。
15.结合本技术第二方面，在本技术第二方面第四种可能的实现方式中，耐久性测试结果的acid测试处理包括：
触发正在运行的目标系统产生断电故障事件，待目标系统重启恢复运行后查看已完成的事务数据是否已持久化保存，若是则符合耐久性特性。
16.第三方面，本技术提供了一种系统测试设备，包括处理器和存储器，存储器中存储有计算机程序，处理器调用存储器中的计算机程序时执行本技术第一方面或者本技术第一方面任一种可能的实现方式提供的方法。
17.第四方面，本技术提供了一种计算机可读存储介质，计算机可读存储介质存储有多条指令，指令适于处理器进行加载，以执行本技术第一方面或者本技术第一方面任一种可能的实现方式提供的方法。
18.从以上内容可得出，本技术具有以下的有益效果：针对于待测系统的tpc
‑
w测试，本技术测试设备在触发对目标系统的tpc
‑
w测试任务后，配置tpc
‑
w测试任务对应的用户模拟程序以及tpc
‑
w模拟事务，该tpc
‑
w测试任务包括第一阶段以及第二阶段，tpc
‑
w模拟事务包括第一阶段对应的第一tpc
‑
w模拟事务以及第二阶段对应的第二tpc
‑
w模拟事务，接着，测试设备通过用户模拟程序模拟目标系统的用户，并以并发模式向目标系统发起第一tpc
‑
w模拟事务，并采集目标系统对于第一tpc
‑
w模拟事务的响应结果，此时当第一tpc
‑
w模拟事务的响应结果中的页面响应时长小于tpc
‑
w测试基准中的时长限制时，则通过第一阶段，进入第二阶段，继续通过用户模拟程序模拟目标系统的用户，并以并发模式向目标系统发起第二tpc
‑
w模拟事务，测试设备采集目标系统对于第二tpc
‑
w模拟事务的响应结果，并在预设的测试需求下根据第二tpc
‑
w模拟事务的响应结果分析得到目标系统的tpc
‑
w测试结果，在这测试机制下，由于本技术将tpc
‑
w测试任务拆分成两个阶段，由初步的第一阶段筛选出不满足tpc
‑
w测试基准的待测系统，进而可在一定程度上提高tpc
‑
w测试效率。
附图说明
19.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
20.图1为本技术系统测试方法的一种流程示意图；图2为本技术tpc
‑
w模拟事务的一种场景示意图；图3为本技术目标系统中不同数据表之间的一种关系示意图；图4为本技术tpc
‑
w测试的一种场景示意图；图5为本技术tpc
‑
w测试的又一种场景示意图；图6为本技术tpc
‑
w测试的又一种场景示意图；图7为本技术acid特性测试的一种场景示意图；图8为本技术系统测试装置的一种结构示意图；图9为本技术系统测试设备的一种结构示意图。
具体实施方式
21.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完
整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
22.本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块。在本技术中出现的对步骤进行的命名或者编号，并不意味着必须按照命名或者编号所指示的时间/逻辑先后顺序执行方法流程中的步骤，已经命名或者编号的流程步骤可以根据要实现的技术目的变更执行次序，只要能达到相同或者相类似的技术效果即可。
23.本技术中所出现的模块的划分，是一种逻辑上的划分，实际应用中实现时可以有另外的划分方式，例如多个模块可以结合成或集成在另一个系统中，或一些特征可以忽略，或不执行，另外，所显示的或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，模块之间的间接耦合或通信连接可以是电性或其他类似的形式，本技术中均不作限定。并且，作为分离部件说明的模块或子模块可以是也可以不是物理上的分离，可以是也可以不是物理模块，或者可以分布到多个电路模块中，可以根据实际的需要选择其中的部分或全部模块来实现本技术方案的目的。
24.在介绍本技术提供的系统测试方法之前，首先介绍本技术所涉及的背景内容。
25.本技术提供的系统测试方法、装置以及计算机可读存储介质，可应用于系统测试设备上，用于将tpc
‑
w测试任务拆分成两个阶段，由初步的第一阶段筛选出不满足tpc
‑
w测试基准的待测系统，进而可在一定程度上提高tpc
‑
w测试效率。
26.本技术提及的系统测试方法，其执行主体可以为系统测试装置，或者集成了该系统测试装置的服务器、物理主机或者用户设备（user equipment，ue）等类型的系统测试设备。其中，系统测试装置可以采用硬件或者软件的方式实现，ue具体可以为智能手机、平板电脑、笔记本电脑、台式电脑或者个人数字助理（personal digital assistant，pda）等终端设备，系统测试设备可以通过设备集群的方式设置。
27.示例性的，在实际应用场景中，系统测试设备一般为开发tpc
‑
w测试测试工具的公司的设备，也可以为服务器用户自身的设备，在调试、购买或者使用系统时，可根据系统的tpc
‑
w测试需求，执行本技术提供的系统测试方法，便捷地进行tpc
‑
w测试。
28.系统测试设备除了可以为本地设备，其设备形式还可能是本地设备部分以及云端服务器部分的结合，如此可通过远端服务器部分远程对本地设备部分分发tpc
‑
w测试任务，触发本地设备部分执行tpc
‑
w测试任务，参阅图1，图1示出了本技术系统测试方法的一种流程示意图，本技术提供的系统测试方法，具体可包括如下步骤s101至步骤s105：步骤s101，测试设备在触发对目标系统的tpc
‑
w测试任务后，配置tpc
‑
w测试任务对应的用户模拟程序以及tpc
‑
w模拟事务，tpc
‑
w测试任务为在tpc
‑
w测试基准下进行的系统测试任务，tpc
‑
w测试任务包括第一阶段以及第二阶段，tpc
‑
w模拟事务包括第一阶段对
应的第一tpc
‑
w模拟事务以及第二阶段对应的第二tpc
‑
w模拟事务；可以理解，在对待测系统，即目标系统具有tpc
‑
w测试需求时，可触发测试设备对其执行tpc
‑
w测试基准下的tpc
‑
w测试。
29.此时，可配置测试所需的用户模拟程序以及tpc
‑
w模拟事务，对于tpc
‑
w测试，可以理解为还原目标系统的实际应用场景，来测试目标系统的性能。具体的，可通过用户模拟程序模拟目标系统的用户，并高并发模式向目标系统发起tpc
‑
w模拟事务。
30.对于用户模拟程序以及tpc
‑
w模拟事务的配置处理，在实际应用中，既可以理解为从其他设备处或者本地的存储空间调取tpc
‑
w测试所需的测试数据，并从该测试数据中提取所需的数据，运行用户模拟程序，抓取或者生成tpc
‑
w模拟事务；也可以理解为继续运行原本运行的用户模拟程序，抓取或者生成tpc
‑
w模拟事务。
31.也就是说，用户模拟程序以及tpc
‑
w模拟事务，其两者的配置处理，可以是预先完成的，若当前触发了新的tpc
‑
w测试，继续运行用户模拟程序或者抓取tpc
‑
w模拟事务即可，或者也可以是实时完成的，若当前触发了新的tpc
‑
w测试，可启动用户模拟程序或者生成tpc
‑
w模拟事务。
32.其中，对于tpc
‑
w模拟事务，其还原的是tpc
‑
w测试基准下规范的电子商务环境中可涉及到的处理事务。
33.tpc
‑
w测试基准规范了14种典型的电子商务网络事务交易，其中分为浏览和订单两大类，分别代表查询事务和数据更新事务。
34.浏览事务包括站点主页访问、新书介绍、畅销书浏览等类型的事务；订单事务包括客户注册、购买申请、购买确认等类型的事务。
35.这些不同类型的事务，可结合图2示出的本技术tpc
‑
w模拟事务的一种场景示意图进行理解。
36.图2所示场景，描述了tpc
‑
w测试基准中所规定的14种事务之间的相互关联情况，以及通过何种方式在各个页面之间跳转。
37.例如，有些页面之间是通过点击页面上的按钮来实现跳转功能，有些页面是通过超链接来完成跳转功能，由此来模拟真实的网络书店等电子商务环境的工作流程。
38.另一方面，对于待测系统，即目标系统，其在tpc
‑
w测试基准中，以网络书店为例，其定义为一个采用三层架构的电子书店的参数包含14个页面和8张数据表，这8 张表分别为customer、country、address、orders、order_line、author、cc_xacts、item，大小可以变，其具体描述可参考下表1：表1
‑ꢀ
tpc
‑
w数据库表表名描述customer客户信息表order订货信息表order_line定单表item货物信息表address客户地址信息表country客户国籍信息表cc_xacts信用卡事务信息表
author作者信息表除了 country的 行 数 固 定 的 92 行 外，其 它 表 的 行 数 分 别 是：customer=2880 * (eb数量)；address=2 * customer；orders=0.9 *customer；order_line=3 * orders；author=0.25 * item；cc_xacts=1 * orders；另外，item的行数在 1k、10k、100k、1m、10m 中选择。
39.各表之间的关系可参考图3示出的本技术目标系统中不同数据表之间的一种关系示意图。
40.对于图3，存在以下定义：1.虚线部分表示非键值属性通过使用商业规则进行关联的一对一关系。
41.2.箭头表示各个表中一对多关系的对应方向。
42.3.粗体表示主键和外键。
43.这8张数据表的表名及其长度定义如下表2：表2
‑
表名及其长度限制回到测试设备侧，即本地侧，可以理解，tpc
‑
w模拟事务的事务内容与上述目标系统中的数据表的表内容相对应的。
44.此外，tpc
‑
w测试基准规范的14种事务比例分布表如下表3：表3
‑
tpc
‑
w事务比例分布表
对于目标系统的架构，在tpc
‑
w测试基准中，也对其进行了规范。
45.结合图4示出的本技术tpc
‑
w测试的一种场景示意图，目标系统（sut）由web服务器、交换机和数据库服务器组成；其中，web服务器是远程浏览器模拟器和待测系统的连接点，本地的每个远程浏览器所发出的http请求都会发送到web服务器上，由web服务器对http请求进行排队处理，并以先进先出（first input first output，fifo）的原则对http请求进行事务处理，并将结果返回到各个远程浏览器上。
46.web服务器提供两种服务，一种是图像存储服务，一种是事务处理服务。
47.1.其中图像存储服务主要是按照特定的目录结构将各个事务处理页面所需的图像文件进行存储，并根据远程浏览器所发出的请求将对应的图像文件发送到远程浏览器上。
48.2.事务处理服务是根据远程浏览器所发送过来的http请求中的事务类型以及事务运行所需的初始数据通过与数据库服务器进行交互操作来完成事务处理，并将处理结果
数据动态生成html页面返回给远程浏览器。
49.远程浏览器模拟器（remote browser emulator，rbe）的功能是生产数据的产生和统计结果的收集。通过一系列的随机函数，产生用户名、货物号等数据，并在发送url时和接收到最后一个字节的数据时采集时间点，从而计算出每个页面处理所需的时间。
50.此外，测试设备本地的tpc
‑
w测试程序，除了包括远程浏览器模拟器（可以理解为上述提及的用户模拟程序），还包括一个数据上载模块，该模块主要功能是根据测试标准的要求，创建数据库表，并对数据表进行数据加载。在数据加载完毕后，需要对数据库进行一致性检查，以保证数据上载的完整性。
51.继续的，还可参考图5示出的本技术tpc
‑
w测试的又一种场景示意图，对于tpc
‑
w测试基准，其并未强制要求特定的网络拓扑或服务器配置规范，如图5所示tpc
‑
w测试场景中的配置环境：rbe与支付网关仿真器（payment gateway emulator，pge）一起位于左侧，pge模拟购买确认web交互的信用卡授权。sut本身在右侧描述，包括几个执行不同的功能，web服务器是rbe的联系点，所有web交互从对web服务器的请求开始，它是向数据库服务器发送请求的web服务器和pge，并指示rbe从web缓存和图像中获取html帧和图像服务器。
52.数据库服务器响应来自web的请求服务器，数据库包含客户信息和订单信息，sut必须还包括一些类型的负载平衡软件或硬件，以负载平衡rbe连接到各种服务器。这可以是一个独立的服务器，运行在其中一个web缓存或映像上服务器或交换机本身。
53.上述介绍了tpc
‑
w测试场景的大概环境内容，回到本技术，在配置tpc
‑
w模拟事务时，相较于现有技术，本技术特别配置了对应两个tpc
‑
w测试阶段的事务，具体的，即，本技术将tpc
‑
w测试任务配置为第一阶段以及第二阶段，而tpc
‑
w模拟事务具体可包括第一阶段对应的第一tpc
‑
w模拟事务以及第二阶段对应的第二tpc
‑
w模拟事务。
54.可以理解，该两阶段及其tpc
‑
w模拟事务的划分，可以是在确定了本次的tpc
‑
w测试任务时划分的，其划分规则可直接配置在任务数据中，也可以是在确定了本次的tpc
‑
w测试任务后划分的，具体可随实际情况而定，在此不做限定。
55.配置用户模拟程序以及tpc
‑
w模拟事务的过程，可以理解为处于tpc
‑
w测试的准备阶段中，在准备阶段中，还可包括目标系统的基础参数统计以及为准备tpc
‑
w测试所执行的相关的优化配置，例如参数优化、系统重启等，准备阶段完成后，则可开始发起tpc
‑
w模拟事务，进入tpc
‑
w测试的动态测试阶段。
56.步骤s102，测试设备通过用户模拟程序模拟目标系统的用户，并以并发模式向目标系统发起第一tpc
‑
w模拟事务；在tpc
‑
w测试的第一阶段中，测试设备先以并发模式，向目标系统发起在先配置的第一tpc
‑
w模式事务中的大量事务，还原实际应用中涉及到大量用户的高并发场景。
57.步骤s103，测试设备采集目标系统对于第一tpc
‑
w模拟事务的响应结果；当目标系统接收到的tpc
‑
w模拟事务后，可以产生相应的状态变化或者相应的数据，此时，测试设备可通过与目标系统之间的数据交互，接收目标系统反馈的对于tpc
‑
w模拟事务的响应结果，或者，还可直接通过配置在目标系统的监控程序，监控目标系统对于tpc
‑
w模拟事务的响应结果。
58.步骤s104，当第一tpc
‑
w模拟事务的响应结果中的页面响应时长小于tpc
‑
w测试基
准中的时长限制时，测试设备通过用户模拟程序模拟目标系统的用户，并以并发模式向目标系统发起第二tpc
‑
w模拟事务；参阅图6示出的本技术tpc
‑
w测试的又一种场景示意图，在本技术中，对于tpc
‑
w的第一阶段，其可以理解一种筛选机制，用于在测试前期直接筛选出不符合tpc
‑
w测试基准要求的系统。
59.可以理解，在该第一阶段中，执行的第一tpc
‑
w模拟事务，可以为正常tpc
‑
w测试中涉及的tpc
‑
w模拟事务，例如现有技术中在tpc
‑
w测试中涉及的tpc
‑
w模拟事务，也可以与后续的第二tpc
‑
w模拟事务相同，也可以与后续的第二tpc
‑
w模拟事务相同事务范围的tpc
‑
w模拟事务等。
60.或者，还可以配置为凸显或者专门测出第一阶段的筛选机制中筛选元素的tpc
‑
w模拟事务。
61.该第一阶段的筛选机制中筛选元素，可以理解为某种通过tpc
‑
w测试基准的测试的必要系统性能指标，若能通过tpc
‑
w测试基准的测试，则必然可通过该筛选元素的筛选处理，反之则意味着必然未能通过tpc
‑
w测试基准的测试，无需进行更为繁杂的tpc
‑
w测试。
62.在本技术中，第一阶段的筛选机制中的筛选元素，具体配置为页面响应时长元素。
63.如此，通过第一阶段的筛选，可第一时间内便捷地筛选出未能通过tpc
‑
w测试基准的测试的系统，当未通过时，还可第一时间进行回滚操作、提醒用户、或者等待系统更新、重新发起新一轮的tpc
‑
w测试任务，从整体上也可提高测试效率。
64.步骤s105，测试设备采集目标系统对于第二tpc
‑
w模拟事务的响应结果，并在预设的测试需求下根据第二tpc
‑
w模拟事务的响应结果分析得到目标系统的tpc
‑
w测试结果，tpc
‑
w测试结果包括交易吞吐率测试结果以及acid特性测试结果，交易吞吐率测试结果包括选定测试的比例因子下每秒的web交互次数wips@sf、正常商务模式下每个web交互的代价$/wips@sf、浏览模式下每秒的web交互次数wipsb、订购模式下每秒的web交互次数wipso，acid特性测试结果包括原子性测试结果、一致性测试结果、隔离性测试结果以及耐久性测试结果。
65.在具体的性能分析处理中，是根据预设的性能指标进行的。
66.tpc
‑
w测试基准，其性能测试技术指标，主要包括交易吞吐率、思考时长、响应时长、其他性能衡量指标（cpu使用率、内存使用率、系统i/0活动、web 服务器统计等）。
67.1.交易吞吐率wips@sf：选定测试的比例因子下每秒的web交互次数。在wips@sf中，比例因子是数据库基本中的书籍详细信息表(item表)中条目数。
68.wips@sf简称为wips。（以下的wipsb、wipso一样省略@sf。）$/wips@sf：正常商务模式下每个web交互的代价。
69.wipsb：浏览模式下每秒的web交互次数（顾客较少购买而且大多数只需要浏览的网页）。在这其中，95%的访问是网页浏览（主页、新产品、最佳销售、产品细目和查询），而仅5%的是订购网页访问。
70.前端web服务器、图像服务器和web缓冲对该衡量指标影响较大。
71.wipso：订购模式下每秒的web交互次数（访问该主页的顾客侧重于购买）。在这其中，约50%的是订购网页访问。
72.该衡量指标侧重于反映数据库服务器性能。
73.在上面四个指标中，前两个可以认为是主要的，后两个可以认为是次要的。
74.2.思考时长思考时长（think time，tt）的定义，可如下列公式所示：tt=t2
‑
t1；其中，时间戳必须至少精确到0.1秒；t1和t2在模拟浏览器端测得。
75.t1=在上一个页交互的最后一个字节被来目标系统的模拟浏览器收到后所测量出的时刻；t2=在下一个web交互的第一个http请求的第一个字节被模拟浏览器送到目标系统之前所测量的时刻。
76.每个思考时长必须单独地从一个指数分布的相反数中获得，思考时长t必须从以下公式中计算。
77.t=
‑
ln(r)*μ；其中，1n是以e为底的自然对数；r=随机数字，至少有31位精度，并且来自于平均分布中，(0<r≤1)；μ在7到8秒之间，μ的同一个值必须在所有web交互中使用，且在度量期间μ的值不能改变。
78.在每个度量期间的思考时长的平均持续时长（在整个web交互中合计）不小于7秒而不大于8秒。
79.3.响应时长响应时长，即web交互响应时间（web interaction response time，wirt），可通过下列公式计算。
80.wirt=t2
‑
t1；其中，t1和t2在模拟浏览器端测得；t1=在页交互的第一个http请求的第一个字节被模拟浏览器送到目标系统的所测量出的时刻；且t2=在最后一个http响应完成页交互的最后一个来自sut的字节被模拟浏览器收到所测量的时刻。
81.wirt的测试要求如下：1）时间戳必须至少精确到0.1秒；2）尽管基准的目的是作为一个实际用户的经验测试响应时间，浏览器所需要的显示web页和对象的时间不包括在wirt中；3）为计算wirt期间，只有成功的web交互包含在里面；4）如果web交互请求建立一个到web服务器的链接（如首次主页交互或首次安全web交互），t1必须在连接请求前获得。
82.在每个度量间隔，至少每种类型的90%页交互必须小于下面表4的页交互所规定的对应的wirt限制。例如，所有90%主页交互的wirt必须小于3秒。
83.表4
‑
90%网络交易响应时间限制表网络交易事务90%网络交易响应时间上限（秒）主站点访问(home)3新产品(newproduct)5畅销品(bestseller)5
产品细目(productdetail)3查询请求(searchrequest)3查询结果(searchresult)10购物车(shoppingcart)3顾客注册(customerregistration)3购买请求(buyrequest)3购买确认(buyconfirm)5订单查询(orderinquiry)3订单显示(orderdisplay)3管理请求(adminrequest)3管理确认(adminconfirm)204.其他性能指标1）cpu使用率cpu忙的时间占系统运行总时间的比例，该项性能指标体现了web服务器和数据库服务器在运算处理能力方面的潜力。
84.2）内存使用率由主操作系统分配和控制内存的方式，表明操作系统和/或数据库管理系统（database management system，dbms）怎样有效的支持tpc
‑
w的基准要求，并且满足下面三个方面：
①
必须报告每个测试间隔对sut可用的物理内存总量。
85.②
必须报告数据库共享池的总量。
86.③
报告操作系统页大小。
87.3）系统i/0活动要求报告在每个测试期间的整个系统的i/0比率(包括网络i/0)和磁盘i/0，系统中的每个磁盘设备的平均i/0 比率，数据传输大小和读取时间，映射到磁盘设备的逻辑结构。总的i/0 比率不能通过单个i/0比率来计算，必须通过i/0总数除以测试间隔来计算。
88.4）web服务器统计网络服务器统计（其中一些在web服务器访问日志）中要求报告以下指标。
89.①
每秒连接数：由远程模拟竞争者请求和由sut接收的连接数。目的是仅计算在产生基准负载时rbe的新的成功连接数。
90.②
每秒http请求数：每秒内收到的http请求数。计算在产生基准负载时由远程浏览器竞争者(remote browser emulator,rbe)产生的请求数。
91.③
每秒http错误数：每秒内导致错误的rbe请求数。
92.对于acid特性测试，其具体包括原子性（atomicity）、一致性（consistency）、隔离性（isolation）以及耐久性（durability）四项测试，举例而言，对于目标系统涉及的数据库系统，一个事务是指由一系列数据库操作组成的一个完整的逻辑过程，例如银行转账，包括从原账户扣除金额以及向目标账户添加金额，这两个数据库操作的总和构成一个完整的逻辑过程，不可拆分，这个过程被称为一个事务，具有acid特性。
93.对于acid特性，其包括：1）原子性数据库的事务处理组件必须以要么全有，要么全无的方式执行。
94.例如，如果一个数据库的事务处理包括删除4个对象，虽然它们各自是独立的对象但也要一起被删除，三个被删除了，但是最后一个有些原因没有被删除是不允许的。
95.2）一致性数据库上的操作从一个定义好的状态到下一个状态，中间状态是不可见的。
96.例如，如果用户向数据库里添加一个对象a，然后对用户来说好像没有办法得到一个部分的对象a，数据库不应该出现一种操作半完成的状态。
97.3）独立性数据库的多事务处理彼此间是无法察觉的。所以如果两个用户想同时修改同一个对象，数据库必须有一种机制使他们可以顺序访问这个对象，以便于既妨碍不到用户工作，也让其他用户看不到对方。
98.4）耐久性一旦一个事务处理应用到数据库，所做的工作便不会丢失，即使遇到硬件或者软件错误。所以在数据库上执行一个删除３个对象的操作，在执行到删除第二个对象的时候系统崩溃了，当系统重启后，数据库不仅可以自我恢复，连未完成的事务，也将得到恢复。
99.其中，本技术认为，acid特性测试需要在tpc
‑
w测试前与测试后各运行一遍，以保证数据库系统在经过复杂的并发事务操作后仍然满足acid各项特性的要求。
100.可以看出，上述acid特性的四项性能指标，其在tpc
‑
w测试基准中是从大体的层面提出要求的，而对于实际应用中，则还需提出进一步的、更为实际的处理策略，以衡量、反应出原子性、一致性、隔离性以及耐久性这四项特性。
101.参阅图7示出的本技术acid特性测试的一种场景示意图，在本技术的实际应用中，还根据acid的测试需求，设计了适于实用的不同测试用例，从而构造不同的场景进行更为精确的acid测试。
102.1.对于原子性特性测试，其对应的acid测试处理，主要检测事务中的所有语句是否全部执行，具体可以为：执行trade
‑
order事务，并将输入参数roll_it_back标志设置为0；验证是否已在trade以及trade_history表中插入了相应的行，若是则确定所述trade
‑
order事务的语句已被执行，符合原子性特性；以及，执行所述trade
‑
order事务，并将输入参数roll_it_back标志设置为1；验证与所述trade
‑
order事务相应的行是否没有分别插入到trade表以及trade_history表，若是则确定所述trade
‑
order事务的语句已被执行，符合原子性特性。
103.2.对于一致性特性测试，其对应的acid测试处理，主要检测数据库是否正确处理事务中的逻辑语句、数据库是否处于正确状态，具体可以为：broker表以及trade表中的条目满足以下关系：b_num_trades = count（*）；统计条件（b_id = ca_b_id）and（ca_id = t_ca_id）and（t_st_id =“cmpt”）；
以及，所述broker表以及所述trade表中的条目满足以下关系：b_comm_total =sum（t_comm）；统计条件（b_id = ca_b_id）and（ca_id = t_ca_id）and（t_st_id =“cmpt”）；以及，holding_summary表以及holding表中的条目满足以下关系：hs_qty = sum（h_qty）统计条件（hs_ca_id = h_ca_id）and（hs_s_symb = h_s_symb）。
104.3.对于隔离性特性测试，其对应的acid测试处理，主要检测多个事务并发时每个事务不受其他事务影响的隔离能力，具体可以为：选取部分的模拟事务，并构造不同的并发事务冲突事件，所述并发事务冲突事件的冲突类型包括脏写、脏读、不可重复读以及幻读；在所述并发事务冲突事件的事件处理结果的基础上，根据预设表中的隔离级别以及允许发生的读写冲突现象，确定所述目标系统的隔离级别，作为隔离性测试结果。
105.此处提及的脏写、脏读、不可重复读以及幻读四种冲突类型，以及预设表的内容具体可详见下面内容。
106.对于两个事务t1与t2，并发时可能出现以下四种冲突现象：1）p0（脏写）：t2开始并修改或者插入数据r，t1开始并修改或删除数据r，t1提交，t2可能执行基于数据r的其他操作，t2提交。（一个事务的更新覆盖了另一个事务的更新。）2）p1（脏读）：t2开始并修改或插入数据r，t1开始并读取更改后的数据r，t1可能执行基于数据r的其他操作，t1提交，t2回滚。（一个事务读取了另一个事务未提交的数据。）3）p2（不可重复读）：t1开始并读取r元素，t1可能执行基于数据r的其他操作，t2开始并修改或删除数据r，t2提交，t1再次读取数据r（数据r已被修改，与第一次读取值不一样），t1提交。（一个事务两次读取同一个数据，两次读取的数据不一致。）4）p3（幻读）：t1开始并读取满足<搜索条件>的数据，t1可能执行基于满足<搜索条件>数据的其他操作，t2开始并插入或删除满足<搜索条件>的数据，t2提交，t1再次读取满足<搜索条件>的数据（与第一次读取的结果条数不一样了），t1提交。（一个事务两次读取一个范围的记录，两次读取的记录数不一致。）注意p2与p3的区别为：p2重在对同一条数据的修改，p3重在结果集条数的变化。p0、p1、p2、p3都会损害数据的一致性，使数据库处于不正确的状态。
107.事务的隔离性可分为四个级别，每个级别与冲突现象对应关系如下表5所示。
108.表5
‑
隔离级别与现象从表5中看出，系统的隔离级别/现象越高，其隔离性特性越佳。
109.4.对于耐久性特性测试，其对应的acid测试处理，主要检测遇到系统崩溃时的数
据恢复能力，具体可以为：触发正在运行的所述目标系统产生断电故障事件，待所述目标系统重启恢复运行后查看已完成的事务数据是否已持久化保存，若是则符合耐久性特性。
110.从以上内容可看出，从整体层面上，由于本技术将tpc
‑
w测试任务拆分成两个阶段，由初步的第一阶段筛选出不满足tpc
‑
w测试基准的待测系统，进而可在一定程度上提高tpc
‑
w测试效率。
111.而在细节上，本技术还为acid特性测试涉及的四项测试，分别提出了适于实用的测试方法，从而，为tpc
‑
w测试中涉及的acid特性测试，提供更为实际、精确的数据支持。
112.以上是本技术提供系统测试方法的介绍，为便于更好的实施本技术提供的系统测试方法，本技术还从功能模块角度提供了系统测试装置。
113.参阅图8，图8为本技术系统测试装置的一种结构示意图，在本技术中，系统测试装置800具体可包括如下结构：配置单元801，用于在触发对目标系统的tpc
‑
w测试任务后，配置tpc
‑
w测试任务对应的用户模拟程序以及tpc
‑
w模拟事务，tpc
‑
w测试任务为在tpc
‑
w测试基准下进行的系统测试任务，tpc
‑
w测试任务包括第一阶段以及第二阶段，tpc
‑
w模拟事务包括第一阶段对应的第一tpc
‑
w模拟事务以及第二阶段对应的第二tpc
‑
w模拟事务；发起单元802，用于通过用户模拟程序模拟目标系统的用户，并以并发模式向目标系统发起第一tpc
‑
w模拟事务；采集单元803，用于采集目标系统对于第一tpc
‑
w模拟事务的响应结果；发起单元802，还用于当第一tpc
‑
w模拟事务的响应结果中的页面响应时长小于tpc
‑
w测试基准中的时长限制时，测试设备通过用户模拟程序模拟目标系统的用户，并以并发模式向目标系统发起第二tpc
‑
w模拟事务；采集单元803，还用于采集目标系统对于第二tpc
‑
w模拟事务的响应结果；分析单元804，用于在预设的测试需求下根据第二tpc
‑
w模拟事务的响应结果，分析得到目标系统的tpc
‑
w测试结果，tpc
‑
w测试结果包括交易吞吐率测试结果以及acid特性测试结果，交易吞吐率测试结果包括选定测试的比例因子下每秒的web交互次数wips@sf、正常商务模式下每个web交互的代价$/wips@sf、浏览模式下每秒的web交互次数wipsb、订购模式下每秒的web交互次数wipso，acid特性测试结果包括原子性测试结果、一致性测试结果、隔离性测试结果以及耐久性测试结果。
114.在一种示例性的实现方式中，原子性测试结果的acid测试处理包括：执行trade
‑
order事务，并将输入参数roll_it_back标志设置为0；验证是否已在trade以及trade_history表中插入了相应的行，若是则确定trade
‑
order事务的语句已被执行，符合原子性特性；以及，执行trade
‑
order事务，并将输入参数roll_it_back标志设置为1；验证与trade
‑
order事务相应的行是否没有分别插入到trade表以及trade_history表，若是则确定trade
‑
order事务的语句已被执行，符合原子性特性。
115.在又一种示例性的实现方式中，一致性测试结果的acid测试处理包括：broker表以及trade表中的条目满足以下关系：
b_num_trades = count（*）；统计条件（b_id = ca_b_id）and（ca_id = t_ca_id）and（t_st_id =“cmpt”）；以及，broker表以及trade表中的条目满足以下关系：b_comm_total =sum（t_comm）；统计条件（b_id = ca_b_id）and（ca_id = t_ca_id）and（t_st_id =“cmpt”）；以及，holding_summary表以及holding表中的条目满足以下关系：hs_qty = sum（h_qty）；统计条件（hs_ca_id = h_ca_id）and（hs_s_symb = h_s_symb）。
116.在又一种示例性的实现方式中，隔离性测试结果的acid测试处理包括：选取部分的模拟事务，并构造不同的并发事务冲突事件，并发事务冲突事件的冲突类型包括脏写、脏读、不可重复读以及幻读；在并发事务冲突事件的事件处理结果的基础上，根据预设表中的隔离级别以及允许发生的读写冲突现象，确定目标系统的隔离级别，作为隔离性测试结果。
117.在又一种示例性的实现方式中，耐久性测试结果的acid测试处理包括：触发正在运行的目标系统产生断电故障事件，待目标系统重启恢复运行后查看已完成的事务数据是否已持久化保存，若是则符合耐久性特性。
118.本技术还从硬件结构角度提供了一种系统测试设备，参阅图9，图9示出了本技术系统测试设备的一种结构示意图，具体的，本技术系统测试设备可包括处理器901、存储器902以及输入输出设备903，处理器901用于执行存储器902中存储的计算机程序时实现如图1对应实施例中系统测试方法的各步骤；或者，处理器901用于执行存储器902中存储的计算机程序时实现如图8对应实施例中各单元的功能，存储器902用于存储处理器901执行上述图1对应实施例中系统测试方法所需的计算机程序。
119.示例性的，计算机程序可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器902中，并由处理器901执行，以完成本技术。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在计算机装置中的执行过程。
120.系统测试设备可包括，但不仅限于处理器901、存储器902、输入输出设备903。本领域技术人员可以理解，示意仅仅是系统测试设备的示例，并不构成对系统测试设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如系统测试设备还可以包括网络接入设备、总线等，处理器901、存储器902、输入输出设备903等通过总线相连。
121.处理器901可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field
‑
programmable gate array，fpga) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，处理器是系统测试设备的控制中心，利用各种接口和线路连接整个设备的各个部分。
122.存储器902可用于存储计算机程序和/或模块，处理器901通过运行或执行存储在存储器902内的计算机程序和/或模块，以及调用存储在存储器902内的数据，实现计算机装置的各种功能。存储器902可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据系统测试设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡（smart media card，smc），安全数字（secure digital，sd）卡，闪存卡（flash card）、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
123.处理器901用于执行存储器902中存储的计算机程序时，具体可实现以下功能：测试设备在触发对目标系统的tpc
‑
w测试任务后，配置tpc
‑
w测试任务对应的用户模拟程序以及tpc
‑
w模拟事务，tpc
‑
w测试任务为在tpc
‑
w测试基准下进行的系统测试任务，tpc
‑
w测试任务包括第一阶段以及第二阶段，tpc
‑
w模拟事务包括第一阶段对应的第一tpc
‑
w模拟事务以及第二阶段对应的第二tpc
‑
w模拟事务；测试设备通过用户模拟程序模拟目标系统的用户，并以并发模式向目标系统发起第一tpc
‑
w模拟事务；测试设备采集目标系统对于第一tpc
‑
w模拟事务的响应结果；当第一tpc
‑
w模拟事务的响应结果中的页面响应时长小于tpc
‑
w测试基准中的时长限制时，测试设备通过用户模拟程序模拟目标系统的用户，并以并发模式向目标系统发起第二tpc
‑
w模拟事务；测试设备采集目标系统对于第二tpc
‑
w模拟事务的响应结果，并在预设的测试需求下根据第二tpc
‑
w模拟事务的响应结果分析得到目标系统的tpc
‑
w测试结果，tpc
‑
w测试结果包括交易吞吐率测试结果以及acid特性测试结果，交易吞吐率测试结果包括选定测试的比例因子下每秒的web交互次数wips@sf、正常商务模式下每个web交互的代价$/wips@sf、浏览模式下每秒的web交互次数wipsb、订购模式下每秒的web交互次数wipso，acid特性测试结果包括原子性测试结果、一致性测试结果、隔离性测试结果以及耐久性测试结果。
124.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统测试装置、设备及其相应单元的具体工作过程，可以参考如图1对应实施例中系统测试方法的说明，具体在此不再赘述。
125.本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
126.为此，本技术提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本技术如图1对应实施例中系统测试方法中的步骤，具体操作可参考如图1对应实施例中系统测试方法的说明，在此不再赘述。
127.其中，该计算机可读存储介质可以包括：只读存储器（read only memory，rom）、随机存取记忆体（random access memory，ram）、磁盘或光盘等。
128.由于该计算机可读存储介质中所存储的指令，可以执行本技术如图1对应实施例系统测试方法中的步骤，因此，可以实现本技术如图1对应实施例中系统测试方法所能实现的有益效果，详见前面的说明，在此不再赘述。
129.以上对本技术提供的系统测试方法、装置、设备以及计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术的方法及其核心思想；同时，对于本领域的技术人员，依据本技术的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本技术的限制。