移动终端系统稳定性测试方法及装置与流程

本发明涉及智能终端技术领域，特别是涉及一种移动终端系统稳定性测试方法及装置。

背景技术：

一般的，为保证移动终端系统能够为用户提供稳定、可靠的系统服务，需要对移动终端系统进行稳定性测试，以验证移动终端系统是否满足稳定性需求。如果系统稳定性测试发现问题，则通过分析测试数据找出错误原因和位置，再进行调试改正提出更加完善的方案，以使系统符合稳定性需求。然而，传统移动终端稳定性测试方式在测试完成后才能知晓系统稳定性是否存在问题，测试过程中无法及时发现问题，全部测试结束后才能进行错误分析，严重影响测试效率。

技术实现要素：

基于此，有必要针对传统移动终端稳定性测试方式存在的测试效率低的问题，提供一种移动终端系统稳定性测试方法及装置。

一种移动终端系统稳定性测试方法，包括以下步骤：

获取测试指令，根据测试指令执行预设测试用例；

获取当前测试的测试耗时及历史多次测试的测试耗时，根据当前测试的测试耗时和历史多次测试的测试耗时计算当前测试对应的耗时平均值；

将当前测试对应的耗时平均值与预设平均耗时阈值进行比较；

当当前测试对应的耗时平均值小于或等于预设平均耗时阈值时，通过测试显示界面显示当前测试成功，并显示当前测试对应的耗时平均值；

当当前测试对应的耗时平均值大于预设平均耗时阈值时，通过测试显示界面显示当前测试失败，并显示当前测试对应的耗时平均值。

在其中一个实施例中，上述当当前测试对应的耗时平均值大于预设平均耗时阈值时，当前测试失败的步骤之后，还包括以下步骤：

生成错误标识，存储错误标识至测试日志。

在其中一个实施例中，上述移动终端系统稳定性测试方法还包括以下步骤：

计算当前测试对应的测试成功率，将当前测试对应的测试成功率与预设测试成功率阈值进行比较；

当当前测试对应的测试成功率小于预设测试成功率阈值时，生成测试结束指令，结束测试。

在其中一个实施例中，上述将当前测试对应的耗时平均值与预设平均耗时阈值进行比较的步骤之后，还包括以下步骤：

将当前测试的测试耗时与预设测试耗时阈值进行对比；

当当前测试的测试耗时大于预设测试耗时阈值时，通过测试显示界面显示当前测试失败；

当当前测试的测试耗时小于或等于预设测试耗时阈值时，通过测试显示界面显示当前测试成功。

在其中一个实施例中，上述移动终端系统稳定性测试方法还包括以下步骤：

获取历史测试耗时最大值和历史测试耗时最小值，通过测试显示界面显示历史测试耗时最大值和历史测试耗时最小值。

一种移动终端系统稳定性测试装置，包括：

测试执行模块，获取测试指令，根据测试指令执行预设测试用例；

耗时平均值计算模块，用于获取当前测试的测试耗时及历史多次测试的测试耗时，根据当前测试的测试耗时和历史多次测试的测试耗时计算当前测试对应的耗时平均值；

耗时比较模块，用于将当前测试对应的耗时平均值与预设平均耗时阈值进行比较；

显示模块，用于当当前测试对应的耗时平均值小于或等于预设平均耗时阈值时，通过测试显示界面显示当前测试成功，并显示当前测试对应的耗时平均值；以及，当当前测试对应的耗时平均值大于预设平均耗时阈值时，通过测试显示界面显示当前测试失败，并显示当前测试对应的耗时平均值。

在其中一个实施例中，上述移动终端系统稳定性测试装置还包括：

错误标记模块，用于当当前测试对应的耗时平均值大于预设平均耗时阈值时生成错误标识，存储错误标识至测试日志。

在其中一个实施例中，上述移动终端系统稳定性测试装置还包括：

测试成功率比较模块，用于计算当前测试对应的测试成功率，将当前测试对应的测试成功率与预设测试成功率阈值进行比较；

测试中断模块，用于当当前测试对应的测试成功率小于预设测试成功率阈值时，生成测试结束指令，结束测试。

在其中一个实施例中，耗时比较模块还用于将当前测试的测试耗时与预设测试耗时阈值进行对比；显示模块还用于当当前测试的测试耗时大于预设测试耗时阈值时，通过测试显示界面显示当前测试失败；以及，当当前测试的测试耗时小于或等于预设测试耗时阈值时，通过测试显示界面显示当前测试成功。

在其中一个实施例中，显示模块还用于获取历史测试耗时最大值和历史测试耗时最小值，通过测试显示界面显示历史测试耗时最大值和历史测试耗时最小值。

上述移动终端系统稳定性测试方法及装置，通过将当前测试对应的耗时平均值与预设平均耗时阈值进行比较判断当前测试是否成功，当当前测试对应的耗时平均值小于或等于预设平均耗时阈值时，通过测试显示界面显示当前测试成功，并显示当前测试对应的耗时平均值；当当前测试对应的耗时平均值大于预设平均耗时阈值时，通过测试显示界面显示当前测试失败，并显示当前测试对应的耗时平均值。上述移动终端系统稳定性测试方法及装置在测试过程中实时显示当前测试成功还是测试失败，并显示当前测试对应的耗时平均值，使得测试人员可以在测试过程中及时发现问题并进行错误分析，大大提高了测试效率。

附图说明

图1为一个实施例中移动终端系统稳定性测试方法的流程图；

图2为一个具体应用场景中创建测试用例的界面示意图；

图3为一个具体应用场景中测试显示界面的示意图；

图4为一个实施例中移动终端系统稳定性测试装置的结构示意图；

图5为又一个实施例中移动终端系统稳定性测试装置的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

请参阅图1，一种移动终端系统稳定性测试方法，包括以下步骤：

步骤102：获取测试指令，根据测试指令执行预设测试用例。

具体地，预设测试用例包括开关机测试、休眠唤醒测试、定时唤醒测试、电话唤醒测试、TCP测试和UDP测试等系统稳定性测试用例，其中，TCP测试还可以包括TCP长长(数据长连接、服务器长连接)测试，TCP长短(数据长连接、服务器短连接)测试和TCP短短(数据短连接、服务器短连接)测试等稳定性测试用例。

如图2所示，在一个实施例中，在获取测试指令之前，终端显示测试用例创建窗口，用户创建预设测试用例，如，用户选择测试内容，确定测试用例，并配置服务端口和业务模式，设置单次发包字节大小、设置循环测试时长或循环测试次数，以及，循环测试间隔等，终端根据获取到的测试用例创建指令及各项参数配置指令创建测试用例，生成预设测试用例，完成测试用例创建后，终端检测是否获取到测试指令，当获取到测试指令后，终端运行测试应用程序，按照循环测试间隔循环执行预设测试用例。本实施例中的移动终端可以是智能手机、平板电脑或便携式可穿戴设备等电子设备，本实施例不做具体限定。

步骤104：获取当前测试的测试耗时及历史多次测试的测试耗时，根据当前测试的测试耗时和历史多次测试的测试耗时计算当前测试对应的耗时平均值。

具体的，在循环执行预设测试用例的测试过程中，终端实时采集当前测试的测试耗时，并读取已存储的历史多次测试的测试耗时，历史多次测试的测试耗时包括历史多次测试的每次测试的测试耗时，如，当前测试为第n次测试，当前测试的测试耗时为T_n，则历史多次测试的测试耗时包括T₁、T₂、…T_n-1，终端将当前测试的测试耗时与历史多次测试的测试耗时进行算数平均值计算，得到当前测试对应的耗时平均值即

步骤106：将当前测试对应的耗时平均值与预设平均耗时阈值进行比较。

具体的，终端内预先存储预设平均耗时阈值，通过步骤104计算得到当前测试对应的耗时平均值后，终端将当前测试对应的耗时平均值与预设平均耗时阈值进行比较，以判断当前测试是否成功，根据比较结果相应的执行步骤108或步骤110。

步骤108：当当前测试对应的耗时平均值小于或等于预设平均耗时阈值时，通过测试显示界面显示当前测试成功，并显示当前测试对应的耗时平均值。

具体的，在测试用例循环执行过程中，终端通过测试显示界面实时显示测试结果，当当前测试对应的耗时平均值小于或等于预设平均耗时阈值时，测试响应正常，当前测试成功，终端通过测试显示界面显示当前测试成功，并显示当前测试对应的耗时平均值。

步骤110：当当前测试对应的耗时平均值大于预设平均耗时阈值时，通过测试显示界面显示当前测试失败，并显示当前测试对应的耗时平均值。

具体的，当当前测试对应的耗时平均值大于预设平均耗时阈值时，测试响应超时，当前测试失败，终端通过测试显示界面显示当前测试失败，并显示当前测试对应的耗时平均值。

上述移动终端系统稳定性测试方法，通过将当前测试对应的耗时平均值与预设平均耗时阈值进行比较判断当前测试是否成功，当当前测试对应的耗时平均值小于或等于预设平均耗时阈值时，通过测试显示界面显示当前测试成功，并显示当前测试对应的耗时平均值；当当前测试对应的耗时平均值大于预设平均耗时阈值时，通过测试显示界面显示当前测试失败，并显示当前测试对应的耗时平均值。上述移动终端系统稳定性测试方法在测试过程中实时显示当前测试成功还是测试失败，并显示当前测试对应的耗时平均值，使得测试人员可以在测试过程中及时发现问题并进行错误分析，大大提高了测试效率。

在一个实施例中，步骤110还包括以下步骤：生成错误标识，存储错误标识至测试日志。

具体地，当前测试对应的耗时平均值大于预设平均耗时阈值，当前测试失败时，终端生成错误标识，并将错误标识与当前测试结果、当前测试的测试耗时及当前测试对应的耗时平均值等生成测试数据一并存储至测试日志，存储测试数据并记录该条测试数据为测试失败数据。本实施例中，通过对测试失败的测试数据生成错误标识以对测试失败数据进行标记，当测试人员需要进行错误分析，查找测试失败数据时，可通过错误标识快速查找到测试失败的数据，大大提高测试人员查找测试日志的效率，能够进一步提高测试效率，且有效降低了人工查找测试日志的劳动强度。

进一步的，在一个实施例中，测试显示界面上还可以展示用于提示截屏或导出数据的界面元素，如截屏按钮或数据导出按钮等。当测试过程中测试人员通过测试显示界面查看到当前有测试失败数据产生时，测试人员可以选中截屏按钮，终端获取到用户对截屏按钮的选中操作后生成截屏指令，进行截屏操作并将截取到的截屏图片存储至测试日志，以方便测试人员后续查看。同时，测试人员还可通过选中数据导出按钮查看测试数据，终端获取到测试人员对数据导出按钮的选中操作后将测试日志存储的测试数据导出至用户制定的位置进行存储或展示，以进一步方便测试人员查看测试数据。

在一个实施例中，上述移动终端系统稳定性测试方法还包括以下步骤：计算当前测试对应的测试成功率，将当前测试对应的测试成功率与预设测试成功率阈值进行比较；当当前测试对应的测试成功率小于预设测试成功率阈值时，生成测试结束指令，结束测试。

具体的，终端获取历史多次测试成功次数及失败次数，并结合当前测试结果计算当前测试对应的测试成功次数和测试失败次数，根据当前测试对应的测试成功次数和测试失败次数计算当前测试对应的测试成功率，并将当前测试对应的测试成功率与预设测试成功率阈值进行比较，判断当前测试对应的测试成功率是否达到预设要求，如果当前测试对应的测试成功率大于或等于预设测试成功阈值，则当前测试对应的测试成功率达到预设要求，继续循环执行测试用例；如果当前测试对应的测试成功率小于预设测试成功率阈值，则当前测试对应的测试成功率没有达到预设要求，测试成功率低，测试失败的数据较多，此时，终端生成测试结束指令，结束测试。本实施例中，在循环测试过程中实时计算当前测试对应的测试成功率，且当当前测试对应的测试成功率低时终端直接结束测试，从而使测试人员可以及时查看测试失败数据，而无需再等待全部测试完成在分析测试问题，可有效缩短等待分析测试失败数据的时间，进一步提高测试效率。

在一个实施例中，预设测试成功率阈值为80％～100％，具体测试成功率阈值根据实际测试精度要求进行设置，本实施例不做具体限定。进一步的，为了避免频繁计算当前测试对应的测试成功率造成终端数据处理量大而影响测试速度，在一个实施例中，还可以按照预设间隔周期性的计算当前测试对应的测试成功率并存储测试成功了至测试日志。预设间隔可以为预设时间间隔，还可以为预设测试次数间隔，如，预设时间间隔为30min，则终端每个30min计算一次当前测试对应的测试成功率，将计算的到的测试成功率与预设测试成功了阈值进行比较，并存储当前测试对应的测试成功率至测试日志。或者，预设间隔还可以为预设测试次数间隔，如预设测试次数间隔为20次，则终端每隔20次计算一次当前测试对应的测试成功率，根据当前测试对应的测试成功了判断继续执行测试用例还是提前结束测试用例，并存储当前测试对应的测试成功率。本实施例中，按照预设间隔计算并存储当前测试对应的测试成功率，一方面可以提升测试测度，另一方面也可以有效避免测试日志存储大量冗余数据，且能够方便用户查找测试失败数据，如，以预设测试次数间隔为20次为例，用户查找测试失败数据时，直接查找一个周期内测试成功率没有达到100％的20条测试数据即可，对于测试成功率达到100％的其它周期内的测试数据则无需查看，进一步方便用户查看测试错误数据。

在一个实施例中，当当前测试对应的测试成功率小于预设测试成功率阈值时，终端还可以弹出中断提醒窗口，在中断提醒窗口内显示测试成功率低的提醒信息及是否需要中断测试的界面元素供用户选择，用户可通过对界面元素进行相应的选中操作选则是否中断测试以查看测试数据，进行测试分析或继续执行测试，进一步方便用户使用。

在一个实施例中，步骤106之后，还包括以下步骤：将当前测试的测试耗时与预设测试耗时阈值进行对比；当当前测试的测试耗时大于预设测试耗时阈值时，通过测试显示界面显示当前测试失败；当当前测试的测试耗时小于或等于预设测试耗时阈值时，通过测试显示界面显示当前测试成功。

终端中存储预设测试耗时阈值，终端除将当前测试对应的耗时平均值与预设平均耗时阈值进行比较判断当前测试是否成功外，还进一步通过比较当前测试的测试耗时是否超过预设测试耗时阈值判断当前测试是否成功。如果当前测试的测试耗时大于预设测试耗时阈值时，则当前测试失败，通过测试显示界面显示当前测试失败；如果前测试的测试耗时小于或等于预设测试耗时阈值时，则当前测试成功，通过测试显示界面显示当前测试成功。

本实施例中，终端根据当前测试对应的耗时平均值与预设平均耗时阈值的比较结果，及当前测试的测试耗时与预设测试耗时阈值比较的结果判断当前测试是否成功，如果当前测试对应的耗时平均值和当前测试的测试耗时的比较结果均为响应不超时，则当前测试成功；否则，两者中有一个比较结果为响应超时，则当前测试失败。具体地，终端先将当前测试对应的耗时平均值与预设平均耗时阈值进行比较，当当前测试对应的耗时平均值大于预设平均耗时阈值时，当前测试失败；当当前测试对应的耗时平均值小于或等于预设平均耗时阈值时，终端进一步将当前测试的测试耗时与预设测试耗时阈值进行对比，如果当前测试的测试耗时大于预设测试耗时阈值时，则当前测试失败；如果前测试的测试耗时小于或等于预设测试耗时阈值时，则当前测试成功。本实施例中，同时判断当前测试对应的耗时平均值及当前测试的测试耗时是否都满足预设要求，当两者都满足预设要求时才判断测试成功，有效保证了测试精度。

在一个实施例中，上述移动终端系统稳定性测试方法还包括以下步骤：获取历史测试耗时最大值和历史测试耗时最小值，通过测试显示界面显示历史测试耗时最大值和历史测试耗时最小值。

本实施例中，终端还通过测试显示界面实时显示历史测试耗时最大值和历史测试耗时最小值，使测试人员在测试过程中可实时了解历史测试情况，有利于测试人员在测试过程中进行测试分析，方便测试人员使用。

具体的，如图3所示，在一个实施例中，预设测试用例为TCP长短测试，终端采集的测试耗时数据包括建立数据连接耗时(终端注网建立数据连接耗时)、连接服务器耗时、发送到接收的耗时(终端与服务器数据传输耗时)、断开服务器耗时和断开数据连接耗时(终端断网断开数据连接耗时)，由于测试用例为数据长连接、服务器短连接，建立数据连接和断开数据连接均执行一次，连接服务器、与服务器发送接收数据、断开服务器均按配置的循环时长或循环次数执行多次。测试过程中，终端显示如图3所示的测试显示界面，实时显示各耗时数据的当前测试对应的耗时平均值、历史耗时最大值、历史耗时最小值及测试成功次数和测试失败次数，且本实施例中，测试显示界面还显示测试用例说明及各项测试用例配置参数，方便测试人员查看分析测试情况。具体的，本实施例中，发送到接收的耗时为判断测试是否成功的核心耗时数据，因此，以发送到接收的耗时数据计算测试成功率，发送到接收的耗时数据测试失败次数为0，测试用例测试成功率为100％。进一步的，本实施例中，以在循环测试过程中实时更新显示测试成功次数、测试失败次数的方式显示当前测试结果，如，在循环测试过程中，如果当前测试成功，测试显示界面显示测试成功次数加1，如果当前测试失败，测试显示界面显示测试失败次数加1，在其它实施例中，也可直接显示当前测试成功或测试失败的测试结果，本实施例不做具体限定。

请参阅图4，一种移动终端系统稳定性测试装置400，包括：

测试执行模块402，获取测试指令，根据测试指令执行预设测试用例；

耗时平均值计算模块404，用于获取当前测试的测试耗时及历史多次测试的测试耗时，根据当前测试的测试耗时和历史多次测试的测试耗时计算当前测试对应的耗时平均值；

耗时比较模块406，用于将当前测试对应的耗时平均值与预设平均耗时阈值进行比较；

显示模块408，用于当当前测试对应的耗时平均值小于或等于预设平均耗时阈值时，通过测试显示界面显示当前测试成功，并显示当前测试对应的耗时平均值；以及，当当前测试对应的耗时平均值大于预设平均耗时阈值时，通过测试显示界面显示当前测试失败，并显示当前测试对应的耗时平均值。

如图5所示，在一个实施例中，上述移动终端系统稳定性测试装置还包括：

错误标记模块410，用于当当前测试对应的耗时平均值大于预设平均耗时阈值时生成错误标识，存储错误标识至测试日志。

在一个实施例中，上述移动终端系统稳定性测试装置还包括：

测试成功率比较模块412，用于计算当前测试对应的测试成功率，将当前测试对应的测试成功率与预设测试成功率阈值进行比较；

测试中断模块414，用于当当前测试对应的测试成功率小于预设测试成功率阈值时，生成测试结束指令，结束测试。

在一个实施例中，耗时比较模块406还用于将当前测试的测试耗时与预设测试耗时阈值进行对比；显示模块408还用于当当前测试的测试耗时大于预设测试耗时阈值时，通过测试显示界面显示当前测试失败；以及，当当前测试的测试耗时小于或等于预设测试耗时阈值时，通过测试显示界面显示当前测试成功。

在一个实施例中，显示模块408还用于获取历史测试耗时最大值和历史测试耗时最小值，通过测试显示界面显示历史测试耗时最大值和历史测试耗时最小值。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。