一种测试方法及装置与流程

本发明涉及自动化测试领域，尤其涉及一种测试方法及装置。

背景技术：

随着终端技术的飞速发展，为保证终端的质量和性能，需要在开发设计阶段对终端进行各种类型的测试。例如，对于手机终端的功耗测试，手机续航能力，即手机在正常工作时的待机时间，而功耗决定了手机续航时间的长短，功耗测试也成为了一项非常重要的测试内容，随着智能手机的迅速发展和对手机续航的关注，功耗测试任务也随之增加。

现有技术下，一种自动化测试方法为，基于自动化测试机械臂进行测试。主要为基于该自动化测试机械臂，完成测试。

但是，这种自动化测试机械臂只能给出测试结果，不能对这些结果做处理，而测试结果经常会因为各种原因出现异常，最终需要人工处理，大大降低了测试效率。

由此可见，现有技术下的测试方法，并不能对测试结果进行有效的处理，没有实现数据处理的自动化，降低了测试效率。

技术实现要素：

本发明实施例提供一种测试方法及装置，以解决现有技术中不能对测试结果进行有效处理，降低了测试效率的问题。

本发明实施例提供的具体技术方案如下：

一种测试方法，包括：

接收测试装置上传的测试结果集合；

基于上述测试结果集合以及预设的执行方式，获得相应的处理结果；

将上述处理结果与预设的标准值进行比较，确定上述处理结果与预设的标准值之间的误差小于预设阈值时，输出上述处理结果。

本发明实施例中，接收测试装置上传的测试结果集合；基于上述测试结果集合以及预设的执行方式，获得相应的处理结果；将上述处理结果与预设的标准值进行比较，确定上述处理结果与预设的标准值之间的误差小于预设阈值时，输出上述处理结果，这样，可以对测试装置测试得到测试结果集合进行进一步的处理，得到最后的处理结果，解放了人力，提高了测试的效率。

可选的，基于上述测试结果集合以及预设的执行方式，获得相应的处理结果，具体包括：

若上述测试结果集合是上述测试装置对处于待机状态下的待测试终端进行测试得到的，则确定上述测试结果集合中至少有一组测试结果是有效时，从至少一组有效的测试结果中选择与预设的标准值之间的误差最小的一组测试结果作为相应的处理结果；或，

若上述测试结果集合是上述测试装置对处于非待机状态下的待测试终端进行测试得到的，则判断上述测试结果集合中有效的测试结果的数目，当确定有效的测试结果的数目不小于两组时，进一步根据有效的测试结果的数目，获得相应的处理结果。

可选的，当确定有效的测试结果的数目不小于两组时，进一步根据有效的测试结果的数目，获得相应的处理结果，具体包括：

若有效的测试结果的数目为两组，计算两组有效的测试结果的第一平均值，并将上述两组有效的测试结果分别与上述第一平均值进行比较，若确定上述两组有效的测试结果与上述第一平均值之间的误差均小于第一预设精度值时，则将上述第一平均值作为相应的处理结果；或，

若有效的测试结果的数目为N，计算N组有效的测试结果的第二平均值，并将上述N组有效的测试结果分别与上述第二平均值进行比较，判断上述N组有效的测试结果与上述第二平均值之间的误差是否均小于第二预设精度值，若是，则将上述第二平均值作为相应的处理结果，否则，进行筛选判断，直至获得相应的处理结果，其中，上述筛选判断包括：筛选出M组最相近的有效的测试结果，并计算筛选出的M组有效的测试结果的第三平均值，判断筛选出的M组有效的测试结果与上述第三平均值之间的误差是否均小于第三预设精度值，若是，则将上述第三平均值作为相应的处理结果，否则，继续进行筛选判断，其中，M取值为比当前判断为否时有效的测试结果的数目小于1的值，且2≤M＜N。

可选的，进一步包括：

若确定基于上述测试结果集合以及预设的执行方式，未获得相应的处理结果时，指示上述测试装置重新进行测试；或，

若确定上述处理结果与预设的标准值之间的误差不小于预设阈值时，指示上述测试装置重新进行测试。

可选的，进一步包括：

若未获得相应的处理结果时，指示上述测试装置重新进行测试之后，仍未获得相应的处理结果，则做异常处理，提醒用户；或，

若确定上述处理结果与预设的标准值之间的误差不小于预设阈值时，指示上述测试装置重新进行测试之后，仍确定重新获得的相应的处理结果与预设的标准值之间的误差不小于预设阈值，则输出与预设的标准值之间的误差较小的处理结果。

一种测试装置，包括：

接收单元，用于接收测试装置上传的测试结果集合；

处理单元，用于基于上述测试结果集合以及预设的执行方式，获得相应的处理结果；

输出单元，用于将上述处理结果与预设的标准值进行比较，确定上述处理结果与预设的标准值之间的误差小于预设阈值时，输出上述处理结果。

本发明实施例中，接收测试装置上传的测试结果集合；基于上述测试结果集合以及预设的执行方式，获得相应的处理结果；将上述处理结果与预设的标准值进行比较，确定上述处理结果与预设的标准值之间的误差小于预设阈值时，输出上述处理结果，这样，可以对测试装置测试得到测试结果集合进行进一步的处理，得到最后的处理结果，解放了人力，提高了测试的效率。

可选的，基于上述测试结果集合以及预设的执行方式，获得相应的处理结果时，处理单元具体用于：

若上述测试结果集合是上述测试装置对处于待机状态下的待测试终端进行测试得到的，则确定上述测试结果集合中至少有一组测试结果是有效时，从至少一组有效的测试结果中选择与预设的标准值之间的误差最小的一组测试结果作为相应的处理结果；或，

若上述测试结果集合是上述测试装置对处于非待机状态下的待测试终端进行测试得到的，则判断上述测试结果集合中有效的测试结果的数目，当确定有效的测试结果的数目不小于两组时，进一步根据有效的测试结果的数目，获得相应的处理结果。

可选的，当确定有效的测试结果的数目不小于两组时，进一步根据有效的测试结果的数目，获得相应的处理结果时，处理单元具体用于：

若有效的测试结果的数目为两组，计算两组有效的测试结果的第一平均值，并将上述两组有效的测试结果分别与上述第一平均值进行比较，若确定上述两组有效的测试结果与上述第一平均值之间的误差均小于第一预设精度值时，则将上述第一平均值作为相应的处理结果；或，

若有效的测试结果的数目为N，计算N组有效的测试结果的第二平均值，并将上述N组有效的测试结果分别与上述第二平均值进行比较，判断上述N组有效的测试结果与上述第二平均值之间的误差是否均小于第二预设精度值，若是，则将上述第二平均值作为相应的处理结果，否则，进行筛选判断，直至获得相应的处理结果，其中，上述筛选判断包括：筛选出M组最相近的有效的测试结果，并计算筛选出的M组有效的测试结果的第三平均值，判断筛选出的M组有效的测试结果与上述第三平均值之间的误差是否均小于第三预设精度值，若是，则将上述第三平均值作为相应的处理结果，否则，继续进行筛选判断，其中，M取值为比当前判断为否时有效的测试结果的数目小于1的值，且2≤M＜N。

可选的，进一步包括，重新测试单元，用于：

若确定基于上述测试结果集合以及预设的执行方式，未获得相应的处理结果时，指示上述测试装置重新进行测试；或，

若确定上述处理结果与预设的标准值之间的误差不小于预设阈值时，指示上述测试装置重新进行测试。

可选的，处理单元，进一步用于：若未获得相应的处理结果时，指示上述测试装置重新进行测试之后，仍未获得相应的处理结果，则做异常处理，提醒用户；或，

输出单元，进一步用于：若确定上述处理结果与预设的标准值之间的误差不小于预设阈值时，指示上述测试装置重新进行测试之后，仍确定重新获得的相应的处理结果与预设的标准值之间的误差不小于预设阈值，则输出与预设的标准值之间的误差较小的处理结果。

附图说明

图1为本发明实施例中，测试方法概述流程图；

图2为本发明实施例中，测试方法详细流程图；

图3为本发明实施例中，测试装置结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，并不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了解决现有技术中不能对测试结果进行有效处理，降低了测试效率的问题，本发明实施例中，测试装置进行多次测试后，得到测试结果集合，并将测试结果集合上传至服务器端，服务器端对接收到的测试结果集合，进行处理和判断，进而输出最后的处理结果。

下面通过具体实施例对本发明方案进行详细描述，当然，本发明并不限于以下实施例。

值得说明的是，本发明实施例中提供的测试方法，可以应用于功耗类测试，也可以应用于软件类测试、系统类测试、安全类测试等，本发明实施例并不进行限定。

参阅图1所示，本发明实施例中，测试方法的具体流程如下：

步骤100：接收测试装置上传的测试结果集合。

实际中，本发明实施例中，测试系统包括测试装置和服务器端。其中，测试装置，例如为自动化测试机械臂。测试装置将测试结果集合上传至服务器端，服务器端对测试结果集合进行相应处理。

执行步骤100时，具体包括：

首先，测试装置基于预设的测试脚本对待测试终端进行测试，测试装置将基于预设的测试脚本进行测试得到的测试结果集合上传至服务器端。

其中，测试结果集合中包括多组测试结果，例如，较佳的，为三组。

进一步地，测试装置上传的方式，可以为分批分次上传，也可以是将多次测试结果集中之后统一上传。

然后，服务器端接收测试装置上传的测试结果集合。

进一步地，服务器端中也会存放测试装置测试时使用的测试数据用例，以便服务器端基于测试数据用例对测试结果集合进行相应处理，例如，可以参照数据用例给出的标准值。

步骤110：基于上述测试结果集合以及预设的执行方式，获得相应的处理结果。

执行步骤110时，可以分为以下两种应用场景：

第一种应用场景：若上述测试结果集合是上述测试装置对处于待机状态下的待测试终端进行测试得到的，即测试结果集合类型为待机类，则确定上述测试结果集合中至少有一组测试结果是有效的时，从至少一组有效的测试结果中选择与预设的标准值之间的误差最小的一组测试结果作为相应的处理结果。

其中，测试结果有效，表示测试结果的值非空值。因为，可能出现测试异常得到的测试结果为空值的情况，因此，需要先判断测试结果集合中是否存在有效的测试结果。

其中，预设的标准值，可以为测试数据用例中给出的标准值，也可以是用户基于实际经验设定的值。

例如，在待测试终端处于待机状态下，测试装置基于某个测试脚本得到了三组测试结果，分别为20、18、25，即测试结果集合为{20,18,25}，预设的标准值为21，则确定这三组测试结果都是有效的，且测试结果20与预设的标准值之间的误差最小，则将测试结果20作为相应的处理结果。

进一步地，在第一种应用场景下，若确定测试结果集合中无有效的测试结果，则不能获得相应的处理结果，指示测试装置重新进行测试。

第二种应用场景：若上述测试结果集合是上述测试装置对处于非待机状态下的待测试终端进行测试得到的，即测试结果集合类型为非待机类，则判断上述测试结果集合中有效的测试结果的数目，当确定有效的测试结果的数目不小于两组时，进一步根据有效的测试结果的数目，获得相应的处理结果。

其中，在第二种应用场景下，当确定有效的测试结果的数目不小于两组时，进一步根据有效的测试结果的数目，获得相应的处理结果，具体包括以下两种情况：

第一种情况：若有效的测试结果的数目为两组，计算两组有效的测试结果的第一平均值，并将上述两组有效的测试结果分别与第一平均值进行比较，若确定两组有效的测试结果与第一平均值之间的误差均小于第一预设精度值时，则将第一平均值作为相应的处理结果。

例如，第一预设精度值为3％，两组有效的测试结果分别为5、7，则第一平均值为(5+7)/2＝6，该两组有效的测试结果与第一平均值之间的误差分别为|5-6|％＝1％，|7-6|％＝1％，且均小于3％，则将6作为相应的处理结果。

值得说明的是，计算误差时，可以为相对误差，也可以为绝对误差，并不进行限定。

进一步地，当确定上述两组有效的测试结果与第一平均值之间的误差不是均小于第一预设精度值时，则不能获得相应的处理结果，指示测试装置重新进行测试。

第二种情况：若有效的测试结果的数目为N，计算N组有效的测试结果的第二平均值，并将上述N组有效的测试结果分别与上述第二平均值进行比较，判断上述N组有效的测试结果与上述第二平均值之间的误差是否均小于第二预设精度值，若是，则将上述第二平均值作为相应的处理结果，否则，进行筛选判断，直至获得相应的处理结果，其中，上述筛选判断包括：筛选出M组最相近的有效的测试结果，并计算筛选出的M组有效的测试结果的第三平均值，判断筛选出的M组有效的测试结果与上述第三平均值之间的误差是否均小于第三预设精度值，若是，则将上述第三平均值作为相应的处理结果，否则，继续进行筛选判断，其中，M取值为比当前判断为否时有效的测试结果的数目小于1的值，且2≤M＜N。

进一步地，当M取值为2时，判断仍为否，即仍未获得相应的处理结果，则指示测试装置重新进行测试。

值得说明的是，上述第二预设精度值和第三预设精度值都可以是用户根据实际经验设定的，或者，用户设定或根据测试数据用例给出的精度值确定出第二预设精度值后，根据M的取值和第二预设精度值，计算得到第三预设精度值，本发明实施例对此并不进行限定。

例如，测试结果集合中有3组测试结果，并且都是有效的，分别为a1、b1、c1，第二预设精度值为5％，第三预设精度值为3％(其中，5％*60％＝3％)。

首先，计算a1、b1、c1的平均值，例如为X1＝(a1+b1+c1)/3。

然后，将a1、b1、c1分别与X1进行比较，判断a1、b1、c1与X1之间的误差是否均小于5％；

若是，则将X1作为相应的处理结果。

否则，从a1、b1、c1中筛选出两组最相近的测试结果，即将a1、b1、c1两两进行比较，选择其中两组相差最小的测试结果，假设为a1、b1；进一步计算a1、b1的平均值，例如为Y1＝(a1+b1)/2，将a1、b1分别与Y1进行比较，判断a1、b1与Y1之间的误差是否均小于3％，若是，则将Y1作为相应的处理结果，否则，指示测试装置重新进行测试。

又例如，测试结果集合中有3组测试结果，并且都是有效的，分别为a2、b2、c2，第二预设精度值为20％，第三预设精度值为12％(其中，20％*60％＝12％)。

首先，计算a2、b2、c2的平均值，例如为X2＝(a2+b2+c2)/3。

然后，将a2、b2、c2分别与X2进行比较，判断a2、b2、c2与X2之间的误差是否均小于20％；

若是，则将X2作为相应的处理结果。

否则，从a2、b2、c2中筛选出两组最相近的测试结果，即将a2、b2、c2两两进行比较，选择其中两组相差最小的测试结果，假设为a2、b2；进一步计算a2、b2的平均值，例如为Y2＝(a2+b2)/2，将a2、b2分别与Y2进行比较，判断a2、b2与Y2之间的误差是否均小于12％，若是，则将Y2作为相应的处理结果，否则，指示测试装置重新进行测试。

进一步地，在第二种应用场景下，若确定有效的测试结果只有一组或没有有效的测试结果，则不能获得相应的处理结果，指示测试装置重新进行测试。

也就是说，执行步骤110的过程，实际是对测试结果集合的一个筛选和处理的过程，可能筛选出的为测试结果集合中的一组测试结果，也可能为测试结果集合中有效的测试结果的平均值，目的是为了针对多组测试结果，进行筛选处理，最后可以得到一组测试结果。

步骤120：将上述处理结果与预设的标准值进行比较，确定上述处理结果与预设的标准值之间的误差小于预设阈值时，输出上述处理结果。

执行步骤120时，具体包括：

首先，将处理结果与预设的标准值进行比较。

其中，预设的标准值，可以为数据用例中的标准值，也可以是用户基于实际经验设定的值。

然后，当确定处理结果与预设的标准值之间的误差小于预设阈值时，判定上述处理结果通过，输出上述处理结果。

具体为：将该处理结果展示给用户，或可以是计算机层面的输出，并不会向用户展示。

进一步地，若确定处理结果与预设的标准值之间的误差不小于预设阈值时，即判定不通过，指示测试装置重新进行测试。

进一步地，根据上述本发明实施例中对步骤110和步骤120的具体说明可知，当未获得相应的处理结果，或确定上述处理结果与预设的标准值之间的误差不小于预设阈值时，都会指示测试装置重新进行测试，即进入重新测试流程，进而测试装置重新进行测试，并继续执行上述步骤100-120，形成一个循环的过程，但不会一直进行循环，具体为：

第一种情况：若未获得相应的处理结果时，指示上述测试装置重新进行测试之后，仍未获得相应的处理结果，则做异常处理，提醒用户。

例如，提醒用户两轮测试都没有获得相应的处理结果，需要注意测试脚本是否正常，重新编辑测试脚本。

第二种情况：若确定上述处理结果与预设的标准值之间的误差不小于预设阈值时，指示上述测试装置重新进行测试之后，仍确定重新获得的相应的处理结果与预设的标准值之间的误差不小于预设阈值，则输出与预设的标准值之间的误差较小的处理结果。

也就是说，测试最多进行两轮，最后得出的结果为：输出处理结果或异常处理。

下面采用一个具体的应用场景对上述实施例作出进一步详细说明。具体参阅图2所示，本发明实施例中，测试方法的执行过程具体如下：

步骤200：测试装置对待测试终端进行测试，并将测试结果集合上传至服务器端。

步骤201：基于上述测试结果集合以及预设的执行方式，获得相应的处理结果：

若确定获得相应的处理结果，则执行步骤203；

若未获得相应的处理结果，进一步判断经过了几轮测试，若测试一轮未获得相应的处理结果的重新进行测试，执行步骤200，若两轮测试都没有获得相应的处理结果，则执行步骤202。

步骤202：异常处理，获得的测试结果不稳定，需要重新编辑测试脚本。

步骤203：处理结果判断，具体为：判断处理结果与预设的标准值之间的误差是否小于预设阈值：

若是，则执行步骤204；

否则，进一步判断经过了几轮测试，若经过了一轮测试，则执行步骤200，若执行了两轮测试，则选择与预设标准值最相近的处理结果，并执行步骤204。

步骤204：输出处理结果。

基于上述实施例，参阅图3所示，本发明实施例中，测试装置，具体包括：

接收单元30，用于接收测试装置上传的测试结果集合；

处理单元31，用于基于上述测试结果集合以及预设的执行方式，获得相应的处理结果；

输出单元32，用于将上述处理结果与预设的标准值进行比较，确定上述处理结果与预设的标准值之间的误差小于预设阈值时，输出上述处理结果。

可选的，基于上述测试结果集合以及预设的执行方式，获得相应的处理结果时，处理单元31具体用于：

若上述测试结果集合是上述测试装置对处于待机状态下的待测试终端进行测试得到的，则确定上述测试结果集合中至少有一组测试结果是有效时，从至少一组有效的测试结果中选择与预设的标准值之间的误差最小的一组测试结果作为相应的处理结果；或，

若上述测试结果集合是上述测试装置对处于非待机状态下的待测试终端进行测试得到的，则判断上述测试结果集合中有效的测试结果的数目，当确定有效的测试结果的数目不小于两组时，进一步根据有效的测试结果的数目，获得相应的处理结果。

可选的，当确定有效的测试结果的数目不小于两组时，进一步根据有效的测试结果的数目，获得相应的处理结果时，处理单元31具体用于：

若有效的测试结果的数目为两组，计算两组有效的测试结果的第一平均值，并将上述两组有效的测试结果分别与上述第一平均值进行比较，若确定上述两组有效的测试结果与上述第一平均值之间的误差均小于第一预设精度值时，则将上述第一平均值作为相应的处理结果；或，

若有效的测试结果的数目为N，计算N组有效的测试结果的第二平均值，并将上述N组有效的测试结果分别与上述第二平均值进行比较，判断上述N组有效的测试结果与上述第二平均值之间的误差是否均小于第二预设精度值，若是，则将上述第二平均值作为相应的处理结果，否则，进行筛选判断，直至获得相应的处理结果，其中，上述筛选判断包括：筛选出M组最相近的有效的测试结果，并计算筛选出的M组有效的测试结果的第三平均值，判断筛选出的M组有效的测试结果与上述第三平均值之间的误差是否均小于第三预设精度值，若是，则将上述第三平均值作为相应的处理结果，否则，继续进行筛选判断，其中，M取值为比当前判断为否时有效的测试结果的数目小于1的值，且2≤M＜N。

可选的，进一步包括，重新测试单元33，用于：

若确定基于上述测试结果集合以及预设的执行方式，未获得相应的处理结果时，指示上述测试装置重新进行测试；或，

若确定上述处理结果与预设的标准值之间的误差不小于预设阈值时，指示上述测试装置重新进行测试。

可选的，处理单元31，进一步用于：若未获得相应的处理结果时，指示上述测试装置重新进行测试之后，仍未获得相应的处理结果，则做异常处理，提醒用户；或，

输出单元32，进一步用于：若确定上述处理结果与预设的标准值之间的误差不小于预设阈值时，指示上述测试装置重新进行测试之后，仍确定重新获得的相应的处理结果与预设的标准值之间的误差不小于预设阈值，则输出与预设的标准值之间的误差较小的处理结果。

综上所述，本发明实施例中，接收测试装置上传的测试结果集合；基于上述测试结果集合以及预设的执行方式，获得相应的处理结果；将上述处理结果与预设的标准值进行比较，确定上述处理结果与预设的标准值之间的误差小于预设阈值时，输出上述处理结果，这样，可以对测试装置测试得到测试结果集合进行进一步的处理，得到最后的处理结果，解放了人力，提高了测试的效率。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样，倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。