智能白电产品的自动化测评方法及装置与流程

1.本说明书一个或多个实施例涉及自动测评技术领域，尤其涉及一种智能白电产品的自动化测评方法及装置。


背景技术：

2.随着公司发展的不断壮大，公司业务不断扩大，产品系列越来越多，智能白电产品控制的成功率和响应时间会极大程度的影响用户体验性，为了改善用户体验性，需要对智能白电产品的控制成功率和控制响应时间进行测试实验，进而进行数据分析，找出与同行业同类产品之间的性能差距，从而根据性能差距提高完善自身产品的性能，以改善用户体验效果。具体通过对同行业不同公司某一款产品的相同功能进行测评和分析，从而对控制成功率和控制响应时间进行对比分析，筛选出标杆竞品，分析标杆竞品在用户体验性方面领先的关键成功因素，找到制约本公司的智能白电产品的用户体验性的关键环节和影响因素，从而针对关键环节和影响因素进行提高和完善。
3.现有技术中，当需要确定软件产品的用户体验时，往往是通过人工操作控制某设备，记录操作相关数据，对数据进行人工或者结合工具进行分析，需要过多人员参与，不但降低了效率，而且容易带入主观因素，降低测评分析的客观准确性。


技术实现要素：

4.本说明书一个或多个实施例描述了一种智能白电产品的自动化测评方法及装置。
5.根据第一方面，提供了一种智能白电产品的自动化测评方法，包括：
6.针对预设白电产品的至少一个控制功能，分别设计对应的测试用例；
7.采用多个不同品牌的所述预设白电产品的客户端执行每一个所述控制功能对应的所述测试用例，并对每一个所述测试用例的执行过程进行记录；
8.根据所记录的各个测试用例的执行过程，分析不同品牌的所述预设白电产品的每一个所述控制功能在预设指标上的测评情况。
9.根据第二方面，提供了一种智能白电产品的自动化测评装置，包括：
10.用例设计模块，用于针对预设白电产品的至少一个控制功能，分别设计对应的测试用例；
11.用例执行抹开，用于采用多个不同品牌的所述预设白电产品的客户端执行每一个所述控制功能对应的所述测试用例，并对每一个所述测试用例的执行过程进行记录；
12.用例分析模块，用于根据所记录的各个测试用例的执行过程，分析不同品牌的所述预设白电产品的每一个所述控制功能在预设指标上的测评情况。
13.本发明提供的智能白电产品的自动化测评方法及装置，针对不同的控制功能设计对应的测试用例，然后采用多个不同品牌的预设白电产品的客户端执行测试用例，并记录执行过程，根据执行过程可以分析出不同品牌的预设白电产品在不同控制功能上的测评情况。在这个过程中，并不是人为操控预设白电产品，也并非采用人工对白电产品的操作进行
评价，因此减少了人员的参与，不仅可以减少或避免因过多人员参与带入的主观因素，提高测评分析的客观准确性，而且提高了测评的效率。
附图说明
14.为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本说明书的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
15.图1是本说明书一个实施例中智能白电产品的自动化测评方法的流程示意图。
具体实施方式
16.下面结合附图，对本说明书提供的方案进行描述。
17.如图1所示，本技术实施例提供一种智能白电产品的自动化测评方法，该方法包括如下s100～s300：
18.s100、针对预设白电产品的至少一个控制功能，分别设计对应的测试用例；
19.其中，预设白电产品可以是冰箱、空调等家电产品。
20.其中，控制功能可以是温度控制、语音控制、风速控制和/或模式切换等控制功能。
21.在具体实施时，可以采用airtest工具的ui包进行测试用例的开发。针对每一个控制功能开发一个对应的测试用例。
22.s200、采用多个不同品牌的所述预设白电产品的客户端执行每一个所述控制功能对应的所述测试用例，并对每一个所述测试用例的执行过程进行记录；
23.例如，针对空调这一白电产品，选择多个公司的功能相似的空调执行测试用例，这些公司的空调对应的app具体执行温度控制和模式切换分别对应的测试用例，从而在温度控制和模式切换这两个功能上进行测评。
24.可理解的是，客户端执行测试用例时会向对应的预设白电产品发送控制指令，然后预设白电产品会执行控制指令，并向客户端返回对应的反馈数据。
25.在具体实施时，可以采用手机录屏的方式记录所述客户端执行每一个所述测试用例的执行过程。当然也可以采用一部手机登录一个品牌的预设白电产品对应的app，并通过app执行测试用例，采用另一部手机对app的执行过程进行拍摄，从而记录下每一个测试用例的执行过程。在测试用例执行完毕之后，得到录制的视频，并将手机录制的视频导入至数据分析设备上，例如，笔记本电脑、台式电脑、ipad等。然后在数据分析设备上可以采用预先下载好的视频分析工具对视频进行分析，即对测试用例的执行过程进行分析。
26.s300、根据所记录的各个测试用例的执行过程，分析不同品牌的所述预设白电产品的每一个所述控制功能在预设指标上的测评情况。
27.其中，预设指标可以包括控制成功率、控制响应时间，所谓的控制成功率是指app执行测试用例时对预设白电产品的控制的成功率，控制响应时间是指app执行测试用例时从向预设白电产品发送控制指令到接收到预设白电产品返回的反馈数据的响应时间。
28.也就是说，s300中可以根据在每一个品牌的预设白电产品的app执行测试用例的视频，可以得知执行过程的相关数据，进而可以得到测评情况。
29.在具体实施时，预设指标包括控制成功率，此时s200具体可以包括：采用多个不同品牌的所述预设白电产品的客户端针对每一个所述控制功能对应的所述测试用例执行预设次数。
30.其中，预设次数可以根据需要设置，例如，将预设次数设置为100。也就是说，每一个品牌的预设白电产品的app会针对每一个控制功能的测试用例执行100次。例如，控制功能包括温度控制和风速控制，一共选择了3个品牌的空调产品进行测评，这3个空调产品中的每一个空调产品的app会针对温度控制的测试用例执行100次，并对风速控制对应的测试用例执行100次。也就是说，记录的执行过程为600个执行过程。
31.对应的，s300可以包括如下s310～s340：
32.s310、采用图像识别的方式确定每一个所述测试用例的每一次执行结果，所述执行结果包括控制成功和控制失败；
33.其中，针对控制成功率，对应的执行结果有两种：控制成功和控制失败。控制成功为app执行测试用例时向对应的白电产品发送控制指令，白电产品成功执行控制指令的情况，控制失败则为白电产品未收到app发送的控制指令，或者错误执行控制指令的情况。
34.在具体实施时，app在执行测试用例时会向对应的白电产品发送对应的控制指令，白电产品接收到控制指令并执行控制指令，并返回反馈数据，如果反馈数据为温度设置成功、模式切换成功等执行成功的结果，则app的界面会将原来的数据修改为设置成功的数据，例如，app的界面上原来的空调温度为
‑
2摄氏度，执行一个温度控制的测试用例后，空调温度设置为了0摄氏度，这样app的界面就会变为0摄氏度，可见界面发生变化。但是如果白电产品未接收到控制指令，则不会执行控制指令也不会返回反馈数据，或者白电产品对控制指令的执行发生错误，会返回温度设置失败、模式切换失败等执行失败的结果，则app的界面上原来的数据会保持不变，不会发生变化。基于此，s310可以具体包括：若所述客户端在执行所述测试用例后所述客户端的界面发生了变化，则控制成功；若所述客户端在执行所述测试用例后所述客户端的界面没有发生变化，则控制失败。
35.可理解的是，在数据分析设备上可以采用视频分析工具对视频进行逐帧分析，例如点击视频读取按键，便可以浏览视频的第一帧，然后再点击一次便可以浏览视频的第二帧，也就是说，通过点击的方式可以逐帧浏览视频，进而对视频进行逐帧分析，确定界面是否发生变化。
36.s320、针对各个品牌的预设白电产品针对各个控制功能各自的测试用例的预设次数的执行结果进行统计，得到对应的第一统计数据；
37.针对每一个品牌的预设白电产品，针对每一个控制功能，一个测试用例会执行预设次数，而有的执行结果是控制成成功，而有的执行结果是控制失败，这样可以得到这个品牌的预设白电产品针对这一个控制功能的测试用例的控制成功率。通过这种方式可以得到各个品牌的预设白电产品分别针对各个控制功能的测试用例的控制成功率，得到第一统计数据。具体可以设置一个excell表格，在这个表格中记录各个品牌的预设白电产品分别针对各个控制功能的测试用例对应的控制成功率。
38.s330、根据所述第一统计数据，确定每一个控制功能对应的第一标杆竞品，所述第一标杆竞品为针对对应的控制功能在控制成功率上的标杆竞品；
39.可理解的是，针对每一个控制功能，不同品牌的预设白电产品会有不同的控制成
功率，将控制成功率最高的预设白电产品作为该控制功能对应的标杆竞品。例如，一共有4个控制功能，这样可以从第一统计数据中筛选出4个标杆竞品。
40.当然，除了针对每一个控制功能选择出一个第一标杆竞品外，还可以针对所有的控制功能，筛选出一个综合标杆竞品，这个综合标杆竞品在各个控制功能上的综合控制成功率最高。
41.s340、确定本品牌的预设白电产品与每一个所述第一标杆竞品针对对应控制功能在控制成功率上的差异。
42.通过将本品牌的预设白电产品与每一个第一标杆竞品在控制成功率上进行对比，可以得知本品牌的预设白电产品与各个第一标杆竞品在不同控制功能上的差异。这样后续可以分析每一个第一标杆竞品在对应控制功能上领先的关键影响因素，进而依据这些关键因素对本品牌的预设白电产品进行改进，提高本品牌的产品性能，提高用户体验性。
43.当然，也可以将本品牌的预设白电产品与综合标杆竞品在各个控制功能上进行比较，从而分析这个综合标杆竞品领先的关键影响因素，从而依据这些关键因素对本品牌的预设白电产品进行改进，提高本品牌的产品性能，提高用户体验性。
44.在具体实施时，所述预设指标可以包括控制响应时间。此时，s300可以具体包括如下步骤s350～s390：
45.s350、根据所记录的各个测试用例的执行过程，确定每一个所述测试用例对应的控制响应时间；
46.在具体实施时，s350具体可以包括：编写用例分析脚本，采用所述用例分析脚本对每一个测试用例的起点和终点分别进行埋点；根据每一个所述测试用例的所述起点和所述终点分别对应的埋点，计算每一个所述测试用例的控制响应时间。
47.其中，具体可以采用stagesepx工具编写上述用例分析脚本。用例分析脚本可以分析出测试用例的起点和终点，并且能在起点和终点上进行埋点，所谓的埋点就是在起点和终点这两个位置上各打一个点。通过计算这两个点之间的帧数差可以得到控制响应时间。
48.在具体实施时，s350也可以具体包括：采用图像识别的方式对每一个所述测试用例的执行过程进行分析，确定所述执行过程的开始帧和结束帧；将所述开始帧和所述结束帧之间的帧数差转换为对应的时间，并将该时间作为每一个测试用例的控制响应时间。
49.这里，通过图像识别技术识别出每一个测试用例的执行过程的开始帧和结束帧，并计算这两帧之间的帧数差，从而将帧数差转换为时间，从而得到控制响应时间。其中，图像识别技术具体可以通过自动对比分析在执行测试用例前后的图像变化，截取发生变化前后的两帧图像，将前一帧图像作为开始帧，将后一帧作为结束帧。
50.s360、对各个品牌的所述预设白电产品的客户端分别针对各个所述控制功能对应的测试用例的控制响应时间进行统计，得到对应的第二统计数据；
51.可理解的是，针对每一个品牌的预设白电产品，针对每一个控制功能，对应一个控制响应时间。例如，针对5个白电产品，4个控制功能，可以计算得到20个控制响应时间，得到第二统计数据。
52.在具体实施时，可以将计算得到的各个控制响应时间记录到excell表格中。例如，列表示一个白电产品在各个控制功能上对应的控制响应时间，行表示各个白电产品在一个控制功能上对应的控制响应时间。
53.s370、根据所述第二统计数据，确定每一个控制功能对应的第二标杆竞品，所述第二标杆竞品为针对对应控制功能在控制响应时间上的标杆竞品；所述控制响应时间越短，预设白电产品的性能越优；
54.可理解的是，针对每一个控制功能，不同品牌的预设白电产品会有不同的控制响应时间，将控制响应时间最小的预设白电产品作为该控制功能对应的标杆竞品。例如，一共有4个控制功能，这样可以从第二统计数据中筛选出4个第二标杆竞品。
55.当然，除了针对每一个控制功能选择出一个第二标杆竞品外，还可以针对所有的控制功能，筛选出一个综合标杆竞品，这个综合标杆竞品在各个控制功能上的综合控制响应时间最小。
56.可理解的是，控制响应时间越小，表明白电产品的性能越优异。
57.在具体实施时，s370可以具体包括如下步骤s371～s372：
58.s371、编写数据导入插件，并采用所述数据导入插件将所述第二统计数据导入数据分析设备，以使所述数据分析设备采用2秒遍历的方式确定不同品牌的预设白电产品针对各个控制功能在控制响应时间上的差异；
59.其中，具体可以采用python语言编写数据导入插件，然后采用该插件将excell表格中的第二统计数据批量导入数据分析设备中，并利用数据分析设备进行差异分析。
60.其中，2秒遍历的方式是指针对每一行采用2秒的时间进行遍历，并针对这一行的数据进行对比的方式。
61.s372、根据不同品牌的预设白电产品针对各个控制功能在控制响应时间上的差异，确定各个控制功能分别对应的所述第二标杆竞品。
62.可见，通过上述s371～s372可以分析出第二标杆竞品。
63.s380、确定本品牌的预设白电产品与每一个所述第二标杆竞品针对对应控制功能在控制响应时间上的差异。
64.通过将本品牌的预设白电产品与每一个第二标杆竞品在控制响应时间上进行对比，可以得知本品牌的预设白电产品与各个第二标杆竞品在不同控制功能上的差异。这样后续可以分析每一个第二标杆竞品在对应控制功能上领先的关键影响因素，进而依据这些关键因素对本品牌的预设白电产品进行改进，提高本品牌的产品性能，提高用户体验性。
65.当然，也可以将本品牌的预设白电产品与综合标杆竞品在各个控制功能上进行比较，从而分析这个综合标杆竞品领先的关键影响因素，从而依据这些关键因素对本品牌的预设白电产品进行改进，提高本品牌的产品性能，提高用户体验性。
66.举例来说，智能白电产品为空调，所述控制功能包括模式切换，s200中执行测试用例的过程可以包括：采用多个不同品牌的所述预设白电产品的客户端执行模式切换对应的测试用例，以使所述测试用例根据身份标识和名称确定对应的目标控件，并调用模式切换对应的函数方法生成模式切换指令，并将所述模式切换指令发送至所述目标控件。
67.也就是说，测试用例可以根据名称和身份标识对目标控件进行定位，进而采用函数方法生成控制指令，将控制指令发送给目标控件，即发送给预设白电产品，以使白电产品执行控制指令。
68.本发明提供的智能白电产品的自动化测评方法，针对不同的控制功能设计对应的测试用例，然后采用多个不同品牌的预设白电产品的客户端执行测试用例，并记录执行过
程，根据执行过程可以分析出不同品牌的预设白电产品在不同控制功能上的测评情况。在这个过程中，并不是人为操控预设白电产品，也并非采用人工对白电产品的操作进行评价，因此减少了人员的参与，不仅可以减少或避免因过多人员参与带入的主观因素，提高测评分析的客观准确性，而且提高了测评的效率。即减少人为干预，使得测评结果更加客观。
69.第二方面，本发明提供一种智能白电产品的自动化测评装置，该装置包括：
70.用例设计模块，用于针对预设白电产品的至少一个控制功能，分别设计对应的测试用例；
71.用例执行抹开，用于采用多个不同品牌的所述预设白电产品的客户端执行每一个所述控制功能对应的所述测试用例，并对每一个所述测试用例的执行过程进行记录；
72.用例分析模块，用于根据所记录的各个测试用例的执行过程，分析不同品牌的所述预设白电产品的每一个所述控制功能在预设指标上的测评情况。
73.可理解的是，本发明实施例提供的装置，有关内容的解释、举例、有益效果等部分可以参考上述方法中的相应部分，此处不再赘述。
74.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
75.本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、挂件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。
76.以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。