基于控件属性和图像识别的自动化测试方法、系统、电子设备及存储介质与流程

1.本发明属于汽车领域，尤其涉及一种基于控件属性和图像识别的自动化测试方法、系统、电子设备及存储介质。


背景技术：

2.车控功能是指汽车座舱显示设备中设置车辆雨刮、后视镜、尾门、声光、驾驶模式、仪表显示模式等各项车辆功能的软件。车控功能涉及汽车座舱显示设备与车身控制器、仪表盘、无线网关等多个汽车功能模块之间的can信号通信，因此该功能的稳定性与乘客行车安全和用车体验高度关联，是汽车部件测试环节的重点测试对象。
3.目前现有针对车控功能的测试方法存在控件元素定位方法单一、控件元素状态识别困难、测试流程复杂等问题，对测试人员要求较高，自动化程度不足，亟需一种准确有效的自动化测试方法实现车控功能测试。
4.cn110308346a公开了一种基于图像识别的软件测试方法，通过图像识别待测试应用程序的界面中的控件元素，判断控件元素是否匹配，进而对完成匹配的控件元素进行操作控制。该技术仅采用了图像识别作为单一的控件元素定位方法，若应用程序界面中存在相同或者相似的控件元素，将出现控件元素识别精度下降进而导致识别失败的问题。
5.cn108509342a公开了一种精准快速的app自动化测试方法，可以通过控件/ocr/图像识别等三种机制，完成屏幕中控件元素的精准定位。
6.该技术通过控件/ocr/图像识别三种机制实现屏幕控件元素的精准定位。该技术仅涉及如何实现屏幕元素的定位。


技术实现要素：

7.为解决上述技术问题，本发明提出一种基于控件属性和图像识别的自动化测试方法、系统、电子设备及存储介质的技术方案，以解决上述技术问题。
8.本发明第一方面公开了一种基于控件属性和图像识别的自动化测试方法，所述方法包括：
9.步骤s1、获取汽车座舱显示设备中车控功能显示的画面模型，通过对所述画面模型进行解析，获取画面中显示的控件元素属性；对画面截屏，从截屏图片中截取控件元素的可识别的图像；
10.步骤s2、针对测试内容中需要测试的控件元素，根据控件元素属性和图像，选择定位控件元素和判断控件元素状态的策略；
11.步骤s3、根据需要进行的车控功能测试内容选择需要测试的控件元素，根据实际测试需求设计所述控件元素的相关测试用例；
12.步骤s4、根据所述定位控件元素和判断控件元素状态的策略和所述测试用例，编写所述控件元素的查找定位、模拟点击、点击状态识别、can信号监测和测试报告生成的指
令程序；
13.步骤s5、运行所述指令程序，在汽车座舱显示设备的车控功能中完成被测控件元素的查找定位和模拟点击操作，将识别到的控件元素状态与can信号监测获得的信号值进行匹配，自动判断匹配的情况是否符合测试用例中的预期值，最终生成相应测试报告。
14.根据本发明第一方面的方法，在所述步骤s1中，所述控件元素属性包括名称、位置、大小和文本。
15.根据本发明第一方面的方法，在所述步骤s2中，根据控件元素属性定位控件元素的方法包括：
16.对于界面中存在外观相同或者相似的控件元素，采用控件元素属性定位所述控件元素。
17.根据本发明第一方面的方法，在所述步骤s2中，根据图像定位控件元素的方法包括：
18.对于控件元素属性相同的控件元素，利用图像识别定位所述控件元素。
19.根据本发明第一方面的方法，在所述步骤s2中，根据控件元素属性和图像，判断控件元素状态的方法包括：
20.对于被点击前后控件元素属性不发生改变的控件元素，通过图像识别判断所述控件元素状态。
21.本发明第二方面公开了一种基于控件属性和图像识别的自动化测试系统，所述系统包括：
22.上位机、汽车座舱显示设备以及can信号采集设备，所述上位机与所述汽车座舱显示设备连接，所述上位机与所述can信号采集设备连接，所述汽车座舱显示设备与所述can信号采集设备连接；所述汽车座舱显示设备为被测设备，所述can信号采集设备用于收集can信号数据；
23.所述上位机内装有画面模型解析软件、图像识别软件以及测试指令程序编写软件；所述画面模型解析软件用于获取画面中显示的控件元素属性，并根据控件元素属性定位控件元素；所述图像识别软件用于截取控件元素的可识别图像，并利用图像识别算法定位控件元素和识别控件元素的点击状态；测试指令程序编写软件用于将设计的测试用例编写为指令程序，指令程序包括控件元素查找定位、模拟点击、点击状态识别、can信号监测、测试报告生成。
24.根据本发明第二方面的系统，所述控件元素属性包括名称、位置、大小和文本；
25.根据控件元素属性定位控件元素的方法包括：
26.对于界面中存在外观相同或者相似的控件元素，采用控件元素属性定位所述控件元素。
27.根据本发明第二方面的系统，根据图像定位控件元素的方法包括：
28.对于控件元素属性相同的控件元素，利用图像识别定位所述控件元素；
29.根据图像，判断控件元素状态的方法包括：
30.对于被点击前后控件元素属性不发生改变的控件元素，则通过图像识别判断所述控件元素状态。
31.本发明第三方面公开了一种电子设备。电子设备包括存储器和处理器，存储器存
储有计算机程序，处理器执行计算机程序时，实现本公开第一方面中任一项的一种基于控件属性和图像识别的自动化测试方法中的步骤。
32.本发明第四方面公开了一种计算机可读存储介质。计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时，实现本公开第一方面中任一项的一种基于控件属性和图像识别的自动化测试方法中的步骤。
33.本发明提出的方案，
34.1、能够有效解决控件元素定位精度差及其点击状态难以识别的问题，有效提高控件元素的定位、识别的精度和速度。
35.2、通过编写控件元素的查找定位、模拟点击、点击状态识别、can信号监测、测试报告生成等指令程序，建立自动化测试链路，有效优化测试流程、提高测试效率。
附图说明
36.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
37.图1为根据本发明实施例的一种基于控件属性和图像识别的自动化测试方法的流程图；
38.图2为根据本发明实施例的控件元素的定位、识别流程图；
39.图3为根据本发明实施例的自动化测试系统结构示意图；
40.图4为根据本发明实施例的一种电子设备的结构图。
具体实施方式
41.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例只是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
42.本发明第一方面公开了一种基于控件属性和图像识别的自动化测试方法。图1为根据本发明实施例的一种基于控件属性和图像识别的自动化测试方法的流程图，如图1和图2所示，所述方法包括：
43.步骤s1、获取汽车座舱显示设备中车控功能显示的画面模型，通过对所述画面模型进行解析，获取画面中显示的控件元素属性；通过对画面截屏，从截屏图片中截取控件元素的可识别的图像，用于图像识别；所述控件元素属性包括名称、位置、大小和文本。
44.步骤s2、针对测试内容中需要测试的控件元素，根据控件元素属性和图像，选择定位控件元素和判断控件元素状态的策略；
45.根据控件元素属性定位控件元素的方法包括：
46.对于界面中存在外观相同或者相似的控件元素，采用控件元素属性定位所述控件元素。
47.根据图像定位控件元素的方法包括：
48.对于控件元素属性相同的控件元素，利用图像识别定位所述控件元素。
49.根据控件元素属性和图像，判断控件元素状态的方法包括：
50.对于被点击前后控件元素属性不发生改变的控件元素，则通过图像识别判断所述控件元素状态，识别其是否处于被点击状态。
51.步骤s3、根据需要进行的车控功能测试内容选择需要测试的控件元素，根据实际测试需求设计所述控件元素的相关测试用例；
52.步骤s4、根据所述定位控件元素和判断控件元素状态的策略和测试用例，编写控件元素的查找定位、模拟点击、点击状态识别、can信号监测和测试报告生成的指令程序；通过编写控件元素的查找定位、模拟点击、点击状态识别、can信号监测、测试报告生成等指令程序，建立自动化测试链路，有效优化测试流程、提高测试效率。
53.步骤s5、运行所述指令程序，在汽车座舱显示设备的车控功能中完成被测控件元素的查找定位、模拟点击操作，将识别到的控件元素状态与can信号监测获得的信号值进行匹配，自动判断匹配的情况是否符合测试用例中的预期值，最终生成相应测试报告。该方法能够有效解决控件元素定位精度差及其点击状态难以识别的问题，有效提高控件元素的定位、识别的精度和速度。
54.本发明能够有效提高车控功能中控件元素的定位、识别的精度和速度。同时本发明还建立了从模拟人工点击控件元素开始到最终生成测试报告的自动化测试链路，并实现了can信号通信的全流程监测，有效优化测试流程、提高测试效率。
55.在一些实施例中，为了能保证图像识别结果的准确性，可以合理调整图像识别的阙值或者采用多套独立的图像识别算法(例如3套)进行识别，当超过半数(2套)的图像识别算法给出符合预期测结果才会通过识别。
56.综上，本发明提出的方案能够，能够有效解决控件元素定位精度差及其点击状态难以识别的问题，有效提高控件元素的定位、识别的精度和速度。通过编写控件元素的查找定位、模拟点击、点击状态识别、can信号监测、测试报告生成等指令程序，建立自动化测试链路，有效优化测试流程、提高测试效率。
57.本发明第二方面公开了一种基于控件属性和图像识别的自动化测试系统。图3为根据本发明实施例的一种基于控件属性和图像识别的自动化测试系统的结构图；如图3所示，所述系统包括：上位机、汽车座舱显示设备以及can信号采集设备，所述上位机与所述汽车座舱显示设备连接，所述上位机与所述can信号采集设备连接，所述汽车座舱显示设备与所述can信号采集设备连接；所述汽车座舱显示设备为被测设备，所述can信号采集设备用于收集can信号数据；
58.所述上位机内装有画面模型解析软件、图像识别软件以及测试指令程序编写软件；所述画面模型解析软件用于获取画面中显示的控件元素属性，并根据控件元素属性定位控件元素；所述图像识别软件用于截取控件元素的可识别图像，并利用图像识别算法定位控件元素和识别控件元素的点击状态；测试指令程序编写软件用于将设计的测试用例编写为指令程序，指令程序包括控件元素查找定位、模拟点击、点击状态识别、can信号监测、测试报告生成。
59.在一些实施例中，所述控件元素属性包括名称、位置、大小和文本；
60.根据控件元素属性定位控件元素的方法包括：
61.对于界面中存在外观相同或者相似的控件元素，采用控件元素属性定位所述控件元素。
62.在一些实施例中，根据图像定位控件元素的方法包括：
63.对于控件元素属性相同的控件元素，利用图像识别定位所述控件元素；
64.根据图像，判断控件元素状态的方法包括：
65.对于被点击前后控件元素属性不发生改变的控件元素，则通过图像识别判断所述控件元素状态。
66.本发明第三方面公开了一种电子设备。电子设备包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时，实现本发明公开第一方面中任一项的一种基于控件属性和图像识别的自动化测试方法中的步骤。
67.图4为根据本发明实施例的一种电子设备的结构图，如图4所示，电子设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过wifi、运营商网络、近场通信(nfc)或其他技术实现。该电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该电子设备的输入装置可以是显示屏上覆盖的触摸层，也可以是电子设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
68.本领域技术人员可以理解，图4中示出的结构，仅仅是与本公开的技术方案相关的部分的结构图，并不构成对本技术方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
69.本发明第四方面公开了一种计算机可读存储介质。计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时，实现本发明公开第一方面中任一项的一种基于控件属性和图像识别的自动化测试方法中的步骤。
70.请注意，以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。以上实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。