界面控件匹配方法、设备、存储介质及程序产品与流程

本公开实施例涉及计算机与网络通信，尤其涉及一种界面控件匹配方法、设备、存储介质及程序产品。

背景技术：

1、在应用程序的开发过程中，通常需要对界面中的控件进行测试，以验证控件的响应事件是否符合预期。

2、为了适配不同类型设备或不同操作系统，通常需要对不同终端界面中的同一控件进行测试，目前当前大部分测试框架支持多端设备运行测试过程，但由于对不同终端进行了适配、待测试的控件图像的可能存在分辨率、位移、形变等差异，因此大部分测试框架通常不支持采用一套用例跨终端进行控件测试；在一些相关技术中，可在不同终端界面中通过传统的计算机视觉模型识别出匹配的待测试的控件图像，进而可采用一套用例进行控件测试。

3、但是，传统的计算机视觉模型在跨终端进行控件匹配时，控件图像匹配失败率较高，导致控件测试无法顺利进行。

技术实现思路

1、本公开实施例提供一种界面控件匹配方法、设备、存储介质及程序产品，以克服控件图像匹配失败率较高的问题。

2、第一方面，本公开实施例提供一种界面控件匹配方法，包括：

3、获取第一类终端的界面图中的目标控件图像；

4、获取待匹配的第二类终端的界面图中所有备选控件图像；

5、根据预设的相似距离计算模型分别获取所述目标控件图像以及任一备选控件图像的多个层次的特征，并获取所述目标控件图像与所述备选控件图像各层次的特征差，根据所述目标控件图像与所述备选控件图像各层次的特征差获取所述目标控件图像与所述备选控件图像的相似距离；

6、判断所述目标控件图像与各备选控件图像的相似距离中的最小相似距离是否小于预设阈值；

7、若确定最小相似距离小于预设阈值，则将所述最小相似距离对应的备选控件图像对应的备选控件确定为所述目标控件的匹配控件。

8、第二方面，本公开实施例提供一种界面控件匹配设备，包括：

9、获取单元，用于第一类终端的界面图中的目标控件图像；以及，获取待匹配的第二类终端的界面图中所有备选控件图像；

10、相似距离确定单元，用于根据预设的相似距离计算模型分别获取所述目标控件图像以及任一备选控件图像的多个层次的特征，并获取所述目标控件图像与所述备选控件图像各层次的特征差，根据所述目标控件图像与所述备选控件图像各层次的特征差获取所述目标控件图像与所述备选控件图像的相似距离；

11、判断单元，用于判断所述目标控件图像与各备选控件图像的相似距离中的最小相似距离是否小于预设阈值；若确定最小相似距离小于预设阈值，则将所述最小相似距离对应的备选控件图像对应的备选控件确定为所述目标控件的匹配控件。

12、第三方面，本公开实施例提供一种电子设备，包括：至少一个处理器和存储器；

13、所述存储器存储计算机执行指令；

14、所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如上第一方面以及第一方面各种可能的设计所述的界面控件匹配方法。

15、第四方面，本公开实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上第一方面以及第一方面各种可能的设计所述的界面控件匹配方法。

16、第五方面，本公开实施例提供一种计算机程序产品，包括计算机执行指令，当处理器执行所述计算机执行指令时，实现如上第一方面以及第一方面各种可能的设计所述的界面控件匹配方法。

17、本公开实施例提供的界面控件匹配方法、设备、存储介质及程序产品，通过获取第一类终端的界面图中的目标控件图像；获取待匹配的第二类终端的界面图中所有备选控件图像；根据预设的相似距离计算模型分别获取目标控件图像以及任一备选控件图像的多个层次的特征，并获取目标控件图像与备选控件图像各层次的特征差，根据目标控件图像与备选控件图像各层次的特征差获取目标控件图像与备选控件图像的相似距离；判断目标控件图像与各备选控件图像的相似距离中的最小相似距离是否小于预设阈值；若确定最小相似距离小于预设阈值，则将最小相似距离对应的备选控件图像对应的备选控件确定为目标控件的匹配控件。通过预先训练的相似距离计算模型来计算目标控件图像与各备选控件图像之间的相似距离，并通过将最小相似距离与预设阈值比较可以判断出备选控件图像中是否存在与目标控件图像匹配的控件图像，在确定备选控件图像中存在与目标控件图像匹配的控件图像时将最小相似距离对应的备选控件图像确定为目标控件图像的匹配控件图像，提高了匹配成功率，且具有较高的准确率，可以为采用同一套测试用例跨终端顺利进行控件测试提供基础。

技术特征：

1.一种界面控件匹配方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述将所述最小相似距离对应的备选控件图像对应的备选控件确定为所述目标控件图像的匹配控件后，还包括：

3.根据权利要求1所述的方法，其特征在于，所述获取所述目标控件图像与所述备选控件图像各层次的特征差，根据所述目标控件图像与所述备选控件图像各层次的特征差获取所述目标控件图像与所述备选控件图像的相似距离，包括：

4.根据权利要求1所述的方法，其特征在于，所述相似距离计算模型的多层卷积层采用alexnet模型的多层卷积层。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述相似距离计算模型是通过如下过程训练得到的：

6.根据权利要求1-4任一项所述的方法，其特征在于，所述预设阈值是通过如下过程确定：

7.根据权利要求1-4任一项所述的方法，其特征在于，所述获取第一类终端的界面图中的目标控件图像，包括：

8.一种界面控件匹配设备，其特征在于，包括：

9.一种电子设备，其特征在于，包括：至少一个处理器和存储器；

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1-7任一项所述的方法。

11.一种计算机程序产品，其特征在于，包括计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1-7任一项所述的方法。

技术总结
本公开实施例提供一种界面控件匹配方法、设备、存储介质及程序产品，通过预设的相似距离计算模型获取第一类终端的界面图中目标控件图像与待匹配的第二类类终端的界面图中各备选控件图像的相似距离；判断其中最小相似距离是否小于预设阈值；若是则将最小相似距离对应的备选控件确定为目标控件的匹配控件。通过相似距离计算模型计算目标控件图像与各备选控件图像的相似距离，将最小相似距离与预设阈值比较可判断备选控件图像中是否存在与目标控件图像匹配的控件图像，在确定存在时将最小相似距离对应的备选控件图像确定为目标控件图像的匹配控件图像，提高匹配成功率，具有较高准确率，为采用同一套测试用例跨终端顺利进行控件测试提供基础。

技术研发人员：冯亦军,陈柳杉,祝航程,马国俊
受保护的技术使用者：北京字跳网络技术有限公司
技术研发日：
技术公布日：2024/1/22