基于图像特征匹配的元素识别方法及系统

本发明涉及软件自动化测试领域，具体涉及一种基于图像特征匹配的元素识别方法及系统。

背景技术：

1、随着国产化进程的推进，国产操作系统的应用领域逐渐增加，而操作系统上兼容适配软件的稳定性和好用性也是用户持续关注的问题。自动化测试可以及时发现软件中的缺陷问题，能够保证软件的质量和提高测试过程中的整体效率。

2、对于所有gui自动化测试任务而言，如何识别被测控件元素是其首要问题和关键技术。与windows系统不同的是，国产操作系统的软件应用大多采取逆向适配的方式，传统的以开发框架和操作系统的api为基础的控件元素识别方法不适用于国产操作系统上的自动化测试，因此在控件元素识别时，需要采用其他识别方式，才能进行有效的元素控件定位。将元素控件定位方式应用到自动化测试平台中，完成国产操作系统上pc端的软件自动化测试。

3、中国发明专利“gui元素属性信息获取系统及方法”(申请号：202211384185.1)，该发明涉及一种在国产麒麟操作系统上的gui元素属性信息获取系统及方法，该发明通过查询控件的控件名称方式获取gui元素属性信息，只需调用一个动态链接库的函数接口即可满足国产操作系统用户对gui应用控件属性信息获取的需求，识别准确率高、识别效率高。然而，该发明只适用于基于qt开发框架的图形用户界面应用的自动化测试，无法满足采用其他图形界面开发框架开发的应用的控件识别，适用范围小。

4、中国发明专利“图像匹配方法及手机应用测试平台”(申请号：201410557254.3)，该发明公开了一种图像匹配的方法，该方法首先将模板图像在源图像中进行全局模板匹配查找出最佳匹配区域，然后计算出模板图像与源图像的特征点及特征向量，并根据特征点及特征向量计算最佳匹配区域与模板图像的视觉相似度，若所述视觉相似度为零，则判定最佳匹配区域与模板图像不匹配，若所述视觉相似度不为零，则获得所述模板图像与所述源图像的特征匹配点对，根据所述特征匹配点对，计算出最佳匹配图像的定位坐标。该方法存在两点不足：第一，此方法首先采用全局模板匹配方法查找最佳匹配区域，在不同屏幕分辨率或背景屏幕发生轻微变化下，全局模板匹配方法错误率较高，会出现初始最佳匹配区域查找错误，导致后续识别有误的问题。第二，若源图像中的有多处和模板图相似图像，会出现定位错误的问题。

5、中国发明专利“gui元素识别方法、装置及系统”(申请号cn201010137015.4)，该发明公开了一种gui元素识别方法、装置及系统，该方法包括生成gui元素识别信息的方法，对所显示的gui进行分析,从而获得目标gui元素的属性信息，最终生成该目标gui元素的识别信息。该方法使用gui元素的xpath信息识别待测控件元素，比如，获取对话框中的return按钮的方式为：“/element[@text＝form1’]/children/element[@text＝form2’]/children/element[@text＝'return']”。该方法实现了gui元素属性信息组织方法，清晰展示gui元素属性。该方法存在两点不足：第一：该方法依赖操作系统的gui元素获取接口，在国产操作系统中缺乏相关查询接口，从而无法适用于国产操作系统应用场景。第二：属性获取方式较为繁琐，需要分级去查询元素的属性信息，容易出现定位失误的问题。

技术实现思路

1、为了解决上述技术问题，本发明提供一种基于图像特征匹配的元素识别方法及系统。

2、本发明技术解决方案为：一种基于图像特征匹配的元素识别方法，包括：

3、步骤s1：分析测试用例的操作步骤中待测控件元素，获取当前的屏幕背景图像以及待测控件元素图像，并分别记录所述待测控件元素图像和所述屏幕背景图像的保存位置；

4、步骤s2：对所述待测控件元素图像和所述屏幕背景图进行灰度化得到灰度图，基于所述灰度图构建尺度空间，并在所述尺度空间每一层寻找特征点，再对相邻层进行比较获得局部最大值，得到所述待测控件元素图像和所述屏幕背景图像的特征点集合；

5、步骤s3：对所述待测控件元素灰度图和所述屏幕背景灰度图的特征点进行二进制编码并计算二者之间欧式距离，得到匹配特征点对集合；

6、步骤s4：对所述匹配特征点对集合进行优化，剔除掉不正确的匹配特征点对，得到优化后的匹配特征点对；

7、步骤s5：根据所述优化后的匹配特征点对判断所述屏幕背景图像中是否存在所述待测控件元素，如果存在，则计算所述待测控件元素在所述屏幕背景图像中的相对坐标位置。

8、本发明与现有技术相比，具有以下优点：

9、1、本发明公开了一种基于图像特征匹配的元素识别方法，采用双线性插值法模拟实际屏幕分辨率，采用高斯模糊模拟同一应用图标在不同屏幕分辨率上的模糊程度，从而构建尺度空间，保证在多种屏幕尺寸下都可以识别到图像的特征点，完成图像匹配。

10、2、本发明对图像特征匹配后的结果进行优化，采用屏幕分块的方式选取特征点，将特征点拟合成最优匹配模型，获取距离最近的图像匹配结果，提高了元素识别和测试结果判断的准确性。

11、3、本发明提供的方法，在不同屏幕分辨率下均可以准确识别到元素，自动化测试平台可移植性强，能够适应于不同开发架构的软件和无法获取软件元素api的场景，对元素控件的识别范围广，识别准确率高，能够满足国产操作系统上大多数软件的自动化测试。

技术特征：

1.一种基于图像特征匹配的元素识别方法，其特征在于，包括：

2.根据权利要求1所述的基于图像特征匹配的元素识别方法，其特征在于，所述步骤s1：分析测试用例的操作步骤中待测控件元素，获取当前的屏幕背景图像以及待测控件元素图像，并分别记录所述待测控件元素图像和所述屏幕背景图像的保存位置，具体包括：

3.根据权利要求2所述的基于图像特征匹配的元素识别方法，其特征在于，所述步骤s2：对所述待测控件元素图像和所述屏幕背景图进行灰度化得到灰度图，基于所述灰度图构建尺度空间，并在所述尺度空间每一层寻找特征点，再对相邻层进行比较获得局部最大值，得到所述待测控件元素图像和所述屏幕背景图像的特征点集合，具体包括：

4.根据权利要求3所述的基于图像特征匹配的元素识别方法，其特征在于，所述步骤s3：对所述待测控件元素灰度图和所述屏幕背景灰度图的特征点进行二进制编码并计算二者之间欧式距离，得到匹配特征点对集合，具体包括：

5.根据权利要求4所述的基于图像特征匹配的元素识别方法，其特征在于，所述步骤s4：对所述匹配特征点对集合进行优化，剔除掉不正确的匹配特征点对，得到优化后的匹配特征点对，具体包括：

6.根据权利要求5所述的基于图像特征匹配的元素识别方法，其特征在于，所述步骤s5：根据所述优化后的匹配特征点对判断所述屏幕背景图像中是否存在所述待测控件元素，如果存在，则计算所述待测控件元素在所述屏幕背景图像中的相对坐标位置，具体包括：

7.一种基于图像特征匹配的元素识别系统，其特征在于，包括下述模块：

技术总结
本发明涉及一种基于图像特征匹配的元素识别方法及系统，其方法包括：S1：获取当前的屏幕背景图像以及待测控件元素图像；S2：对待测控件元素图像和屏幕背景图进行灰度化得到灰度图，基于灰度图构建尺度空间，并在尺度空间中寻找特征点，得到特征点集合；S3：对特征点进行二进制编码并计算二者之间欧式距离，得到匹配特征点集合；S4：对匹配特征点集合进行优化，剔除掉不正确的匹配特征点对；S5：根据优化后的匹配特征点对判断屏幕背景图像中是否存在待测控件元素，如果存在，则计算待测控件元素在屏幕背景图像中的相对坐标位置。本发明方法通过图像特征匹配以获取待测控件的相对坐标位置，从而实现测试步骤的自动化执行。

技术研发人员：张赛赛,蒋东辰
受保护的技术使用者：北京林业大学
技术研发日：
技术公布日：2024/4/29