界面关系遍历智能化测试方法、装置、终端及存储介质

1.本发明涉及软件测试技术领域，尤其涉及一种界面关系遍历智能化测试方法、装置、终端及存储介质。


背景技术：

2.近年来，互联网行业发展迅猛，各式各样的应用涌现出来，关系到社会生活的方方面面，与此同时，对于软件应用的测试技术也随之有着越发重要的地位。目前很多行业因为保密的原因，在测试方面并不会有源码的提供，测试者需要对软件的特性进行黑盒测试，针对服务端返回的数据进行测试用例的编写。然而，在图像方面，目前不管是在web开发还是客户端开发，市面上绘图插件种类繁多，数据格式无法统一。并且因为图像数据的特殊性，测试者很难单纯通过数据测试出图像的具体状态，仅可以判断数据的正确性，并不能保证最后展示的合理性。因此，针对界面特性的新的测试技术在学术界和工业界成为了一个重要的热点问题。
3.在涉及图形程序的测试中，图像识别技术已经成为了主流方法，这是因为图像的特殊性，从数据层面很难进行真正有效地测试，测试者们于是更加关注通过图像识别，针对软件的界面进行理解测试。目前大部分的图像测试技术都是图像识别和机器学习结合进行的测试，通过人的参与进行标注，结合机器学习，最终将训练出来的模型用于图形的识别处理。但是，因为机器学习需要大量的数据，所以在这方面人工的投入非常高。同时，人存在主观判断问题，如角度的细微偏差，可能会因为人的观察问题，将普通三角形标注为直角三角形；又比如两条线段的平行关系，当线段相差较远时，人很容易主观将不平行的线段视为平行线段。于是，人的主观问题会导致在某些图形类别上出现问题，最常见的是直角、平行关系、长短关系判断的偏差。人的偏差会导致训练数据出现问题，影响模型，最后平面几何的测试结果会出现问题，尤其是在不同类型图形的临界点上，如等边三角形和等腰三角形等。因此，我们希望能够研究一种方法，尽量摆脱人的参与，提高测试的客观性，从而达到提高准确度的目的。
4.传统的软件测试领域对于界面遍历的测试方法存在偏差，现有测试无法满足复杂平面几何特性的检测。


技术实现要素：

5.为了克服现有技术的软件测试领域对于界面遍历的测试方法依然不足，本发明提供一种界面关系遍历智能化测试方法、装置、终端及存储介质，其通过图像识别技术分析图形点、线段、角度关系，代替人工判断，提高精确度，并且能够自定义界面关系，满足复杂界面关系的检测。
6.本发明采用如下技术方案实现：一种界面关系遍历智能化测试方法，包括：获取录制视频；
获取预定义和/或自定义的界面关系；通过图像处理技术，对录制视频中的图像进行边缘分析和概率霍夫变换提取图形特征；根据预定义和/或自定义的界面关系生成界面关系表；通过遍历测试技术，根据图形特征的数据与界面关系表进行匹配，对匹配结果与界面关系项的权值进行界面关系的遍历程度的计算，根据预定的遍历程度阈值判断测试是否通过，将判断结果生成测试报告。
7.可选地，所述图形特征包括点信息、线信息及角信息。
8.可选地，所述图形特征的提取包括图形边缘提取、直线信息提取及角信息提取。
9.进一步可选地，所述图形边缘提取的步骤包括：使用图像二值化技术，通过设定阈值，将图像转换而二值图像，排除色彩的干扰，同时，删除处理后图像中零散的点，排除干扰像素，接着使用canny技术来进行边缘检测，首先应用高斯滤波来平滑图像，去除部分噪声，然后寻找图像的强度梯度，应用非最大抑制技术消除边的误检，接着用双阈值来决定可能的边界，最后使用滞后技术跟踪边界。
10.进一步可选地，所述直线信息提取的步骤包括：先随机获取边缘上的前景点，然后映射到极坐标系中画出曲线，当极坐标系里面的交点达到最小投票数，则将该点对应的直线找出，搜索在直线上的前景点，练成线段。
11.进一步可选地，所述角信息提取的步骤包括：根据直线信息提取的数据，构建每一条直线的向量，根据线段的两个端点，判断两个线段是否相交，若相交，则根据两个线段所在的向量进行角度的计算。
12.可选地，所述界面关系表包括点与点之间的关系、直线与直线之间的关系以及角度与角度之间的关系。
13.此外，为实现上述目的，本发明还提供一种界面关系遍历智能化测试装置，包括：上传模块，用于获取录制视频；设定模块，用于获取预定义和/或自定义的界面关系；图形特征提取模块，用于对录制视频中的图像进行边缘分析和概率霍夫变换提取图形特征；界面关系配置模块，用于根据预定义和/或自定义的界面关系生成界面关系表；界面关系检验模块，用于根据图形特征的数据与界面关系表进行匹配，对匹配结果与界面关系项的权值进行界面关系的遍历程度的计算，根据预定的遍历程度阈值判断测试是否通过，将判断结果生成测试报告。
14.此外，为实现上述目的，本发明还提供一种终端，所述终端包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的界面关系遍历智能化测试程序，其中：所述界面关系遍历智能化测试程序被所述处理器执行时实现上述所述的界面关系遍历智能化测试方法的步骤。
15.此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有界面关系遍历智能化测试程序，所述界面关系遍历智能化测试程序被处理器执行时实现如上述所述的界面关系遍历智能化测试方法的步骤。
16.相比现有技术，本发明的有益效果在于：
本发明的界面关系遍历智能化测试方法、装置、终端及存储介质，解决了现有测试无法满足复杂平面几何特性的检测的问题，通过图像识别技术分析图形特征的点、线段、角度关系，代替人工判断，提高精确度，并且能够自定义界面关系，满足复杂界面关系的检测，图像处理技术与遍历测试结合，完成界面关系遍历智能化测试。
附图说明
17.图1为本发明的界面关系遍历智能化测试方法的实施流程图；图2为图1所示的图形特征提取模块的流程图；图3为图1所示的界面关系配置模块的流程图；图4为图1所示的界面关系检验模块的流程图。
具体实施方式
18.下面，结合具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。
19.图1是本发明的界面关系遍历智能化测试方法的实施流程图，如图1所示，该界面关系遍历智能化测试方法至少包括如下步骤：s10，获取录制视频；s20，获取预定义和/或自定义的界面关系；s30，通过图像处理技术，对录制视频中的图像进行边缘分析和概率霍夫变换提取图形特征；s40，根据预定义和/或自定义的界面关系生成界面关系表；s50，通过遍历测试技术，根据图形特征的数据与界面关系表进行匹配，对匹配结果与界面关系项的权值进行界面关系的遍历程度的计算，根据预定的遍历程度阈值判断测试是否通过，将判断结果生成测试报告。
20.本发明解决了现有测试无法满足复杂平面几何特性的检测的问题，通过图像识别技术分析图形特征的点、线段、角度关系，代替人工判断，提高精确度，并且能够自定义界面关系，满足复杂界面关系的检测，图像处理技术与遍历测试结合，完成界面关系遍历智能化测试。
21.在本实施例中，界面关系遍历智能化测试方法能够根据录屏视频，通过图像处理和界面关系匹配，生成界面遍历测试报告。该方法包括以下三个模块：1、图形特征提取模块：对图像进行图形特征提取，去除其中的干扰像素，对有效像素区域提取点、线、角等有效信息，作为界面匹配的必要信息。本部分的特征提取首先采用图像二值化技术，将图片转化为二值图，以屏蔽色彩的干扰，并通过设置阈值，将零散的点去除，排除部分干扰像素。接着使用边缘检测技术，提取图形的边缘信息，即组成图形的边，同时将过短线段去除，排除干扰信息。接着使用概率霍夫变换技术，识别图像中的直线，记录其向量。曲线区域使用连续的点进行表示，以匹配如圆、椭圆之类的规则。角度的计算采用概率霍夫变换的结果，计算直线之间的角度。此模块将输入的图形转换为由点信息、直线信息、角信息组成的对象，方便进行规则的匹配。
22.2、界面关系配置模块：该模块预先定义了部分界面关系，同时也可以自定义界面
关系来完成复杂界面关系的检测。本部分首先定义了界面关系的封装对象，包含点、直线、角三大封装。点关系包含点的距离关系，用来判断圆、椭圆等于点距离有关的平面几何图形。直线关系包含平面内两线关系，线的长短等。角关系包含内角和、直角判断、同角度角判断等。在不同的界面关系中，会额外定义权值，最后检验的时候使用该权值进行遍历程度计算。同时，该模块会给出部分简单的界面关系，方便直接调用。
23.3、界面关系检验模块：利用图形特征提取模块和界面关系配置模块的结果进行匹配，并给出最终的遍历程度结果。本部分首先取出图形特征提取模块的结果对象，包含点信息、直线信息、角信息。将特征对象与指定的界面关系进行匹配，并根据预先定义的权值计算遍历程度。该模块给出阈值，超出阈值则认为该图形通过测试，若为达到，则给出遍历测试报告。
24.在一个优选方案中，所述图形特征包括点信息、线信息及角信息。所述图形特征的提取包括图形边缘提取、直线信息提取及角信息提取。所述界面关系表包括点与点之间的关系、直线与直线之间的关系以及角度与角度之间的关系。
25.本发明基于界面特性进行遍历测试，主要采用了图像处理技术和遍历测试技术，涉及到的具体关键技术有图像二值化技术(threshold)、边缘检测技术(canny)、概率霍夫变换等。
26.如图2所示，在图形边缘提取模块中，对于图片的消噪预处理采用的是图像二值化技术，接着采用canny技术提取边缘信息，利用概率霍夫变换获取直线信息，并根据直线的向量信息计算角信息。具体的，该图形边缘提取的步骤包括：1、图形边缘提取在本发明中，对于用户提供的图形图片，我们首先进行预处理，排除颜色干扰，去除干扰像素区域，这里使用图像二值化技术，通过设定阈值，将图像转换而二值图像，排除色彩的干扰，同时，删除处理后图像中零散的点，排除干扰像素。接着使用canny技术来进行边缘检测，首先应用高斯滤波来平滑图像，去除部分噪声，然后寻找图像的强度梯度，应用非最大抑制技术消除边的误检，接着用双阈值来决定可能的边界，最后使用滞后技术跟踪边界。
27.2、直线信息提取在本发明中，我们在完成图形边缘提取之后，我们通过概率霍夫变换来获取图形中的直线信息。原理很简单，先随机获取边缘上的前景点，然后映射到极坐标系中画出曲线，当极坐标系里面的交点达到最小投票数，则将该点对应的直线找出，搜索在直线上的前景点，练成线段即可。
28.3、角信息提取在本发明中，根据直线信息提取的数据，构建每一条直线的向量，根据线段的两个端点，判断两个线段是否相交，若相交，则根据他们所在的向量进行角度的计算。
29.如图3所示，在界面关系配置模块中，模块预先对一些界面关系，用户可以直接选择使用，针对复杂界面，可以自定义界面关系，最终生成界面关系表。具体的，该界面关系配置模块包括如下步骤：在本发明中，界面关系表中指定的界面关系主要有两个来源，一个是在界面关系配置模块中预先定义的简单界面关系，可以直接利用这些存在的界面关系构建界面关系
表。另一个来源是可以自主定义界面关系，通过特定格式定义点、直线、角的关系项，构成一组关系，生成对应的界面关系表。如果需要进行测试的图形构造复杂，可以将两个界面关系来源结合使用，共同生成一张界面关系表，方便进行灵活的界面关系遍历。
30.如图4所示，在界面关系校验模块中，首先获取图形特征提取模块的数据和界面关系配置模块的界面关系表，根据界面信息匹配对应的界面关系，并根据每个界面关系设定的权值计算遍历程度；若最终遍历程度达到预先设定的相似度阈值，则生成测试报告；若最终遍历程度并未达到预先设定的阈值，则未通过的测试。具体的，该界面关系检验模块包括如下步骤：1、界面关系匹配在本发明中，主要的界面关系分为三种，点与点之间的关系，直线与直线之间的关系，角度的关系。在进行界面关系的时候，从图形特征提取模块中取得数据，将其中的点数据与界面关系中的点进行匹配，直线与角也进行相应的匹配，并生成匹配结果。
31.2、生成遍历测试报告在本发明中，根据界面关系的匹配结果，最终会生成遍历测试报告。在进行界面关系定义的时候，会给每一条界面关系项附加权值，结合匹配结果与权值来进行遍历程度的计算。同时，界面关系检验模块中会预先设定遍历程度阈值，若遍历程度达到阈值，则认为遍历测试通过，输出测试报告；若并未达到阈值，则会将遍历测试失败的项整合为一个失败报告，将生成的测试报告呈现给用户。
32.本发明的用户界面识别智能化测试方法首次将平面几何特性引入遍历测试领域，2. 首次将图像处理技术与遍历测试结合，完成界面关系遍历智能化测试，3.首次使得平面几何测试脱离对人为判断的依赖，通过图像分析代替机器学习，提高测试的客观性，从而达到提高准确度的目的。
33.此外，本发明还提供一种界面关系遍历智能化测试装置，包括：上传模块，用于获取录制视频；设定模块，用于获取预定义和/或自定义的界面关系；图形特征提取模块，用于对录制视频中的图像进行边缘分析和概率霍夫变换提取图形特征；界面关系配置模块，用于根据预定义和/或自定义的界面关系生成界面关系表；界面关系检验模块，用于根据图形特征的数据与界面关系表进行匹配，对匹配结果与界面关系项的权值进行界面关系的遍历程度的计算，根据预定的遍历程度阈值判断测试是否通过，将判断结果生成测试报告。
34.此外，本发明还提供一种终端，所述终端包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的界面关系遍历智能化测试程序，其中：所述界面关系遍历智能化测试程序被所述处理器执行时实现上述所述的界面关系遍历智能化测试方法的步骤。
35.此外，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有界面关系遍历智能化测试程序，所述界面关系遍历智能化测试程序被处理器执行时实现如上述所述的界面关系遍历智能化测试方法的步骤。
36.还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包
括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
37.本发明一个或多个实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本技术的一个或多个实施例，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
38.本发明中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
39.以上所述仅为本文件的实施例而已，并不用于限制本文件。对于本领域技术人员来说，本文件可以有各种更改和变化。凡在本文件的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本文件的权利要求范围之内。