终端页面的响应时间的测试系统及测试方法与流程

本发明涉及视觉检测领域，尤其涉及一种终端页面的响应时间的测试系统及测试方法。

背景技术：

终端的图形用户界面是应用程序与用户交互的主要方式，图形用户界面为用户提供了各式各样的终端页面内容，用户利用鼠标或轨迹球在图形用户界面上的点击操作伴随着终端页面的跳转和变换，而终端页面的跳转时间(即响应时间)直接关系到用户的使用体验，因而响应时间测试是图形用户界面在推广应用前的重要测试内容。

随着机器视觉技术的迅猛发展，现有技术中，通常在人工点击页面跳转按钮时，利用相机对页面跳转的过程进行高频率的拍摄，再对拍摄的图片进行人工校验和对比，比较当前页面从开始发生跳转到稳定转换为另一个页面所用的时间，以此来衡量页面响应的速度。通过人工判断页面跳转过程中画面的变化情况，不仅很容易受到光线、观察角度或其他主观因素的影响，造成结果偏差，而且还会耗费大量的时间成本，严重影响了测试的效率。

技术实现要素：

本发明要解决的技术问题是为了克服现有技术中通过人工测试页面响应时间的误差较大且效率低的缺陷，提供一种终端页面的响应时间的测试系统及测试方法。

本发明是通过下述技术方案来解决上述技术问题：

一种终端页面跳转的响应时间的测试系统，所述测试系统包括：

虚拟鼠标构建模块，用于构建虚拟鼠标；

触发模块，用于利用所述虚拟鼠标在预设位置自动触发页面跳转操作；

图片采集模块，用于在所述页面跳转操作被触发时持续拍摄所述终端页面，以得到多张图片，多张所述图片按照时间先后排序，具有相同页面内容的所述图片具有相同的特征标识；

检测模块，用于按照所述排序依次对相邻的两张所述图片的特征标识进行检测；

当相邻的两张所述图片的特征标识不相同时，调用计算模块，所述计算模块用于利用相邻的两张所述图片的时间差计算所述响应时间。

较佳地，不同的所述页面跳转操作分别对应不同的虚拟按钮，不同的所述虚拟按钮分别具有不同的所述预设位置；

所述触发模块用于接收用户配置的所述预设位置，以及控制所述虚拟鼠标移动至所述预设位置对应的所述虚拟按钮上并点击，以触发所述虚拟按钮对应的所述页面跳转操作。

较佳地，所述图片采集模块在所述页面跳转操作被触发时持续拍摄所述终端页面，以得到页面跳转视频，以及将所述页面跳转视频按帧转换为多张图片；所述计算模块用于利用所述特征标识变化之后的第一帧图片的时间帧减去所述特征标识变化之前的最后一帧图片的时间帧，以得到所述响应时间；

或者，

所述图片采集模块在所述页面跳转操作被触发时持续拍摄所述终端页面，以生成多张相互独立的图片；所述计算模块用于利用所述特征标识变化之后的第一张图片的生成时间减去所述特征标识变化之前的最后一张图片的生成时间，以得到所述响应时间。

较佳地，所述测试系统还包括区域划分模块以及特征提取模块；

所述区域划分模块用于利用掩膜对多张所述图片分别划分出待识别区域，所述待识别区域包括所述特征标识；

所述特征提取模块用于对所述待识别区域进行ocr(光学字符)识别，以获取每张图片对应的所述特征标识。

较佳地，所述触发模块、所述检测模块以及所述计算模块通过pc(个人电脑)端的labview(一种程序开发环境)构建，所述pc端包括usb(通用串行总线)串口，所述labview包括visa(虚拟仪器软件体系结构)串口；

所述虚拟鼠标构建模块通过所述usb串口与所述pc端通信连接，所述触发模块通过所述visa串口接收所述虚拟鼠标的位置信息。

较佳地，所述终端页面由sgui(图形用户接口)生成。

一种终端页面跳转的响应时间的测试方法，所述测试方法包括：

构建虚拟鼠标；

利用所述虚拟鼠标在预设位置自动触发页面跳转操作，并在所述页面跳转操作被触发时持续拍摄所述终端页面，以得到多张图片，多张所述图片按照时间先后排序，具有相同页面内容的所述图片具有相同的特征标识；

按照所述排序依次对相邻的两张所述图片的特征标识进行检测；

当相邻的两张所述图片的特征标识不相同时，利用相邻的两张所述图片的时间差计算所述响应时间。

较佳地，不同的所述页面跳转操作分别对应不同的虚拟按钮，不同的所述虚拟按钮分别具有不同的所述预设位置；

所述利用所述虚拟鼠标在预设位置自动触发页面跳转操作的步骤包括：

接收用户配置的所述预设位置；

控制所述虚拟鼠标移动至所述预设位置对应的所述虚拟按钮上并点击，以触发所述虚拟按钮对应的所述页面跳转操作。

较佳地，所述在所述页面跳转操作被触发时持续拍摄所述终端页面，以得到多张图片的步骤包括：在所述页面跳转操作被触发时持续拍摄所述终端页面，以得到页面跳转视频；将所述页面跳转视频按帧转换为多张图片；

所述利用相邻的两张所述图片的时间差计算所述响应时间的步骤包括：

利用所述特征标识变化之后的第一帧图片的时间帧减去所述特征标识变化之前的最后一帧图片的时间帧，以得到所述响应时间；

或者，

所述在所述页面跳转操作被触发时持续拍摄所述终端页面，以得到多张图片的步骤包括：

所述在所述页面跳转操作被触发时持续拍摄所述终端页面，以生成多张相互独立的图片；

所述利用相邻的两张所述图片的时间差计算所述响应时间的步骤包括：

利用所述特征标识变化之后的第一张图片的生成时间减去所述特征标识变化之前的最后一张图片的生成时间，以得到所述响应时间。

较佳地，所述按照所述排序依次对相邻的两张所述图片的特征标识进行检测的步骤之前还包括：

利用掩膜对多张所述图片分别划分出待识别区域，所述待识别区域包括所述特征标识；

对所述待识别区域进行ocr识别，以获取每张图片对应的所述特征标识。

在符合本领域常识的基础上，上述各优选条件，可任意组合，即得本发明各较佳实例。

本发明的积极进步效果在于：本发明提供的终端页面的响应时间的测试系统及测试方法通过构建虚拟鼠标来模拟真实鼠标的点击操作，利用所述虚拟鼠标在预设位置自动触发页面跳转操作；接下来，在所述页面跳转操作被触发时持续拍摄所述终端页面，以得到多张图片，根据前一张图片的特征标识与紧邻的后一张图片的特征标识是否相同来自动判断页面是否发生跳转，当页面发生跳转后，可以自动计算出页面跳转的响应时间。由此，通过自动化的抓图对比方式，取代了人工点击和对比，有效节约了人力，提高了测试效率和准确度。

附图说明

图1为本发明实施例1的终端页面跳转的响应时间的测试系统的结构框图。

图2为本发明实施例2的终端页面跳转的响应时间的测试系统的结构框图。

图3为本发明实施例3的终端页面跳转的响应时间的测试方法的流程图。

图4为本发明实施例4的终端页面跳转的响应时间的测试方法的流程图。

具体实施方式

下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。

实施例1

一种终端页面跳转的响应时间的测试系统，如图1所示，所述测试系统1包括：

虚拟鼠标构建模块11，用于构建虚拟鼠标；所述虚拟鼠标可以是虚拟轨迹球。

触发模块12，用于利用所述虚拟鼠标在预设位置自动触发页面跳转操作；

本实施例中，在所述虚拟鼠标完成一次自动触发的页面跳转操作后，可以对虚拟鼠标进行复位，使得虚拟鼠标停留在预设的初始位置，例如，屏幕的左上角。

进一步地，所述触发模块12可以接收用户配置的所述预设位置，以及控制所述虚拟鼠标移动至所述预设位置对应的所述虚拟按钮上并点击，以触发所述虚拟按钮对应的所述页面跳转操作。

具体地，由于不同的所述页面跳转操作分别对应不同的虚拟按钮，不同的所述虚拟按钮分别具有不同的所述预设位置，在本实施例中，可以利用工控机构建虚拟鼠标，工控机的人机交互界面可上可以设置不同的控制虚拟鼠标移动的控制按钮，例如可以是初始化、停止、发送、pmsnavigation、safeguards、rcsvariables、rcshdvntsoftctrl等。pmsnavigation、safeguards、rcsvariables、rcshdvntsoftctrl这四个控制按钮可以分别控制虚拟鼠标移动到一个预设坐标位置的虚拟按钮上。

另外，在工控机的人机交互界面上，还可以设置字符串输入框，用户可以在字符串输入框中输入自定义的坐标，再点击发送按钮后，鼠标便可以移动到用户自定义坐标所对应的虚拟按钮上，以触发该虚拟按钮对应的页面跳转操作。

图片采集模块13，用于在所述页面跳转操作被触发时持续拍摄所述终端页面，以得到多张图片，多张所述图片按照时间先后排序，具有相同页面内容的所述图片具有相同的特征标识；相应地，具有不同页面内容的所述图片具有不同的特征标识，也可以说，每一个页面都具有唯一的特征标识。

检测模块14，用于按照所述排序依次对相邻的两张所述图片的特征标识进行检测；

当相邻的两张所述图片的特征标识不相同时，调用计算模块15，所述计算模块15用于利用相邻的两张所述图片的时间差计算所述响应时间。

优选地，所述终端页面可以由sgui(图形用户接口)生成。

本实施例中，可以利用视频采集卡(例如天创恒达的tc-540n型号的视频采集卡)采集页面跳转过程的图像，在这种情况下，所述图片采集模块13在所述页面跳转操作被触发时持续拍摄所述终端页面，以得到页面跳转视频，以及将所述页面跳转视频按帧转换为多张图片(例如，每秒视频转化为60帧图片)；所述计算模块15用于利用所述特征标识变化之后的第一帧图片的时间帧减去所述特征标识变化之前的最后一帧图片的时间帧，以得到所述响应时间。

另外，还可以利用相机直接拍摄所述页面跳转过程中的图像，在这种情况下，所述图片采集模块13在所述页面跳转操作被触发时持续拍摄所述终端页面，以生成多张相互独立的图片。所述计算模块15用于利用所述特征标识变化之后的第一张图片的生成时间减去所述特征标识变化之前的最后一张图片的生成时间，以得到所述响应时间。

所述图片可以以其所属的时间帧来命名或者以其生成时间来命名，便于查看时间的变化，利于后续响应时间的计算。完成命名之后的图片被存储在指定的文件夹下，所述文件夹具有指定的读取基路径。

可以理解的是，本实施例中的测试系统1可以用于多种领域的人机交互页面的响应时间的测试，例如：核电仿真领域、风电仿真领域等，本实施例对其应用领域不作具体限制。在检测页面跳转的响应时间的同时，还可以控制图片采集模块13在虚拟鼠标开始移动时便开始采集图片信息，从而还能够得到鼠标的移动时间，通过检测开始ocr识别到ocr识别结束所需的时间还可以得到ocr识别处理时间，所述鼠标的移动时间、页面跳转的响应时间以及ocr识别处理时间的加和可以从整体上反应整个系统的运行情况。

本实施例提供的终端页面跳转的响应时间的测试系统通过自动化的抓图对比方式，取代了人工点击和对比，有效节约了人力，提高了测试效率和准确度。

实施例2

一种终端页面跳转的响应时间的测试系统，如图2所示，所述测试系统是在实施例1基础上的进一步改进。

具体地，所述测试系统1还包括区域划分模块16以及特征提取模块17；

所述区域划分模块16用于利用掩膜对多张所述图片分别划分出待识别区域，所述待识别区域包括所述特征标识；所述特征提取模块17用于对所述待识别区域进行ocr(光学字符)识别，以获取每张图片对应的所述特征标识。

所述区域划分模块16可以从前述的基路径指向的文件夹中读取存储的图片。

在进行批量的图片识别之前，可以对特征提取模块进行visionocrtraining(文字识别训练)，生成*.abc类型的文件，以用于对所述图片中的待识别区域进行ocr识别与判断。

在对特征标识进行识别的过程中，还可以利用现有技术中的滤波算法去除识别错误的图片，以排除错误识别以及个别字符无法识别造成的误差，从而降低后续计算过程中的噪声和干扰，提高了准确度。

本实施例中，所述触发模块12、所述检测模块14以及所述计算模块15通过pc(个人电脑)端的labview(一种程序开发环境)构建，所述触发模块12、所述检测模块14以及所述计算模块15可以并行执行多个页面跳转操作，例如，若触发模块12以及检测模块14已经完成了当前页面跳转操作的响应时间测试中的信号触发以及特征标识识别的工作，工作流程已经转入计算模块15，由计算模块15对响应时间进行计算，在计算模块15执行当前页面跳转操作的响应时间计算时，已经空闲的触发模块12以及检测模块14可以继续进行下一个页面跳转操作的响应时间测试中的信号触发以及特征标识识别的工作。

本实施例中，可以通过labview平台中的vision图像处理开发包，配合visionacquisitionsoftware模块与visiondevelopmentmodule模块来完成触发模块12、检测模块14以及计算模块15等软件模块的构建。所述pc端包括usb(通用串行总线)串口，所述labview包括visa(虚拟仪器软件体系结构)串口。所述虚拟鼠标构建模块11通过所述usb串口与所述pc端通信连接，所述触发模块12通过所述visa串口接收所述虚拟鼠标的位置信息。

本实施例中，所述pc(个人电脑)端可以通过调整电脑内部硬件配置实现工作站的功能。所述图片采集模块13可以利用rs232(一种串行通信接口标准)类型的电缆线，将采集的图片传输至所述起到工作站作用的pc端。

本实施例提供的终端页面跳转的响应时间的测试系统通过滤波算法降低了误差，并且通过掩膜的方式来提高识别效率，从而进一步优化了响应时间测试的整体流程，大大提高了测试质量，填补了图形用户界面的自动化工厂测试的空白。

实施例3

本实施例提供一种终端页面跳转的响应时间的测试方法，如图3所示，所述测试方法可以包括如下步骤：

步骤s1：构建虚拟鼠标；所述虚拟鼠标可以通过模拟轨迹球来实现。

步骤s2：利用所述虚拟鼠标在预设位置自动触发页面跳转操作，并在所述页面跳转操作被触发时持续拍摄所述终端页面，以得到多张图片，多张所述图片按照时间先后排序，具有相同页面内容的所述图片具有相同的特征标识。

本实施例中，在所述虚拟鼠标完成一次自动触发的页面跳转操作后，可以对虚拟鼠标进行复位，使得虚拟鼠标停留在预设的初始位置，例如，屏幕的左上角。

本实施例中，可以接收用户配置的所述预设位置，控制所述虚拟鼠标移动至所述预设位置对应的所述虚拟按钮上并点击，以触发所述虚拟按钮对应的所述页面跳转操作。

具体地，由于不同的所述页面跳转操作分别对应不同的虚拟按钮，不同的所述虚拟按钮分别具有不同的所述预设位置，在本实施例中，可以利用工控机构建虚拟鼠标，工控机的人机交互界面可上可以设置不同的控制虚拟鼠标移动的控制按钮，例如可以是初始化、停止、发送、pmsnavigation、safeguards、rcsvariables、rcshdvntsoftctrl等。pmsnavigation、safeguards、rcsvariables、rcshdvntsoftctrl这四个控制按钮可以分别控制虚拟鼠标移动到一个预设坐标位置的虚拟按钮上。

另外，在工控机的人机交互界面上，还可以设置字符串输入框，用户可以在字符串输入框中输入自定义的坐标，再点击发送按钮后，鼠标便可以移动到用户自定义坐标所对应的虚拟按钮上，以触发该虚拟按钮对应的页面跳转操作。

步骤s3：按照所述排序依次对相邻的两张所述图片的特征标识进行检测；

当相邻的两张所述图片的特征标识不相同时，表明页面发生了跳转，则执行步骤s4：利用相邻的两张所述图片的时间差计算所述响应时间。

当相邻的两张所述图片的特征标识相同时，表明页面还没有完成跳转，则继续执行步骤s3，即将后一次的结果不断与前一次的结果进行匹配，直到完成页面跳转。

优选地，所述终端页面可以由sgui(图形用户接口)生成。

本实施例中，可以利用视频采集卡(例如天创恒达的tc-540n型号的视频采集卡)采集页面跳转过程的图像，基于此，所述步骤s2可以包括：在所述页面跳转操作被触发时持续拍摄所述终端页面，以得到页面跳转视频；将所述页面跳转视频按帧转换为多张图片；在这种情况下，所述步骤s4可以包括：利用所述特征标识变化之后的第一帧图片的时间帧减去所述特征标识变化之前的最后一帧图片的时间帧，以得到所述响应时间。

另外，还可以利用相机直接拍摄所述页面跳转过程中的图像，基于此，所述步骤s2可以包括：所述在所述页面跳转操作被触发时持续拍摄所述终端页面，以生成多张相互独立的图片；在这种情况下，所述步骤s4可以包括：利用所述特征标识变化之后的第一张图片的生成时间减去所述特征标识变化之前的最后一张图片的生成时间，以得到所述响应时间。

所述图片可以以其所属的时间帧来命名或者以其生成时间来命名，便于查看时间的变化，利于后续响应时间的计算。完成命名之后的图片被存储在指定的文件夹下，所述文件夹具有指定的读取基路径。

可以理解的是，本实施例中的测试方法可以用于多种领域的人机交互页面的响应时间的测试，例如：核电仿真领域、风电仿真领域等，本实施例对其应用领域不作具体限制。在检测页面跳转的响应时间的同时，还可以控制图片采集模块在虚拟鼠标开始移动时便开始采集图片信息，从而还能够得到鼠标的移动时间，通过检测开始ocr识别到ocr识别结束所需的时间还可以得到ocr识别处理时间，所述鼠标的移动时间、页面跳转的响应时间以及ocr识别处理时间的加和可以从整体上反应整个系统的运行情况。

本实施例提供的终端页面跳转的响应时间的测试方法通过自动化的抓图对比方式，取代了人工点击和对比，有效节约了人力，提高了测试效率和准确度。

实施例4

本实施例提供一种终端页面跳转的响应时间的测试方法，如图4所示，该测试方法是在实施例3基础上的进一步改进。

进一步地，所述步骤s3之前还可以包括：

步骤s5：利用掩膜对多张所述图片分别划分出待识别区域，所述待识别区域包括所述特征标识；

步骤s6：对所述待识别区域进行ocr识别，以获取每张图片对应的所述特征标识。

在执行步骤s5之前，还可以从前述的基路径指向的文件夹中读取存储的图片。

本实施例中，在对特征标识进行识别的过程中，还可以利用现有技术中的滤波算法去除识别错误的图片，以排除错误识别以及个别字符无法识别造成的误差，从而降低后续计算过程中的噪声和干扰，提高了准确度。

本实施例提供的终端页面跳转的响应时间的测试系统通过滤波算法降低了误差，并且通过掩膜的方式来提高识别效率，从而进一步优化了响应时间测试的整体流程，大大提高了测试质量，填补了图形用户界面的自动化工厂测试的空白。

虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。