智能终端应用程序交互响应时延的自动计算方法及系统与流程

本发明涉及智能终端交互领域，尤指一种智能终端应用程序交互响应时延的自动计算方法及系统。

背景技术：

智能终端特别是智能手机的新变化要求与之相适应的智能终端评测体系和评测方法，有必要跳出传统的关注通信能力的测试，研究面向业务载体和服务平台的测试方法。用户体验是全面、有效评测智能终端产品作为业务载体和服务平台真实价值的核心指标，开展基于用户体验的测试得到行业的普遍认可。

图1为用户等待系统给出反馈的过程，即交互等待状态。在体验经济时代，用户对于等待过程的印象直接影响用户对于产品服务质量的感知和判断，进而影响用户的满意度和忠诚度。

研究表明，在应用程序使用过程中，应用程序(app)的加载时延是影响用户体验的主要部分。app的加载时延定义为用户点击终端的时刻与终端界面刚刚响应完成用户操作的两个时刻的差值。用户在app加载过程的等待体验实际上是受到两种主要因素的影响——实际等待时间和感觉等待时间。实际等待时间是客观存在的加载消耗时间，受技术、网络等基础因素限制；感觉等待时间是用户主观感知上的心理印象，两者都会对用户的决策行为产生影响。

由此智能终端用户体验评测可被分为主观评测和客观评测两种，主观评测是采用一定的评估方法应对体验作为个人心理感受的不稳定性、主观性、差异性和复杂性，量化用户的感受，准确获取用户体验信息并得到评测结果；客观评测主要是借助相关的测试仪器和测试软件，完成测试项的测试，并对测试数据综合处理获得评测结果。

目前常见的应用程序交互响应时延的计算方法有两种，第一种方法，终端交互的实际等待时延可通过嵌入式系统响应性能分析，即通过读取日志记录的形式获取输入和输出时间差，得到相关的延时性能，通过安装测试软件。这种方法的缺点是：测试智能终端系统界面或应用软件运行时单位时间内的帧数，得到流畅性能即响应时延指标，读取日志耗时长，且需要第三方软件接入，响应时延单纯计算系统内部响应的耗时，没有考虑交互过程中的时延，导致应用程序交互响应时延计算不准确。

第二种方法，将被测终端固定于安装有高速摄像机的操作台，使用机械手打开应用程序同时开始计时，高速摄像机将拍摄的图片传至服务器进行图像对比，匹配到应用程序响应完毕页面的标准图片后停止计时，计算时间差即应用程序响应时间。这种方法的缺点是：匹配模板图像需提前手动截取，匹配阈值不固定，交互起始时刻的判断计算耗时长，导致应用程序交互响应时延计算不正确。

技术实现要素：

为解决目前智能终端应用程序交互响应时延计算不准确的问题，本发明实施例提供一种智能终端应用程序交互响应时延的自动计算方法方法，该方法包括：

采集应用程序交互响应图像，对所述应用程序交互响应图像预处理；

通过图像识别确定所述应用程序触发时刻图像；

通过图像识别确定智能终端响应完成时刻图像；

计算所述应用程序交互响应时延。

本发明实施例还提供一种智能终端应用程序交互响应时延的自动计算系统，该系统包括：

高速摄像头，用以采集应用程序交互响应图像；

机械手，用以点击所述应用程序；

智能终端，用以加载所述应用程序；

计算单元；

其中，计算单元进一步包括，

图像预处理模块，对所述应用程序交互响应图像预处理；

触发时刻计算模块，通过图像识别确定所述应用程序触发时刻图像；

完成时刻计算模块，通过图像识别确定智能终端响应完成时刻图像；

交互响应时延计算模块，计算所述应用程序交互响应时延。

本发明实施例还提供一种计算机可读存储介质，其包括存储的计算机程序，当运行计算机程序时控制终端设备执行如下操作，

根据采集的应用程序交互响应图像，对所述应用程序交互响应图像预处理；

通过图像识别确定所述应用程序触发时刻图像；

通过图像识别确定智能终端响应完成时刻图像；

计算所述应用程序交互响应时延。

本发明可用于用户体验的客观评测，通过一系列的图像处理技术获得用户交互过程中的实际等待时延，计算过程自动进行，避免了人工参与，使得计算结果更准确，为智能终端评测系统开发和评测平台建设提供有价值的思路和建议。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为人机交互过程示意状态图；

图2为本发明实施例一种智能终端应用程序交互响应时延的自动计算方法的流程图；

图3为本发明实施例一种智能终端应用程序交互响应时延的自动计算系统的结构图；

图4为本发明一具体实施例的触发时刻交互区域的互相关值图；

图5为本发明一具体实施例的完成时刻交互区域的互相关值图。

具体实施方式

本发明实施例提供一种智能终端应用程序交互响应时延的自动计算方法和系统。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图2所示为本发明实施例一种智能终端应用程序交互响应时延的自动计算方法的流程图，本图中方法具体包括，步骤201，采集应用程序交互响应图像，对所述应用程序交互响应图像预处理。

步骤202，通过图像识别确定所述应用程序触发时刻图像。

步骤203，通过图像识别确定智能终端响应完成时刻图像。

步骤204，计算所述应用程序交互响应时延。

其中，所述对所述应用程序交互响应图像预处理包括灰度化处理、rgb处理等，当然本实施例中的灰度化处理、rgb处理只是一个举例，还可以有其他的预处理方式。

作为本发明的一个实施例，所述通过图像识别确定所述应用程序触发时刻图像包括，

设定触发时刻模板图像；

选取与所述触发时刻模板图像相似度达到触发时刻阈值的图像，从所述图像中确定所述应用程序触发时刻图像。

其中，所述相似度达到触发时刻阈值的图像可能为一个或多个，从中选取某一个图像作为触发时刻图像。

作为本发明一个实施例，所述通过图像识别确定智能终端响应完成时刻图像包括，

设定完成时刻模板图像；

选取与所述完成时刻模板图像相似度达到完成时刻阈值的图像，从所述图像中确定所述应用程序完成时刻图像。

其中，所述相似度达到完成时刻阈值的图像可能为一个或多个，从中选取某一个图像作为完成时刻图像。

作为本发明的一个实施例，所述对所述应用程序交互响应图像预处理包括，对所述应用程序交互响应图像灰度化处理，得到应用程序图像序列。

其中，在对所述应用程序交互响应图像灰度化处理之后，对每一帧图像进行编号，即，例如第一帧图像的序列号为1。

在本实施例中，所述通过图像识别确定所述应用程序触发时刻图像包括，

以第一帧图像为触发时刻模板图像，计算所述应用程序图像交互区域与所述触发时刻模板图像交互区域灰度值的互相关值大小，获得互相关向量；

计算所述互相关向量谷值，选取所述谷值对应的最大图像序列号，所述最大图像序列号对应的图像为应用程序触发时刻图像。

其中，所述交互区域可为人与智能终端交互区域或者机械手与智能终端的交互区域，由此可知，所述交互区域为智能终端显示界面中的一部分。

其中，所述计算所述互相关向量谷值包括，

记录所述互相关值首次小于触发时刻阈值的图像序列号；

在所述互相关值首次小于触发时刻阈值之后，记录其首次大于触发时刻阈值的图像序列号；

比较所述互相关值首次小于触发时刻阈值的图像序列号与所述其首次大于触发时刻阈值的图像序列号区间中对应的互相关值，该互相关值中的最小值为所述互相关向量谷值。

在本实施例中，互相关向量由应用程序交互响应图像对应的互相关值组成，所述互相关值可表示图像的相似度，当互相关值变小时，说明图像序列与触发时刻模板图像的相似度变小，当互相关值达到谷值时，可认为图像序列与触发时刻模板图像几乎完全不同，即，交互区域被手指或机械手指几乎完全遮挡。此时，在处于互相关向量谷值的图像可为一个或多个，从中选取触发时刻图像，可选取图像序列中序列号最大的图像作为触发时刻图像，即，选取该图像序列中最后一帧图像作为触发时刻图像。

其中，所述互相关向量谷值的确定是根据触发时刻阈值确定的，在应用程序交互响应的整个过程中，满足上述与触发时刻模板图像几乎完全不同的图像序列非常多，特别是在接近应用程序响应完成时刻时。为了避免应用程序响应后期对判断触发时刻图像的干扰，仅以互相关值首次小于触发时刻阈值与其随后首次大于触发时刻阈值之间的时间区域为依据，在该时间区域中的图片序列对应的互相关值中确定互相关向量谷值。

在本实施例中，所述通过图像识别确定智能终端响应完成时刻图像包括，

以最后一帧图像为完成时刻模板图像，计算所述应用程序图像交互区域与所述完成时刻模板图像交互区域灰度值的互相关值大小，获得互相关向量；

记录大于完成时刻阈值的所述互相关向量，选取所述互相关向量对应的图像序列号中最小图像序列号，所述最小图像序列号对应的图像为应用程序完成时刻图像。

其中，互相关向量由应用程序交互响应图像对应的互相关值组成，所述互相关值可表示图像的相似度，当互相关值变大时，说明图像序列与完成时刻模板图像的相似度变大，当互相关值达到完成时刻阈值时，可认为图像序列与完成时刻模板图像几乎完全相同，即，应用程序响应完成。此时，满足大于完成时刻阈值的图像可为一个或多个，从中选取完成时刻图像，可选取图像序列中序列号最小的图像作为完成时刻图像，即，选取该图像序列中第一帧图像作为完成时刻图像。

其中，所述通过图像识别确定智能终端响应完成时刻图像还包括，对所述互相关向量进行中值滤波。

其中，所述中值滤波可以避免噪声干扰，使所述互相关向量更为准确。

通过上述本发明实施例中的方法可用于用户体验的客观评测，通过一系列的图像处理技术获得用户交互过程中的实际等待时延，计算过程自动进行，避免了人工参与，使得计算结果更准确，为智能终端评测系统开发和评测平台建设提供有价值的思路和建议。

如图3所示为本发明实施例一种智能终端应用程序交互响应时延的自动计算系统的结构图，包括高速摄像头301，用以采集应用程序交互响应图像；

机械手302，用以点击所述应用程序；

智能终端303，用以加载所述应用程序；

计算单元304；

其中，计算单元进一步包括，

图像预处理模块3041，对所述应用程序交互响应图像预处理；

触发时刻计算模块3042，通过图像识别确定所述应用程序触发时刻图像；

完成时刻计算模块3043，通过图像识别确定智能终端响应完成时刻图像；

交互响应时延计算模块3044，计算所述应用程序交互响应时延。

在本实施例中，采用机械手完成与智能终端的交互过程，通过高速摄像头采集智能终端中的应用程序交互响应图像，计算单元根据所述应用程序交互响应图像计算所述应用程序交互响应时延。

通过上述本发明实施例中的系统可用于用户体验的客观评测，通过一系列的图像处理技术获得用户交互过程中的实际等待时延，计算过程自动进行，避免了人工参与，使得计算结果更准确，为智能终端评测系统开发和评测平台建设提供有价值的思路和建议。

如图4所示为本发明一具体实施例的触发时刻交互区域的互相关值图，图中各个点代表每帧图像与触发时刻模板图像的互相关值。将高速相机采集得到的n帧应用程序交互响应图像序列灰度化后的结果作为输入图像序列，ii表示第i帧图像。ii(x,y)为所述第i帧输入图像序列的灰度值。

记交互区域左上角坐标为(x,y)，交互区域长宽为别为(h,w)。以图像序列第一帧的交互区域为触发时刻模板图像，记为b，其中b＝i1(x:(x+h),y:(y+w))，计算图像序列对应交互区域ai与模板图像b的互相关大小，记为corrstart，互相关向量可表示为：

ai＝ii(x:(x+h),y:(y+w))，i为图像序列帧号，1≤i≤nstart，1≤j≤h，1≤k≤w，na为a的元素个数，na＝h*w，nb为b的元素个数，nb＝na。

corrstart值首次小于0.9的序列号记为posstart，在posstart之后corrstart值首次大于0.9的序列号为posend，并停止计算交互区域互相关大小，记nstart为向量corrstart的长度，其中nstart＝posend。其中，0.9为触发时刻阈值，为经验值，可根据不同需求设定。

应用程序触发时刻对应的图像序列号framestart＝max(findpeaks(-corrstart))，其中findpeaks为matlab计算峰值函数。由此可以得到触发时刻图像对应的图像序列号。

如图5所示为本发明一具体实施例的完成时刻交互区域的互相关值图，图中各个点代表每帧图像与触发时刻模板图像的互相关值。将高速相机采集得到的n帧应用程序交互响应图像序列灰度化后的结果作为输入图像序列，ii表示第i帧图像。ii(x,y)为所述第i帧输入图像序列的灰度值，记h和w分别为图像的长和宽。

智能终端应用程序响应完成的终止时刻模板图像为in，在上述实施例基础上计算序列号posend之后的图像与终止时刻模板图像的互相关大小，记为corrend，互相关向量可表示为：

其中，i为图像序列帧号，nstart＜i≤nend，计算方法同图4对应实施例中的计算方法。

记corrend值首次大于0.98的序列号为posendend，并停止计算交互区域互相关大小，记向量corrend的长度为nend，nend＝posendend-posend。

对一维图像序列与终止位置模板图像的互相关向量corrend进行自适应模板图像大小中值滤波，模板图像大小template＝nend％10，记corrend滤波后结果为corrmedend。记corrmedend前后项差为diff(i)＝corrmedend(i)-corrmendend(i-1),1<i≤nend。

数组positionend中记录所有diff(i)＜10^-3的下标i，智能终端应用程序响应完成时刻检测对应的图像序列号frameend＝min(positionend)。由此，可以确定智能终端响应完成时刻图像对应的图像序列号。

在本实施例中，0.98与10^-3为完成时刻阈值，为经验值，可根据不同需求设定。

根据图4和图5中实施例所述，智能终端应用程序交互响应时延值为：t＝(frameend-framestart)/fps，其中fps为高速相机拍摄图像序列的帧率。此外，除根据触发时刻图像序列号与完成时刻图像序列号确定应用程序交互响应时延外，还可直接根据触发时刻图像对应的时刻与完成时刻图像对应的时刻作差得到。

通过上述本发明的具体实施例中的方法，可用于用户体验的客观评测，通过一系列的图像处理技术获得用户交互过程中的实际等待时延，计算过程自动进行，避免了人工参与，使得计算结果更准确，为智能终端评测系统开发和评测平台建设提供有价值的思路和建议。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读取存储介质中，比如rom/ram、磁碟、光盘等。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。