用于识别图像局部区域的方法、装置及终端设备与流程

本申请涉及自动化测试技术领域，具体而言，涉及用于识别图像局部区域的方法、装置及终端设备。

背景技术：

相关技术中，在进行回归测试运行测试脚本时，需要将脚本中的截图与设备当前的画面进行脚本匹配，识别出脚本中的截图在屏幕中的位置，从而定位操作位置，以在该位置处执行脚本定义的操作，从而达到自动化回归测试的目的，其中，识别截图在屏幕中的对应位置是非常关键的步骤。

相关技术通过设定可信度阈值来决定图像识别的结果是否正确，并作为位置依据进行操作。在一些应用场合中，模板图像中的内容和源图像中的对应区域并非完全重合。源图像中按键顺序如果和截图中的按键顺序产生的顺序的错位，那么匹配时的相似度会相对较低，比如图1中的模板图像与图2中的源图像。

在实际回放测试脚本中，有时需要从源图像中识别出与模板图像中局部区域内容一致但位置不一致的图像，因此提高这种情况的匹配可信度和效率是脚本回归测试面临的一大问题。

技术实现要素：

本申请公开用于识别图像局部区域的方法，能够从源图像中识别出与模板图像中局部区域内容一致但位置不一致的图像，能够提高匹配可信度和效率，从而能够提高识别的质量。

本发明的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本发明的实践而习得。

根据本发明的一个方面，提供一种用于识别图像局部区域的方法，包括：

获取模板图像中的至少一个区域作为至少一个关注区域；

将所述模板图像与源图像进行第一匹配计算，根据所述第一匹配计算得到的结果确定至少一个初选匹配区域，其中所述源图像的长度大于或等于所述模板图像的长度，所述源图像的宽度大于或等于所述模板图像的宽度；

分别将所述至少一个关注区域分别与所述至少一个初选匹配区域进行第二匹配计算，根据所述第二匹配计算得到的结果确定识别结果。

根据一些实施例，获取模板图像中的至少一个区域作为至少一个关注区域包括：响应用户操作获取在所述模板图像上设置的至少一个区域作为所述至少一个关注区域，或者为按照设定要求从所述模板图像上自动识别出的至少一个区域作为所述至少一个关注区域。

根据一些实施例，将所述模板图像与源图像进行第一匹配计算包括：将所述模板图像与源图像进行第一归一化相关系数匹配计算。根据一些实施例，分别将所述至少一个关注区域分别与所述至少一个初选匹配区域进行第二匹配计算包括：分别将所述至少一个关注区域分别与所述至少一个初选匹配区域进行第二归一化相关系数匹配计算。

根据一些实施例，进行第二匹配计算，根据所述第二匹配计算得到的结果确定识别结果包括：

计算所述至少一个初选匹配区域中各初选匹配区域的最终可信度；

将所述最终可信度最大的初选匹配区域作为匹配区域；

其中计算初选匹配区域的最终可信度采用以下公式：

其中C为所述至少一个初选匹配区域中一个初选匹配区域的最终可信度；

S1为所述至少一个关注区域中第一关注区域的面积；

C1为所述第一关注区域与所述一个初选匹配区域第二次匹配计算得到的最大可信度；

S2为所述至少一个关注区域中第二关注区域的面积；

C2为所述第二关注区域与所述一个初选匹配区域第二次匹配计算得到的最大可信度；

SN为所述至少一个关注区域中第N关注区域的面积；

CN为所述第N关注区域与所述一个初选匹配区域第二次匹配计算得到的最大可信度。

根据一些实施例，所述方法还包括获取所述模板图像中的至少一个区域作为至少一个忽略区域；

将模板图像与源图像进行第一匹配计算包括：将所述模板图像与所述源图像进行第一匹配计算，在计算时忽略所述至少一个忽略区域。

根据一些实施例，获取所述模板图像中的至少一个区域作为至少一个忽略区域包括：响应用户操作获取在所述模板图像上设置的至少一个区域作为所述至少一个忽略区域。

根据一些实施例，获取所述模板图像中的至少一个区域作为至少一个忽略区域包括：按照设定要求从所述模板图像上自动识别出至少一个区域作为所述至少一个忽略区域。

根据一些实施例，获取所述模板图像中的至少一个区域作为至少一个忽略区域包括：从所述模板图像上自动识别出背景区域作为所述至少一个忽略区域。

根据本发明的另一方面，提供一种用于识别图像局部区域的装置，其包括：

关注区域获取单元，用于获取模板图像中的至少一个区域作为至少一个关注区域；

第一匹配单元，用于将所述模板图像与源图像进行第一匹配计算，根据所述第一匹配计算得到的结果确定至少一个初选匹配区域，其中所述源图像的长度大于或等于所述模板图像的长度，所述源图像的宽度大于或等于所述模板图像的宽度；

第二匹配单元，用于分别将所述至少一个关注区域分别与所述至少一个初选匹配区域进行第二匹配计算；

结果确定单元，用于根据所述第二匹配计算得到的结果确定识别结果。

根据一些实施例，所述关注区域获取单元用于：响应用户操作获取在所述模板图像上设置的至少一个区域作为所述至少一个关注区域，或者为按照设定要求从所述模板图像上自动识别出的至少一个区域作为所述至少一个关注区域。

根据一些实施例，所述第一匹配单元用于：将所述模板图像与源图像进行第一归一化相关系数匹配计算。

根据一些实施例，所述第二匹配单元用于：分别将所述至少一个关注区域分别与所述至少一个初选匹配区域进行第二归一化相关系数匹配计算。

根据一些实施例，所述第二匹配单元用于：计算所述至少一个初选匹配区域中各初选匹配区域的最终可信度；

所述结果确定单元用于：

将所述最终可信度最大的初选匹配区域作为匹配区域；

其中计算初选匹配区域的最终可信度采用以下公式：

其中C为所述至少一个初选匹配区域中一个初选匹配区域的最终可信度；

S1为所述至少一个关注区域中第一关注区域的面积；

C1为所述第一关注区域与所述一个初选匹配区域第二次匹配计算得到的最大可信度；

S2为所述至少一个关注区域中第二关注区域的面积；

C2为所述第二关注区域与所述一个初选匹配区域第二次匹配计算得到的最大可信度；

SN为所述至少一个关注区域中第N关注区域的面积；

CN为所述第N关注区域与所述一个初选匹配区域第二次匹配计算得到的最大可信度。

根据一些实施例，所述装置还包括忽略区域获取单元用于，获取所述模板图像中的至少一个区域作为至少一个忽略区域；

所述第一匹配单元还用于：将所述模板图像与所述源图像进行第一匹配计算，在计算时忽略所述至少一个忽略区域。

根据一些实施例，所述第一匹配单元用于：响应用户操作获取在所述模板图像上设置的至少一个区域作为所述至少一个忽略区域。

根据一些实施例，所述第一匹配单元用于：按照设定要求从所述模板图像上自动识别出至少一个区域作为所述至少一个忽略区域。

根据一些实施例，所述第一匹配单元用于：从所述模板图像上自动识别出背景区域作为所述至少一个忽略区域。

根据本发明的另一方面，提供一种终端设备，包括：处理器；存储器，存储用于处理器控制如上述第一方面任一项所述操作的指令。

本申请的实施例提供的技术方案可以包括以下有益效果：

本申请的实施例提供的技术方案能够从源图像中识别出与模板图像中局部区域内容一致但位置不一致的图像，能够提高匹配可信度和效率，从而能够提高识别的质量。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本发明。

附图说明

通过参照附图详细描述其示例实施例，本发明的上述和其它特征及优点将变得更加明显。

图1示出了相关技术中应用场合示意图中的模板图像示例图；

图2示出了相关技术中应用场合示意图中的源图像示例图；

图3示出了根据本发明一实施例的用于识别图像局部区域的方法；

图4示出了根据本发明一实施例的示例所示的模板图像与源图像进行第一匹配计算的结果图；

图5示出了根据本发明一实施例的示例所示的第一关注区进行第二匹配计算的结果图；

图6示出了根据本发明一实施例的示例所示的第二关注区进行第二匹配计算的结果图；

图7示出了根据本发明一实施例的示例所示的第三关注区进行第二匹配计算的结果图；

图8示出了根据本发明另一实施例的用于识别图像局部区域的方法；

图9示出了根据本发明一实施例的用于识别图像局部区域的装置的框图；

图10示出了根据本发明另一实施例的用于识别图像局部区域的装置的框图；

图11示出了根据本发明一实施例的终端设备。

具体实施方式

现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的实施例；相反，提供这些实施例使得本发明将全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本发明的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本发明的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本发明的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

图3示出了根据本发明一实施例的用于识别图像局部区域的方法，本实施例可适用于从源图像中识别出与模板图像中局部区域内容一致但位置不一致的图像的情况，如图3所示，本实施例所述的用于识别图像局部区域的方法包括：

在步骤S310中，获取模板图像中的至少一个区域作为至少一个关注区域。

本实施例所述的关注区域是通过在模板图像中设定的，可以是任意形状的封闭区域。可以通过多种方式得到，例如可以通过响应用户操作获取在所述模板图像上设置的至少一个区域作为所述至少一个关注区域，或者还可以按照设定要求从所述模板图像上自动识别出的至少一个区域作为所述至少一个关注区域。

例如将图1作为模板图像，图2作为源图像，以在图2所述图像中识别包含图1所述图像中的三个按钮的区块为例。可通过获取用户在图1中框选出“烹饪”、“炼药”、以及“摆摊”文字部分所在的区域分别作为第一关注区、第二关注区、以及第三关注区。

在步骤S320中，将所述模板图像与源图像进行第一匹配计算，根据所述第一匹配计算得到的结果确定至少一个初选匹配区域，其中所述源图像的长度大于或等于所述模板图像的长度，所述源图像的宽度大于或等于所述模板图像的宽度。

进行模板匹配时，匹配计算的方法包括多种，例如：差值平方和匹配(CV_TM_SQDIFF)、归一化差值平方和匹配(CV_TM_SQDIFF_NORMED)、相关匹配(CV_TM_CCORR)、归一化相关匹配(CV_TM_CCORR_NORMED)、相关系数匹配(CV_TM_CCOEFF)、以及归一化相关系数匹配(CV_TM_CCOEFF_NORMED)等。本实施例对此不作限定。

例如可采用归一化相关系数匹配，最终返回至少一个最相似的结果位置和该结果位置对应的匹配相似度。通过预先设定的阈值进行结果筛选，如果匹配相似度高于预设阈值，则识别结果即为所得，如果相似度低于预设阈值，则抛弃识别结果。

图4示出了根据图1所示的模板图像与图2所示的源图像进行第一匹配计算的结果图，该结果是将图1所述模板图像与图2所述的源图像进行第一归一化相关系数匹配计算，得到图4右边所示的一个初选匹配区域，两者匹配的可信度为0.637。

在步骤S330中，分别将所述至少一个关注区域分别与所述至少一个初选匹配区域进行第二匹配计算，根据所述第二匹配计算得到的结果确定识别结果。

图5示出了根据第一关注区与所述初选匹配区域进行第二匹配计算的结果图，其可信度为0.984，记为C1；图6示出了根据第二关注区与所述初选匹配区域进行第二匹配计算的结果图，其可信度为0.984，记为C2；图7示出了根据第三关注区与所述初选匹配区域进行第二匹配计算的结果图其可信度为0.981，记为C3。

第一关注区面积为S1，求出的可信度为C1；第二关注区面积为S2，求出的可信度为C2；第三关注区面积为S3，求出的可信度为C3。则最终可信度C求取如下：

上述示例，初次模板匹配的可信度求取为0.637。二次可信度求取后，最小可信度0.981，最大可信度0.984，则最终的可信度一定在[0.981，0.984]区间内，远优于初次模板匹配。

需要说明的是，上述示例只获取了一个初选匹配区域。若第一次匹配后，存在多于一个匹配区域的可信度大于预设可信度阈值，则均需作为初选匹配区域。此时就出现了初选匹配区域数目大于1的情况。对于这种情况，需要针对每个初选匹配区域进行上述计算，获取每一个初选匹配区域的最终可信度C，最后将最终可信度C最大的初选匹配区域作为最终的匹配结果。

本实施例能够从源图像中识别出与模板图像中局部区域内容一致但位置不一致的图像，能够提高匹配可信度和效率，从而能够提高识别的质量。对于模板图像中包含有相似但有区别的元素、且源图像中各元素位置错乱的情况，使用本方法可以大大提高识别可信度，非常有利于图像识别结果的筛选。

图8示出了根据本发明另一实施例的用于识别图像局部区域的方法，如图8所示，本实施例所述的用于识别图像局部区域的方法包括：

在步骤S810中，获取模板图像中的至少一个区域作为至少一个关注区域。

在步骤S820中，获取所述模板图像中的至少一个区域作为至少一个忽略区域。

与步骤S810相同，本实施例所述的忽略区域也可以是通过在模板图像中设定的，可以是任意形状的封闭区域。可以通过多种方式得到，例如可以通过响应用户操作获取在所述模板图像上设置的至少一个区域作为所述至少一个忽略区域，或者还可以按照设定要求从所述模板图像上自动识别出的至少一个区域作为所述至少一个忽略区域。

在步骤S830中，将所述模板图像与源图像进行第一匹配计算，在计算时忽略所述至少一个忽略区域,根据所述第一匹配计算得到的结果确定至少一个初选匹配区域。

即进行第一匹配计算时，不考虑所述至少一个忽略区域内的像素。

在步骤S840中，分别将所述至少一个关注区域分别与所述至少一个初选匹配区域进行第二匹配计算。

在步骤S850中，根据所述第二匹配计算得到的结果确定识别结果。

本实施例通过忽略区域和关注区域的结合使用，可以大大拓展模板匹配的实用范围，举例如下：

模板图像中与源图像中的目标区域的对比中有以下四类区域：局部区域A内容和位置均对应一致；局部区域B的内容一致但是位置不一致；局部区域C内容不一致但是位置一致；局部区域D的内容和位置均不一致。

那么在本实施例的匹配中，忽略区域是初次匹配时需要忽略的区域，因此需要将模板图像中与源图像目标区域不一致的区域进行屏蔽，将局部区域B、局部区域C、局部区域D设为忽略区域。又因为关注区域是局部区域A和局部区域B，将局部区域A和局部区域B设为关注区域。

在初次模板匹配中，可以通过局部区域A精确定位到源图像中的目标区域；二次模板匹配中，分别对局部区域A和局部区域B进行二次模板匹配，并通过可信度加权运算得到对应的可信度。

通过以上步骤，就可以对源图像有一定变化的匹配案例，使用模板匹配进行图像的匹配运算。

在模板图像中包含有较多的无关背景，且部分有效区域与源图像的目标区域有一定的位置偏差时，常规的模板匹配只能通过分别对有效区域在整个源图像中分别进行模板匹配，然后将识别可信度进行加权平均。在本实施例中，通过加入忽略区域，使得可以将若干有效区域的内容一并进行初次模板匹配，避免了因为模板图像中引入较多无关背景导致的相似度过低的问题；并通过分别将模板图像中的关注区域，与初次模板匹配得到的源图像目标区域，进行二次模板匹配，可以迅速得到各关注区域的可信度，进而进行可信度加权平均(按照面积加权)。

本实施例所述技术方案至少包括以下优点：

首先，相对于现有的相关技术，本实施例中的方法可以大大节约匹配时间。

比如有5处关注区域的情形下，传统方法需要分别执行5次关注区域和源图像的模板匹配。在模板匹配中，计算量与源图像是呈正比关系。

本实施例中，只有初次模板匹配需要进行与源图像的匹配，二次匹配中是把源图像中的目标区域(和模板图像大小一致)作为“源图像”，二次匹配中5次关注运算的源图像大小为模板图像的大小。

一般的应用场景中，模板图像比源图像小得多(小一个量级)，此处如果设定模板图像为源图像的1/10大小，每次整个源图像的模板匹配中耗时为T，二次模板匹配中耗时大约为0.1T的级别。则传统方法中耗时约为5T级别，而本实施例中的匹配耗时约为1.5T级别。

其次，相对于现有的相关技术，本实施例中的方法可以得到更高更可靠的可信度。在上文的技术细节描述中，通过精确指定关注区域，可以获取所关注区域的可信度，避免无关背景可能造成的干扰，也避免了因为有效内容的移位造成的可信度计算的错误。

图9示出了根据本发明一实施例的用于识别图像局部区域的装置的框图，如图9所示，本实施例所述的用于识别图像局部区域的装置包括关注区域获取单元910、第一匹配单元920、第二匹配单元930、以及结果确定单元940。

该关注区域获取单元910被配置为，用于获取模板图像中的至少一个区域作为至少一个关注区域；

该第一匹配单元920被配置为，用于将所述模板图像与源图像进行第一匹配计算，根据所述第一匹配计算得到的结果确定至少一个初选匹配区域，其中所述源图像的长度大于或等于所述模板图像的长度，所述源图像的宽度大于或等于所述模板图像的宽度；

该第二匹配单元930被配置为，用于分别将所述至少一个关注区域分别与所述至少一个初选匹配区域进行第二匹配计算；

该结果确定单元940被配置为，用于根据所述第二匹配计算得到的结果确定识别结果。

根据本发明的一些实施例，所述关注区域获取单元910用于：响应用户操作获取在所述模板图像上设置的至少一个区域作为所述至少一个关注区域，或者为按照设定要求从所述模板图像上自动识别出的至少一个区域作为所述至少一个关注区域。

根据本发明的一些实施例，所述第一匹配单元920用于：将所述模板图像与源图像进行第一归一化相关系数匹配计算；和/或

所述第二匹配单元930用于：分别将所述至少一个关注区域分别与所述至少一个初选匹配区域进行第二归一化相关系数匹配计算。

根据本发明的一些实施例，所述第二匹配单元930用于：计算所述至少一个初选匹配区域中各初选匹配区域的最终可信度；

所述结果确定单元940用于：

将所述最终可信度最大的初选匹配区域作为匹配区域；

其中计算初选匹配区域的最终可信度采用以下公式：

其中C为所述至少一个初选匹配区域中一个初选匹配区域的最终可信度；

S1为所述至少一个关注区域中第一关注区域的面积；

C1为所述第一关注区域与所述一个初选匹配区域第二次匹配计算得到的最大可信度；

S2为所述至少一个关注区域中第二关注区域的面积；

C2为所述第二关注区域与所述一个初选匹配区域第二次匹配计算得到的最大可信度；

SN为所述至少一个关注区域中第N关注区域的面积；

CN为所述第N关注区域与所述一个初选匹配区域第二次匹配计算得到的最大可信度。

关于上述实施例中的装置，其中各个单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

本实施例提供的用于识别图像局部区域的装置可执行本发明方法实施例所提供的用于识别图像局部区域的方法，具备执行方法相应的功能模块和有益效果。

图10示出了根据本发明另一实施例的用于识别图像局部区域的装置的框图，如图10所示，本实施例所述的用于识别图像局部区域的装置包括：关注区域获取单元1010、忽略区域获取单元1020、第一匹配单元1030、第二匹配单元1040、以及结果确定单元1050。

该关注区域获取单元1010被配置为，用于获取模板图像中的至少一个区域作为至少一个关注区域；

该忽略区域获取单元1020被配置为，用于获取所述模板图像中的至少一个区域作为至少一个忽略区域；

该第一匹配单元1030被配置为，将所述模板图像与所述源图像进行第一匹配计算，在计算时忽略所述至少一个忽略区域，根据所述第一匹配计算得到的结果确定至少一个初选匹配区域，其中所述源图像的长度大于或等于所述模板图像的长度，所述源图像的宽度大于或等于所述模板图像的宽度；

该第二匹配单元1040被配置为，用于分别将所述至少一个关注区域分别与所述至少一个初选匹配区域进行第二匹配计算；

该结果确定单元1050被配置为，用于根据所述第二匹配计算得到的结果确定识别结果。

根据本发明的一些实施例，所述忽略区域获取单元1020用于：响应用户操作获取在所述模板图像上设置的至少一个区域作为所述至少一个忽略区域。

根据本发明的一些实施例，所述忽略区域获取单元1020用于：按照设定要求从所述模板图像上自动识别出至少一个区域作为所述至少一个忽略区域。

根据本发明的一些实施例，所述忽略区域获取单元1020用于：从所述模板图像上自动识别出背景区域作为所述至少一个忽略区域。

本实施例提供的用于识别图像局部区域的装置可执行本发明方法实施例所提供的用于识别图像局部区域的方法，具备执行方法相应的功能模块和有益效果。

图11示出了根据本发明一实施例的终端设备，如图11所示，终端设备1100可包括处理器1110、存储器1120、发射器1130及接收器1140。

存储器1120可存储用于处理器1110控制操作处理的指令。存储器1120可包括易失性或非易失性存储器，如静态随机存取存储器(SRAM)、电可擦除可编程只读存储器(EEPROM)、可擦除可编程只读存储器(EPROM)、可编程只读存储器(PROM)、只读存储器(ROM)等，本发明对此没有限制。

处理器1110可调用存储器1120中存储的指令控制相关操作。根据一实施例，存储器1120存储用于处理器1110控制以下操作的指令：

获取模板图像中的至少一个区域作为至少一个关注区域；

将所述模板图像与源图像进行第一匹配计算，根据所述第一匹配计算得到的结果确定至少一个初选匹配区域，其中所述源图像的长度大于或等于所述模板图像的长度，所述源图像的宽度大于或等于所述模板图像的宽度；

分别将所述至少一个关注区域分别与所述至少一个初选匹配区域进行第二匹配计算，根据所述第二匹配计算得到的结果确定识别结果。

易于理解，存储器1120还可存储用于处理器1110控制根据本发明实施例的其他操作的指令，这里不再赘述。

处理器1110还可控制发射器1130和接收器1140进行信号收发等。

通过以上的详细描述，本领域的技术人员易于理解，根据本发明实施例的系统和方法具有以下优点中的一个或多个。

根据本发明的实施例，将所述模板图像与源图像进行第一匹配计算包括：将所述模板图像与源图像进行第一归一化相关系数匹配计算。

根据本发明的一些实施例，分别将所述至少一个关注区域分别与所述至少一个初选匹配区域进行第二匹配计算确定识别结果包括：分别将所述至少一个关注区域分别与所述至少一个初选匹配区域进行第二归一化相关系数匹配计算确定识别结果。

根据一些实施例，本发明还提供一种非临时性计算机可读存储介质，例如包括指令的存储器，上述指令可由装置的处理器执行以完成上述方法。例如，非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。当存储介质中的指令由终端的处理器执行时，使得终端能够执行下述方法：将脚本模块中的原生资源名称变换为原生资源ID；原生应用模块通过原生资源ID获取相应的原生资源。

本领域技术人员可以理解，附图只是示例实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的，因此不能用于限制本发明的保护范围。

本领域技术人员可以理解上述各模块可以按照实施例的描述分布于装置中，也可以进行相应变化唯一不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

以上具体地示出和描述了本发明的示例性实施例。应该理解，本发明不限于所公开的实施例，相反，本发明意图涵盖包含在所附权利要求的精神和范围内的各种修改和等效布置。