图像查找方法和装置与流程

文档序号:13760838阅读:261来源:国知局
图像查找方法和装置与流程

本发明涉及图像处理识别领域,具体而言,涉及一种图像查找方法和装置。



背景技术:

在本领域中,目标识别是图像工程研究的热点之一,图像查找是实现目标识别的关键技术。图像查找指的是从一幅图像(源图像)中查找出目标图像的一种方法。如图1所示,上述源图像可以为QQ登录界面。结合图1所示的源图像,上述目标图像可以为图2中QQ登录界面显示的登录账号(例如图2中所述的邮箱(202)图标)。模版匹配是一种最原始、最基本的实现图像查找的算法,通过图像之间的比较,得到不同图像之间的相似度,然后根据相关度来找到目标图像的坐标位置。

具体地,模板匹配算法可以是指将模版图像(Template Image,T)置于源图像(Source Image,I)上的一个点(x,y)上,计算模版图像这一小块区域对应源图像坐标点(x,y)上的相似程度(matrix,R),然后将模板图像在源图像上向右滑动到坐标点(x+1,y),再计算相似程度R。以此类推,将模板图像从源图像原点(0,0)开始,从左至右、从上至下逐个像素点计算,得到一个相似度结果的矩形方阵。最后,从结果矩阵中找出相似度最高的点,即为模版图像在源图像的位置点。

下面结合实施例对模板匹配算法进行分析。以在QQ登录界面(源图像)中查找登录账号邮箱(目标图像)为例,首先在QQ登录界面中截取邮箱的图像作为模板图像,如图3a中图标302所示的邮箱图像,然后将模板图像302从QQ登录界面图像的坐标原点(0,0)开始,从左至右、从上至下逐个像素点计算,得到一个相似度结果的矩形方阵。最后,从结果矩阵中找出相似度最高的点,为图3b中304所示的坐标点,则认为该坐标点为模版图像在源图像的位置点。

上述基于模板匹配算法的图像查找技术可以应用在许多领域,例如,在自动化测试领域中,存在使用图像查找方式来对设备的控件进行查找和操作的需求。但是,由于同一幅源图像在不同设备上的显示的尺寸不同,以Android设备而言,就存在853×480、1280×720、1920×1080等各种尺寸。因而,对于同一个控件,难以使用同一张模版图像(截取出所查找控件的图像,例如上述QQ登录界面中显示的登录账号邮箱的图像302)在不同尺寸的设备中进行查找。如果要使得用于匹配的模板图像,能在各种尺寸的设备上匹配成功,可能需要准备各种尺寸的模板图像。

针对上述在不同尺寸的设备上进行图像查找的问题,现有技术可以提供以下两种技术方案。

方案1:对于同一个控件,在不同尺寸的设备上截取不同大小的模版图像,然后再根据实际设备的尺寸大小,选择相对应的模版图像进行查找。

方案2:使用特征匹配算法。特征匹配算法也是图像查找所使用的一种算法,相比于模版匹配,它具有尺度不变的特性。尺度不变特性是指,当源图像在放大或者缩小一定比率后,模版图像仍能在源图像中找到。

下面结合图4a、4b和图5所示的实施例来对现有技术提供的上述两种方案进行详细描述如下:

上述方案1的实施例为图4a和4b所示的两种不同设备上的QQ登录界面,其中,图4a中图标402所示为在853×480分辨率的设备上显示的QQ登录界面,图4b中图标404所示为在1280×720分辨率的设备上显示的QQ登录界面。对于同一个控件(例如,图4a和4b中QQ登录界面登录账号中邮箱)在上述两种分辨率的设备上分别截取不同大小的模板图像,如图4a中图标406所示的邮箱图像和图4b中图标408所示的邮箱图像。在上述853×480分辨率的设备402上利用模板图像406进行邮箱控件的查找,在上述1280×720分辨率的设备404上利用模板图像408进行邮箱控件的查找。

分析可知,在上述方案1存在以下缺陷:需要为每种不同分辨率的设备截取对应的模版图像,因此,模版图像的数量比较多,而且如果模版图像发生变化,则需要更新所有不同分辨率的模版图像,维护成本比较大。

上述方案2采用特征匹配算法,其原理是利用图像的灰度和梯度等细节信息提取出特征点,根据特征点的相对位置信息实现模板图像和源图像中相应特征点的匹配。特征匹配算法的实施例可以用图5所示的利用特征匹配算法进行图像查找的示意图来说明,其中,源图像可以为图5中图标502所示的图像,模板图像可以为图标504所示的图像,特征点可以为图5中图标506所示的小黑点。由此可知,特征匹配算法需要模板图像504中具有一定数量的特征点,如506所示的小黑点。

分析可知,在上述方案2存在以下缺陷:对模版图像有一定的要求,模版图像必须具有一定数量的特征点,因而不适用于小图像(比如低于某个尺寸,长或者宽低于30像素以下),因为小图像可能难以找到足够数量的特征点,而在自动化测试中的模版图像的尺寸往往比较小,难以找到足够的特征点。

针对现有技术中无法针对任意大小的图像实现尺度不变的图像查找的技术问题,目前尚未提出有效的解决方案。



技术实现要素:

本发明实施例提供了一种图像查找方法和装置,以至少解决现有技术中无法针对任意大小的图像实现尺度不变的图像查找的技术问题。

根据本发明实施例的一个方面,提供了一种图像查找方法,该方法包括:将第一源图像的尺寸从第一尺寸调整到预定的第二尺寸,得到第二源图像;重复执行以下操作,直到在尺寸为第二尺寸的第二源图像中查找到模板图像或满足退出条件,其中,模板图像的尺寸的初始值为第三尺寸:在第二源图像中查找模板图像;以及若在第二源图像中未查找到模板图像,则调整模板图像的尺寸。

根据本发明实施例的另一方面,还提供了一种图像查找装置,该装置包括:第一调整模块,用于将第一源图像的尺寸从第一尺寸调整到预定的第二尺寸,得到第二源图像;处理模块,用于重复执行以下操作,直到在尺寸为第二尺寸的第二源图像中查找到模板图像或满足退出条件,其中,模板图像的尺寸的初始值为第三尺寸:查找模块,用于在第二源图像中查找模板图像;以及第二调整模块,用于若在第二源图像中未查找到模板图像,则调整模板图像的尺寸。

在本发明实施例中,采用模板匹配的方式,通过先对源图像统一缩放后,再将模版图像与缩放后的源图像进行匹配,根据匹配结果,调整模版图像的尺寸大小,将模板图像按照某种策略逐次缩放比率后再进行模版匹配,直到在源图像上查找到目标图像的位置坐标点,达到了尺度不变性图像查找的目的,从而实现了针对任意尺寸大小的图像实现尺度不变性图像查找的技术效果,进而解决了现有技术中无法针对任意大小的图像实现尺度不变的图像查找的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:

图1是根据现有技术的QQ登录界面作为源图像的示意图;

图2是根据现有技术的QQ登录界面中显示的登录账号(邮箱)作为目标图像的示意图;

图3a至3b是根据现有技术的模板匹配算法示意图;

图4a至4b是根据现有技术的采用模板匹配算法进行图像查找的示意图;

图5是根据现有技术的采用特征匹配算法进行图像查找的示意图;

图6是根据本发明实施例的一种用于图像查找方法的由服务器和终端所构成的硬件环境示意图;

图7是根据本发明实施例的一种图像查找方法的流程图;

图8是根据本发明实施例的一种实施方式中调整模板图像尺寸的流程图;

图9是根据本发明实施例的另一种实施方式中调整模板图像尺寸的流程图;

图10是根据本发明实施例的对模板图像进行放大的策略流程图;

图11是根据本发明实施例的一种图像查找方法的具体实现流程图;

图12是根据本发明实施例的对模板图像进行缩小的策略流程图;

图13是根据本发明实施例的在第二源图像中查找模板图像的流程图;

图14是根据本发明实施例的一种图像查找装置结构示意图;

图15是根据本发明实施例的一种图像查找装置中第二调整模块的结构示意图;

图16是根据本发明实施例的一种图像查找装置中放大模块结构示意图;

图17是根据本发明实施例的一种图像查找装置中缩小模块结构示意图;

图18是根据本发明实施例的一种图像查找装置中查找模块结构示意图;

以及

图19是根据本发明实施例的一种移动终端的结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。

需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例1

本发明实施例一所提供的图像查找方法实施例可以应用于如图6所示的由服务器602和终端604所构成的硬件环境中。如图6所示,服务器602通过网络与终端604进行连接,上述网络包括但不限于:广域网、城域网或局域网,终端604并不限定于PC、手机、平板电脑等。本发明实施例的内容分发网络日志推送方法可以由服务器602来执行,也可以由终端604来执行,还可以是由服务器602和终端604共同执行。其中,终端604执行本发明实施例的内容分发网络日志推送方法也可以是由安装在其上的客户端来执行。

在上述运行环境下,本申请提供了如图7所示的图像查找方法,图7是根据本发明实施例的一种图像查找方法的流程图,如图7所示,该方法可以包括以下步骤:

步骤S21,将第一源图像的尺寸从第一尺寸调整到预定的第二尺寸,得到第二源图像。

在上述步骤中,第一源图像可以为任意不同分辨率设备上的图像,例如附图1所示的设备上的QQ登录界面;第二源图像可以是经过第一源图像缩放后的图像;第一尺寸可以是源图像缩放前的尺寸,即第一源图像的尺寸;第二尺寸可以是源图像缩放后的尺寸,即第二源图像的尺寸。在本步骤中,将不同分辨率设备上的源图像按某种算法缩放到同一高度(例如800像素高,宽度按设备的高宽比计算)的图像。

可选的,上述将第一源图像的尺寸从第一尺寸调整到预定的第二尺寸的算法可以是二次线性插值、三次卷积插值等算法,但不限于某种算法,只要在缩放后保持源图像的图像质量即可。

具体地,结合附图4a和4b来说明本发明实施例,图4b所示的404可以为第一源图像,图4a所示的402可以为第二源图像。将第一源图像的尺寸从第一尺寸调整到预定的第二尺寸的算法可以是二次线性插值算法,上述预定的第二尺寸可以是“800×宽度”的大小(宽度由源图像的高宽比例决定)。例如,第一源图像的第一尺寸可以为1920×1080,相应地,缩放后的源图像,即第二源图像的第二尺寸为800×450。

步骤S23,在第二源图像中查找模板图像。

在上述步骤中,第二源图像可以是第一源图像从第一尺寸缩放到第二尺寸的图像,模板图像可以是从第二尺寸的某一源图像上截取出来的图像。采用模版匹配算法将模版图像与第二源图像进行匹配,在匹配结果矩阵中,找到最大相似度,最大相似度指的是在匹配结果矩阵中最大的数值,不超过1.0。

优选地,上述模板匹配算法可以使用TM_CCOEFF_NORMED模版匹配算法,但不限于此算法。

具体地,结合附图3a、3b以及4a和4b来说明本实施例,例如,在QQ登录界面中查找登录账号(例如,邮箱)的图像。如图4a所示的QQ登录界面402可以为第一源图像404(如图4b)经过缩放得到第二源图像,其尺寸大小可以为800×450;模板图像可以为从800×450分辨率大小的某一源图像上截取出来的目标图像,例如图4a中406所示的邮箱。图3b可以为在第二源图像(缩放后的QQ登录界面)中查找模板图像(缩放后的QQ登录界面中截取的邮箱的图像)的示意图。如图3b中302所示,然后将模板图像302从QQ登录界面的图像坐标原点(0,0)开始,从左至右、从上至下逐个像素点计算,得到一个相似度结果矩阵,该矩阵可以称为匹配结果矩阵。

步骤S25,若在第二源图像中未查找到模板图像,则调整模板图像的尺寸。

在上述步骤中,如果在模板图像与第二源图像的匹配结果矩阵中,最大相似度小于某一数值(这里称为信任相似度),则认为在第二源图像中找不到当前尺寸的模版图像,需要将模版图像按某种策略逐次缩放比率后再进行模版匹配。

可选的,上述将模板图像逐次缩放比率的策略可以是放大和/或缩小策略。

优选地,信任相似度(initSimilarity)可以为0.7,但不限于该数值,也可以采用其他数值。

优选地,最大缩放比率可以为20%,但不限于此数值,也可以采用其他有意义的数值。

具体地,结合附图3b来说明本实施例,在上述匹配结果矩阵中,如果最大相似度小于信任相似度(initSimilarity),则认为在第二源图像中找不到当前尺寸的模版图像,需要将图3b中显示的模版图像302按放大和/或缩小策略逐次缩放比率后再进行模版匹配。

步骤S27,重复执行上述步骤S23和S25的操作,直到在尺寸为第二尺寸的第二源图像中查找到模板图像或满足退出条件,其中,模板图像的尺寸的初始值为第三尺寸。

在上述步骤中,如果在尺寸为第二尺寸的第二源图像中为查到模板图像或满足退出条件,则重复执行步骤S23和S25。其中,第三尺寸为模板图像的初始值,即从尺寸为第二尺寸的某一源图像上截取出来的目标图像的尺寸。退出条件是指在使用放大策略或者缩小策略的匹配查找过程中,为了减少匹配次数,增加的两个策略匹配中止条件:一是某次匹配结果矩阵的最大相似度都小于最大相似度,则认为此次放大或者缩小的趋势不正确,则立即中止,不再进行后续匹配查找;二是比较当前匹配结果的最大相似度是否小于上次匹配结果的最大相似度,如果连续两次都出现这种情况,则立即中止,不在进行后续匹配查找。

本申请上述实施例一公开的方案中,采用模板匹配的方式,通过先对源图像进行统一缩放后,再将模版图像与缩放后的源图像进行匹配,根据匹配结果,调整模版图像的尺寸大小,将模板图像按照某种策略逐次缩放比率后再进行模版匹配,直到在源图像上查找到目标图像的位置坐标点。

容易注意到,上述方案因为使用模版匹配算法,则不会受限于特征匹配算法对源图像中特征点数量的要求;通过先对源图像统一缩放后,再对模版图像逐次缩放查找,则使此方案具有尺度不变特性。因此,通过本申请实施例所提供的方案,可以达到尺度不变性图像查找的目的,从而实现了针对任意尺寸大小的图像实现尺度不变性图像查找的技术效果。

由此,本申请提供的上述实施例一的方案解决了现有技术中无法针对任意大小的图像实现尺度不变的图像查找的技术问题。

根据本发明上述实施例,在一种可选的实施方式方案中,如图8所示的步骤S25,调整模板图像的尺寸过程可以包括以下步骤:

步骤S251,判断模板图像的当前尺寸是否达到第三尺寸的第一预定比例,其中,第一预定比例大于1。

在上述步骤中,第一预定比例是指模板图像的当前尺寸与初始值第三尺寸的比值,可以是一个大于1的数值。

步骤S253,若当前尺寸未达到第三尺寸的第一预定比例,则将模板图像的当前尺寸进行放大。

在上述步骤中,如果模板图像的当前尺寸未达到第三尺寸的第一预定比例,即模板图像的当前尺寸小于第三尺寸,需要将模板图像的当前尺寸按照放大策略进行放大,其中,第三尺寸为模板图像的初始值。

步骤S255,若当前尺寸达到第三尺寸的第一预定比例,则将模板图像的当前尺寸进行缩小。

在上述步骤中,如果模板图像的当前尺寸达到第三尺寸的第一预定比例,即模板图像的当前尺寸大于第三尺寸,需要将模板图像的当前尺寸按照缩小策略进行缩小,其中,第三尺寸为模板图像的初始值。

根据本发明上述实施例,在另一种可选的实施方式方案中,如图9所示的步骤S25,调整模板图像的尺寸过程可以包括以下步骤:

步骤S25A,判断模板图像的当前尺寸是否达到第三尺寸的第二预定比例,其中,第二预定比例小于1。

在上述步骤中,第二预定比例是指模板图像的当前尺寸与初始值第三尺寸的比值,可以是一个小于1的数值。

步骤S25B,若当前尺寸达到第三尺寸的第二预定比例,则将模板图像的当前尺寸进行放大。

在上述步骤中,如果模板图像的当前尺寸达到第三尺寸的第二预定比例,即模板图像的当前尺寸小于第三尺寸,需要将模板图像的当前尺寸按照放大策略进行放大,其中,第三尺寸为模板图像的初始值。

步骤S25C,若当前尺寸未达到第三尺寸的第二预定比例,则将模板图像的当前尺寸进行缩小。

在上述步骤中,如果模板图像的当前尺寸未达到第三尺寸的第二预定比例,即模板图像的当前尺寸大于第三尺寸,需要将模板图像的当前尺寸按照缩小策略进行缩小,其中,第三尺寸为模板图像的初始值。

进一步地,图10所示为根据本发明实施例的对模板图像进行放大的策略流程,根据本发明上述实施例第一种实施方式,将模板图像的当前尺寸进行放大的过程可以包括以下步骤:

步骤S41,判断在第二源图像中是否查找到第一目标图像,其中,第一目标图像与模板图像的相似度大于第一预定阈值。

在上述步骤中,第一目标图像可以为尺寸大小为第二尺寸的某一源图像中所查找的目标图像,第一预定阈值可以采用0.65,但不限于此数值。将模板图像与第二源图像进行匹配,在匹配结果矩阵中找到最大相似度,判断最大相似度是否大于第一预定阈值,如果最大相似度大于第一预定阈值,则认为在第二源图像中查找到第一目标对象,如果最大相似度小于第一预定阈值,则认为在第二源图像中没有查找到第一目标对象。

步骤S43,若在第二源图像中查找到第一目标图像,则将模板图像的当前尺寸放大第一比例。

在上述步骤中,第一比例可以为n%,n可以等于1,但不限于此数值,如果在第二源图像中查找到第一目标对象,则将模板图像的当前尺寸放大第一比例。

步骤S45,若在第二源图像中未查找到第一目标图像,则将模板图像的当前尺寸放大第二比例,其中,第二比例大于第一比例。

在上述步骤中,第二比例可以为n%,n可以等于2,但不限于此数值,如果在第二源图像中没有查找到第一目标对象,则将模板图像的当前尺寸放大第二比例。

具体地,上述放大策略可以为:先将模板图像的当前尺寸放大第一比例1%,若在第二源图像中未查找到第一目标图像,则将模板图像的当前尺寸放大第二比例2%,后续每次放大2%,直到某次匹配结果矩阵的最大相似度超过第一预定阈值0.65(暂定经验数值)时,后续每次将模板图像的当前尺寸放大第一比例1%,直到最终放大到最大缩放比率20%为止。期间,若在第二源图像中找到模版图像,则中止,返回找到的模版图像在源图像上的坐标点。

进一步地,如图11是根据本发明实施例的对模板图像进行缩小的策略流程,根据本发明上述实施例第二种实施方式,在将模板图像的当前尺寸进行缩小的过程可以包括以下步骤:

步骤S61,判断在第二源图像中是否查找到第二目标图像,其中,第二目标图像与模板图像的相似度大于第二预定阈值。

在上述步骤中,第二目标图像可以为尺寸大小为第二尺寸的某一源图像中所查找的目标图像,第二预定阈值可以为0.65,但不限于该数值。将模板图像与第二源图像进行匹配,在匹配结果矩阵中找到最大相似度,判断最大相似度是否大于第一预定阈值,如果最大相似度大于第二预定阈值,则认为在第二源图像中查找到第一目标对象,如果最大相似度小于第二预定阈值,则认为在第二源图像中没有查找到第一目标对象。

步骤S63,若在第二源图像中查找到第二目标图像,则将模板图像的当前尺寸缩小第三比例。

在上述步骤中,第三比例可以为n%,n可以等于1,但不限于此数值,如果在第二源图像中查找到第二目标对象,则将模板图像的当前尺寸缩小第三比例(1%)。

步骤S65,若在第二源图像中未查找到第二目标图像,则将模板图像的当前尺寸缩小第四比例,其中,第四比例大于第三比例。

在上述步骤中,第四比例可以为n%,n可以等于2,但不限于此数值,如果在第二源图像中没有查找到第二目标对象,则将模板图像的当前尺寸缩小第四比例(2%)。

具体地,上述缩小策略可以为:先将模板图像的当前尺寸缩小第三比例1%,若在第二源图像中未查找到第一目标图像,则将模板图像的当前尺寸缩小第四比例2%,后续每次缩小2%,直到某次匹配结果矩阵的最大相似度超过第二预定阈值0.65(暂定经验数值)时,后续每次将模板图像的当前尺寸缩小第三比例1%,直到最终缩小到最大缩放比率20%为止。期间,若在第二源图像中找到模版图像,则中止,返回找到的模版图像在源图像上的坐标点。

可选的,在本发明实施例步骤S27中退出条件包括以下之一:

连续出现预定次数的以下情况:第一相似度小于第二相似度,其中,第一相似度为当前一次查找中第二源图像中目标图像与模板图像的最高相似度,第二相似度为上一次查找中第二源图像中目标图像与模板图像的最高相似度;或者

第三相似度小于第四相似度,其中,第三相似度为当前一次查找中第二源图像中目标图像与模板图像的最高相似度,第四相似度为第一次查找中第二源图像中目标图像与尺寸为第三尺寸的模板图像的最高相似度。

在本发明提供的一种可选方案中,本发明实施例上述步骤S23所实现的如图12所示的判断是否查找到模板图像的方法,可以通过如下步骤来实现:

步骤S231,判断在第二源图像中是否存在第三目标图像,其中,第三目标图像与模板图像的相似度大于第三预定阈值;

步骤S233,若在第二源图像中存在第三目标图像,则确定在第二源图像中查找到模板图像,其中,模板图像为第三目标图像。

本发明上述步骤S231与步骤S233所提供的方案中,上述第二源图像可以是如图1所示的QQ登录界面,上述第三目标图像可以是如图2所示的QQ登录界面中的登录账号(邮箱)。因此,如果设备终端在检测到第二源图像中显示了上述第三目标图像,则可以确定在第二源图像中成功查找到模板图像。

由上分析可知,本发明上述步骤所实现的方案通过判断第三目标图像与模板图像的相似度是否大于第三预定阈值,可以判断在第二源图像中是否存在第三目标图像,由此可知,在图1所示的QQ登录界面中查找到相应的模板图像邮箱的坐标点的情况下,就可以确定该坐标点为目标对象的位置点。

本申请上述优选实施例提供了一种图像查找的方法,该方法首先先将不同分辨率上的源图像按某种算法(如二次线性插值、三次卷积插值等)缩放到同一高度(如800像素高,宽度按设备的高宽比计算)的图像。模版图像也在此同一高度下截取出来。再使用模版匹配算法将模版图像与缩放后的源图像进行匹配,若在匹配结果矩阵中大于某个设定的相似度(信任相似度)的最大相似度,则认为找到模版图像;若小于某个设定的相似度,则将模版图像按某种策略逐次缩放比率(目前设定最大缩放比率为20%)后再进行模版匹配,若找到,则返回在源图像找到匹配的坐标点,若找不到,则继续缩放,直到最大缩放比率仍找不到,则返回失败提示。本方案因为使用模版匹配算法,则不会受限于特征匹配算法对源图像中特征点数量的要求;通过先对源图像统一缩放后,再对模版图像逐次缩放查找,可以达到尺度不变特性进行图像查找的目的,从而实现了针对任意尺寸大小的图像实现尺度不变性图像查找的技术效果。

需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。

通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例的方法。

实施例2

下面结合优选的实施方式对本发明的技术方案进行说明。

图13是根据本发明实施例的方法的具体实现流程图。如图13所示的实施例包括以下步骤:

步骤S81,开始。

在上述步骤中,计算设备(可以是计算机、手机等)开始启动图像查找功能。

步骤S83,缩放源图像到“800×宽度”大小。

在上述步骤中,首先使用某种算法,将源图像缩放到“800×宽度”的大小(宽度由源图像的高宽比例决定)。例如,源图像尺寸大小为1920×1080,则缩小后的尺寸大小为800×450。上述算法可以是二次线性插值算法,但不限于该算法,可以是其他算法,只要保证缩放后的源图像的质量不变即可。

步骤S85,初次使用模板匹配算法在源图像中查找模板图像,得到最大相似度(initSimilarity)。

在上述步骤中,第一次使用模版匹配算法将模版图像(模版图像也是从800×450分辨率大小的某一源图像上截取出来)与缩小后的源图像进行匹配,在匹配结果矩阵中,找到最大的数值(这里称为最大相似度,最大数值不超过1.0),上述模板匹配算法可以是TM_CCOEFF_NORMED模版匹配算法,但不限于该算法,可以是其他的算法。

步骤S87,判断相似度initSimilarity是否大于0.7。

在上述步骤中,判断在匹配结果矩阵汇中找的最大相似度是否超过某一数值,如果在上述匹配结果矩阵汇中找的最大相似度超过某一数值(这里称为信任相似度,暂设定为0.7),则认为在源图像中找到模版图像。

需要说明的是,信任相似度可以为0.7,但是可以是其他有意义的数值。如果在上述匹配结果矩阵中,最大相似度大于信任相似度,则认为找到当前尺寸的模版图像,进入步骤S827;如果在上述匹配结果矩阵中,最大相似度小于信任相似度,则认为没有找到当前尺寸的模版图像,进入步骤S89。

步骤S89,将模版图像放大n%(n为1或者2)后进行匹配。

在上述步骤中,将模板图像的当前尺寸放大n%后,再将模板图像与源图像匹配。上述n的值可以为1或者2,但不限于该数值,可以是其他的数值。

步骤S811,找到当前尺寸的模板图像。

判断是否在源图像中可以找到当前尺寸的模板图像,如果找到当前尺寸的模板图像,则进入步骤S27;如果在源图像中没有到当前尺寸的模板图像,则进入步骤S13。

步骤S813,initSimilarity大于0.65。

在上述步骤中,判断在匹配结果矩阵汇中找的最大相似度是否超过某一数值。上述某一数值可以为0.65,但不限于该数值,可以是其的数值。

如果在上述匹配结果矩阵汇中找的最大相似度大于0.65,则执行步骤815;如果在上述匹配结果矩阵中,最大相似度小于0.65,则执行步骤S817。

步骤S815,将模版图像放大1%后进行匹配。

在上述步骤中,将模板图像的当前尺寸放大的比例可以是1%,也可以是其他的比例。将模板图像的当前尺寸放大后进入步骤819。

步骤S817,将模版图像放大2%后进行匹配。

在上述步骤中,将模板图的当前尺寸像放大的比例可以是2%,也可以是其他的数值,只要大于步骤815的放大比例即可。将模板图像的当前尺寸放大后进入步骤819。

步骤S819,最大相似度小于initSimilarity。

在上述步骤中,判断最大相似度是否小于initSimilarity,如果执行步骤815或者817之后,在如果在上述匹配结果矩阵汇中找的最大相似度小于initSimilarity,则执行步骤S825;如果在上述匹配结果矩阵汇中找的最大相似度大于initSimilarity,则执行步骤S821。

步骤S821,连续两次比上一次匹配结果更差。

在上述步骤中,判断连续两次进行模板图像当前尺寸放大之后的结果是否都比上一次匹配结果更差,如果连续两次进行模板图像当前尺寸放大之后的结果都比上一次匹配结果更差,则执行步骤825中的缩小策略。如果连续两次进行模板图像当前尺寸放大之后的结果没有比上一次匹配结果更差,则继续进行放大策略。

步骤S823,已经放大到20%。

在上述步骤中,每次放大n%,判断模板图像的当前尺寸是否已经放大到20%,如果没有放大到20%,则返回重复执行S89至S823的步骤,直到最终放大到20%为止;如果将模板图像的比例已经放大20%,仍没有在源图像中找到当前尺寸的模板图像,则执行步骤S825。

步骤S825,执行缩小策略。

在上述步骤中,缩小策略与放大策略类似,先将模板图像的当前尺寸缩小1%,若在源图像中未查找到第一目标图像,则将模板图像的当前尺寸缩小第四比例2%,后续每次缩小2%,直到某次匹配结果矩阵的最大相似度超过0.65(暂定经验数值)时,后续每次将模板图像的当前尺寸缩小1%,直到最终缩小到最大缩放比率20%为止。期间,若在图像中找到模版图像,则中止,返回找到的模版图像在源图像上的坐标点。

在步骤S823和步骤S825中使用放大策略或者缩小策略的匹配查找过程中,为了减少匹配次数,增加两个策略匹配中止条件。一是某次匹配结果矩阵的最大相似度都小于步骤S819中的最大相似度,则认为此次放大或者缩小的趋势不正确,则立即中止,不再进行后续匹配查找;二是比较当前匹配结果的最大相似度是否小于上次匹配结果的最大相似度,如果连续两次都出现这种情况,则立即中止,不在进行后续匹配查找。

步骤S825,结束。

本申请上述优选的实施例二公开的方案中,采用模板匹配的方式,通过先对源图像进行统一缩放后,再将模版图像与缩放后的源图像进行匹配,根据匹配结果,调整模版图像的尺寸大小,将模板图像按照某种策略逐次缩放比率后再进行模版匹配,直到在源图像上查找到目标图像的位置坐标点。

容易注意到,上述方案因为使用模版匹配算法,则不会受限于特征匹配算法对源图像中特征点数量的要求;通过先对源图像统一缩放后,再对模版图像逐次缩放查找,则使此方案具有尺度不变特性。因此,通过本申请实施例所提供的方案,可以达到尺度不变性图像查找的目的,从而实现了针对任意尺寸大小的图像实现尺度不变性图像查找的技术效果。

由此,本申请提供的上述实施例一的方案解决了现有技术中无法针对任意大小的图像实现尺度不变的图像查找的技术问题。

实施例3

根据本发明实施例,还提供了一种用于实施上述图像查找方法的装置,如图14所示,该装置可以包括:第一调整模块141、处理模块143、查找模块145和第二调整模块147。

第一调整模块141,用于将第一源图像的尺寸从第一尺寸调整到预定的第二尺寸,得到第二源图像;处理模块143,用于重复执行以下功能模块所执行的操作,直到在尺寸为第二尺寸的第二源图像中查找到模板图像或满足退出条件,其中,模板图像的尺寸的初始值为第三尺寸:查找模块145,用于在第二源图像中查找模板图像;以及第二调整模块,用于若在第二源图像中未查找到模板图像,则调整模板图像的尺寸147。

本申请上述实施例二公开的方案中,采用模板匹配的方式,通过先对源图像进行统一缩放后,再将模版图像与缩放后的源图像进行匹配,根据匹配结果,调整模版图像的尺寸大小,将模板图像按照某种策略逐次缩放比率后再进行模版匹配,直到在源图像上查找到目标图像的位置坐标点。

容易注意到,上述方案因为使用模版匹配算法,则不会受限于特征匹配算法对源图像中特征点数量的要求;通过先对源图像统一缩放后,再对模版图像逐次缩放查找,则使此方案具有尺度不变特性。因此,通过本申请实施例所提供的方案,可以达到尺度不变性图像查找的目的,从而实现了针对任意尺寸大小的图像实现尺度不变性图像查找的技术效果。

由此,本申请提供的上述实施例一的方案解决了现有技术中无法针对任意大小的图像实现尺度不变的图像查找的技术问题。

可选的,如图15所示,上述第二调整模块147可以包括:放大模块1471,用于将模板图像的尺寸放大;和/或缩小模块1472,用于将模板图像的尺寸缩小。

可选的,如图15所示,上述第二调整模块147还可以包括:第一判断模块1473,用于判断模板图像的当前尺寸是否达到第三尺寸的第一预定比例,其中,第一预定比例大于1;第一执行模块1474,用于若当前尺寸达到第三尺寸的第一预定比例,则将模板图像的当前尺寸进行缩小;第二执行模块1475,用于若当前尺寸未达到第三尺寸的第一预定比例,则将模板图像的当前尺寸进行放大。

可选的,如图16所示,上述放大模块1471可以包括:第二判断模块1471a,用于判断在第二源图像中是否查找到第一目标图像,其中,第一目标图像与模板图像的相似度大于第一预定阈值;第一子放大模块1471b,用于若在第二源图像中查找到第一目标图像,则将模板图像的当前尺寸放大第一比例;第二子放大模块1471c,用于若在第二源图像中未查找到第一目标图像,则将模板图像的当前尺寸放大第二比例,其中,第二比例大于第一比例。

可选的,上述第二调整模块147还可以包括:第三判断模块1476,用于判断模板图像的当前尺寸是否达到第三尺寸的第二预定比例,其中,第二预定比例小于1;第三执行模块1477,用于若当前尺寸达到第三尺寸的第二预定比例,则将模板图像的当前尺寸进行放大;第四执行模块1478,用于若当前尺寸未达到第三尺寸的第二预定比例,则将模板图像的当前尺寸进行缩小。

可选的,如图17所示,上述缩小模块1472可以包括:第四判断模块1472a,用于判断在第二源图像中是否查找到第二目标图像,其中,第二目标图像与模板图像的相似度大于第二预定阈值;第一子缩小模块1472b,用于若在第二源图像中查找到第二目标图像,则将模板图像的当前尺寸缩小第三比例;第二子缩小模块1472c,用于若在第二源图像中未查找到第二目标图像,则将模板图像的当前尺寸缩小第四比例,其中,第四比例大于第三比例。

可选的,上述退出条件可以包括以下之一:连续出现预定次数的以下情况:第一相似度小于第二相似度,其中,第一相似度为当前一次查找中第二源图像中目标图像与模板图像的最高相似度,第二相似度为上一次查找中第二源图像中目标图像与模板图像的最高相似度;或者,

第三相似度小于第四相似度,其中,第三相似度为当前一次查找中第二源图像中目标图像与模板图像的最高相似度,第四相似度为第一次查找中第二源图像中目标图像与尺寸为第三尺寸的模板图像的最高相似度。

可选的,如图18所示,上述查找模块145可以包括:第七判断模块1451,用于判断在第二源图像中是否存在第三目标图像,其中,第三目标图像与模板图像的相似度大于第三预定阈值;第五执行模块1452,用于若在第二源图像中存在第三目标图像,则确定在第二源图像中查找到模板图像,其中,模板图像为第三目标图像。

实施例3

根据本发明实施例,还提供了一种用于实施上述图像查找方法的服务器或终端,图19是根据本发明实施例的一种移动终端的结构框图。如图19所示,该移动终端可以包括:一个或多个(图中仅示出一个)处理器151、存储器153、以及传输装置155,如图19所示,该终端还可以包括输入输出设备157。

可选的,上述处理器还可以执行如下步骤的程序代码:将第一源图像的尺寸从第一尺寸调整到预定的第二尺寸,得到第二源图像;重复执行以下操作,直到在尺寸为第二尺寸的第二源图像中查找到模板图像或满足退出条件,其中,模板图像的尺寸的初始值为第三尺寸:在第二源图像中查找模板图像;以及若在第二源图像中未查找到模板图像,则调整模板图像的尺寸。

可选的,上述处理器还可以执行如下步骤的程序代码:将模板图像的尺寸放大;和/或将模板图像的尺寸缩小。

可选的,上述处理器还可以执行如下步骤的程序代码:判断模板图像的当前尺寸是否达到第三尺寸的第一预定比例,其中,第一预定比例大于1;若当前尺寸达到第三尺寸的第一预定比例,则将模板图像的当前尺寸进行缩小;若当前尺寸未达到第三尺寸的第一预定比例,则将模板图像的当前尺寸进行放大。

可选的,上述处理器还可以执行如下步骤的程序代码:判断在第二源图像中是否查找到第一目标图像,其中,第一目标图像与模板图像的相似度大于第一预定阈值;若在第二源图像中查找到第一目标图像,则将模板图像的当前尺寸放大第一比例;若在第二源图像中未查找到第一目标图像,则将模板图像的当前尺寸放大第二比例,其中,第二比例大于第一比例。

可选的,上述处理器还可以执行如下步骤的程序代码:判断模板图像的当前尺寸是否达到第三尺寸的第二预定比例,其中,第二预定比例小于1;若当前尺寸达到第三尺寸的第二预定比例,则将模板图像的当前尺寸进行放大;若当前尺寸未达到第三尺寸的第二预定比例,则将模板图像的当前尺寸进行缩小。

可选的,上述处理器还可以执行如下步骤的程序代码:判断在第二源图像中是否查找到第二目标图像,其中,第二目标图像与模板图像的相似度大于第二预定阈值;若在第二源图像中查找到第二目标图像,则将模板图像的当前尺寸缩小第三比例;若在第二源图像中未查找到第二目标图像,则将模板图像的当前尺寸缩小第四比例,其中,第四比例大于第三比例。

可选的,上述处理器还可以执行如下步骤的程序代码:判断在第二源图像中是否存在第三目标图像,其中,第三目标图像与模板图像的相似度大于第三预定阈值;若在第二源图像中存在第三目标图像,则确定在第二源图像中查找到模板图像,其中,模板图像为第三目标图像。

可选的,本实施例中的具体示例可以参考上述实施例1和实施例2中所描述的示例,本实施例在此不再赘述。

本申请上述实施例三公开的方案中,采用模板匹配的方式,通过先对源图像进行统一缩放后,再将模版图像与缩放后的源图像进行匹配,根据匹配结果,调整模版图像的尺寸大小,将模板图像按照某种策略逐次缩放比率后再进行模版匹配,直到在源图像上查找到目标图像的位置坐标点。

容易注意到,上述方案因为使用模版匹配算法,则不会受限于特征匹配算法对源图像中特征点数量的要求;通过先对源图像统一缩放后,再对模版图像逐次缩放查找,则使此方案具有尺度不变特性。因此,通过本申请实施例所提供的方案,可以达到尺度不变性图像查找的目的,从而实现了针对任意尺寸大小的图像实现尺度不变性图像查找的技术效果。

由此,本申请提供的上述实施例一的方案解决了现有技术中无法针对任意大小的图像实现尺度不变的图像查找的技术问题。

本领域普通技术人员可以理解,图19所示的结构仅为示意,计算机终端也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌声电脑以及移动互联网设备(Mobile Internet Devices,MID)、PAD等终端设备。图19其并不对上述电子装置的结构造成限定。例如,计算机终端还可包括比图19中所示更多或者更少的组件(如网络接口、显示装置等),或者具有与图19所示不同的配置。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(Random Access Memory,RAM)、磁盘或光盘等。

实施例4

本发明的实施例还提供了一种存储介质。可选的,在本实施例中,上述存储介质可以用于保存上述实施例一所提供的图像查找方法所执行的程序代码

可选的,在本实施例中,上述存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中,或者位于移动终端群中的任意一个移动终端中。

可选的,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:

S1,将第一源图像的尺寸从第一尺寸调整到预定的第二尺寸,得到第二源图像;

S2,重复执行以下步骤S3和S4所执行的操作,直到在尺寸为第二尺寸的第二源图像中查找到模板图像或满足退出条件,其中,模板图像的尺寸的初始值为第三尺寸;

S3,在第二源图像中查找模板图像;

S4:若在第二源图像中未查找到模板图像,则调整模板图像的尺寸。

可选的,存储介质还被设置为存储用于执行以下步骤的程序代码:将模板图像的尺寸放大;和/或将模板图像的尺寸缩小。

可选的,存储介质还被设置为存储用于执行以下步骤的程序代码:判断模板图像的当前尺寸是否达到第三尺寸的第一预定比例,其中,第一预定比例大于1;若当前尺寸达到第三尺寸的第一预定比例,则将模板图像的当前尺寸进行缩小;若当前尺寸未达到第三尺寸的第一预定比例,则将模板图像的当前尺寸进行放大。

可选的,存储介质还被设置为存储用于执行以下步骤的程序代码:判断在第二源图像中是否查找到第一目标图像,其中,第一目标图像与模板图像的相似度大于第一预定阈值;若在第二源图像中查找到第一目标图像,则将模板图像的当前尺寸放大第一比例;若在第二源图像中未查找到第一目标图像,则将模板图像的当前尺寸放大第二比例,其中,第二比例大于第一比例。

可选的,存储介质还被设置为存储用于执行以下步骤的程序代码:判断模板图像的当前尺寸是否达到第三尺寸的第二预定比例,其中,第二预定比例小于1;若当前尺寸达到第三尺寸的第二预定比例,则将模板图像的当前尺寸进行放大;若当前尺寸未达到第三尺寸的第二预定比例,则将模板图像的当前尺寸进行缩小。

可选的,存储介质还被设置为存储用于执行以下步骤的程序代码:判断在第二源图像中是否查找到第二目标图像,其中,第二目标图像与模板图像的相似度大于第二预定阈值;若在第二源图像中查找到第二目标图像,则将模板图像的当前尺寸缩小第三比例;若在第二源图像中未查找到第二目标图像,则将模板图像的当前尺寸缩小第四比例,其中,第四比例大于第三比例。

可选的,存储介质还被设置为存储用于执行以下步骤的程序代码:判断在第二源图像中是否存在第三目标图像,其中,第三目标图像与模板图像的相似度大于第三预定阈值;若在第二源图像中存在第三目标图像,则确定在第二源图像中查找到模板图像,其中,模板图像为第三目标图像。

可选的,在本实施例中,上述存储介质可以包括但不限于:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

本申请上述实施例四公开的方案中,采用模板匹配的方式,通过先对源图像进行统一缩放后,再将模版图像与缩放后的源图像进行匹配,根据匹配结果,调整模版图像的尺寸大小,将模板图像按照某种策略逐次缩放比率后再进行模版匹配,直到在源图像上查找到目标图像的位置坐标点。

容易注意到,上述方案因为使用模版匹配算法,则不会受限于特征匹配算法对源图像中特征点数量的要求;通过先对源图像统一缩放后,再对模版图像逐次缩放查找,则使此方案具有尺度不变特性。因此,通过本申请实施例所提供的方案,可以达到尺度不变性图像查找的目的,从而实现了针对任意尺寸大小的图像实现尺度不变性图像查找的技术效果。

由此,本申请提供的上述实施例一的方案解决了现有技术中无法针对任意大小的图像实现尺度不变的图像查找的技术问题。

上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。

上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在上述计算机可读取的存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在存储介质中,包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。

在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中,应该理解到,所揭露的客户端,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。

以上仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1