一种图像检测方法、装置、电子设备以及存储介质与流程

文档序号:21699801发布日期:2020-07-31 23:02阅读:184来源:国知局
一种图像检测方法、装置、电子设备以及存储介质与流程

本发明涉及计算机技术领域,具体涉及一种图像检测方法、装置、电子设备以及存储介质。



背景技术:

随着图像处理技术的飞速发展,图像相似度的确定仍然是一个备受争议的话题,对于同样两张图像,从不同层级去确定两者之间的相似度也可能会存在巨大差异,目前检测图像相似度的方法有很多,比如基于像素级的检测方法以及基于神经网络的检测方法,但是,这些方法需要输入的两张图像分辨率以及长宽比一致,当两张图像的分辨率和/或长宽比不同时,会导致检测结果不佳。



技术实现要素:

本发明实施例提供一种图像检测方法、电子设备以及存储介质,可以提高图像检测的准确率。

本发明实施例提供了一种图像检测方法,包括:

采集待检测图像对,所述待检测图像对包括目标图像和参考图像;

分别从目标图像和参考图像中提取用于表征图像中的局部信息的多个特征点,得到多个第一特征点以及多个第二特征点;

根据所述目标图像与参考图像之间的图像差异信息,在多个第二特征点中选择用于图像检测的第二特征点,得到待检测特征点;

基于选择的待检测特征点的以及参考图像的图像信息,在所述参考图像中构建与目标图像匹配的匹配区域;

根据所述匹配区域在所述参考图像中的占比,生成所述目标图像的检测结果。

相应的,本发明实施例还提供了一种图像检测装置,包括:

采集模块,用于采集待检测图像对,所述待检测图像对包括目标图像和参考图像;

提取模块,用于分别从目标图像和参考图像中提取用于表征图像中的局部信息的多个特征点,得到多个第一特征点以及多个第二特征点;

选择模块,用于根据所述目标图像与参考图像之间的图像差异信息,在多个第二特征点中选择用于图像检测的第二特征点,得到待检测特征点;

构建模块,用于基于选择的待检测特征点的以及参考图像的图像信息,在所述参考图像中构建与目标图像匹配的匹配区域;

生成模块,用于根据所述匹配区域在所述参考图像中的占比,生成所述目标图像的检测结果。

可选的,在本发明的一些实施例中,所述构建模块包括:

截取子模块,用于根据所述参考图像的图像信息,在所述参考图像中截取各待检测特征点预设范围内的图像,得到第一匹配图像块;

构建子模块,用于根据目标图像的所有像素点以及各待检测特征点预设范围外的像素点,构建与目标图像中各像素点匹配的图像块,得到第二匹配图像块;

生成子模块,用于基于第一匹配图像块以及第二匹配图像块,生成与目标图像匹配的匹配区域。

可选的,在本发明的一些实施例中,所述构建子模块包括:

获取单元,用于获取目标图像中所有的像素点的颜色值,得到多个第一颜色值,以及获取各待检测特征点预设范围外的像素点的颜色值,得到多个第二颜色值;

构建单元,用于基于各第一颜色值与各第二颜色值构建与目标图像中各像素点匹配的图像块,得到第二匹配图像块。

可选的,在本发明的一些实施例中,所述构建单元包括:

计算子单元,用于计算各第一颜色值与各第二颜色值之间的相似度;

确定子单元,用于将相似度大于预设阈值的第二颜色值对应的第二像素点确定为匹配像素点;

构建子单元,用于基于匹配像素点构建与目标图像中各像素点匹配的图像块,得到第二匹配图像块。

可选的,在本发明的一些实施例中,所述计算子单元具体用于:

根据所述目标图像与参考图像之间的图像差异信息,将各第二像素点映射至目标图像中,得到映射像素点;

计算各映射像素点与对应的第一像素点在各颜色通道上的相似度;

基于各映射像素点与对应的第一像素点在各颜色通道上的相似度,生成各映射像素点与对应的第一像素点之间的相似度。

可选的,在本发明的一些实施例中,所述选择模块包括:

第一计算单元,用于计算各第一特征点与各第二特征点之间的欧式距离;

选择单元,用于根据计算结果从多个第二特征点中选择各第一特征点对应的至少一个参考特征点,得到各第一特征点对应的参考特征点集合;

第二计算单元,用于基于所述目标图像与参考图像之间的图像差异信息,计算各第一特征点与对应的参考特征点集合中的参考特征点之间的位置误差;

确定单元,用于将位置误差满足预设条件的参考特征点确定为与第一特征点匹配的待检测特征点。

可选的,在本发明的一些实施例中,所述第二计算单元具体用于:

基于所述目标图像与参考图像之间的图像差异信息,将所有第一特征点映射至参考图像中,得到多个映射特征点;

计算各映射特征点与对应的参考特征点之间的位置偏移量,得到各第一特征点与对应的参考特征点集合中的参考特征点之间的位置误差;

所述确定单元具体用于:将位置偏移量小于或等于预设偏移量的参考特征点确定为与第一特征点匹配的待检测特征点。

可选的,在本发明的一些实施例中,还包括展示模块,所述展示模块具体用于:

在所述目标图像中去除与匹配区域对应的图像,得到图像保留区域;

基于预置策略展示所述图像保留区域。

本发明实施例在采集待检测图像对后,所述待检测图像对包括目标图像和参考图像,分别从目标图像和参考图像中提取用于表征图像中的局部信息的多个特征点,得到多个第一特征点以及多个第二特征点,然后,根据所述目标图像与参考图像之间的图像差异信息,在多个第二特征点中选择用于图像检测的第二特征点,得到待检测特征点,接着,基于选择的待检测特征点的以及参考图像的图像信息,在所述参考图像中构建与目标图像匹配的匹配区域,最后,根据所述匹配区域在所述参考图像中的占比,生成所述目标图像的检测结果。因此,可以提高图像检测的准确率。

附图说明

为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1a为本发明实施例提供的图像检测方法的场景示意图;

图1b为本发明实施例提供的图像检测方法的流程示意图;

图1c为本发明实施例提供的图像检测方法中的图像保留区域的示意图;

图1d为本发明实施例提供的图像检测方法中的图像保留区域的另一示意图;

图2a是本发明实施例提供的图像检测方法的另一流程示意图;

图2b是本发明实施例提供的图像检测方法中第一特征点和第二特征点的示意图;

图3a是本发明实施例提供的图像检测装置的结构示意图;

图3b是本发明实施例提供的图像检测装置的另一结构示意图;

图4是本发明实施例提供的终端的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

本发明实施例提供一种图像检测方法、装置、电子设备以及存储介质。

其中,该图像检测装置具体可以集成在网络设备,比如终端或服务器等设备中,服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等。

请参阅图1a,本发明实施例提供一种图像检测装置,以下简称检测装置,该检测装置集成在计算机中,在自动化测试的场景中,比如,计算机接收到多个不同设备上传的待检测图像(即目标图像),其中,参考图像和多个待检测图像均为同一应用场景中的图像,如同一个游戏应用的启动界面的图像,需要说明的是,参考图像在进行测试之前,已经由运维人员或计算机对其的图像内容进行检测,并且,参考图像为符合预设标准的图像。

以一个设备上传的待检测图像为例进行说明,计算机可以从目标图像中提取用于表征图像中的局部信息的多个特征点,得到多个第一特征点,以及从参考图像中提取用于表征图像中的局部信息的多个特征点,得到多个第二特征点,然后,根据目标图像与参考图像之间的图像差异信息,在多个第二特征点中选择用于图像检测的第二特征点,得到待检测特征点接着,基于选择的待检测特征点的以及参考图像的图像信息,在参考图像中构建与目标图像匹配的匹配区域,最后,根据匹配区域在参考图像中的占比,生成目标图像的检测结果。

相较于现有图像检测方案而言,本方案根据目标图像与参考图像之间的图像差异信息,确定用于图像检测的待检测特征点,并基于选择的待检测特征点的以及参考图像的图像信息,在参考图像中构建与目标图像匹配的匹配区域,以生成目标图像的检测结果,即,在进行图像检测时,考虑到目标图像与参考图像之间的图像差异信息,避免了目标图像和参考图像的分辨率和/或长宽比不同时而导致检测结果不准确,因此,本方案可以提高图像检测的准确率。

以下分别进行详细说明。需说明的是,以下实施例的描述顺序不作为对实施例优先顺序的限定。

一种图像检测方法,包括:采集待检测图像对,分别从目标图像和参考图像中提取用于表征图像中的局部信息的多个特征点,得到多个第一特征点以及多个第二特征点,根据目标图像与参考图像之间的图像差异信息,在多个第二特征点中选择用于图像检测的第二特征点,得到待检测特征点,基于选择的待检测特征点的以及参考图像的图像信息,在参考图像中构建与目标图像匹配的匹配区域,根据匹配区域在所述参考图像中的占比,生成目标图像的检测结果。

请参阅图1b,图1b为本发明实施例提供的图像检测方法的流程示意图。该图像检测方法的具体流程可以如下:

101、采集待检测图像对。

其中,待检测图像对包括目标图像和参考图像,其中,参考图像和待检测图像均为同一应用场景中的图像,如同一个游戏应用的启动界面的图像,其中,参考图像和目标图像可以是预先保存在本地的,也可以是通过访问网络接口拉取得到的,还可以是通过摄像头实时拍摄得到的,具体根据实际情况而定。

比如,在自动化测试任务中,目标图像可以是预先保存在本地,参考图像可以是通过访问网络接口拉取得到的;在手机相册的图片去重任务中,参考图像和目标图像可以是通过摄像头实时拍摄得到的。

102、分别从目标图像和参考图像中提取用于表征图像中的局部信息的多个特征点,得到多个第一特征点以及多个第二特征点。

图像特征提取是图像分析与图像识别的前提,它是将高维的图像数据进行简化表达最有效的方式,对于一个图像的图像数据而言,计算机不能直接从中获取到该图像的关键信息,因此,为了便于后续的图像检测,可以分别从目标图像和参考图像中提取用于表征图像中的局部信息的多个特征点。具体的,从目标图像当中得到多个第一特征点,用于表示目标图像中的局部信息;从参考图像当中得到多个第二特征点,用于表示参考图像中的局部信息。

需要说明的是,局部特征点是图像特征的局部表达,它只能反正图像上具有的局部特殊性,所以它适用于对图像检测的任务当中,对于图像理解的任务而言,图像理解的任务更关注图像的全局特征,如颜色分布、纹理特征以及主要物体的形状等。此外,全局特征容易受到环境的干扰,如光照、旋转以及噪声等不利因素都会影响全局特征。相比而言,局部特征点往往对应着图像中的一些线条交叉和/或明暗变化的结构,因此,受到环境的影响较小。

可选的,在一些实施例中,可以采用尺度不变特征变换算法(scale-invariantfeaturetransform,sift)从目标图像和参考图像中提取用于表征图像中的局部信息的多个特征点,sift算法是一种电脑视觉的算法用来侦测与描述影像中的局部性特征,它在空间尺度中寻找极值点,并提取出其位置、尺度以及旋转不变量,sift算法具有以下优点:

(a)具有较好的稳定性和不变性,能够适应旋转、尺度缩放以及亮度的变化,能在一定程度上不受视角变化、仿射变换以及噪声的干扰;

(b)区分性好,能够在海量特征数据库中进行快速准确的区分信息进行匹配;

(c)多量性,就算只有单个物体,也能产生大量特征向量;

(d)高速性,能够快速的进行特征向量匹配;

(e)可扩展性,能够与其它形式的特征向量进行联合。

具体的,首先,可以采用高斯函数对图像进行模糊以及降采样,并使用高斯卷积构建图像金字塔(高斯差分金字塔),对于图像中的一个像素点而言,该像素点需要与自身周围的8邻域、以及高斯差分金字塔中上下两层中的相邻18个点相比,进而得到关键点,然后,可以为每个关键点赋予一个反向参数,并获取每个关键点的邻域,计算在邻域内的梯度级和方向,以得到用于表征图像局部信息的特征点。

当然,也可以采用加速稳健特征算法(speededuprobustfeatures,surf)从目标图像和参考图像中提取用于表征图像中的局部信息的多个特征点,surf算法是对sift算法的一种改进,其主要的区别是在算法的执行效率上,具体步骤请前面前面实施例,因此,当图像检测任务中存在大量的目标图像时,可以采用surf算法从目标图像和参考图像中提取用于表征图像中的局部信息的多个特征点,进而提高图像检测的效率。

103、根据目标图像与参考图像之间的图像差异信息,在多个第二特征点中选择用于图像检测的第二特征点,得到待检测特征点。

由于目标图像和参考图像之间可能会存在分辨率和/或长宽比不一致的问题,比如,第一特征点a和第二特征点b所表达的局部图像信息是相同的,即第一特征点a与第二特征点b匹配,当目标图像和参考图像之间的分辨率不一致时,直接将第一特征点a映射至参考图像中,可能会出现映射后的特征点不是第二特征点b的情况,进而判定第一特征点a与参考图像中的特征点不匹配,导致后续对图像识别的结果不准确;又比如,目标图像的长宽比为100:60,参考图像的长宽比为50:20,即目标图像和参考图像之间的长宽比不一致,第一特征点a在目标图像中的坐标为(3,50),将直接将第一特征点a映射至参考图像时,由于参考图像的宽最大值为20,因此,采用这种方法在参考图像中,不存在与第一特征点a对应的特征点,

因此,需要根据目标图像与参考图像之间的图像差异信息,在多个第二特征点中选择用于图像检测的第二特征点,具体的,可以计算各第一特征点与各第二特征点之间的欧式距离,然后,基于计算结果以及目标图像与参考图像之间的图像差异信息,在多个第二特征点中选择用于图像检测的第二特征点,即,可选的,在一些实施例中,步骤“根据目标图像与参考图像之间的图像差异信息,在多个第二特征点中选择用于图像检测的第二特征点,得到待检测特征点”,具体可以包括:

(11)计算各第一特征点与各第二特征点之间的欧式距离;

(12)根据计算结果从多个第二特征点中选择各第一特征点对应的至少一个参考特征点,得到各第一特征点对应的参考特征点集合;

(13)基于目标图像与参考图像之间的图像差异信息,计算各第一特征点与对应的参考特征点集合中的参考特征点之间的位置误差;

(14)将位置误差满足预设条件的参考特征点确定为用于图像检测的待检测特征点。

其中,在欧几里得空间中,点x=(x1,…,xn)和y=(y1,…,yn)之间的欧氏距离,可以采用下式标识:

其表示在欧几里得空间中,点x=(x1,…,xn)和y=(y1,…,yn)之间的欧氏距离d。在计算得到各第一特征点与各第二特征点之间的欧式距离后,可以根据计算结果从多个第二特征点中选择各第一特征点对应的至少一个参考特征点,得到各第一特征点对应的参考特征点集合,以下为了方便描述,以一个第一特征点q为例进行说明,在计算得到第一特征点q与各第二特征点之间的欧式距离后,可以选取欧式距离小于或等于预设距离对应的第二特征点,作为第一特征点q对应的参考特征点,比如,预设距离为3,与第一特征点之间的欧式距离小于或等于3的第二特征点有5个,那么可以确定这5个第二特征点为第一参考特征点q对应的参考特征点;此外,还可以选取与第一特征点之间的欧式距离最小的第二特征点,作为第一特征点q对应的参考特征点,具体根据实际情况进行选择,在此不再赘述。

在得到参考特征点后集合,可以基于目标图像与参考图像之间的图像差异信息,将所有第一特征点映射至参考图像中,再计算映射后特征点与参考特征点之间的位置偏移量,得到各第一特征点与对应的参考特征点集合中的参考特征点之间的位置误差,即,可选的,在一些实施例中,步骤“基于目标图像与参考图像之间的图像差异信息,计算各第一特征点与对应的参考特征点集合中的参考特征点之间的位置误差”,具体可以包括:

(21)基于目标图像与参考图像之间的图像差异信息,将所有第一特征点映射至参考图像中,得到多个映射特征点;

(22)计算各映射特征点与对应的参考特征点之间的位置偏移量,得到各第一特征点与对应的参考特征点集合中的参考特征点之间的位置误差。

相对坐标的计算方法为基于绝对坐标位置根据图像的的长宽进行归一化,假设,假设目标图像中第一特征点s的绝对位置坐标为(xs,ys),目标图像的宽度为w,高度为h,则第一特征点s的相对位置坐标为(xr,yr),其中,xr=xs/w,yr=ys/h。

然后,根据第一特征点s的相对位置坐标,将第一特征点s映射至参考图像中,得到映射特征点s’,其中映射特征点s’在参考图像中的坐标为第一特征点s的相对位置坐标,假设第一特征点s的参考特征点e的坐标为(xe,ye),那么,映射特征点s’与参考特征点e的位置偏移则可以标识为(xe-xr,ye-yr)。

由于目标图像和参考图像可能会存在分辨率和/或长宽比不一致的问题,因此,可以将位置偏移量小于或等于预设偏移量的参考特征点确定为用于图像检测的待检测特征点,比如,预设偏移量可以为0.1,也可以为0.05。若,映射特征点与对应的参考特征点之间的位置偏移量大于预设偏移量,则不将位置偏移量大于预设偏移量的参考特征点确定为用于图像检测的待检测特征点。

需要说明的是,图像分辨率是单位英寸中所包含的像素点数,对于是不同分辨率的两张图像,由于其单位英寸中所包含的像素点数不同,因此,特征点所表征的图像区域范围也不同,在本实施例种,允许映射特征点与对应的参考特征点之间的位置偏移量在指定的阈值内,若映射特征点与对应的参考特征点之间的位置偏移量大于预设偏移量,则表明,若映射特征点与对应的参考特征点之间的误差太大,不便于后续的图像检测,因此,不将位置偏移量大于预设偏移量的参考特征点确定为用于图像检测的待检测特征点。

104、基于选择的待检测特征点的以及参考图像的图像信息,在参考图像中构建与目标图像匹配的匹配区域。

由于特征点本身是对一个小的图像局部区域的描述,因此,判断一个区域是否能匹配,需要基于特征点对其四周区域进行匹配判定。本实施例将特征点四周的像素根据其距离特征点的距离分为两类采用不同的策略进行匹配判定。

对于每个特征点周围预设范围内以内的像素,若特征点匹配成功,意味着这一小块区域有着高度相似的图案,可以确定这部分区域内的像素也匹配成功,即,可选的,在一些实施例中,步骤“基于选择的待检测特征点的以及参考图像的图像信息,在参考图像中构建与目标图像匹配的匹配区域”,具体可以包括:

(31)根据参考图像的图像信息,在参考图像中截取各待检测特征点预设范围内的图像,得到第一匹配图像块;

(32)根据目标图像的所有像素点以及各待检测特征点预设范围外的像素点,构建与目标图像中各像素点匹配的图像块,得到第二匹配图像块;

(33)基于第一匹配图像块以及第二匹配图像块,生成与目标图像匹配的匹配区域。

在本方案中,特征点表征了图像的局部信息,若特征点能匹配,意味着这一小块区域有着高度相似的图案。因此,当目标图像中的第一特征点在参考图像中具有相应的待检测特征点,则认为,待检测特征点预设范围内的图像与第一特征点预设范围内的图像匹配。

由于特征点本身是对一个小的图像局部区域的描述,因此,对于特征点预设范围之外的像素点,还需要根据其颜色值进行进一步的匹配判定,即,可选的,在一些实施例中,步骤“根据目标图像的所有像素点以及各待检测特征点预设范围外的像素点,构建与目标图像中各像素点匹配的图像块,得到第二匹配图像块”,具体可以包括:

(41)获取目标图像中所有的像素点的颜色值,得到多个第一颜色值,以及获取各待检测特征点预设范围外的像素点的颜色值,得到多个第二颜色值;

(42)基于各第一颜色值与各第二颜色值构建与目标图像中各像素点匹配的图像块,得到第二匹配图像块。

例如,具体的,可以根据计算各第一颜色值与各第二颜色值之间的相似度,将相似度大于预设预置的第二像素点确定为匹配像素点,然后,基于匹配像素点构建与目标图像中各像素点匹配的图像块,得到第二匹配图像块,即,可选的,在一些实施例中,步骤“基于各第一颜色值与各第二颜色值构建与目标图像中各像素点匹配的图像块,得到第二匹配图像块”,具体可以包括:

(51)计算各第一颜色值与各第二颜色值之间的相似度;

(52)将相似度大于预设阈值的第二颜色值对应的第二像素点确定为匹配像素点;

(53)基于匹配像素点构建与目标图像中各像素点匹配的图像块,得到第二匹配图像块。

其中,颜色值在不同颜色空间有不同的表示方法,比如,在rgb颜色空间下,是通过对红(red,r)、绿(green,g)以及蓝(blue,b)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色,又比如,在hsv颜色空间中,hsi颜色空间是从人的视觉系统出发,用色调(hue)、色饱和度(saturation或chroma)和亮度(intensity或brightness)来描述色彩,其中,hsv颜色空间的模型对应于圆柱坐标系中的一个圆锥形子集,圆锥的顶面对应于v=1.它包含rgb模型中的r=1,g=1,b=1三个面,也就是说,hsv颜色空间和rgb颜色空间是可以互相转换的。

由于在rgb颜色空间中,往往一个通道的一点改变,会导致最后融合在一起的颜色发生巨大变化,而如果三个通道的同时改变却只会使最后的明暗发生变化,色调并不会产生巨大变化,因此,在本实施例中,可以采用颜色空间转换的方法,计算各第一颜色值与各第二颜色值之间的相似度,比如,可以分别各第一颜色值和各第二颜色值进行颜色空间转换,再根据转换后的颜色值计算各第一颜色值和各第二颜色值之间的相似度,其中,相似度的衡量权重可以根据实际情况进行调整,比如,对于游戏应用测试而言,其更关注的是目标图像与参考图像色调之间的相似,因此,可以更关注色调之间的相似度,而对于实际拍摄的照片而言,其关注的对象为色度(色调和饱和度的统称),因此,可以更关注色度之间的相似度,具体根据实际情况进行设定。

需要说明的是,由于目标图像和参考图像之间可能会存在分辨率和/或长宽比不一致的问题,目标图像上的像素点直接映射在参考图像上后,可能会出现映射后的像素点不在参考图像上,因此,需要根据目标图像与参考图像之间的图像差异信息,计算各第一颜色值与各第二颜色值之间的相似度,即,可选的,在一些实施例中,步骤“计算各第一颜色值与各第二颜色值之间的相似度”,具体可以包括:

(61)根据目标图像与参考图像之间的图像差异信息,将各第二像素点映射至目标图像中,得到映射像素点;

(62)计算各映射像素点与对应的第一像素点在各颜色通道上的相似度;

(63)基于各映射像素点与对应的第一像素点在各颜色通道上的相似度,生成各映射像素点与对应的第一像素点之间的相似度。

例如,具体的,可以根据目标图像与参考图像之间的图像差异信息,计算各第二像素点在目标图像中的坐标,具体方法可以参阅前面相对坐标的计算方法,在此不再赘述,然后,计算各映射像素点与对应的第一像素点在各颜色通道上的相似度,最后,基于各映射像素点与对应的第一像素点在各颜色通道上的相似度,生成各映射像素点与对应的第一像素点之间的相似度。

105、根据匹配区域在参考图像中的占比,生成目标图像的检测结果。

比如,具体的,当匹配区域在参考图像中的占比大于预设占比时,则确定目标图像与参考图像匹配,当匹配区域在参考图像中的占比小于或等于预设占比时,则确定目标图像与参考图像不匹配,其中,预设占比可以根据实际情况进行设定,如80%,此外,还可以根据预置策略显示不匹配的区域,即,可选的,在一些实施例中,步骤“根据匹配区域在参考图像中的占比,生成目标图像的检测结果”,还可以包括:

(71)在目标图像中去除与匹配区域对应的图像,得到图像保留区域;

(72)基于预置策略展示图像保留区域。

比如,以高亮的颜色显示该图像保留区域,并将匹配区域s的透明度调为0%,如图1c所示;又比如,对图像保留区域u进行标注,标注内容为“不匹配区域”,然后,将展示标注后的图像保留区域u,如图1d所示。

本发明实施例在采集待检测图像对后,待检测图像对包括目标图像和参考图像,分别从目标图像和参考图像中提取用于表征图像中的局部信息的多个特征点,得到多个第一特征点以及多个第二特征点,然后,根据目标图像与参考图像之间的图像差异信息,在多个第二特征点中选择用于图像检测的第二特征点,得到待检测特征点,接着,基于选择的待检测特征点的以及参考图像的图像信息,在参考图像中构建与目标图像匹配的匹配区域,最后,根据匹配区域在参考图像中的占比,生成目标图像的检测结果。相较于现有图像检测方案而言,本方案根据目标图像与参考图像之间的图像差异信息,确定用于图像检测的待检测特征点,并基于选择的待检测特征点的以及参考图像的图像信息,在参考图像中构建与目标图像匹配的匹配区域,以生成目标图像的检测结果,即,在进行图像检测时,考虑到目标图像与参考图像之间的图像差异信息,避免了目标图像和参考图像的分辨率和/或长宽比不同时而导致检测结果不准确,因此,本方案可以提高图像检测的准确率。

根据实施例所述的方法,以下将举例进一步详细说明。

在本实施例中将以该图像检测装置具体集成在终端中为例进行说明。

请参阅图2a,一种图像检测方法,具体流程可以如下:

201、终端采集待检测图像对。

其中,待检测图像对包括目标图像和参考图像,其中,参考图像和待检测图像均为同一应用场景中的图像,如同一个游戏应用的启动界面的图像,其中,参考图像和目标图像可以是预先保存在本地的,也可以是通过访问网络接口拉取得到的,还可以是通过摄像头实时拍摄得到的,具体根据实际情况而定。

202、终端分别从目标图像和参考图像中提取用于表征图像中的局部信息的多个特征点,得到多个第一特征点以及多个第二特征点。

可选的,在一些实施例中,终端可以采用尺度不变特征变换算法(scale-invariantfeaturetransform,sift)从目标图像a和参考图像b中提取用于表征图像中的局部信息的多个特征点,得到多个第一特征点n1以及多个第二特征点n2,如图2b所示,可以看出,目标图像a中的屋子并没有窗户和门,因此,在目标图像a提取不到窗户的特征点以及门的特征点,而在参考图像b中,屋子是具有窗户和门的,因此,在参考图像b中,可以提取到窗户的特征点以及门的特征点。

203、终端根据目标图像与参考图像之间的图像差异信息,在多个第二特征点中选择用于图像检测的第二特征点,得到待检测特征点。

由于目标图像和参考图像之间可能会存在分辨率和/或长宽比不一致的问题,因此,需要根据目标图像与参考图像之间的图像差异信息,在多个第二特征点中选择用于图像检测的第二特征点,若使用绝对位置(即特征点在所属图像中的位置),可能会出现目标图像中的某个特征点在参考图像的图像区域外,具体的,终端可以计算各第一特征点与各第二特征点之间的欧式距离,然后,终端基于计算结果以及目标图像与参考图像之间的图像差异信息,在多个第二特征点中选择用于图像检测的第二特征点。

204、终端基于选择的待检测特征点的以及参考图像的图像信息,在参考图像中构建与目标图像匹配的匹配区域。

例如,具体的,终端可以根据计算各第一颜色值与各第二颜色值之间的相似度,终端将相似度大于预设预置的第二像素点确定为匹配像素点,然后,终端基于匹配像素点构建与目标图像中各像素点匹配的图像块,得到第二匹配图像块。

205、终端根据匹配区域在参考图像中的占比,生成目标图像的检测结果。

比如,具体的,终端当匹配区域在参考图像中的占比大于预设占比时,则确定目标图像与参考图像匹配,终端当匹配区域在参考图像中的占比小于或等于预设占比时,则确定目标图像与参考图像不匹配。

为了便于对本发明实施例的图像检测方法的理解,以游戏测试的场景为例进行说明,在某个游戏测试任务中,需要对48台手机的画面进行一一确认,测试人员可以先对这48台手机中其中一台手机的画面进行检测,当检测完后,并将该台手机的画面作为参考图像,并将其余47台手机的画面均作为目标图像,为了便于描述以下以一个目标图像进行说明,首先,可以从目标图像中提取用于表征图像中的局部信息的多个特征点,得到多个第一特征点,以及从参考图像中提取用于表征图像中的局部信息的多个特征点,得到多个第二特征点,然后,根据目标图像与参考图像之间的图像差异信息(如图像分辨率差异以及图像尺寸差异),在多个第二特征点中选择用于图像检测的第二特征点,得到待检测特征点接着,基于选择的待检测特征点的以及参考图像的图像信息,在参考图像中构建与目标图像匹配的匹配区域,最后,根据匹配区域在参考图像中的占比,生成图像检测结果,并且,可以以高亮的颜色标注不匹配的区域,便于后续测试人员对图像作进一步处理。

由上可知,本发明实施例的终端在采集待检测图像对后,待检测图像对包括目标图像和参考图像,终端分别从目标图像和参考图像中提取用于表征图像中的局部信息的多个特征点,得到多个第一特征点以及多个第二特征点,然后,终端目标图像与参考图像之间的图像差异信息,在多个第二特征点中选择用于图像检测的第二特征点,得到待检测特征点,接着,终端基于选择的待检测特征点的以及参考图像的图像信息,在参考图像中构建与目标图像匹配的匹配区域,最后,终端根据匹配区域在参考图像中的占比,生成目标图像的检测结果。相较于现有图像检测方案而言,本方案的终端根据目标图像与参考图像之间的图像差异信息,确定用于图像检测的待检测特征点,并基于选择的待检测特征点的以及参考图像的图像信息,在参考图像中构建与目标图像匹配的匹配区域,以生成目标图像的检测结果,即,在进行图像检测时,考虑到目标图像与参考图像之间的图像差异信息,避免了目标图像和参考图像的分辨率和/或长宽比不同时而导致检测结果不准确,因此,本方案可以提高图像检测的准确率。

为便于更好的实施本发明实施例的图像检测方法,本发明实施例还提供一种基于上述图像检测装置(简称检测装置)。其中名词的含义与上述图像检测方法中相同,具体实现细节可以参考方法实施例中的说明。

请参阅图3a,图3a为本发明实施例提供的图像检测装置的结构示意图,其中该检测装置可以包括采集模块301、提取模块302、选择模块303、构建模块304以及生成模块305,具体可以如下:

采集模块301,用于采集待检测图像对。

其中,待检测图像对包括目标图像和参考图像,其中,参考图像和待检测图像均为同一应用场景中的图像,如同一个游戏应用的启动界面的图像,其中,参考图像和目标图像可以是预先保存在本地的,也可以是通过访问网络接口拉取得到的,还可以是通过摄像头实时拍摄得到的,具体根据实际情况而定。

提取模块302,用于分别从目标图像和参考图像中提取用于表征图像中的局部信息的多个特征点,得到多个第一特征点以及多个第二特征点。

例如,具体的,提取模块302可以采用尺度不变特征变换算法(scale-invariantfeaturetransform,sift)从目标图像和参考图像中提取用于表征图像中的局部信息的多个特征点,得到多个第一特征点以及多个第二特征点。

选择模块303,用于根据目标图像与参考图像之间的图像差异信息,在多个第二特征点中选择用于图像检测的第二特征点,得到待检测特征点。

可选的,在一些实施例中,选择模块303具体可以包括:

第一计算单元,用于计算各第一特征点与各第二特征点之间的欧式距离;

选择单元,用于根据计算结果从多个第二特征点中选择各第一特征点对应的至少一个参考特征点,得到各第一特征点对应的参考特征点集合;

第二计算单元,用于基于目标图像与参考图像之间的图像差异信息,计算各第一特征点与对应的参考特征点集合中的参考特征点之间的位置误差;

确定单元,用于将位置误差满足预设条件的参考特征点确定为与第一特征点匹配的待检测特征点。

可选的,在一些实施例中,第二计算单元具体可以用于:基于目标图像与参考图像之间的图像差异信息,将所有第一特征点映射至参考图像中,得到多个映射特征点,计算各映射特征点与对应的参考特征点之间的位置偏移量,得到各第一特征点与对应的参考特征点集合中的参考特征点之间的位置误差。

可选的,在一些实施例中,确定单元具体可以用于:将位置偏移量小于或等于预设偏移量的参考特征点确定为与第一特征点匹配的待检测特征点。

构建模块304,用于基于选择的待检测特征点的以及参考图像的图像信息,在参考图像中构建与目标图像匹配的匹配区域。

可选的,在一些实施例中,构建模块304具体可以包括:

截取子模块,用于根据参考图像的图像信息,在参考图像中截取各待检测特征点预设范围内的图像,得到第一匹配图像块;

构建子模块,用于根据目标图像的所有像素点以及各待检测特征点预设范围外的像素点,构建与目标图像中各像素点匹配的图像块,得到第二匹配图像块;

生成子模块,用于基于第一匹配图像块以及第二匹配图像块,生成与目标图像匹配的匹配区域。

可选的,在一些实施例中,构建子模块具体可以包括:

获取单元,用于获取目标图像中所有的像素点的颜色值,得到多个第一颜色值,以及获取各待检测特征点预设范围外的像素点的颜色值,得到多个第二颜色值;

构建单元,用于基于各第一颜色值与各第二颜色值构建与目标图像中各像素点匹配的图像块,得到第二匹配图像块。

可选的,在一些实施例中,构建单元具体可以包括:

计算子单元,用于计算各第一颜色值与各第二颜色值之间的相似度;

确定子单元,用于将相似度大于预设阈值的第二颜色值对应的第二像素点确定为匹配像素点;

构建子单元,用于基于匹配像素点构建与目标图像中各像素点匹配的图像块,得到第二匹配图像块。

可选的,在一些实施例中,计算子单元具体可以用于:根据目标图像与参考图像之间的图像差异信息,将各第二像素点映射至目标图像中,得到映射像素点,计算各映射像素点与对应的第一像素点在各颜色通道上的相似度,基于各映射像素点与对应的第一像素点在各颜色通道上的相似度,生成各映射像素点与对应的第一像素点之间的相似度。

生成模块305,用于根据匹配区域在参考图像中的占比,生成目标图像的检测结果。

比如,具体的,生成模块305当匹配区域在参考图像中的占比大于预设占比时,则确定目标图像与参考图像匹配,生成模块305当匹配区域在参考图像中的占比小于或等于预设占比时,则确定目标图像与参考图像不匹配。

可选的,请参阅图3b,在一些实施例中,检测装置具体还可以包括展示模块306,展示模块306具体可以用于:在目标图像中去除与匹配区域对应的图像,得到图像保留区域,基于预置策略展示图像保留区域。

可见,本发明实施例的采集模块301在采集待检测图像对后,待检测图像对包括目标图像和参考图像,提取模块302分别从目标图像和参考图像中提取用于表征图像中的局部信息的多个特征点,得到多个第一特征点以及多个第二特征点,然后,选择模块303根据目标图像与参考图像之间的图像差异信息,在多个第二特征点中选择用于图像检测的第二特征点,得到待检测特征点,接着,构建模块304基于选择的待检测特征点的以及参考图像的图像信息,在参考图像中构建与目标图像匹配的匹配区域,最后,生成模块305根据匹配区域在参考图像中的占比,生成目标图像的检测结果。相较于现有图像检测方案而言,本方案的选择模块303根据目标图像与参考图像之间的图像差异信息,在多个第二特征点中选择用于图像检测待检测特征点,构建模块304基于选择的待检测特征点的以及参考图像的图像信息,在参考图像中构建与目标图像匹配的匹配区域,以生成目标图像的检测结果,即,在进行图像检测时,考虑到目标图像与参考图像之间的图像差异信息,避免了目标图像和参考图像的分辨率和/或长宽比不同时而导致检测结果不准确,因此,本方案可以提高图像检测的准确率。

相应的,本发明实施例还提供一种终端,如图4所示,该终端可以包括射频(rf,radiofrequency)电路401、包括有一个或一个以上计算机可读存储介质的存储器402、输入单元403、显示单元404、传感器405、音频电路406、无线保真(wifi,wirelessfidelity)模块407、包括有一个或者一个以上处理核心的处理器408、以及电源409等部件。本领域技术人员可以理解,图4中示出的终端结构并不构成对终端的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:

rf电路401可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,交由一个或者一个以上处理器408处理;另外,将涉及上行的数据发送给基站。通常,rf电路401包括但不限于天线、至少一个放大器、调谐器、一个或多个振荡器、用户身份模块(sim,subscriberidentitymodule)卡、收发信机、耦合器、低噪声放大器(lna,lownoiseamplifier)、双工器等。此外,rf电路401还可以通过无线通信与网络和其他设备通信。所述无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯系统(gsm,globalsystemofmobilecommunication)、通用分组无线服务(gprs,generalpacketradioservice)、码分多址(cdma,codedivisionmultipleaccess)、宽带码分多址(wcdma,widebandcodedivisionmultipleaccess)、长期演进(lte,longtermevolution)、电子邮件、短消息服务(sms,shortmessagingservice)等。

存储器402可用于存储软件程序以及模块,处理器408通过运行存储在存储器402的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据终端的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器402可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器402还可以包括存储器控制器,以提供处理器408和输入单元403对存储器402的访问。

输入单元403可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地,在一个具体的实施例中,输入单元403可包括触敏表面以及其他输入设备。触敏表面,也称为触摸显示屏或者触控板,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面上或在触敏表面附近的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触敏表面可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器408,并能接收处理器408发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面。除了触敏表面,输入单元403还可以包括其他输入设备。具体地,其他输入设备可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。

显示单元404可用于显示由用户输入的信息或提供给用户的信息以及终端的各种图形用户接口,这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元404可包括显示面板,可选的,可以采用液晶显示器(lcd,liquidcrystaldisplay)、有机发光二极管(oled,organiclight-emittingdiode)等形式来配置显示面板。进一步的,触敏表面可覆盖显示面板,当触敏表面检测到在其上或附近的触摸操作后,传送给处理器408以确定触摸事件的类型,随后处理器408根据触摸事件的类型在显示面板上提供相应的视觉输出。虽然在图4中,触敏表面与显示面板是作为两个独立的部件来实现输入和输入功能,但是在某些实施例中,可以将触敏表面与显示面板集成而实现输入和输出功能。

终端还可包括至少一种传感器405,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板的亮度,接近传感器可在终端移动到耳边时,关闭显示面板和/或背光。作为运动传感器的一种,重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于终端还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。

音频电路406、扬声器,传声器可提供用户与终端之间的音频接口。音频电路406可将接收到的音频数据转换后的电信号,传输到扬声器,由扬声器转换为声音信号输出;另一方面,传声器将收集的声音信号转换为电信号,由音频电路406接收后转换为音频数据,再将音频数据输出处理器408处理后,经rf电路401以发送给比如另一终端,或者将音频数据输出至存储器402以便进一步处理。音频电路406还可能包括耳塞插孔,以提供外设耳机与终端的通信。

wifi属于短距离无线传输技术,终端通过wifi模块407可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图4示出了wifi模块407,但是可以理解的是,其并不属于终端的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。

处理器408是终端的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在存储器402内的软件程序和/或模块,以及调用存储在存储器402内的数据,执行终端的各种功能和处理数据,从而对手机进行整体监控。可选的,处理器408可包括一个或多个处理核心;优选的,处理器408可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器408中。

终端还包括给各个部件供电的电源409(比如电池),优选的,电源可以通过电源管理系统与处理器408逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源409还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

尽管未示出,终端还可以包括摄像头、蓝牙模块等,在此不再赘述。具体在本实施例中,终端中的处理器408会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中,并由处理器408来运行存储在存储器402中的应用程序,从而实现各种功能:

采集待检测图像对,分别从目标图像和参考图像中提取用于表征图像中的局部信息的多个特征点,得到多个第一特征点以及多个第二特征点,根据目标图像与参考图像之间的图像差异信息,在多个第二特征点中选择用于图像检测的第二特征点,得到待检测特征点,基于选择的待检测特征点的以及参考图像的图像信息,在参考图像中构建与目标图像匹配的匹配区域,根据匹配区域在所述参考图像中的占比,生成目标图像的检测结果。

本发明实施例在采集待检测图像对后,待检测图像对包括目标图像和参考图像,分别从目标图像和参考图像中提取用于表征图像中的局部信息的多个特征点,得到多个第一特征点以及多个第二特征点,然后,根据目标图像与参考图像之间的图像差异信息,在多个第二特征点中选择用于图像检测的第二特征点,得到待检测特征点,接着,基于选择的待检测特征点的以及参考图像的图像信息,在参考图像中构建与目标图像匹配的匹配区域,最后,根据匹配区域在参考图像中的占比,生成目标图像的检测结果。相较于现有图像检测方案而言,本方案根据目标图像与参考图像之间的图像差异信息,确定用于图像检测的待检测特征点,并基于选择的待检测特征点的以及参考图像的图像信息,在参考图像中构建与目标图像匹配的匹配区域,以生成目标图像的检测结果,即,在进行图像检测时,考虑到目标图像与参考图像之间的图像差异信息,避免了目标图像和参考图像的分辨率和/或长宽比不同时而导致检测结果不准确,因此,本方案可以提高图像检测的准确率。

本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。

为此,本发明实施例提供一种存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以执行本发明实施例所提供的任一种图像检测方法中的步骤。例如,该指令可以执行如下步骤:

采集待检测图像对,分别从目标图像和参考图像中提取用于表征图像中的局部信息的多个特征点,得到多个第一特征点以及多个第二特征点,根据目标图像与参考图像之间的图像差异信息,在多个第二特征点中选择用于图像检测的第二特征点,得到待检测特征点,基于选择的待检测特征点的以及参考图像的图像信息,在参考图像中构建与目标图像匹配的匹配区域,根据匹配区域在所述参考图像中的占比,生成目标图像的检测结果。

以上各个操作的具体实施可参见前面的实施例,在此不再赘述。

其中,该存储介质可以包括:只读存储器(rom,readonlymemory)、随机存取记忆体(ram,randomaccessmemory)、磁盘或光盘等。

由于该存储介质中所存储的指令,可以执行本发明实施例所提供的任一种图像检测方法中的步骤,因此,可以实现本发明实施例所提供的任一种图像检测方法所能实现的有益效果,详见前面的实施例,在此不再赘述。

以上对本发明实施例所提供的一种图像检测方法、装置、终端以及存储介质进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1