一种相似图像检索方法、装置及系统与流程

本发明属于图像处理技术领域，具体涉及一种相似图像检索方法、装置及系统。

背景技术：

由于基于请求图像与数据库中图像的相似度信息，在一定的标准下召回的若干与请求图像相似的图像中，不可避免的会存在一些假阳性结果。本发明进一步通过对召回图像的特征进行离散程度分析，进而剔除潜在异常数据减少相似图像检索系统的假阳性反馈结果。

相似图像检索是指，指定一幅请求图像(queryimage)，在一个预先收集的图像数据库中查询到与请求图像最相似的若干图像。相似图像检索有着广泛的应用场景，例如辅助购物系统帮助顾客找到理想商品，时装设计、室内设计和建筑设计等相关的辅助工具帮助设计师获取不同的灵感，以及医疗辅助系统帮助医师诊断等。相近似的实现方案：在早期的一些相似图像检索系统中采用了基于文本的图像检索方法，但是基于文本的图像检索必须要对收集到的图像数据库中的图像进行手工的标注，然而手工标注对于非常大的图像数据库来说是非常耗时耗力的。为了解决基于文本的检索方法所面临的挑战，基于内容的相似图像检索(conten-basedretrieval，cbir)方法应运而生。cbir的基本流程是：1)对图像数据库中的图像进行视觉特征提取以及存储；2)计算用户请求图像与数据库中图像的相似度；3)基于计算的相似度信息输出数据库中若干与请求图像相似的图像。目前，cbir方法已成为现代图像检索系统中的主流方法，但是首先cbir方法流程中的视觉特征提取是最为关键的一步，其直接会影响到请求图像与数据库中图像的相似度计算，进而对基于相似度信息而输出相似图像造成影响。同时，由于请求图像与数据库中的图像的相似度计算一般都会与人类语义上的相似度定义有一定的误差，这便会不可避免的造成在一定的标准下系统输出的相似图像中存在一定的假阳性结果。

技术实现要素：

针对上述问题，本发明提出一种相似图像检索方法、装置及系统，首先利用在大规模分类图像数据集上进行预训练的模型对请求图像进行特征提取，得到能够更好地对图像内容进行表达的特征，为图像间相似度估计带来好处；同时，计算所述提取出来的请求图像的特征与图像特征向量库中的特征的相似度，基于计算出来的相似度结果从数据库中获取到若干张与所述请求图像相似的图像，进一步对获取到的相似图像的特征进行离散程度分析，剔除潜在的异常数据，提高图像检索的准确率。

为了实现上述技术目的，达到上述技术效果，本发明通过以下技术方案实现：

第一方面，本发明提供了一种相似图像检索方法，包括以下步骤：

获取请求图像的特征向量以及图像特征向量库；

计算所述请求图像的特征向量与图像特征向量库中的各特征向量的相似度，并基于计算出来的相似度结果完成相似图像召回；

基于所述召回的相似图像的特征的离散度进行假阳性结果剔除，得到最终的图像检索结果，作为请求反馈结果。

优选地，所述请求图像的特征向量通过以下步骤获得：

获取请求图像；

采用在大规模图像分类任务上训练后的cnn模型对所述请求图像进行迁移特征提取，获得请求图像的特征向量。

优选地，所述图像特征向量库通过以下步骤获得：

采用在大规模图像分类任务上训练后的cnn模型对图像数据库中的各个图像数据分别进行特征提取，获得若干个特征向量；

利用索引技术对提取到的特征向量建立索引，进而构造出图像特征向量库，方便后续基于图像特征的检索。

优选地，所述相似图像的数目大于1。

优选地，所述基于所述召回的相似图像的特征的离散度进行假阳性结果剔除，得到最终的图像检索结果，具体为：

获取离散度模型，所述离散度模型具体为：

其中，c表示特征向量的总个数，c表示特征向量的序号，x^c表示第c个特征向量，表示平均向量，β^c表示第c个特征向量与平均向量间的夹角，d表示特征离散程度；

当满足下式时，则判定特征x^c对应的召回图像为一个假阳性结果：

β^c＞1.5d。

第二方面，本发明提供了一种相似图像检索装置，包括：

获取模块，用于获取请求图像的特征向量以及图像特征向量库；

图像召回模块，用于计算所述请求图像的特征向量与图像特征向量库中的各特征向量的相似度，并基于计算出来的相似度结果完成相似图像召回；

处理模块，用于基于所述召回的相似图像的特征的离散度进行假阳性结果剔除，得到最终的图像检索结果，作为请求反馈结果。

优选地，所述请求图像的特征向量通过以下步骤获得：

获取请求图像；

采用在大规模图像分类任务上训练后的cnn模型对所述请求图像进行迁移特征提取，获得请求图像的特征向量。

优选地，所述图像特征向量库通过以下步骤获得：

采用在大规模图像分类任务上训练后的cnn模型对图像数据库中的各个图像数据分别进行特征提取，获得若干个特征向量；

利用索引技术对提取到的特征向量建立索引，进而构造出图像特征向量库，方便后续基于图像特征的检索。

优选地，所述基于所述召回的相似图像的特征的离散度进行假阳性结果剔除，得到最终的图像检索结果，具体为：

获取离散度模型，所述离散度模型具体为：

其中，c表示特征向量的总个数，c表示特征向量的序号，x^c表示第c个特征向量，表示平均向量，β^c表示第c个特征向量与平均向量间的夹角，d表示特征离散程度；

当满足下式时，则判定特征x^c对应的召回图像为一个假阳性结果：

β^c＞1.5d。

第三方面，本发明提供了一种相似图像检索系统，包括：

处理器，适于实现各指令；以及

存储设备，适于存储多条指令，所述指令适于由处理器加载并执行第一方面中所述的步骤。

与现有技术相比，本发明的有益效果：

本发明提出一种相似图像检索方法、装置及系统，首先利用在大规模分类图像数据集上进行预训练的模型对请求图像进行特征提取，得到能够更好地对图像内容进行表达的特征，为图像间相似度估计带来好处；同时，计算所述提取出来的请求图像的特征与图像特征向量库中的特征的相似度，基于计算出来的相似度结果从数据库中获取到若干张与所述请求图像相似的图像，进一步对获取到的相似图像的特征进行离散程度分析，剔除潜在的异常数据，提高图像检索的准确率。

附图说明

图1为本发明一种实施例的相似图片检索方法流程示意图；

图2为本发明一种实施例的图像特征提取的流程示意图；

图3为本发明一种实施例的图像特征向量库的建立流程示意图；

图4为本发明一种实施例的相似图像的召回流程示意图；

图5为本发明一种实施例的假阳性结果剔除流程示意图；

图6为本发明一种实施例的图像检索结果示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明的保护范围。

下面结合附图对本发明的应用原理作详细的描述。

由于现有技术中的cbir方法流程中的视觉特征提取是最为关键的一步，其直接会影响到请求图像与数据库中图像的相似度计算，进而对基于相似度信息而输出相似图像造成影响。同时，由于请求图像与数据库中的图像的相似度计算一般都会与人类语义上的相似度定义有一定的误差，这便会不可避免的造成在一定的标准下系统输出的相似图像中存在一定的假阳性结果。为此，本发明提出了一种相似图像检索方法、装置及系统，首先利用在大规模分类图像数据集上进行预训练的模型对请求图像进行特征提取，得到能够更好地对图像内容进行表达的特征，为图像间相似度估计带来好处；同时，计算所述提取出来的请求图像的特征与图像特征向量库中的特征的相似度，基于计算出来的相似度结果从数据库中获取到若干张与所述请求图像相似的图像，进一步对获取到的相似图像的特征进行离散程度分析，剔除潜在的异常数据，提高图像检索的准确率。

实施例1

如图1所示，本发明实施例提供了一种相似图像检索方法，具体包括以下步骤：

步骤(1)获取请求图像，并对所述请求图像进行特征提取，获得特征向量；

由于目前的一些深度卷积神经网络(convolutionalneuralnetworks，cnns)通过在大规模图像分类数据集(如imagenet)上进行训练之后，能够提取到比传统手工设计更具区分能力的特征，因此，在本发明实施例的一种具体实施方式中，如图2所示，所述步骤(1)具体包括以下子步骤：

(1.1)获取请求图像；

(1.2)采用在大规模图像分类任务上训练后的cnn模型对所述请求图像进行迁移特征提取，获得请求图像的特征向量；所述步骤(1.2)采用的是现有技术，其具体的处理过程不是本发明的所要保护的发明点所在，因此，本发明中不做过多的赘述；

步骤(2)获取图像特征向量库；

在本发明实施例的一种具体实施方式中，所述图像特征向量库通过以下步骤建立，具体为：

(2.1)采用在大规模图像分类任务上训练后的cnn模型对图像数据库中的各个图像数据分别进行特征提取，获得若干个特征向量；所述步骤(2.1)采用的是现有技术，其具体的处理过程不是本发明的所要保护的发明点所在，因此，本发明中不做过多的赘述；

(2.2)利用索引技术对步骤(2.1)中提取到的特征向量建立索引，进而构造出图像特征向量库，方便后续基于图像特征的检索，具体参见图3；所述建立索引的过程采用的是现有技术，其具体的处理过程不是本发明的所要保护的发明点所在，因此，本发明中不做过多的赘述；

所述步骤(1)与步骤(2)的顺序可以调换，也可以同时进行；

步骤(3)计算所述请求图像的特征向量与图像特征向量库中的各特征向量的相似度，并基于计算出来的相似度结果完成相似图像召回；

所述的相似度计算采用的是现有技术，因此本发明中不做过多的赘述；

优选地，所述步骤(3)中会选择最相似的n个相似图像作为召回结果，具体参见图3；

步骤(4)基于所述召回的相似图像的特征的离散度进行假阳性结果剔除，得到最终的图像检索结果，作为请求反馈结果；

为了在召回的过程中保证较高的召回率，因此一般会降低召回的标准，从而不可避免地导致召回的结果中存在假阳性结果，如图4所示的召回图像中的第二行第三列的图像就是一个假阳性结果，导致了系统准确率的降低。为此，在保证高召回率的基础上，提出了一种基于召回的相似图像的特征的离散度进行假阳性结果剔除的方法，进而达到提高系统准确率的目的。假阳性结果剔除流程如图5所示，剔除之后的结果则用于对用户的请求进行反馈；

在本发明实施例的一种具体实施方式中，所述步骤(4)具体包括以下步骤：

(4.1)对图像特征的离散度进行建模，用于后续的特征离散度的量化分析，建模过程如下：

为了使得运算更加便捷，利用公式(1)对n维的图像特征向量x进行归一化处理

其中，提取的特征向量组成特征向量的集合，即特征集，特征集中有c个特征向量，某一特征向量用x^c表示，每个特征向量有n维，xi表示特征向量x^c中第i维；

基于归一化后的向量，计算向量集的平均向量所述的向量集指的是提取的特征向量的集合，分别对于每一维计算平均值；

其中，c表示特征集中的数量，是平均向量的第i维，表示第c个特征向量的第i维；

计算特征x与平均向量之间的差值，这里选择利用向量的内积的定义，也就是特征向量与平均向量x间的夹角来度量它们之间的差值，设特征向量x^c与平均向量之间的夹角为β^c,向量间的内积的定义可以表示为：

于是计算向量间夹角的表达式为：

最后，基于β^c建立如下特征离散程度度量：

其中，c表示特征向量的总个数，c表示特征向量的序号，x^c表示第c个特征向量，表示平均向量，β^c表示第c个特征向量与平均向量间的夹角，d表示特征离散程度；

经验性的，当满足下式时，则判定特征x^c对应的召回图像为一个假阳性结果：

β^c＞1.5d。

实施例2

一种相似图像检索装置，包括：

获取模块，用于获取请求图像的特征向量以及图像特征向量库；

图像召回模块，用于计算所述请求图像的特征向量与图像特征向量库中的各特征向量的相似度，并基于计算出来的相似度结果完成相似图像召回；

处理模块，用于基于所述召回的相似图像的特征的离散度进行假阳性结果剔除，得到最终的图像检索结果，作为请求反馈结果。

优选地，所述请求图像的特征向量通过以下步骤获得：

获取请求图像；

采用在大规模图像分类任务上训练后的cnn模型对所述请求图像进行迁移特征提取，获得请求图像的特征向量

优选地，所述图像特征向量库通过以下步骤获得：

采用在大规模图像分类任务上训练后的cnn模型对图像数据库中的各个图像数据分别进行特征提取，获得若干个特征向量；

利用索引技术对提取到的特征向量建立索引，进而构造出图像特征向量库，方便后续基于图像特征的检索。

优选地，所述基于所述召回的相似图像的特征的离散度进行假阳性结果剔除，得到最终的图像检索结果，具体为：

获取离散度模型，所述离散度模型具体为：

其中，c表示特征向量的总个数，c表示特征向量的序号，x^c表示第c个特征向量，表示平均向量，β^c表示第c个特征向量与平均向量间的夹角，d表示特征离散程度；

经验性的，当满足下式时，则判定特征x^c对应的召回图像为一个假阳性结果：

β^c＞1.5d。

实施例3

本发明实施例提供了一种相似图像检索系统，包括：

处理器，适于实现各指令；以及

存储设备，适于存储多条指令，所述指令适于由处理器加载并执行实施例1所述的步骤。

实施例4

下面以一个小规模的图像检索为实例，来对本发明的相似图像检索方法的有效性进行说明，如图6所示。

首先，接收用户端发送的请求图像，图6中最左边的图；

然后，计算所述请求图像的特征向量与图像特征向量库中的各特征向量的相似度，并基于计算出来的相似度结果完成相似图像召回，即将与请求图像最相似的六个图像进行召回，即图6中的中间部分的图；

最后，基于所述召回的相似图像的特征的离散度进行假阳性结果剔除，最终到如图6中最右边的图像，作为请求反馈结果，作为请求反馈结果。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。