图像搜索方法、装置、设备及计算机可读存储介质与流程

本发明实施例涉及图像检索技术领域，特别是涉及一种图像搜索方法、装置、设备及计算机可读存储介质。

背景技术：

随着深度学习技术的不断应用，基于图像内容的图像搜索技术得到快速的发展和应用。

图像搜索技术不同于传统基于文本关键词的搜索，其更关注于图像本身的视觉内容，图像特征提取和图像的相似度匹配在图像搜索技术中至关重要。

相关技术在进行图像特征提取时，通常从颜色，纹理和形状等不同的属性角度进行提取。但是，由于图像属性的多样性和图像本身的复杂性，图像属性特征为浅层特征信息，无法解决属性维度上的特征信息覆盖了图像细节上的特征的问题，无法体现图像细粒度的区分，导致基于图像属性提取的图像特征不利于提高图像搜索的准确度。

鉴于此，如何解决基于属性特征维度的图像检索方法准确率不高的问题，提高图像检索的准确度，是本领域技术人员亟待解决的问题。

技术实现要素：

本公开实施例提供了一种图像搜索方法、装置、设备及计算机可读存储介质，解决了基于属性特征维度的图像检索方法准确率不高的现状，提高了图像检索的准确度。

为解决上述技术问题，本发明实施例提供以下技术方案：

本发明实施例一方面提供了一种图像搜索方法，包括：

基于待查询图像和图像数据库中各初始样本图像的图像属性特征间距离对各初始样本图像进行粗排序，并选取满足条件的n个初始样本图像组合为细粒度数据库；

利用预先构建的细粒度特征提取模型提取所述待查询图像和所述细粒度数据库中各样本图像的图像细粒度特征；所述细粒度特征提取模型为使用每个样本图像均包括多个预设角度的子图像的训练样本集训练深度卷积神经网络结构所得；

基于所述待查询图像和各样本图像的细粒度特征间距离对所述细粒度数据库中各样本图像进行排序，以作为检索所述图像数据库的结果。

可选的，所述基于待查询图像和图像数据库中各初始样本图像的图像属性特征间距离对各初始样本图像进行粗排序包括：

计算所述待查询图像和各初始样本图像的图像属性特征间距离，并按照图像属性特征间距离值从小到大对各初始样本图像进行排序；

将前m个初始样本图像的图像属性特征和所述待查询图像的图像属性特征加权取平均，生成融合图像属性特征，m＜n；

计算所述融合图像属性特征和各初始样本图像的图像属性特征间距离，并按照图像属性特征间距离值从小到大对各初始样本图像进行排序，以作为各样本图像的粗排序结果。

可选的，所述基于所述待查询图像和各样本图像的细粒度特征间距离，对所述细粒度数据库中各样本图像进行排序为：

计算所述待查询图像的细粒度特征和各样本图像的细粒度特征间的欧式距离；

按照所述待查询图像和各样本图像的细粒度特征间的欧式距离值从小到大对各样本图像进行排序。

可选的，所述基于所述待查询图像和各样本图像的细粒度特征间距离，对所述细粒度数据库中各样本图像进行排序之后，还包括：

输出与所述待查询图像的细粒度特征间距离值最小的样本图像，以作为检索所述图像数据库后得到与所述待查询图像相似度最高的图像。

可选的，所述利用预先构建的细粒度特征提取模型提取所述待查询图像和所述细粒度数据库中各样本图像的图像细粒度特征包括：

将所述待查询图像和所述细粒度数据库中各样本图像输入至ResNet50模型中，提取所述ResNet50模型的stage4特征层输出的特征，以作为图像细粒度特征。

本发明实施例另一方面提供了一种图像搜索装置，包括：

图像筛选模块，用于基于待查询图像和图像数据库中各初始样本图像的图像属性特征间距离对各初始样本图像进行粗排序，并选取满足条件的前n个初始样本图像组合为细粒度数据库；

图像细粒度特征提取模块，用于利用预先构建的细粒度特征提取模型提取所述待查询图像和所述细粒度数据库中各样本图像的图像细粒度特征；所述细粒度特征提取模型为使用每个样本图像均包括多个预设角度的子图像的训练样本集训练深度卷积神经网络结构所得；

图像检索模块，用于基于所述待查询图像和各样本图像的细粒度特征间距离，对所述细粒度数据库中各样本图像进行排序，以作为检索所述图像数据库的结果。

可选的，所述图像筛选模块包括：

属性相似度计算子模块，用于计算所述待查询图像和各初始样本图像的图像属性特征间距离，并按照图像属性特征间距离值从小到大对各初始样本图像进行排序；

融合特征生成子模块，用于将前m个初始样本图像的图像属性特征和所述待查询图像的图像属性特征加权取平均，生成融合图像属性特征，m＜n；

粗排序子模块，用于计算所述融合图像属性特征和各初始样本图像的图像属性特征间距离，并按照图像属性特征间距离值从小到大对各初始样本图像进行排序，以作为各样本图像的粗排序结果。

可选的，所述图像检索模块包括：

细粒度相似度计算子模块，用于计算所述待查询图像的细粒度特征和各样本图像的细粒度特征间的欧式距离；

细排序子模块，用于按照所述待查询图像和各样本图像的细粒度特征间的欧式距离值从小到大对各样本图像进行排序。

本发明实施例还提供了一种图像搜索设备，包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如前任一项所述图像搜索方法的步骤。

本发明实施例最后还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有图像搜索程序，所述图像搜索程序被处理器执行时实现如前任一项所述图像搜索方法的步骤。

本申请提供的技术方案的优点在于，首先利用基于图像属性特征的图像检索方法从待检索图像数据库中选择与待查询图像相似度高的一些样本图像，然后在基于图像细粒度特征从选取出来的样本图像中确定与待查询图像相似的图像。在图像检索过程中兼顾图像属性特征和图像细粒度特征，充分考虑了图像的细节特征，解决了基于属性特征维度的图像检索方法由于细节被忽略导致准确率不高的现状，有效地提高了图像的搜索精度，有利于提升用户搜索体验。

此外，本发明实施例还针对图像搜索方法提供了相应的实现装置、设备及计算机可读存储介质，进一步使得所述方法更具有实用性，所述装置、设备及计算机可读存储介质具有相应的优点。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。

附图说明

为了更清楚的说明本发明实施例或相关技术的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种图像搜索方法的流程示意图；

图2为本发明实施例提供的细粒度特征提取模型的一种具体实施方式结构图；

图3为本发明实施例提供的另一种图像搜索方法的流程示意图；

图4为本发明实施例提供的图像搜索装置的一种具体实施方式结构图；

图5为本发明实施例提供的图像搜索装置的另一种具体实施方式结构图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。

在介绍了本发明实施例的技术方案后，下面详细的说明本申请的各种非限制性实施方式。

首先参见图1，图1为本发明实施例提供的一种图像搜索方法的流程示意图，本发明实施例可包括以下内容：

S101：基于待查询图像和图像数据库中各初始样本图像的图像属性特征间距离对各初始样本图像进行粗排序，并选取满足条件的n个初始样本图像组合为细粒度数据库。

在本实施例中，图像数据库为用于检索与待查询图像相似图像的数据库，也就是说，从图像数据库中搜索与待查询图像相似的图像。可选的，图像数据库还可以用于训练属性特征提取模型的训练样本集。在该实施方式下，图像数据库中包含的图像类型与待查询图像的类型可相同，举例来说，若待查询图像为服饰图像，则图像数据库中的图像可为服饰图像。

可以理解的是，在计算待查询图像和图像数据库中各初始样本图像的图像属性特征间距离之前，还需要训练用于提取图像属性特征的模型，可采用相关技术中任何一种机器学习算法来构建属性特征提取模型，例如在训练用于服饰特征提取的属性特征提取模型时，可采用包含150万张图像的图像数据库训练卷积神经网络模型得到属性特征提取模型，卷积神经网络模型例如可为但并不限制于ResNet34深度卷积网络。图像数据库中的各训练样本图像可预先人工打标，按照图像的颜色、印花和款式将150万张图像分类成2013类。在模型训练过程中，可以分类精度达到64％损失函数值不再下降为模型训练停止条件。

举例来说，将图像，例如待查询图像或图像数据库中各初始样本图像输入训练好的ResNet34深度卷积网络，得到512*7*7维的特征图，然后将特征图输入尺度为7*7的最大池化层中，便可获得一个512*1*1维的图像属性特征。

在本申请中，可将图像数据库中的所有初始样本图像提取图像属性特征，构成一个图像属性特征数据库。依次计算待查询图像的图像属性特征与图像属性特征数据库中每个图像属性特征间的距离，作为衡量待查询图像和图像数据库中各初始样本图像相似性的定量参数值。例如可以利用欧式距离公式计算待查询图像的图像属性特征fi和图像数据库中的初始样本图像的图像属性特征fj的特征欧式距离di，j，di，j值越小，相似度越相近。在得到待查询图像和图像数据库中各初始样本图像的图像属性特征间距离后，可按照图像属性特征间距离值从小到大对各初始样本图像进行排序，选取排序后的前n个初始样本图像组合为细粒度数据库；当然，当按照图像属性特征间距离值从大到小对各初始样本图像进行排序，选取排序后的后n个初始样本图像组合为细粒度数据库。也就是说，细粒度数据库中包含的初始样本图像的选取条件与初始样本图像排序规则相关联。

需要说明的是，本领域技术人员可根据图像数据库中包含的图像总个数、实际应用场景及用户的图像搜索精度需求来确定n值，例如500，本申请对此不作任何限定。

S102：用预先构建的细粒度特征提取模型提取待查询图像和细粒度数据库中各样本图像的图像细粒度特征。

本实施例中，细粒度特征提取模型可为使用每个样本图像均包括多个预设角度的子图像的训练样本集训练深度卷积神经网络结构所得，此处的训练样本集也可称为细粒度图像数据集。例如基于BFE(Batch Feature Erasing，批处理特征擦除)算法，利用细粒度图像数据集训练ResNet50网络模型所得。细粒度图像数据集可包括50000个商品类别，每个类别中包括正面，背面和侧面等不同角度展示同一商品的图像，多张图为一个类别。

一种实施方式中，细粒度特征提取模型结构可参阅如2所示，细粒度特征提取模型可采用ResNet50网络，ResNet50网络的stage4特征层的输出为对应输入图像的细粒度特征。该模型的stage4特征层为由任何一种相关技术中的ResNet50网络的stage4特征层和掩膜融合所得。具体来说，在stage4特征层可加入一个掩膜与其相乘，掩膜的特征维度与stage4的特征层的特征维度相同。而stage4特征层的中心区域为以掩膜中心尺寸的1/2长和1/2宽的区域，得到中心区域为0的特征层。也就是说，stage4特征层的中心区域为0，中心区域的尺寸为掩膜的面积的1/4，且中心区域的中心点与掩膜中心点相重合。细粒度特征提取模型的损失函数包括两部分，第一项为softmax损失函数，即基于训练样本集训练分类的损失函数；第二项为三元组损失函数。损失函数可如下式表示：

式中，p为训练样本集中的类目总数，K为每个类目中包含的图像总数，为训练样本集中第i类的第a张图像，为图像的特征。训练过程中，选取其中一类i的任意一张图像计算其特征与之同个类目下的图像的特征的欧式距离即选取欧式距离最大的图像为正样本，同时，计算图像与之不同j类目下的图像的特征的欧式距离选取欧式距离最小的图像为负样本计算D的最大值和最小值之间的差值即是三元组损失函数累加不同类目下的不同图像K对应的lBH，即是最后的三元组损失之和lSBH。

为了进一步的提升细粒度特征提取模型的分类精度，在训练过程中，训练样本集中包含s类训练样本图像，还可对训练样本集中的各类样本图像进行相似度区分，例如可计算第i类的任何一个样本图像与其为同个类目下的图像的特征间的欧式距离，选取欧式距离最大的图像为正样本，同时，计算其与之为不同类目下的特征的欧式距离，选取欧式距离最小的图像为负样本。

S103：基于待查询图像和各样本图像的细粒度特征间距离对细粒度数据库中各样本图像进行排序，以作为检索图像数据库的结果。

在本申请中，在提取得到待查询图像和各样本图像的细粒度特征后，可利用欧式距离公式计算待查询图像和各样本图像的细粒度特征间的距离，以作为待查询图像和各样本图像的相似性度量值。当然，也可采用其他相似度计算公式，本申请对此不作任何限定。

可以理解的是，基于待查询图像和各样本图像的相似性对各样本图像进行排序，可以按照相似度从高到低排序，也可按照相似度从低到高进行排序，这均不影响本申请的实现。为了便于用户查询，可将样本图像按照与待查询图像相似度从高到低进行排序后输出，即为待查询图像检索数据库的结果，排序越靠前，证明其与待查询图像的相似度越大。

在本发明实施例提供的技术方案中，首先利用基于图像属性特征的图像检索方法从待检索图像数据库中选择与待查询图像相似度高的一些样本图像，然后在基于图像细粒度特征从选取出来的样本图像中确定与待查询图像相似的图像。在图像检索过程中兼顾图像属性特征和图像细粒度特征，充分考虑了图像的细节特征，解决了基于属性特征维度的图像检索方法由于细节被忽略导致准确率不高的现状，有效地提高了图像的搜索精度，有利于提升用户搜索体验。

此外，本申请还提供了另外一个实施例，以N个大小为M*N(224*224)的图像构成图像数据库为例，选取其中一张大小为M*N(224*224)的图像作为待查询图像，通过求得待查询图像与图像数据库中的其他图像的相似度来完成搜索。请参见图3，图3为本发明实施例提供的另一种图像搜索方法的流程示意图，本发明实施例例如可应用于服饰图像检索技术领域，可包括以下内容：

S301：利用预先构建的属性特征提取模型提取待查询图像和图像数据库中各初始样本图像的图像属性特征。

S302：计算待查询图像和图像数据库中各初始样本图像的图像属性特征间的欧式距离。

S303：基于待查询图像和图像数据库中各初始样本图像的图像属性特征间距离值按照从小到大顺序对各初始样本图像进行粗排序。

S304：将前m个初始样本图像的图像属性特征和待查询图像的图像属性特征加权取平均，生成融合图像属性特征。

本实施例中，m＜n，m值可根据图像数据库中包含的图像总个数、实际应用场景及用户的图像搜索精度需求来确定，例如可取前30个初始样本图像的图像属性特征与待查询图像的图像属性特征进行加权取平均。融合后的图像属性特征可以减少原本待查询图像的512*1*1维的图像属性特征中出现的特征干扰，可有效提升对图像属性特征的关注度，有利于提升图像检索准确度。

S305：计算融合图像属性特征和各初始样本图像的图像属性特征间距离，并按照图像属性特征间距离值从小到大对各初始样本图像进行排序，以作为各样本图像的粗排序结果。

S306：利用预先构建的细粒度特征提取模型提取待查询图像和细粒度数据库中各样本图像的图像细粒度特征。

S307：计算待查询图像和各样本图像的图像细粒度特征间的欧式距离。

S308：基于待查询图像和各样本图像的细粒度特征间距离值按照从小到大对细粒度数据库中各样本图像进行排序。

S309：输出排序后的第一张样本图像。

本申请中可输出与待查询图像的细粒度特征间距离值最小的样本图像，以作为检索图像数据库后得到与所述待查询图像相似度最高的图像。当然，也可按照排序结果输出排序后的前x张图像，作为待查询图像的相似图像，以供用户从中进行选择。

本实施例与上述实施例相同的步骤或方法，可参阅上述实施例相应位置记载的内容，此处，便不再赘述。

由上可知，本发明实施例解决了基于属性特征维度的图像检索方法准确率不高的现状，提高了图像检索的准确度。

本发明实施例还针对图像搜索方法提供了相应的实现装置，进一步使得所述方法更具有实用性。下面对本发明实施例提供的图像搜索装置进行介绍，下文描述的图像搜索装置与上文描述的图像搜索方法可相互对应参照。

参见图4，图4为本发明实施例提供的图像搜索装置在一种具体实施方式下的结构图，该装置可包括：

图像筛选模块401，用于基于待查询图像和图像数据库中各初始样本图像的图像属性特征间距离对各初始样本图像进行粗排序，并选取满足条件的前n个初始样本图像组合为细粒度数据库。

图像细粒度特征提取模块402，用于利用预先构建的细粒度特征提取模型提取待查询图像和细粒度数据库中各样本图像的图像细粒度特征；细粒度特征提取模型为使用每个样本图像均包括多个预设角度的子图像的训练样本集训练深度卷积神经网络结构所得。

图像检索模块403，用于基于待查询图像和各样本图像的细粒度特征间距离，对细粒度数据库中各样本图像进行排序，以作为检索图像数据库的结果。

可选的，在本实施例的一些实施方式中，所述图像筛选模块401还可包括：

属性相似度计算子模块，用于计算待查询图像和各初始样本图像的图像属性特征间距离，并按照图像属性特征间距离值从小到大对各初始样本图像进行排序；

融合特征生成子模块，用于将前m个初始样本图像的图像属性特征和待查询图像的图像属性特征加权取平均，生成融合图像属性特征，m＜n；

粗排序子模块，用于计算融合图像属性特征和各初始样本图像的图像属性特征间距离，并按照图像属性特征间距离值从小到大对各初始样本图像进行排序，以作为各样本图像的粗排序结果。

在其他一些实施方式中，所述图像检索模块403例如还可包括：

细粒度相似度计算子模块，用于计算待查询图像的细粒度特征和各样本图像的细粒度特征间的欧式距离；

细排序子模块，用于按照待查询图像和各样本图像的细粒度特征间的欧式距离值从小到大对各样本图像进行排序。

可选的，在本实施例的另一些实施方式中，请参阅图5，所述装置例如还可以包括：

图像输出模块404，用于输出与待查询图像的细粒度特征间距离值最小的样本图像，以作为检索图像数据库后得到与待查询图像相似度最高的图像。

本发明实施例所述图像搜索装置的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。

由上可知，本发明实施例解决了基于属性特征维度的图像检索方法准确率不高的现状，提高了图像检索的准确度。

本发明实施例还提供了一种图像搜索设备，具体可包括：

存储器，用于存储计算机程序；

处理器，用于执行计算机程序以实现如上任意一实施例所述图像搜索方法的步骤。

本发明实施例所述图像搜索设备的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。

由上可知，本发明实施例解决了基于属性特征维度的图像检索方法准确率不高的现状，提高了图像检索的准确度。

本发明实施例还提供了一种计算机可读存储介质，存储有图像搜索程序，所述图像搜索程序被处理器执行时如上任意一实施例所述图像搜索方法的步骤。

本发明实施例所述计算机可读存储介质的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。

由上可知，本发明实施例解决了基于属性特征维度的图像检索方法准确率不高的现状，提高了图像检索的准确度。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本发明所提供的一种图像搜索方法、装置、设备及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。