图像搜索方法及装置与流程

本公开涉及图像处理技术领域，尤其涉及一种图像搜索方法及装置。

背景技术：

相关技术中在对设备图像库中的图像进行搜索时，会将输入的图像搜索信息与图像库中的每一个图像的标签进行匹配实现图像搜索，这种图像搜索的召回率和准确率会比较低，而且将图像搜索信息与每一个图像的标签进行匹配的操作量大，所花费的搜索时间长。

技术实现要素：

为克服相关技术中存在的问题，本公开实施例提供一种图像搜索方法及装置，用以基于相似图像组成的图像组进行图像搜索，提高了图像搜索的召回率和准确率，而且减少了搜索时间。

根据本公开实施例的第一方面，提供一种图像搜索方法，包括：

在接收到图像搜索指令时，基于所述图像搜索指令中的图像搜索信息，确定与所述图像搜索信息匹配的图像组，所述图像组通过对图像进行图像聚合计算得到，包括一个图像或至少两个相似的图像；

基于所述匹配的图像组和/或所述匹配的图像组中的图像与所述图像搜索信息的匹配度，按照预设顺序显示所述匹配的图像组和/或所述匹配的图像组中的图像。

在一实施例中，基于所述图像搜索指令中的图像搜索信息，确定与所述图像搜索信息匹配的图像组，包括：

当所述图像搜索信息为待检索图像的文本信息时，将所述图像搜索信息与各图像组的图像标签进行匹配，得到所述匹配的图像组；

当所述图像搜索信息为待检索图像时，将所述待检索图像的图像标签与每一个图像组的图像标签进行匹配，或者，将所述待检索图像的目标特征向量与图像组或图像组中的每一个图像的目标特征向量进行匹配，得到匹配的图像组。

在一实施例中，方法还包括：

将图像组中的每一个图像的图像标签的集合确定为所述图像组的图像标签。

在一实施例中，方法还包括：

基于所述每一个图像的图像标签在所述图像组中的出现次数，确定所述图像组中的每一个图像标签的出现频率；

将出现频率低于预设频率阈值的图像标签从所述图像组的图像标签中删除。

在一实施例中，方法还包括：

基于图像组中每一个图像的目标特征向量，确定所述图像组的目标特征向量。

在一实施例中，方法还包括：

通过卷积神经网络的卷积层对待标记的图像进行卷积处理，得到所述待标记的图像在各卷积层提取出的特征图；

通过所述卷积神经网络的全连接层对所述各卷积层提取出的特征图进行整合得到所述待标记的图像的目标特征向量，或者将所述卷积神经网络的最后一个池化层所映射得到的特征确定为所述待标记的图像的目标特征向量；

通过所述卷积神经网络的分类回归层和所述目标特征向量确定所述待标记的图像的图像标签。

在一实施例中，通过所述卷积神经网络的分类回归层和所述目标特征向量确定所述待标记的图像的图像标签，包括：

基于所述目标特征向量确定所述待标记的图像属于每一个图像类目的概率；

基于所述待标记的图像属于每一个图像类目的概率，确定所述待标记的图像的至少一个图像标签。

根据本公开实施例的第二方面，提供一种图像搜索装置，包括：

第一确定模块，被配置为在接收到图像搜索指令时，基于所述图像搜索指令中的图像搜索信息，确定与所述图像搜索信息匹配的图像组，所述图像组通过对图像进行图像聚合计算得到，包括一个图像或至少两个相似的图像；

显示模块，被配置为基于所述第一确定模块确定的所述匹配的图像组和/或所述匹配的图像组中的图像与所述图像搜索信息的匹配度，按照预设顺序显示所述匹配的图像组和/或所述匹配的图像组中的图像。

在一实施例中，第一确定模块包括：

第一匹配子模块，被配置为当所述图像搜索信息为待检索图像的文本信息时，将所述图像搜索信息与每一个图像组的图像标签进行匹配，得到所述匹配的图像组；

第二匹配子模块，被配置为当所述图像搜索信息为待检索图像时，将所述待检索图像的图像标签与每一个图像组的图像标签进行匹配，或者，将所述待检索图像的目标特征向量与图像组或图像组中的每一个图像的目标特征向量进行匹配，得到匹配的图像组。

在一实施例中，还包括：

第二确定模块，被配置为将图像组中的每一个图像的图像标签的集合确定为所述图像组的图像标签。

在一实施例中，装置还包括：

第四确定模块，被配置为基于所述每一个图像的图像标签在所述图像组中的出现次数，确定所述图像组中的每一个图像标签的出现频率；

删除模块，被配置为将出现频率低于预设频率阈值的图像标签从所述图像组的图像标签中删除。

在一实施例中，装置还包括：

第三确定模块，被配置为基于图像组中每一个图像的目标特征向量，确定所述图像组的目标特征向量。

在一实施例中，装置还包括：

卷积处理模块，被配置为通过卷积神经网络的卷积层对待标记的图像进行卷积处理，得到所述待标记的图像在各卷积层提取出的特征图；

特征向量确定模块，被配置为通过所述卷积神经网络的全连接层对所述各卷积层提取出的特征图进行整合得到所述待标记的图像的目标特征向量，或者将所述卷积神经网络的最后一个池化层所映射得到的特征确定为所述待标记的图像的目标特征向量；

标签确定模块，被配置为通过所述卷积神经网络的分类回归层和所述目标特征向量确定所述待标记的图像的图像标签。

在一实施例中，标签确定模块包括：

概率确定子模块，被配置为基于所述目标特征向量确定所述待标记的图像属于每一个图像类目的概率；

标签确定子模块，被配置为基于所述待标记的图像属于每一个图像类目的概率，确定所述待标记的图像的至少一个图像标签。

根据本公开实施例的第三方面，提供一种电子设备，所述电子设备包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：

在接收到图像搜索指令时，基于所述图像搜索指令中的图像搜索信息，确定与所述图像搜索信息匹配的图像组，所述图像组通过对图像进行图像聚合计算得到，包括一个图像或至少两个相似的图像；

基于所述匹配的图像组和/或所述匹配的图像组中的图像与所述图像搜索信息的匹配度，按照预设顺序显示所述匹配的图像组和/或所述匹配的图像组中的图像。

根据本公开实施例的第四方面，提供一种非临时计算机可读存储介质，所述存储介质上存储有计算机指令，所述指令被处理器执行时实现以下步骤：

在接收到图像搜索指令时，基于所述图像搜索指令中的图像搜索信息，确定与所述图像搜索信息匹配的图像组，所述图像组通过对图像进行图像聚合计算得到，包括一个图像或至少两个相似的图像；

基于所述匹配的图像组和/或所述匹配的图像组中的图像与所述图像搜索信息的匹配度，按照预设顺序显示所述匹配的图像组和/或所述匹配的图像组中的图像。

本公开的实施例提供的技术方案可以包括以下有益效果：在接收到图像搜索指令时，可以基于图像搜索指令中的图像搜索信息确定匹配的图像组，由于图像组是对图像进行图像聚合计算得到，包括一个图像或至少两个相似图像，图像组的图像标签包括所包含图像的有效图像标签，例如，图像组1包含图像1、图像2和图像3，而图像1的图像标签为人物、景色、家庭，图像2的图像标签为景色、小孩、高楼，图像3的图像标签为雕塑、人物、喷泉，则图像组1的图像标签为人物、景色、家庭、小孩、高楼、雕塑、喷泉，则在图像搜索信息为人物、景色、家庭、小孩、高楼、雕塑、喷泉中的任一标签匹配时都可以确定图像组1为匹配的图像组，提高了图像搜索的召回率；此外，相对于相关技术中将图像搜索信息分别与图像1、图像2和图像3进行匹配计算，本申请实施例只将图像搜索信息与包含图像1、图像2和图像3的图像组1进行匹配计算的计算量小，所花费的时间大大减少。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1是根据一示例性实施例示出的图像搜索方法的流程图。

图2a是根据一示例性实施例一示出的图像标签的设置方法的流程图。

图2b是根据一示例性实施例一示出的卷积神经网络的示意图。

图3是根据一示例性实施例二示出的相似图像聚合的方法的流程图。

图4根据一示例性实施例三示出的图像搜索方法的流程图。

图5是根据一示例性实施例四示出的图像搜索方法的流程图。

图6是根据一示例性实施例示出的一种图像搜索装置的框图。

图7是根据一示例性实施例示出的另一种图像搜索装置的框图。

图8是根据一示例性实施例示出的再一种图像搜索装置的框图。

图9是根据一示例性实施例示出的一种适用于图像搜索装置的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

在对该卷积卷积神经网络进行训练之前，可以预先设定图像标签的种类，例如设置1000种类型的图像标签，如人物、风景、古建筑、集体、个人、历史文物，等等，通过上述标定，可以结合图像的图像目标特征向量，为每一个图像设置一种或者多种类目的标签，例如，图像1中记录了一个人在观看历史文物，则图像1的图像标签可以包括人物、历史文物、旅游等图像标签。

对于每一个待标记的图像，可以基于卷积神经网络自动为该图像生成相应的图像标签和目标特征向量，并且基于目标特征向量进行相似图像聚合，以提升后续搜索图像时的搜索效率。

图1是根据一示例性实施例示出的图像搜索方法的流程图；该图像搜索方法可以应用在电子设备(例如：智能手机、平板电脑、台式计算机)上，可以通过在智能手机、平板电脑上安装应用的方式或者在台式计算机上安装软件的方式实现，如图1所示，该图像搜索方法包括以下步骤101-102：

在步骤101中，在接收到图像搜索指令时，基于图像搜索指令中的图像搜索信息，确定与图像搜索信息匹配的图像组，图像组通过对图像进行图像聚合计算得到，包括一个图像或至少两个相似的图像。

在一实施例中，可以基于卷积神经网络针对每一个图像提取的目标特征向量确定不同的图像是否为相似图像，进而奖判定为相似的图像聚合为图像组。

在一实施例中，图像搜索信息可以为文本信息，如为“人物”、“景点”等文本，基于文本搜索匹配或者关联的图像；在又一实施例中，图像搜索信息可以为图像信息，如图像搜索信息为一个图像1，基于图像1搜索与图像1匹配或者关联的图像。

在一实施例中，在图像搜索信息为文本信息时，确定与图像搜索信息匹配的图像组的方法可参见图4所示实施例，这里先不详述。

在一实施例中，在图像搜索信息为图像信息时，确定与图像搜索信息匹配的图像组的方法可参见图5所示实施例，这里先不详述。

在一实施例中，卷积神经网络可以根据实际需要设置不同个数的卷积层，通过卷积层对每一个图像进行卷积处理以得到各个卷积层对应的特征图。例如，可以基于图像的颜色设置一个卷积层，可以基于图像的主体设置一个卷积层，可以基于图像的背景设置一个卷积层，等等。

在一实施例中，可以将最后一个池化层所映射得到的特征确定为对应的图像的目标特征向量；在又一实施例中，卷积神经网络可以根据实际需要设置不同个数的全连接层，通过全连接层将特征图整合并连接成为对应的图像的目标特征向量。

在步骤102中，基于匹配的图像组和/或匹配的图像组中的图像与图像搜索信息的匹配度，按照预设顺序显示匹配的图像组和/或匹配的图像组中的图像。

在一实施例中，通常可将搜索出的匹配的图像组按照匹配度由大到小的顺序显示出来，也即，图像组的匹配度越大，排序越靠前。

在一实施例中，图像搜索信息与图像组的匹配度可以基于图像组的图像标签或者目标特征向量与图像搜索信息的匹配程度确定，例如，图像搜索信息为“人物”，图像组1中包含图像标签“人物”的图像占所有图像的比例为100％，也即出现频率为100％，图像组2中包含图像标签“人物”的图像占所有图像的比例为50％，也即出现频率为50％，则图像组1与图像搜索信息的匹配度大于图像组2与图像搜索信息的匹配度；或者，如果图像组1中将“人物”图像标签作为第一标签的图像的数目大于图像组2中将“人物”图像标签作为第一标签的图像的数目，则可判定图像组1与图像搜索信息的匹配度大于图像组2与图像搜索信息的匹配度。

在一实施例中，可以基于多种因素确定图像组和/或匹配的图像组中的图像与图像搜索信息的匹配度。

在一实施例中，图像组可以显示为图标的形式，在用户想要查看图像组中的图像详情时，可以通过预设操作展开显示图像组中的图像。

在一实施例中，在检索出匹配的图像组后，还可以进一步将匹配的图像组中的图像与图像搜索信息计算匹配度，进而将图像组中的图像也按照与图像搜索信息的匹配度进行排序，以方便用户在展开图像组查看其中的图像时能优先看到更为匹配的图像。图像搜索信息与图像组中的每一个图像的匹配度可以基于图像搜索信息与图像组中每一个图像的匹配程度确定，例如，图像搜索信息为“人物”，图像组1为匹配的图像组，图像组1中的图像1的图像标签为“人物、历史文物、景点”，其中，人物为图像1的第一标签，图像组1中的图像2的图像标签为“城堡、古迹、人物”，其中，人物为图像2的第三标签，则可确定图像1与图像搜索信息的匹配度高于图像2与图像搜索信息的匹配度。其中，每一个图像的标签的排序可以在为图像添加标签时由卷积神经网络的分类回归层确定，添加图像标签的流程可参见图2a所示实施例，这里先不详述。

本实施例中，在接收到图像搜索指令时，可以基于图像搜索指令中的图像搜索信息确定匹配的图像组，由于图像组是卷积神经网络对图像进行图像聚合计算得到，包括一个图像或至少两个相似图像，图像组的图像标签包括所包含图像的有效图像标签，例如，图像组1包含图像1、图像2和图像3，而图像1的图像标签为人物、景色、家庭，图像2的图像标签为景色、小孩、高楼，图像3的图像标签为雕塑、人物、喷泉，则图像组1的图像标签为人物、景色、家庭、小孩、高楼、雕塑、喷泉，则在图像搜索信息为人物、景色、家庭、小孩、高楼、雕塑、喷泉中的任一标签匹配时都可以确定图像组1为匹配的图像组，提高了图像搜索的召回率；此外，相对于相关技术中将图像搜索信息分别与图像1、图像2和图像3进行匹配计算，而本申请只将图像搜索信息与包含图像1、图像2和图像3的图像组1进行匹配计算的计算量小，所花费的时间大大减少。

在一实施例中，基于图像搜索指令中的图像搜索信息，确定与图像搜索信息匹配的图像组，包括：

当图像搜索信息为待检索图像的文本信息时，将图像搜索信息与各图像组的图像标签进行匹配，得到匹配的图像组；

当图像搜索信息为待检索图像时，将待检索图像的图像标签与每一个图像组的图像标签进行匹配，或者，将待检索图像的目标特征向量与图像组或图像组中的每一个图像的目标特征向量进行匹配，得到匹配的图像组。

在一实施例中，方法还包括：

将图像组中的每一个图像的图像标签的集合确定为图像组的图像标签。

在一实施例中，方法还包括：

基于每一个图像的图像标签在图像组中的出现次数，确定图像组中的每一个图像标签的出现频率；

将出现频率低于预设频率阈值的图像标签从图像组的图像标签中删除。

在一实施例中，方法还包括：

基于图像组中每一个图像的目标特征向量，确定图像组的目标特征向量。

在一实施例中，方法还包括：

通过卷积神经网络的卷积层对待标记的图像进行卷积处理，得到待标记的图像在各卷积层提取出的特征图；

通过卷积神经网络的全连接层对各卷积层提取出的特征图进行整合得到待标记的图像的目标特征向量，或者将卷积神经网络的最后一个池化层所映射得到的特征确定为待标记的图像的目标特征向量；

通过卷积神经网络的分类回归层和目标特征向量确定待标记的图像的图像标签。

在一实施例中，通过卷积神经网络的分类回归层和目标特征向量确定待标记的图像的图像标签，包括：

基于目标特征向量确定待标记的图像属于每一个图像类目的概率；

基于待标记的图像属于每一个图像类目的概率，确定待标记的图像的至少一个图像标签。

具体如何搜索图像的，请参考后续实施例。

至此，本公开实施例提供的上述方法，可以基于相似图像聚合成的图像组执行图像搜索操作，以提升图像搜索的召回率和效率。

下面以具体实施例来说明本公开实施例提供的技术方案。

图2a是根据一示例性实施例一示出的图像标签的设置方法的流程图，图2b是根据一示例性实施例一示出的卷积神经网络的示意图；本实施例利用本公开实施例提供的上述方法，以如何设置图像标签为例进行示例性说明，如图2a所示，包括如下步骤：

在步骤201中，通过卷积神经网络的卷积层对待标记的图像进行卷积处理，得到待标记的图像在各卷积层提取出的特征图。

在一实施例中，卷积神经网络采用直接训练或者微调(finetuning)训练得到。

在一实施例中，本公开并不对卷积神经网络中卷积层的个数做限定。

在步骤202中，通过卷积神经网络的全连接层对各卷积层提取出的特征图进行整合得到待标记的图像的目标特征向量，或者将卷积神经网络的最后一个池化层所映射得到的特征确定为待标记的图像的目标特征向量。

在一实施例中，全连接层可以有一个以上，可以将任意一个全连接层整合得到的特征向量确定为目标特征向量，也可以将卷积神经网络的最后一个池化层所映射得到的特征确定目标特征向量。

在步骤203中，通过卷积神经网络的分类回归层和目标特征向量确定待标记的图像的图像标签。

在一实施例中，分类回归层可以通过卷积卷积神经网络中的softmax函数实现。

在一实施例中，每一个图像的图像标签的个数可以预先设定，例如，5个、3个等。

作为一个示例性场景，如图2b所示，卷积卷积神经网络包括2个卷积层，2个池化层、2个全连接层和一个分类回归层。在一实施例中，输入图像的大小为32×32，卷积层11的卷积核为5×5，卷积层12的卷积核为5×5，通过各卷积层和池化层的处理，可得到5×5的特征；全连接层31和全连接层32需要将5×5的特征变换为预设长度的目标特征向量，或者也可以直接将池化层22得到的特征确定为目标特征向量；分类回归层41可以基于目标特征向量属于每一个类目的类目概率，并取概率最大的预设个数的类目确定为图像的图像标签，每一个图像标签的排序可以依据概率确定，其中概率最大的标签的为对应图像的第一标签。

本实施例中，通过对每一个待标记的图像，基于卷积神经网络提取目标特征相量进而添加图像标签，实现了图像标签的自动设置。

图3是根据一示例性实施例二示出的相似图像聚合的方法的流程图；本实施例利用本公开实施例提供的上述方法，以在通过上述图2a所示实施例中提取的目标特征向量实现图像聚合为例进行示例性说明，如图3所示，包括如下步骤：

在步骤301中，计算待聚合的图像的目标特征向量之间的相似度。

在一实施例中，可通过计算两个图像的目标特征向量的余弦值作为两个图像的相似度。例如，两个图像越相似，其对应的目标特征向量的余弦值越大，如余弦值越接近1，相似度愈大，对应的两个图像越相似。

在一实施例中，可采用式(1)计算两个图像的目标特征向量的余弦值。

式(1)

在一实施例中，图像组的目标特征向量可以为图像组中各个图像的目标特征向量的平均值或者中值。

在一实施例中，如果设备中已有多个图像组，在将新的图像进行图像聚合时，可以计算新的待聚合的图像与每一个已有图像组的目标特征向量的相似度，进而确定是否将待聚合的图像是否与该图像组中的图像相似

在步骤302中，基于相似度，对待聚合的图像进行图像聚合操作，得到图像组。

在一实施例中，确定设定长度的目标特征向量与每一个已有图像或者已有图像组的目标特征向量的相似度的最大值；在最大值大于预设相似度阈值时，将大于预设相似度阈值的相似度所对应的已有图像或者已有图像组所包含的图像判定为所接收到的图像的相似图像并且生成新的图像组。

本实施例中，通过计算每个图像的目标特征向量的相似度确定两个图像是否为相似图像，例如，计算两个图像的目标特征向量的余弦值，基于余弦值确定两个图像是否为相似图像，并在确定为相似图像时执行相似图像聚合操作，聚合为一个图像组，因此相似图像的聚合操作不需要额外的提取特征开销，计算量低。

图4根据一示例性实施例三示出的图像搜索方法的流程图；本实施例利用本公开实施例提供的上述方法，以在图像搜索信息为文本信息时如何确定匹配的图像组为例进行示例性说明，如图4所示，包括如下步骤：

在步骤401中，将图像搜索信息与每一个图像组的图像标签进行匹配。

在一实施例中，图像组的图像标签包括所包含图像的有效图像标签，有效图像标签可以通过统计每一个图像的图像标签在图像组中的出现次数确定，基于图像标签在图像组中的出现次数确定图像组的每一个图像标签的出现频率，并且将出现频率大于预设频率阈值的图像标签从图像组的图像标签确定为有效图像标签，将出现频率低于预设频率阈值的图像标签确定为无效标签，并将无效标签从图像组的图像标签中删除。例如，图像组1包含图像1、图像2、图像3和图像4，而图像1的图像标签为人物、景色、家庭，图像2的图像标签为景色、小孩、高楼，图像3的图像标签为雕塑、人物、喷泉，图像4的标签为雕塑、人物、小孩，则图像组1的图像标签可能为人物、景色、家庭、小孩、高楼、雕塑、喷泉，但是喷泉和家庭的出现频率均为1/12，低于预设频率阈值1/10，则需要从图像组1的图像标签中删除，因此图像组1的图像标签为在图像搜索信息为人物、景色、小孩、高楼、雕塑。当图像搜索信息为人物、景色、小孩、高楼、雕塑中的任一项时，都可以确定图像组1为匹配的图像组。

在步骤402中，当图像搜索信息包含在每一个图像组的图像标签中时，确定包含图像搜索信息的图像组为匹配的图像组。

本实施例在具有上述实施例的有益技术效果的基础上，通过在聚合为图像组时，将图像组中出现频率低于预设频率阈值的图像标签从图像组的图像标签中删除，实现了剔除无效标签，确保图像组的图像标签都为有效标签。

图5根据一示例性实施例四示出的图像搜索方法的流程图；本实施例利用本公开实施例提供的上述方法，以在图像搜索信息为图像信息时如何确定匹配的图像和/或图像组为例进行示例性说明，如图5所示，包括如下步骤：

在步骤501中，确定图像搜索信息对应的图像标签或者目标特征向量。

在一实施例中，可以使用卷积神经网络提取图像信息的图像标签，如果当前为每个图像或者每个图像组保存了对应的图像标签，则可以提取图像信息的图像标签；在一实施例中，可以使用卷积神经网络提取图像信息的目标特征向量，如果当前为每个图像或者每个图像组保存了对应的目标特征向量，则可以提取图像信息的目标特征向量。

在步骤502中，基于图像搜索信息对应的图像标签或者目标特征向量确定匹配的图像组。

在一实施例中，将图像搜索信息对应的图像标签与每一个图像组的图像标签进行匹配。在一实施例中，可通过检测图像搜索信息对应的图像标签是否包含在每一个图像组的图像标签中确定是否匹配，如果包含在每一个图像组的图像标签中，则确定包含图像检索信息对应的图像标签的图像组为匹配的图像组。

在一实施例中，将图像搜索信息对应的目标特征向量与每一个图像和/或图像组的目标特征向量进行匹配，得到匹配的图像和/或图像组。在一实施例中，可将图像搜索信息对应的目标特征向量与每一个图像或图像组的目标特征向量进行相似度计算，如果相似度大于预设的相似度阈值，则可确定对应的图像组为匹配的图像组。

本实施例在具有上述实施例的有益技术效果的基础上，可通过计算图像搜索信息的图像标签或者目标特征向量实现基于图像搜索图像。

图6是根据一示例性实施例示出的一种图像搜索装置的框图，如图6所示，图像搜索装置包括：

第一确定模块61，被配置为在接收到图像搜索指令时，基于图像搜索指令中的图像搜索信息，确定与图像搜索信息匹配的图像组，图像组通过对图像进行图像聚合计算得到，包括一个图像或至少两个相似的图像；

显示模块62，被配置为基于第一确定模块61确定的匹配的图像组和/或匹配的图像组中的图像与图像搜索信息的匹配度，按照预设顺序显示匹配的图像组和/或匹配的图像组中的图像。

图7是根据一示例性实施例示出的另一种图像搜索装置的框图，如图7所示，在上述图6所示实施例的基础上，在一实施例中，第一确定模块61包括：

第一匹配子模块611，被配置为当图像搜索信息为待检索图像的文本信息时，将图像搜索信息与每一个图像组的图像标签进行匹配，得到匹配的图像组；

第二匹配子模块612，被配置为当图像搜索信息为待检索图像时，将待检索图像的图像标签与每一个图像组的图像标签进行匹配，或者，将待检索图像的目标特征向量与图像组或图像组中的每一个图像的目标特征向量进行匹配，得到匹配的图像组。

在一实施例中，还包括：

第二确定模块63，被配置为将图像组中的每一个图像的图像标签的集合确定为图像组的图像标签。

在一实施例中，装置还包括：

第四确定模块64，被配置为基于每一个图像的图像标签在图像组中的出现次数，确定图像组中的每一个图像标签的出现频率；

删除模块65，被配置为将出现频率低于预设频率阈值的图像标签从图像组的图像标签中删除。

在一实施例中，装置还包括：

第三确定模块66，被配置为基于图像组中每一个图像的目标特征向量，确定图像组的目标特征向量。

图8是根据一示例性实施例示出的另一种图像搜索装置的框图，如图8所示，在上述图6和/或图7所示实施例的基础上，在一实施例中，装置还包括：

卷积处理模块67，被配置为通过卷积神经网络的卷积层对待标记的图像进行卷积处理，得到待标记的图像在各卷积层提取出的特征图；

特征向量确定模块68，被配置为通过卷积神经网络的全连接层对各卷积层提取出的特征图进行整合得到待标记的图像的目标特征向量，或者将卷积神经网络的最后一个池化层所映射得到的特征确定为待标记的图像的目标特征向量；

标签确定模块69，被配置为通过卷积神经网络的分类回归层和目标特征向量确定待标记的图像的图像标签。

在一实施例中，标签确定模块69包括：

概率确定子模块691，被配置为基于目标特征向量确定待标记的图像属于每一个图像类目的概率；

标签确定子模块692，被配置为基于待标记的图像属于每一个图像类目的概率，确定待标记的图像的至少一个图像标签。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图9是根据一示例性实施例示出的一种适用于图像搜索装置的框图。例如，装置900可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图9，装置900可以包括以下一个或多个组件：处理组件902，存储器904，电源组件906，多媒体组件908，音频组件910，输入/输出(i/o)的接口912，传感器组件914，以及通信组件916。

处理组件902通常控制装置900的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理元件902可以包括一个或多个处理器920来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件902可以包括一个或多个模块，便于处理组件902和其他组件之间的交互。例如，处理部件902可以包括多媒体模块，以方便多媒体组件908和处理组件902之间的交互。

存储器904被配置为存储各种类型的数据以支持在设备900的操作。这些数据的示例包括用于在装置900上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图像，视频等。存储器904可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。

电力组件906为装置900的各种组件提供电力。电力组件906可以包括电源管理系统，一个或多个电源，及其他与为装置900生成、管理和分配电力相关联的组件。

多媒体组件908包括在装置900和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件908包括一个前置摄像头和/或后置摄像头。当设备900处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件910被配置为输出和/或输入音频信号。例如，音频组件910包括一个麦克风(mic)，当装置900处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器904或经由通信组件916发送。在一些实施例中，音频组件910还包括一个扬声器，用于输出音频信号。

i/o接口912为处理组件902和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件914包括一个或多个传感器，用于为装置900提供各个方面的状态评估。例如，传感器组件914可以检测到设备900的打开/关闭状态，组件的相对定位，例如组件为装置900的显示器和小键盘，传感器组件914还可以检测装置900或装置900一个组件的位置改变，用户与装置900接触的存在或不存在，装置900方位或加速/减速和装置900的温度变化。传感器组件914可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件914还可以包括光传感器，如cmos或ccd图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件914还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件916被配置为便于装置900和其他设备之间有线或无线方式的通信。装置900可以接入基于通信标准的无线网络，如wifi，2g或3g，或它们的组合。在一个示例性实施例中，通信部件916经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，通信部件916还包括近场通信(nfc)模块，以促进短程通信。例如，在nfc模块可基于射频识别(rfid)技术，红外数据协会(irda)技术，超宽带(uwb)技术，蓝牙(bt)技术和其他技术来实现。

在示例性实施例中，装置900可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述第一方面所描述的方法，包括：

在接收到图像搜索指令时，基于图像搜索指令中的图像搜索信息，确定与图像搜索信息匹配的图像组，图像组通过对图像进行图像聚合计算得到，包括一个图像或至少两个相似的图像；基于匹配的图像组和/或匹配的图像组中的图像与图像搜索信息的匹配度，按照预设顺序显示匹配的图像组和/或匹配的图像组中的图像。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器904，上述指令可由装置900的处理器920执行以完成上述第一方面的图像搜索方法。例如，非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。

本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。