一种图像检索方法及装置，电子设备与流程

本申请涉及计算机技术领域，特别是涉及一种图像检索方法及装置，电子设备。

背景技术：

图像检索是基于待检索图像的图像特征在预设图像数据库中寻找最相似的图像的过程，在现有技术中有着广泛应用。常用的图像检索方法是将待搜索图像的图像特征与图像数据库中图像的图像特征进行一一比对，从而确定相似度最高的图像。然而，随着互联网技术的发展，以及存储技术的发展，图像数据库数据量越来越大，在海量的图像数据库中进行图像搜索时，这种图像检索方法的检索效率极低。

可见，现有技术中的图像检索方法至少存在检索效率低下的问题。

技术实现要素：

本申请提供一种图像检索方法，解决现有技术中的图像检索方法存在的检索效率低下的问题。

为了解决上述问题，第一方面，本申请实施例提供了一种图像检索方法包括：

基于所述待检索图像的第一图像特征，确定所述待检索图像的二值化特征；

基于所述二值化特征，确定所述待检索图像的信息熵编码；

基于所述信息熵编码，在预设图像库中检索与所述待检索图像相似的图像；其中，所述预设图像库中的图像以信息熵编码索引。

第二方面，本申请实施例提供了一种图像检索装置，包括：

二值化特征获取模块，用于基于所述待检索图像的第一图像特征，确定所述待检索图像的二值化特征；

信息熵编码确定模块，用于基于所述二值化特征，确定所述待检索图像的信息熵编码；

图像检索模块，用于基于所述信息熵编码，在预设图像库中检索与所述待检索图像相似的图像；其中，所述预设图像库中的图像以信息熵编码索引。

第三方面，本申请实施例还公开了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本申请实施例所述的图像检索方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时本申请实施例公开的图像检索方法的步骤。

本申请实施例公开的图像检索方法，通过基于所述待检索图像的第一图像特征，确定所述待检索图像的二值化特征；基于所述二值化特征，确定所述待检索图像的信息熵编码；基于所述信息熵编码，在预设图像库中检索与所述待检索图像相似的图像，解决了现有技术中图像检索方法存在的检索效率低下的问题。通过以图像的二值化特征的信息熵作为图像编码，对图像进行索引和检索，相对于直接比较二值化特征或者图像特征而言，大量降低了比对数据的数据量，有效提升了图像检索的效率。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例一图像检索方法流程图；

图2是本申请实施例二图像检索方法流程图；

图3是本申请实施例三图像检索装置结构示意图之一；

图4是本申请实施例三图像检索装置结构示意图之二。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

实施例一

本实施例公开的一种图像检索方法，如图1所示，该方法包括：步骤110至步骤130。

步骤110，基于所述待检索图像的第一图像特征，确定所述待检索图像的二值化特征。

首先，获取待检索图像的第一图像特征。

常用的图像特征有纹理理特征、颜色特征、形状特征、空间关系特征等，不同的特征适用于不同的图像内容，以及不同的图像识别需求。常用的特征提取方法有：fourier变换法、gabor变换法、小波变换法、神经网络模型提取法等。具体实施时，获取待检索图像的图像特征的具体方法可以采用现有技术中的方法，如通过卷积神经网络模型提取待检索图像的图像特征。本申请对获取待检索图像的图像特征的具体实施方法不做限定，优选的，采用卷积神经网络模型提取待检索图像的图像特征。

卷积神经网络模型提取待检索图像的图像特征，即卷积神经网络(cnn)特征能够较好的表达图像更高层次的语义特征，在图像分类、识别及检测领域已经得到很好的应用。本申请实施例中，以第一图像特征为cnn特征为例，详细说明图像检索技术方案。

然后，基于所述待检索图像的第一图像特征，确定所述待检索图像的二值化特征。

图像特征通常是一个多维的向量，具体实施时，可以通过现有技术中的二值化方案，对获取的待检索图像的第一图像特征进行二值化处理，以提取所述待检索图像的二值化特征。例如，遍历卷积神经网络(cnn)特征每个维度的特征值xi，根据以下规则对待检索图像的卷积神经网络特征进行二值化：

ifxi>th:b(xi)＝1；else:b(xi)＝0；其中，th为根据经验设定的阈值，该阈值的设置希望使得二值化后特征中的0和1的分布尽可能不均匀，以增加图像的区分度，例如可以取值为0.5。

步骤120，基于所述二值化特征，确定所述待检索图像的信息熵编码。

信息熵通常用于衡量信息的分布。本申请具体实施时，确定所述二值化特征之后，可以将所述二值化特征的信息熵作为所述二值化特征所属待检索图像的信息熵编码。然后，通过根据所述信息熵编码确定相似图像。

步骤130，基于所述信息熵编码，在预设图像库中检索与所述待检索图像相似的图像。

具体实施时，所述预设图像库以图像的信息熵编码作为图像的索引，然后，通过将信息熵编码进行比较，可以确定相似图像。具体实施时，由于信息熵编码在一定程度上反映了图像的二值化特征，因此，信息熵编码相近，对应的图像相似度也较高，通过比较信息熵编码可以初步确定相似图像。进一步的，可以通过对相似图像基于图像特征进行相似度判断，从而准确的检索到与待检索图像匹配的预设图像库中的图像。

本申请实施例公开的图像检索方法，通过基于所述待检索图像的第一图像特征，确定所述待检索图像的二值化特征；基于所述二值化特征，确定所述待检索图像的信息熵编码；基于所述信息熵编码，在预设图像库中检索与所述待检索图像相似的图像，解决了现有技术中图像检索方法存在的检索效率低下的问题。通过以图像的二值化特征的信息熵作为图像编码，对图像进行索引和检索，相对于直接比较二值化特征或者图像特征而言，大量降低了比对数据的数据量，有效提升了图像检索的效率。

实施例二

如图2所示，本申请另一实施例公开的一种图像检索方法，包括：步骤210至步骤240。

步骤210，基于所述待检索图像的第一图像特征，确定所述待检索图像的二值化特征。

首先，获取待检索图像的第一图像特征。

优选的，所述第一图像特征为卷积神经网络特征。卷积神经网络模型提取待检索图像的第一图像特征，即卷积神经网络(cnn)特征能够较好的表达图像更高层次的语义特征，在图像分类、识别及检测领域已经得到很好的应用。本实施例中，以通过卷积神经网络模型提取待检索图像的卷积神经网络特征，即cnn特征为例，具体描述图像检索方法的实施方案。

imagenet1000是基于深度卷积神经网络(cnn)的计算机视觉系统,在1000类图像分类问题上训练的一个卷积神经网络模型，而inceptionv3使用的是在imagenet1000上预训练过的模型，在图像处理领域应用也比较广泛。本申请具体实施时，通过inceptionv3提取待检索图像的卷积神经网络特征,作为待检索图像的第一图像特征。具体实施时，把待检索图像作为的输入inceptionv3模型，获取模型“pool_8x8_s1”层的输出参数作为所述待检索图像的特征表达，该特征为2048维(float类型)的特征向量，可以表示为:x＝[x1，x2，...，xi，...，xn]，i∈[1，n]，n表示特征的维度，例如n＝2048。

pool_8x8_s1层是inceptionv3网络结构中最接近loss(损失)层的网络层，最能代表图像的语义特征，且在图像研究领域较为通用。

然后，基于所述待检索图像的第一图像特征，确定所述待检索图像的二值化特征。

基于所述待检索图像的第一图像特征，确定所述待检索图像的二值化特征的具体实施方法参见实施例一，此处不再赘述。

通过对获取的待检索图像的第一图像特征x进行二值化处理，本步骤将得到一个n维的二值化特征，可以表示为：x＝[x′1，x′2，...，x′i，...，x′n]，i∈[1，n],n表示特征的维度，n＝2048。

步骤220，基于所述二值化特征，确定所述待检索图像的信息熵编码。

信息熵通常用于衡量信息的分布。基于所述二值化特征，确定所述待检索图像的信息熵编码，包括：确定所述二值化特征中各特征值的概率分布；基于所述概率分布确定所述二值化特征的信息熵；将所述信息熵在预设取值范围内进行离散化处理，得到所述待检索图像的信息熵编码。具体实施时，首先确定所述二值化特征中的各特征值的概率分布，如确定二值化特征中0和1的概率分布。然后，基于所述概率分布确定所述二值化特征的信息熵。具体实施时，可以通过公式：

entropyfeature＝-p0log(p0)-p1log(p1)，entropyfeature∈[0，1]计算二值化特征的信息熵，其中，p0为二值化特征中特征值0的分布概率，p1为二值化特征中特征值1的分布概率。具体实施时，可以通过公式统计二值化特征x′中的0和1的分布概率，其中，n为二值化特征x′的特征维度。

确定所述二值化特征的信息熵之后，进一步对信息熵在预设取值范围内进行离散化编码，作为所述待检索图像的信息熵编码。具体实施时，可以通过以下公式对信息上进行离散化编码：

q(entropyfeature)＝int(k*entropyfeature)，q(entropyfeature)∈[0，k]；其中，k为预设取值范围，根据信息熵编码的取值范围确定。例如，因为信息熵的取值范围为0到1，如果期望信息熵编码的取值范围为0到100之间，则k取值为100。

信息熵通常用于衡量信息的分布，而二值化特征又可以表达图像特征，因此，信息熵编码可以作为图像特征的一种压缩的表达方式，例如，经过对二值化特征进行信息熵编码，可以得到待检索图像对应的信息熵编码为60。在确定了待检索图像对应的信息熵编码之后，可以进一步基于所述信息熵编码，在预设图像库中检索与所述待检索图像相似的图像。具体实施时，基于所述信息熵编码，在预设图像库中检索与所述待检索图像相似的图像时，首先，基于所述信息熵编码，在预设图像库中确定候选图像集合；然后，通过将所述待检索图像与所述候选图像集合中各图像一一进行相似度比较，确定与所述待检索图像相似度匹配的一幅或多幅图像。

步骤230，基于所述信息熵编码，在预设图像库中确定候选图像集合。

其中，所述预设图像库中的图像以信息熵编码索引。

本申请具体实施时，首先需要预设图像库，作为待检索图像检索的对象。具体实施时，预设图像库以图像对应的信息熵编码作为所述图像的索引。例如，所述预设图像库中的数据格式为：(信息熵编码，图像)形式的键值对。其中，所述信息熵编码为对应图像的索引。预设图像库中的信息熵编码的获取方法和待检索图像的信息熵编码的获取方法相同，此处不再赘述。

基于所述信息熵编码，在预设图像库中确定候选图像集合，包括：在所述预设图像库中，确定与所述待检索图像的信息熵编码的差值小于预设阈值的信息熵编码索引的图像，组成候选图像集合。具体实施时，预设阈值可以取10，如针对信息熵编码为60的待检索图像，选取预设图像库中信息熵编码在[50,70]之间的图像作为待检索图像的匹配候选集，相比图像库中信息熵编码为[0,100]而言，检索量减少了80％，极大提升了检索效率。需要说明的是，图像库中图像的信息熵编码，与待检索图像的信息熵编码之间的差值阈值在具体的应用场景中依据实验效果确定，该差值阈值越小，索引的范围越小，对应的候选图像集合越小，检索的效率越高，但是精确度可能较低；相反，该差值阈值越大，索引的范围越大，对应的候选图像集合越大，检索的效率越低，但是精确度可能较高。

具体实施时，可以首先计算待检索图像的信息熵编码与预设图像库中所有图像的信息熵编码的差值，并将差值小于预设阈值(如10)的信息熵编码对应的图像作为候选匹配图像，然后由所有候选匹配图像构成候选图像集合。因为，基于信息熵的图像编码，即图像的信息熵编码可以有效表达图像的特征分布，预设图像库中每幅图像均对应一个基于信息熵的图像编码，对于待检索图像而言也对应一个基于信息熵的图像编码。并且，图像相似度越高，信息熵编码越接近，因此信息熵差值在一定范围内的图像，相似性会较高。通过设置对一定范围内的信息熵编码进行匹配，可大幅减小待检索图像的范围。

步骤240，将所述待检索图像与所述候选图像集合中的图像进行相似度比较，确定与所述待检索图像匹配的图像。。

候选图像集合中的图像是初步判断与待检索图像相似度较高的图像，为了提高检索结果的准确的性，本申请具体实施时，需要进一步对所述候选图像集合中各图像与待检索图像一一进行相似度匹配。具体实施时，所述将所述待检索图像与所述候选图像集合中的图像进行相似度比较，确定与所述待检索图像匹配的图像，包括：确定所述待检索图像、所述候选图像集合中的图像的第二图像特征；基于所述第二图像特征，分别计算所述待检索图像和所述候选图像集合中各图像的相似度得分；按照所述相似度得分由高到低的顺序，确定与所述待检索图像匹配的图像。首先，分别获取待检索图像的第二图像特征和候选图像集合中各图像的第二图像特征。其中，所述第二图像特征可以为与所述第一图像特征相同类别的特征，如第一图像特征和第二图像特征均为cnn特征；所述第二图像特征可以为与所述第一图像特征不同类别的特征，如第一图像特征为cnn特征，第二图像特征为传统图像特征，如gabor特征。然后，基于提取的第二图像特征，再计算待检索图像与候选图像集合中各图像的图像特征之间的欧式距离，以确定两幅图像的相似度得分。具体实施时，确定两幅图像相似度的方法不限于计算欧式距离，还可以采用现有技术中以及以后出现的其他方法计算两幅图像的相似度，本申请对此不作限定。

最后，按照所述相似度得分由高到低的顺序，对所述候选图像集合中的图像进行排序，确定与所述待检索图像匹配的图像。具体实施时，基于所述第二图像特征，在所述候选图像集合中对所述待检索图像进行图像匹配，可以确定相似度最高的图像为最终检索结果。在某些具体应用中，还可以将所述待检索图像的与所述候选图像集合中各图像一一进行相似度匹配，确定所述待检索图像与所述候选图像集合中每幅图像的相似度得分，然后，按照相似度由高到低进行排序，将排序后的所述候选图像集合中的图像进行反馈。

优选的，所述第二图像特征为包括至少两类图像特征的组合特征，所述第二图像特征中包括所述第一图像特征。为了提高图像检索的准确度，在进行相似度比较时，可以提取图像的更细腻、更丰富的特征，例如，所述第二图像特征为cnn特征和gabor特征的组合特征。

本申请实施例公开的图像检索方法，通过基于所述待检索图像的第一图像特征，确定所述待检索图像的二值化特征；基于所述二值化特征，确定所述待检索图像的信息熵编码；基于所述信息熵编码，在预设图像库中确定候选图像集合，最后在所述后选图像集合中进一步进行图像的特征匹配，解决了现有技术中图像检索方法存在的检索效率低下的问题。通过以图像的二值化特征的信息熵作为图像编码，对图像进行索引和检索，相对于直接比较二值化特征或者图像特征而言，大量降低了比对数据的数据量，有效提升了图像检索的效率。

同时，基于相似的信息熵编码对应的图像相似的特性，首先根据信息熵编码初步确定候选匹配图像，然后再将待检索图像与候选匹配图像进行一一特征匹配，进一步缩小了特征匹配的图像范围，减小了匹配运算量，进一步提升了图像检索效率。并且，相对于现有技术中直接比较图像二值化特征的方法，本申请比较的是整幅图像的原始特征，特征更全面，检索效果更准确。进一步的，卷积神经网络(cnn)特征能够较好的表达图像更高层次的语义特征，基于卷积神经网络特征进行图像相似度匹配，可以有效保证图像匹配的准确性。

实施例三

本实施例公开的一种图像检索装置，如图3所示，所述装置包括：

二值化特征获取模块310，用于基于所述待检索图像的第一图像特征，确定所述待检索图像的二值化特征；

信息熵编码确定模块320，用于基于所述二值化特征，确定所述待检索图像的信息熵编码；

图像检索模块330，用于基于所述信息熵编码，在预设图像库中检索与所述待检索图像相似的图像；其中，所述预设图像库中的图像以信息熵编码索引。

具体实施时，预设图像库以图像的二值化特征的信息熵编码作为图像的索引编码。

可选的，如图4所示，所述图像检索模块330包括：

候选图像集合确定单元3301，用于基于所述信息熵编码确定模块320确定的信息熵编码，在预设图像库中确定候选图像集合；

图像匹配单元3302，用于将所述待检索图像与所述候选图像集合中的图像进行相似度比较，确定与所述待检索图像匹配的图像。

可选的，所述图像匹配单元3302，进一步用于：

确定所述待检索图像、所述候选图像集合中的图像的第二图像特征；

基于所述第二图像特征，分别计算所述待检索图像和所述候选图像集合中各图像的相似度得分；

按照所述相似度得分由高到低的顺序，确定与所述待检索图像匹配的图像。

优选的，所述第二图像特征为包括至少两类图像特征的组合特征，所述第二图像特征中包括所述第一图像特征。

可选的，所述候选图像集合确定单元3301进一步用于：

在所述预设图像库中，确定与所述待检索图像的信息熵编码的差值小于预设阈值的信息熵编码索引的图像，组成候选图像集合。

可选的，所述第一图像特征为卷积神经网络特征。

可选的，所述基于所述二值化特征，确定所述待检索图像的信息熵编码，包括：

所述信息熵编码确定模块320，进一步用于：

确定所述二值化特征中各特征值的概率分布；

基于所述概率分布确定所述二值化特征的信息熵；

将所述信息熵在预设取值范围内进行离散化处理，得到所述待检索图像的信息熵编码。

本申请实施例公开的图像检索装置，通过基于所述待检索图像的第一图像特征，确定所述待检索图像的二值化特征；基于所述二值化特征，确定所述待检索图像的信息熵编码；基于所述信息熵编码，在预设图像库中检索与所述待检索图像相似的图像，解决了现有技术中图像检索方法存在的检索效率低下的问题。通过以图像的二值化特征的信息熵作为图像编码，对图像进行索引和检索，相对于直接比较二值化特征或者图像特征而言，大量降低了比对数据的数据量，有效提升了图像检索的效率。

同时，基于相似的信息熵编码对应的图像相似的特性，首先根据信息熵编码初步确定候选匹配图像，然后再将待检索图像与候选匹配图像进行一一特征匹配，进一步缩小了特征匹配的图像范围，减小了匹配运算量，进一步提升了图像检索效率。并且，相对于现有技术中直接比较图像二值化特征的方法，本申请比较的是整幅图像的原始特征，特征更全面，检索效果更准确。进一步的，卷积神经网络(cnn)特征能够较好的表达图像更高层次的语义特征，基于卷积神经网络特征进行图像相似度匹配，可以有效保证图像匹配的准确性。

相应的，本申请还公开了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本申请实施例一和实施例二所述的图像检索方法。所述电子设备可以为pc机、移动终端、个人数字助理、平板电脑等。

本申请还公开了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请实施例一和实施例二所述的图像检索方法的步骤。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上对本申请提供的一种图像检索方法及装置进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件实现。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。