一种利用基于深度语义排序哈希编码的图像检索方法
【技术领域】
[0001] 本发明涉及模式识别与机器学习领域，特别涉及图像哈希编码与检索。
【背景技术】
[0002] 网络图片的爆炸性增长使得基于内容的图像检索显得日趋重要。哈希编码由于 其效率高、易存储等特性，已经被广泛的用于大规模图像检索当中。尽管如此，大部分的基 于语义标签的哈希编码方法只解决了二元的相似度量（即相似或者不相似）问题，但是对 于多标签图像中的多级语义相似度量去不能够很好的处理。此外，大部分的哈希编码方法 的流程一般是首先提取手工设计的特征表达，然后在此基础上学习深度哈希函数。这些手 工设计的特征更倾向于描述表观而非语义信息，并不适合用来处理涉及复杂语义结构的任 务。
【发明内容】
[0003] (一）本发明要解决的技术问题
[0004] 本发明的目的是提出一种利用基于深度语义排序哈希编码的图像检索的方法。基 于深度语义排序的深度哈希函数学习方法来保留多标签图像中的复杂的多级语义结构。其 利用深度卷积神经网络构建多层的深度哈希函数，并根据图像间共同标签的数目推导出语 义排序列表用于监督深度哈希函数学习。同时，使用一种基于代理排序损失函数的算法来 解决学习过程中的多变量非光滑排序度量优化问题。
[0005] (二）本发明的技术方案
[0006] 本发明所提出的一种利用基于深度语义排序哈希编码的图像检索方法包括以下 步骤：
[0007] 步骤SO :将多标签图像数据集中的部分图像作为训练集，剩下的图像作为图像测 试集；
[0008] 步骤Sl :使用深度卷积神经网络（CNN)构建深度哈希函数；
[0009] 步骤S2 :根据图像的多标签信息，构建出图像间的语义相似度排序；
[0010] 步骤S3,以基于三元组的代理排序损失函数做为实际的模型目标函数，并使用随 机梯度下降法和反向传播算法来优化深度哈希函数；
[0011] 步骤S4 :用步骤S3学习到的深度哈希函数计算图像的哈希码；
[0012] 步骤S5,通过计算测试图像的哈希码与训练集中每一个图像的哈希码之间的汉明 距离，并根据汉明距离来检索图像。
[0013] (三）本发明的有益效果：
[0014] 本发明方法利用语义排序损失学习深度哈希函数，能够保留多标签图像中的多级 语义结构，能够保留图像在语义空间中的多级相似度；并且这种使用排序监督的深度学习 模型可以联合学习图像的深度特征表达和哈希编码，具有更强的语义学习能力从而避免了 语义信息的损失。
【附图说明】
[0015] 图1是本发明利用基于深度语义排序哈希编码的图像检索方法流程图。
[0016] 图2是深度哈希函数的结构示意图。
[0017] 图3是一些检索示例。
【具体实施方式】
[0018] 为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照 附图，对本发明进一步详细说明。
[0019] 本发明提出了一种基于深度语义排序的哈希编码，并将其应用于图像检索。该方 法利用深度卷积神经网络来构建一种多层的深度哈希函数，并且根据图像的多标签信息推 导出图像间的语义相似度排序，用于深度哈希函数的监督学习。在此基础上，使用一种基于 代理排序损失函数的策略来解决模型学习过程中非光滑的多变量排序度量优化问题。以下 详细说明本发明方法涉及的关键步骤。
[0020] 请参阅图1示出的本发明利用基于深度语义排序哈希编码的图像检索的方法，所 述方法包括以下步骤：
[0021] 步骤S0,将多标签图像数据集中的部分图像作为图像训练集P，剩下的图像作为 图像测试集；
[0022] 步骤S1，利用深度卷积神经网络（CNN)构建一种多层的深度哈希函数；
[0023] 请参阅图2所示深度哈希函数的结构，所述深度哈希函数包含了一个七层深度卷 积神经网络，以及一个哈希编码层。在第一个全连接层（FCa)和哈希编码层之间增加一个 额外的跨层连接来减少可能的信息损失。由于第二个全连接层（FCb)过于依赖于高层的类 标签，其激活响应对于图像细节特征有着很强的不变性，并不太适合于捕获精细化的语义 差异。因此，把哈希编码层同时与两个全连接层进行连接，使得第一个全连接层FCa中偏 向于视觉表观的多样化特征信息能够得到更多的利用。相应的，提出的一个深度哈希函数 h(x ;w)定义如下：
[0024] h(x；w) = sign(wT[fa(x) ；fb(x)]) (I)
[0025] 其中，sign(.)为符号函数，x为数据库样本，w表示哈希编码层的权值，T表示转 置，f a(x)和fb(x)分别表示来自于第一个全连接层FCa和第二个全连接层FCb的特征向量。 这里为了表述的简洁性，我们略去了偏置项以及f a(x)和fb(x)的参数，并通过计算如下一 组深度哈希函数h(x ;W)能够得到K比特的哈希码：
[0026] h (x ；ff) = Lh1 (x -,W1), h2 (x ；w2), . . . , hK (x ；wK) ], (2)
[0027] hK(x ;wK)为第K个深度哈希函数；wK为第K个深度哈希函数的哈希编码层的权值， W = [WpW2,. ..，wK]是一组深度哈希函数的权值，为了保证检索速度，哈希码的比特数K的 取值为1彡K彡256 ;
[0028] 步骤S2,根据图像的多标签信息，构建出图像间的语义相似度排序；
[0029] 给定训练集P中的一个样本做为查询样本q，数据库样本X与查询样本q的语义 相似度等级r可以根据二者的相同标签个数计算得到。
[0030] 如果数据库样本X的标签与查询样本q完全相同，那么数据库样本X与查询样本 q的语义相似度等级F = 1?I，数据库样本X与查询样本q的语义相似程度最高，:?表示查 询样本q的标签集合，|y9|表示集合中标签的个数。
[0031] 相应的，如果数据