库样本X有任意％ -1个标签与查询样本q相同，则数据库样本 X与查询样本q语义相似度等级r = 3^ -1，数据库样本X与查询样本q的语义相似程度次 之。
[0032] 以此类推，最后如果数据库样本X没有与查询样本q相同的标签，数据库样本X与 查询样本q语义相似度等级r = 0,数据库样本X与查询样本q的语义视为不相似。
[0033] 于是，按照这种语义相似度等级对数据库样本X进行排序，我们就能够得到一个 关于查询样本q的语义排序列表。
[0034] 步骤S3,以一种基于三元组的代理排序损失函数作为实际的模型目标函数，并使 用随机梯度下降法和反向传播算法来优化深度哈希函数；
[0035] 为了避免对排序评价标准的直接优化，使用更容易优化的代理排序损失函数作 为学习过程中实际要最小化的模型目标函数。给定查询样本q、相应的排序列表 和语义相似度等级r，我们可以在一组三元哈希码组上定义一种代理排序损失函数
【主权项】
1. 一种利用基于深度语义排序哈希编码的图像检索方法，其特征在于，该方法包括以 下步骤： 步骤SO :将多标签图像数据集中的部分图像作为训练集，剩下的图像作为图像测试 集； 步骤Sl :使用深度卷积神经网络构建深度哈希函数； 步骤S2 :根据图像的多标签信息，构建出图像间的语义相似度排序； 步骤S3 :以基于三元组的代理排序损失函数做为实际的模型目标函数，并使用随机梯 度下降法和反向传播算法来优化深度哈希函数； 步骤S4 :用步骤S3学习到的深度哈希函数计算图像的哈希码； 步骤S5 :计算测试图像的哈希码与训练集中每一个图像的哈希码之间的汉明距离，并 根据汉明距离来检索图像。
2. 根据权利要求1所述的方法，其特征在于，所述深度哈希函数为多层的深度哈希函 数，多层的深度哈希函数包含一个七层深度卷积神经网络，以及一个哈希编码层。
3. 根据权利要求1所述的方法，其特征在于，所述深度哈希函数为一个深度哈希函数 时h(x ;w)的定义如下： h(x ；w) = sign(wT[fa(x) ；fb(x)]) (I) 其中，sign(.)为符号函数，x为数据库样本，w表示哈希编码层的权值，T表示转置， fa(x)和fb(x)分别表示来自于第一个全连接层和第二个全连接层的特征向量。
4. 根据权利要求1所述的方法，其特征在于，利用一组所述深度哈希函数h (X ;W)，获得 K比特的哈希码，所述一组深度哈希函数h(x ;W)表示如下： h (x ；ff) = Lh1 (x ^1), h2 (x ；w2), . . . , hK (x ；wK) ], (2) 其中，hK(x ;wK)为第K个深度哈希函数；wK为第K个深度哈希函数的哈希编码层的权 值，W = [W1, w2, ...，wK]是一组深度哈希函数的权值，为了保证检索速度，哈希码的比特数 K的取值为1彡KS 256。
5. 根据权利要求1所述的方法，其特征在于，按照所述语义相似度的等级对数据库样 本X进行排序，获得一个关于查询样本q的语义排序列表。
6. 根据权利要求1所述的方法，其特征在于，使用三元组的代理排序损失函数作为学 习过程中实际要最小化的图像目标函数，用于避免对排序评价标准的直接优化；在一组三 元哈希码组上定义所述代理排序损失函数乙OiiaUhix ')】W, V表示如下：
其中h (q)为查询样本q的哈希码，h (Xi)和h (Xj)为数据库样本xjp X j的哈希码，r i 和h表示数据库样本xJP^分别与的查询样本q的相似度等级，M是排序列表的长度，[.]+ =max(0,.）表示取该值与0相比较大的那个值；δ dH( ·)表示两个样本对的汉明距离之 差，BP表示为 δ dH (Mqhh(Xi), h (Xj)) =dH (Mqhh(Xi) )_dH(h(q)，h (Xj)) ;dH(·，·）表示样 本对的汉明距离，即为查询样本q和数据库样本x的汉明距离；P是间隔参数，用于控制两 个查询样本对（q，X i)和（q，的汉明距离间应该满足的最小间隔；ω是自适应权重由下 式给出：
其中，Z是定义归一化常量。
7.根据权利要求6所述的方法，其特征在于，给定训练集D ,并令训练集D中的所有 样本分别做为查询样本q，学习深度哈希函数来优化关于查询样本q的排序；基于代理排序 损失函数和深度哈希函数，模型目标函数^CW)由带正则项约束的经验损失给出：
其中，W = [W1, w2,…，wK]是一组深度哈希函数的权值，Lfl，(h(q;W),(Ii(X pW))^1) 是排序代理损失，h(. ;w)是的深度哈希函数，α和β是正则项系数，表示在数据集中的查 询样本的每一个比特上求均值，Il meanq(h(q; W)) M是平衡性惩罚项，用于使哈希码的每 一比特在整个训练集上的均值保持在O左右，使得学习过程的收敛更加稳定；Il 1W旧是权 值衰减项，用于惩罚过大的权值。
【专利摘要】本发明公开了一种利用基于深度语义排序哈希编码的图像检索方法，该方法包括以下步骤：将多标签图像数据集中的部分图像作为训练集，剩下的图像作为图像测试集；使用深度卷积神经网络来构建深度哈希函数；根据图像的多标签信息，构建出图像间的语义相似度排序；以基于三元组的代理排序损失函数做为实际的模型目标函数，并使用随机梯度下降法来优化深度哈希函数；用学习到的深度哈希函数计算图像的哈希码，通过计算测试图像的哈希码与训练集中每一个图像的哈希码之间的汉明距离来检索图像。本发明方法能够保留多标签图像在语义空间中的多级相似度，并且联合学习图像的深度特征表达和哈希编码，从而避免了语义信息的损失。
【IPC分类】G06K9-62, G06F17-30
【公开号】CN104834748
【申请号】CN201510272498
【发明人】王亮, 谭铁牛, 黄永祯, 赵放
【申请人】中国科学院自动化研究所
【公开日】2015年8月12日
【申请日】2015年5月25日