一种基于深度学习的跨模态哈希检索方法与流程

本发明涉及一种基于深度学习的跨模态哈希检索方法。

背景技术：

伴随着科学技术和社会生产力的快速发展，大数据时代悄然而至。所谓大数据是指在一定的时间范围内无法使用常规的软件工具进行捕捉、管理和处理的数据集合。ibm提出大数据具有5v特点，即：volume(数据量大)、variety(种类和来源多样化)、value(数据价值密度相对较低，而有时却又弥足珍贵)、velocity(数据增长速度快)、veracity(数据的质量)。大数据也可以认为是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的信息资产。

信息检索是数据处理的一个重要方面，而面对大数据，如何有效地进行信息检索成为大数据时代亟待解决并且非常具有挑战性的问题。对于大规模数据检索，哈希检索方法扮演着重要的角色。哈希检索方法将对象的高维特征映射到汉明空间中，生成一个低维的哈希编码来表示一个对象，它降低了检索系统对计算机内存空间的要求，提高了检索速度，能更好地适应海量检索的要求。哈希检索的主要思想是把高维向量表示的数据投影到汉明空间，在汉明空间中进行k近邻(k≥1)的检索。为了使汉明空间中的k近邻与原始空间保持一致，哈希学习算法需要满足局部保持特性，即，保持数据投影前后的相似性。局部敏感哈希(localitysensitivehashing，lsh)方法可以使高维空间中距离很近的两点，在经过哈希函数对这两点进行哈希编码后，它们的哈希编码有很大的概率是一样的，反之，若两点之间的距离较远，则它们的哈希编码相同的概率会很小。

跨模态哈希检索主要用于解决不同模态数据之间的相互检索问题，例如，用图像检索文本、或者用文本检索图像等。跨模态哈希检索方法需要对不同模态的数据进行哈希编码，生成紧凑的二进制哈希编码，然后基于生成的哈希编码完成不同模态数据之间的相互检索。ding等人提出了集体矩阵分解哈希(collectivematrixfactorizationhashing，cmfh)方法。cmfh方法可以利用集体矩阵分解从每个实例的不同模态学习统一的哈希编码。为了在基于矩阵分解的跨模态哈希方法中有效地使用类别信息并保持局部几何结构，进而达到有效提升由矩阵分解得到的潜在语义特征鉴别能力的目的，tang等人提出了有监督矩阵分解哈希(supervisedmatrixfactorizationhashing，smfh)方法。smfh方法在进行哈希编码学习时，不仅考虑模态之间标记信息的一致性，还考虑模态内部局部几何结构的一致性。针对不少有监督跨模态哈希方法训练时间复杂度过高的问题，zhang等人提出了称为语义相关性最大化(semanticcorrelationmaximization，scm)的有监督跨模态哈希方法。scm方法可以将语义标记信息无缝地集成到哈希学习过程中。

上述的基于浅层学习结构的跨模态哈希算法所使用的手工特征可能不能与哈希编码学习到达最优的兼容性。为了解决这个问题，jiang等人提出了深度跨模态哈希(deepcross-modalhashing，dcmh)方法。dcmh方法是一种基于深度学习架构的端到端的跨模态哈希方法，它能够将特征学习和哈希编码学习有效地集成在一个学习框架中。为了在端到端的学习架构中提升深度特征表示的量化能力(quantizability)，使得深度特征表示可以被更有效地量化，cao等人通过将量化引入到用于跨模态检索的端到端深度学习架构中，提出了集体深度量化(collectivedeepquantization，cdq)方法。cdq方法通过精心设计的混合网络和损失函数为两个模态联合学习深度特征表示和量化器。cdq方法的混合网络包含：一个由多个卷积-池化(convolution-pooling)层构成的用于提取图像特征表示的图像网络，一个由多个全连接(fully-connected)层构成的用于提取文本特征表示的文本网络，两个用于生成最优低维特征表示的全连接瓶颈(fully-connectedbottleneck)层，一个用于捕获跨模态相关性的自适应交叉熵损失，以及一个用于控制哈希质量和量化能力的集体量化损失。此外，cdq方法还可以学习模态共用的量化器码本，通过该码本可以实质性地增强两个模态之间的关联性。为了在用于跨模态检索的端到端的深度学习架构中有效地捕获不同模态之间的本质关系，yang等人提出了成对关系导向的深度哈希(pairwiserelationshipguideddeephashing，prdh)方法。prdh方法从模态内的角度和模态间的角度通过集成不同类型的成对约束来学习更能反映模态间本质关系的哈希编码。此外，prdh方法通过在深度学习架构中引入去相关约束来增强哈希编码每一比特的鉴别能力。

跨模态哈希检索需要将对象在不同模态的高维特征数据映射到低维汉明空间，以实现基于汉明空间的二进制哈希编码快速、准确地完成跨模态信息检索任务。现有的跨模态哈希检索方法大多数是基于浅层学习结构的方法，这些方法虽然可以基于哈希检索技术快速地完成检索任务，但是浅层的学习结构使得原始特征中的鉴别信息不能够很好地被挖掘。深度学习技术在诸如分类任务、物体检测任务中已经展现出了优异的特征学习能力，并且现有的基于深度学习技术的跨模态哈希检索方法也表明深度学习技术对于提升跨模态检索任务的性能是有益的。因此，设计基于深度学习技术的跨模态哈希检索方法，对于完成大数据情境下的跨模态检索任务具有重要的意义和价值。

技术实现要素：

本发明其目的就在于提供一种基于深度学习的跨模态哈希检索方法，解决了现有的基于浅层学习结构的跨模态哈希检索方法不能够很好地挖掘原始特征中的鉴别信息的问题。

为实现上述目的而采取的技术方案是，一种基于深度学习的跨模态哈希检索方法，假设n个对象的图像模态的像素特征向量集为其中，vi表示第i个对象在图像模态的像素特征向量；令表示这n个对象在文本模态的特征向量，其中，ti表示第i个对象在文本模态的特征向量；将n个对象的类别标记向量表示为其中，c表示对象类别的数量；对于向量yi来说，如果第i个对象属于第k类，则令向量yi的第k个元素为1，否则，向量yi的第k个元素为0；该方法包括以下步骤：

(1)使用基于深度学习技术设计的目标函数得到图像模态和文本模态共享的二进制哈希编码b，图像模态和文本模态的深度神经网络参数θv和θt，以及图像模态和文本模态的投影矩阵pv和pt；

(2)使用交替更新的方式求解目标函数中的未知变量b、θv、θt、pv和pt，即交替的求解如下三个子问题：固定b、pv和pt，求解θv和θt；固定b、θv和θt，求解pv和pt；固定θv、θt、pv和pt，求解b；

(3)基于求解得到的图像模态和文本模态的深度神经网络参数θv和θt，以及投影矩阵pv和pt，为查询样本和检索样本集中的样本生成二进制哈希编码；

(4)基于生成的二进制哈希编码计算查询样本到检索样本集中各个样本的汉明距离；

(5)使用基于近似最近邻搜索的跨模态检索器完成对查询样本的检索。

其中，所述步骤(1)中的基于深度学习技术设计的目标函数形式如下：

其中，γ1和γ2为非负平衡因子，b＝[b1,b2,…,bn]t∈{-1,+1}^n×k，和为投影矩阵，θv和θt为深度神经网络参数，和分别为n个对象在图像模态和文本模态的深度特征，并且矩阵f和矩阵g的第i列的向量分别为f(vi；θv)和g(ti；θt)，为拉普拉斯矩阵用于保持模态内一致性和模态间的一致性，1为全部元素为1的列向量，||·||f表示矩阵的frobenius范数，tr(·)表示矩阵的迹，(·)^t表示矩阵的转置。

其中，所述步骤(2)中的使用交替更新的方式求解目标函数中的未知变量b、θv、θt、pv和pt，具体为，交替地求解如下三个子问题：

(1)固定b、pv和pt，求解θv和θt；当固定二进制哈希编码b，以及投影矩阵pv和pt时，公式(1)所示的目标函数简化为关于深度神经网络参数θv和θt的子问题，即：

(2)固定b、θv和θt，求解pv和pt；当固定二进制哈希编码b，以及深度神经网络参数θv和θt时，公式(1)所示的目标函数简化为关于投影矩阵pv和pt的子问题，即：

(3)固定θv、θt、pv和pt，求解b；当固定深度神经网络参数θv和θt，以及投影矩阵pv和pt时，公式(1)所示的目标函数简化为关于二进制哈希编码b的子问题，即：

在求解公式(4)中的未知变量b时，使用基于奇异值分解的离散哈希算法进行求解。

其中，所述步骤(3)中的基于求解得到的图像模态和文本模态的深度神经网络参数θv和θt，以及投影矩阵pv和pt，为查询样本和检索样本集中的样本生成二进制哈希编码，具体为，假设图像模态的一个查询样本的特征向量为文本模态的一个查询样本的特征向量为图像模态检索样本集中样本的特征为文本模态检索样本集中样本的特征为其中，表示检索样本集中样本的数量；图像模态和文本模态查询样本和检索样本集中样本的二进制哈希编码分别为：和其中，sign(·)为符号函数。

其中，所述步骤(4)中的基于生成的二进制哈希编码计算查询样本到检索样本集中各个样本的汉明距离，具体为，使用公式计算图像模态的查询样本到文本模态检索样本集中第个样本的汉明距离；使用公式计算文本模态的查询样本到图像模态检索样本集中第个样本的汉明距离。

其中，所述步骤(5)中的使用基于近似最近邻搜索的跨模态检索器完成对查询样本的检索，具体为，对计算得到的汉明距离(或者)按照从小到大的顺序进行排序，然后，在文本模态(或者图像模态)检索样本集中取前k个最小距离对应的样本作为检索结果。

有益效果

与现有技术相比本发明具有以下优点。

1.本发明方法能够在保持检索速度的情况下，利用深度学习结构挖掘出更多的鉴别信息，从而可以更精准地完成跨模态检索；

2.本发明方法通过实施模态内一致性和模态间一致性保持策略，充分地将原始特征空间的有益信息保持到汉明空间，促进了鉴别信息的挖掘和检索性能的提升；

3.本发明方法所提出的基于奇异值分解的离散哈希算法可以使获取到的二进制哈希编码具有更多的有益特性，进而有效地提升了跨模态哈希检索的性能。

附图说明

图1为本发明提出的基于深度学习的跨模态哈希检索方法工作流程图。

具体实施方式

下面结合附图对本发明的技术方案做进一步的详细说明。

本发明公开了一种基于深度学习的跨模态哈希检索方法，如图1所示，具体实施过程主要包括以下步骤：假设n个对象的图像模态的像素特征向量集为其中，vi表示第i个对象在图像模态的像素特征向量；令表示这n个对象在文本模态的特征向量，其中，ti表示第i个对象在文本模态的特征向量；将n个对象的类别标记向量表示为其中，c表示对象类别的数量；对于向量yi来说，如果第i个对象属于第k类，则令向量yi的第k个元素为1，否则，向量yi的第k个元素为0；

(1)基于深度学习的跨模态哈希检索目标函数构建

本发明方法的目的是利用图像模态和文本模态的特征数据v和t，以及对象的类别标记信息学习图像模态和文本模态的哈希函数，并利用学习得到的哈希函数生成用于完成跨模态哈希检索任务的二进制哈希编码。直接使用图像模态和文本模态的特征数据v和t进行跨模态哈希学习，不利于从原始特征中挖掘鉴别信息来生成性能优异的二进制哈希编码。为了更好地从图像模态和文本模态的原始特征数据中挖掘鉴别信息，本发明方法分别针对图像模态和文本模态数据构建深度神经网络(deepneuralnetwork，dnn)进行深度特征学习。

对于图像模态，本发明方法采用由alexnet改进得到的由七个层构成的卷积神经网络(convolutionalneuralnetwork，cnn)进行图像模态深度特征学习。下面对这个cnn模型进行详细介绍。

用于图像模态深度特征学习的这个cnn模型包含五个卷积层(convolutionlayer)和两个全连接层(fullyconnectedlayer)，分别表示为“conv1-conv5”和“fc6-fc7”。该网络将图像模态的像素特征作为输入。在这个cnn中，第一个卷积层conv1用96个大小为11×11×3核对大小为227×227×3的输入图像以4像素为步长进行过滤。在经过线性修正单元(rectifiedlinearunit，relu)的激活、最大池化(max-pooling)和局部响应归一化(localresponsenormalization，lrn)后，得到大小为27×27×96的输出特征。第二个卷积层conv2以第一个卷积层conv1的输出作为输入，conv2用256个大小为5×5×96的核对输入进行过滤。同样地，在经过relu、max-pooling和lrn之后，得到大小为13×13×256的输出特征。第三、第四和第五个卷积层conv3、conv4和conv5分别使用了大小为3×3×256、3×3×384和3×3×384的384、384和256个卷积核，并且每层都使用relu激活。当conv5经过max-pooling后得到大小为6×6×256的输出特征。全连接层fc6的神经元个数为4096，且使用0.5的丢弃比率对神经元进行暂时丢弃以防止过拟合。fc7层为含有d^(v)个神经元的全连接层，并且用双曲正切(hyperbolictangent，tanh)函数作为fc7层的激活函数。最终，在fc7层得到大小为d^(v)×1的输出特征。

对于文本模态，本发明方法使用由三个全连接层构成的多层感知机(multilayerperceptron，mlp)来构建一个mlp深度神经网络将文本模态的特征从原始特征空间映射到语义空间。这里将所构建的mlp深度神经网络中的三个全连接层分别用fc1、fc2和fc3表示。类似于相关文献进行文本模态特征学习时构建mlp深度神经网络的做法，本发明所构建的mlp深度神经网络的fc1层和fc2层使用relu作为非线性激活函数。对于fc3层则使用双曲正切(tanh)函数作为激活函数。fc3层的神经元个数为d^(t)，即：用于学习文本模态深度特征的mlp深度神经网络的输出特征的维数为d^(t)。

对于第i个对象，令表示图像模态的cnn的输出特征，其中，θv为图像模态的cnn的参数；令表示文本模态的mlp深度神经网络的输出特征，其中，θt为文本模态的mlp深度神经网络的参数。

假设第i个对象在图像模态和文本模态的深度学习特征f(vi；θv)和g(ti；θt)经过线性投影矩阵和投影后的特征分别为和pt^tg(ti；θt)，其中，(·)^t表示矩阵的转置。进一步假设由和pt^tg(ti；θt)可以分别生成汉明空间中的二进制哈希编码和那么，可以通过如下的最小化问题进行跨模态哈希学习：

其中，γ1和γ2为非负平衡因子，等号右边的第三项为用于防止过拟合的正则项，等号右边第四项的作用是希望哈希编码的每一位是+1和-1的概率相等并用于最大化哈希编码的每一位所提供的信息。

模态内相似性反映了每个模态内由特征向量构成的数据点之间的近邻关系。图像模态的两个数据点vi和vj之间的模态内相似性可以定义为：

其中，表示数据点vi的k1近邻集(k1-nearestneighbors)，表示vi和vj之间的欧氏距离，即：表示向量的l2范数。σ用于控制的衰减速率。类似地，文本模态中由两个特征向量构成的两个数据点ti和tj的模态内相似性定义为：

其中，对于每个模态，为了使数据点的局部近邻结构在汉明空间和原始特征空间保持一致，即：使原始特征空间中每个数据点及它近邻关系在汉明空间中得到保持，可以设计如下的目标函数：

基于对象的类别标记信息，可以定义图像模态的数据点vi(i＝1,2,…,n)与文本模态的数据点tj(j＝1,2,…,n)的如下所示的语义关联矩阵：

需要说明的是：只要vi和tj至少属于一个相同的类别，则认为它们具有相同的语义。为了在汉明空间保持图像模态和文本模态之间的模态间一致性，可以设计如下的目标函数：

综合以上关于图像模态深度特征学习、文本模态深度特征学习、模态内一致性和模态间一致性保持的分析，本发明方法的目标函数可以设计为：

根据已有工作，如果不同模态空间中的数据具有相同的语义，那么这些不同模态中的数据往往会对应一个公共的潜在空间。因此，本发明假设在图像模态和文本模态中具有相同语义的特征最终可以表示为公共汉明空间中相同的二进制哈希编码。也就是说有成立。基于这个假设，公式(7)中的优化问题可以表示为：

其中，

通过简单的推导，可以重写为如下的形式：

其中，b＝[b1,b2,…,bn]t∈{-1,+1}^n×k，并且矩阵f和矩阵g的第i列的向量分别为f(vi；θv)和g(ti；θt)，||·||f表示矩阵的frobenius范数。对进行如下的推导可以得到它的等价形式，即：

其中，l＝d-w为拉普拉斯矩阵，表示对角矩阵d的第i个对角元素，wij为矩阵w第i行第j列上的元素，tr(·)表示矩阵的迹。根据公式(12)和公式(13)，公式(8)可以重写为：

(2)目标函数的求解

公式(14)所示的目标函数中包含五个待求解的未知变量，即：二进制哈希编码矩阵b，线性投影矩阵pv和pt，深度神经网络参数θv和θt。公式(14)所示的目标函数对于这五个联合在一起的未知变量是非凸的，因此，无法同时得到这五个未知变量的解析解。公式(14)中的未知变量可以通过交替地求解如下三个子问题得到解，即：固定b、pv和pt，求解θv和θt；固定b、θv和θt，求解pv和pt；固定θv、θt、pv和pt，求解b。

(a)固定b、pv和pt，求解θv和θt

当固定二进制哈希编码b，以及投影矩阵pv和pt时，公式(14)所示的目标函数简化为关于深度神经网络参数θv和θt的子问题，即：

本发明使用后向传播(backpropagation，bp)算法来学习更新dnn网络参数θv。类似于大多数已有深度学习方法，这里使用基于后向传播的随机梯度下降算法来学习θv。学习θv的具体做法是：每次迭代从训练样本中选取一小批训练样本，然后利用选取的样本使用基于后向传播的随机梯度下降算法来学习θv。对于选取的训练样本的图像模态的每个特征向量vi，首先使用如下的公式计算梯度：

然后，使用链式规则和已得到的计算最后，利用计算得到的和bp算法更新图像模态的dnn网络参数θv。

算法1展示了求解图像模态dnn网络参数θv的算法。

类似地，使用基于反向传播的随机梯度下降算法学习更新文本模态的深度神经网络参数θt。对于选取的训练样本的文本模态的每个特征向量ti，首先计算如下的梯度：

然后，使用链式规则和已得到的梯度计算最后，利用计算得到的和bp算法更新文本模态的dnn网络参数θt。使用与算法1类似的算法可以学习得到文本模态的dnn网络参数θt。

(b)固定b、θv和θt，求解pv和pt

当固定二进制哈希编码b，以及深度神经网络参数θv和θt时，公式(14)所示的目标函数简化为关于投影矩阵pv和pt的子问题，即：

针对公式(18)中的分别关于pv和pt求偏导数并令偏导数等于0，可以得到：

经过简单的推导可得：

pv＝(ff^t+i+f11^tf^t)^-1fb，(21)

pt＝(gg^t+i+g11^tg^t)^-1gb，(22)

其中，i为单位矩阵，(·)^-1表示矩阵的逆。

(c)固定θv、θt、pv和pt，求解b

当固定深度神经网络参数θv和θt，以及投影矩阵pv和pt时，公式(14)所示的目标函数简化为关于二进制哈希编码b的子问题，即：

对公式(23)进行简单的推导可以得到：

因为pv、pt、θv和θt是固定的，因此，和均为常数。进一步，在公式(24)中忽略这两项也不会对b的求解产生影响。此外，因为b∈{-1,+1}^n×k，可以得到也就说，为常数。将公式(24)中的常数项舍弃后，公式(24)转化为：

其中，

公式(25)中的未知变量为离散变量，因此，一般情况下很难直接对其进行求解得到解析解。本发明提出了基于奇异值分解的离散哈希算法来求解公式(25)所示的关于离散变量b的优化问题。下面详细介绍基于奇异值分解的离散哈希算法。

对矩阵l进行奇异值分解可以得到其中，为对角矩阵。将代入公式(25)可以得到：

令和分别表示矩阵b、和的第i行；令和分别表示矩阵b、和在去除了和之后剩余的行构成的矩阵。此时，可以得到：

类似地，可以得到：

其中，表示矩阵q的第i列，表示矩阵q在去除qi后剩余的列构成的矩阵。

根据公式(27)和公式(28)，公式(26)中未知的二进制哈希编码矩阵b可以通过求解如下关于bi(i＝1,2,…,n)的优化问题得到，即：

经过简单的推导，公式(29)可以转化为：

公式(30)中的优化问题具有如下的解析解：

其中，sign(·)表示符号函数。

算法2展示了基于奇异值分解的离散哈希算法。

(3)生成查询样本和检索样本集中的样本二进制哈希编码

假设图像模态的一个查询样本的特征向量为文本模态的一个查询样本的特征向量为图像模态检索样本集中样本的特征为文本模态检索样本集中样本的特征为其中，表示检索样本集中样本的数量。利用求解得到的图像模态和文本模态的投影矩阵pv和pt，以及图像模态和文本模态的深度神经网络参数θv和θt，可以得到图像模态和文本模态查询样本和检索样本集中样本的二进制哈希编码分别为：和其中，sign(·)为符号函数。

(4)计算查询样本到检索样本集中各个样本的汉明距离

对于图像模态的查询样本使用公式计算图像模态的查询样本到文本模态检索样本集中样本的汉明距离。对于文本模态的查询样本使用公式计算文本模态的查询样本到图像模态检索样本集中样本的汉明距离。

(5)使用跨模态检索器完成对查询样本的检索

对于图像检索文本的检索任务，首先对计算得到的个汉明距离按照从小到大的顺序进行排序，然后，在文本检索样本集中取前k个最小距离对应的样本作为检索结果。类似地，对于文本检索图像的检索任务，首先对计算得到的个汉明距离按照从小到大的顺序进行排序，然后，在图像检索样本集中取前k个最小距离对应的样本作为检索结果。

以下结合具体实验对本发明的有益效果进行说明。

针对本发明方法所实施的相关实验主要在pascalvoc2007数据集上进行，首先简要介绍pascalvoc2007数据集。pascalvoc2007数据集包含属于20个类别(例如，飞机、瓶子、马和沙发等)的9963幅图像，并且每幅图像均被标记了标签。在实验中，本发明方法将数据集划分成包含5011个图像-标签对的训练集和包含4952个图像-标签对的测试集。对于深度跨模态哈希方法，图像模态使用原始像素特征作为输入特征。对于以手工特征作为输入的方法，使用512维的gist特征作为输入特征。对于文本模态，使用399维的词频特征作为输入特征。在实验中主要进行两种跨模态检索任务，即：用图像检索文本和用文本检索图像，分别用img2txt和txt2img表示。

本发明使用平均精度均值(meanaverageprecision，map)来衡量跨模态哈希检索方法的性能。为了获取map，需要首先针对每个查询样本计算平均精度(averageprecision，ap)。当获取了所有查询样本的平均精度ap后，对所有平均精度ap求平均值即可得到平均精度均值map。

本发明方法使用动量(momentum)和权值衰减(weightdecay)分别为0.9和0.0001的小批量梯度下降算法，并且批(batch)的大小设置为128。使用在imagenet数据集上预训练的alexnet来初始化本发明方法中图像模态深度神经网络的前五层。对于本发明方法中深度神经网络的其它参数采用随机初始化的方式进行初始化。将图像模态和文本模态的深度神经网络的输出特征维数均设置为1024。在实验中，采用5折交叉验证来确定本发明方法中参数γ1和γ2的最佳值。对于其它方法中的参数，按照各个方法所推荐的参数设置原则进行参数设置，实验所报告的结果为10次随机实验结果的平均值。

与本发明方法进行对比的方法分别为：语义相关性最大化(semanticcorrelationmaximization，scm)、有监督矩阵分解哈希(supervisedmatrixfactorizationhashing，smfh)方法、深度跨模态哈希(deepcross-modalhashing，dcmh)方法和成对关系导向的深度哈希(pairwiserelationshipguideddeephashing，prdh)方法。表1列出了本发明方法和对比方法在pascalvoc2007数据集上进行跨模态哈希检索时的平均精度均值map。从表1可以看出，对于两种检索任务，在三种哈希编码长度下，深度跨模态哈希检索方法dcmh、prdh和本发明方法均能取得比浅层跨模态哈希检索方法scm和smfh更好的检索性能。这说明使用深度学习技术学习用于生成二进制哈希编码的深度特征是有益的。从表1中还可以看出，对于img2txt和txt2img检索任务，在三种哈希编码长度下，本发明方法的跨模态检索性能均优于dcmh和prdh方法。这说明本发明方法是有效的跨模态哈希检索方法。

表1各方法在pascalvoc2007数据集上的map