基于联合语义矩阵的深度跨模态哈希的图像检索方法

技术特征：

1.一种基于联合语义矩阵的深度跨模态哈希的图像检索方法，其特征在于，该方法包括以下步骤：

s1：随机获取一个批次数量的图像文本对数据，并构造标签矩阵；

s2：图像和文本数据分别送入预训练模型vgg19层模型和word2vec模型分别得到图像特征和文本特征；

s3：利用s2中获取到的图像特征和文本特征构造联合语义矩阵；

s4：利用s1获得的标签矩阵和s3获得的联合语义矩阵作为监督信息，构建深度跨模态有监督哈希框架，设置改进后的目标函数，监督网络参数的训练；

s5：重复s1到s4的步骤，直至训练次数到达设定次数，得到训练好的深度跨模态有监督哈希模型；

s6：待检索图像数据经过s1、s2和s3处理后，输入至s5训练好的深度跨模态有监督哈希模型进行检索，输出检索结果。

2.如权利要求1所述的图像检索方法，其特征在于，所述s3中联合语义矩阵构建具体为：

s3-1：首先，将通过不同模态获得的原始特征：图像特征和文本特征进行归一化，以获得归一化后的图像特征和归一化后的文本特征，然后计算各自的余弦相似度，以获得图像模态相似度矩阵和文本相似度矩阵；使用上述余弦相似度矩阵来表示不同模态输入数据的原始域关系；对于汉明空间，通过使用余弦相似度来获得深度网络生成的二进制代码之间的相似度矩阵；

s3-2：因此联合语义矩阵表示为，其中表示图像相似度矩阵，表示文本相似度矩阵，而表示融合关系两个矩阵中的一个，使用表示实例和之间的潜在语义相关性；为解释组合函数，首先采用加权求和方法将和融合在一起，如下所示：

（1）

然后，将所得的矩阵中的每一行用作每个实例的新特征，表示该实例与其他实例之间的相似关系；然后，计算以获得实例之间的高级域特征表示；因此，最终表示如下：

（2）

其中，是一个权衡参数，用于调整高阶邻域描述的重要性。

3.如权利要求1所述的图像检索方法，其特征在于，所述s4中：所述深度跨模态有监督哈希框架包括三个部分：一是利用数据特征生成联合语义矩阵部分；二是图片子网，原始数据首先输入去掉最后一个全连接层的vgg19层模型得到深度特征表示，再将得到的深度表示特征输入两层全连接层，然后再将两层全连接层得到的特征分别送入并行的哈希层和标签预测层；三是文本子网，原始数据首先输入句子cnn网络得到深度文本的特征表示，再将得到的深度表示输入两层全连接层，然后再将两层全连接层得到的特征分别送入并行的哈希层和标签预测层。

4.如权利要求1所述的图像检索方法，其特征在于，所述s4中，所述目标函数的改进具体如下：

（1）将最小化两种形式的样本在公共表示空间中的损失：

（3）

其中，，，，，，，是用于计算两个向量之间相似度的余弦函数，1是指示符函数，当两个元素属于同一类时，其值为1，否则为0；上式（3）中使用的负对数似然函数为定义如下：

（4）

为了消除跨模态差异，首先最小化网络学习的图像-文本对之间的特征表示之间的距离；更具体地说，将特征表示空间的模态不变损失函数表示如下：

（5）

（2）使用线性分类器来预测公共表示空间中投影样本的语义标签；因此使用以下目标函数来衡量标签空间中的歧视性损失：

（6）

关于联合语义矩阵部分，计算了联合语义矩阵s，以探索输入示例的潜在语义关系；因此使用以下目标函数来最小化相似度矩阵s和哈希码余弦相似度之间的误差，这是学习语义相关的二进制码所需要损失函数：

（7）

其中γ是超参数，它使我们的联合语义矩阵框架更灵活，而s是联合语义矩阵；根据等式（3）、（5）、（6）和（7），最终得出dcsjm的目标函数，如下所示：

（8）

其中，，和是超参数。

技术总结
本发明公开了一种基于联合语义矩阵的深度跨模态哈希的图像检索方法。该方法包括：随机获取一个批次数量的图像文本对数据，并构造标签矩阵；送入预训练模型VGG19层模型和Word2Vec模型分别得到图像特征和文本特征，并构造联合语义矩阵；利用标签矩阵和联合语义矩阵作为监督信息，构建深度跨模态有监督哈希框架，设置改进后的目标函数，监督网络参数的训练；重复上述，直至训练次数到达设定次数，得到训练好的深度跨模态有监督哈希模型；待检索图像数据经过处理后，输入至训练好的深度跨模态有监督哈希模型进行检索，输出检索结果。经验证，本发明所提出的模型比其他现有基线方法具有更优的检索性能。

技术研发人员：曹媛;陈娜;桂杰
受保护的技术使用者：中国海洋大学
技术研发日：2021.06.30
技术公布日：2021.07.27