基于细粒度相似关系对比学习的哈希图像检索方法及网络

本发明属于图像处理，涉及深度学习、图像检索技术，特别涉及基于细粒度相似关系对比学习的哈希图像检索方法及网络。

背景技术：

1、随着图像等社交数据的大量增长，进行快速的相似性搜索已成为大规模信息检索的最基本需求之一。哈希学习因其卓越的检索效率和较低的存储开销得到了广泛的关注，通过哈希学习，高维数据可以在不丢失其语义相似性的情况下转换为紧凑的二进制代码。目前哈希图像检索方法已经广泛应用在遥感图像检索、相似商品检索、监控图像人脸检索等多方面，推动了多领域的发展。

2、最近得益于对比学习这种自监督训练方法的发展，许多无监督哈希方法得到了很大的改进。基于对比学习的深度无监督哈希方法，通过约束模型对于同一图像的不同增强图像保持特征方面的一致性进行哈希编码的学习，由于其不依赖于有标签数据，适用范围广，已成为近两年研究的热点。

3、现有的基于对比学习的深度无监督图像哈希检索方法将图像作为一个整体来度量图像间的相似度，容易受到背景、同一图中多个不同类目标等的影响，把背景或非感兴趣目标等干扰性信息也融入了图像间相似度计算过程中，使得相似度重构和对比学习中的图像相似关系不能准确表示图像主要物体的相似度，最终会导致检索出的图像与查询图像的相似性降低。为了进一步提升图像检索的准确性，本发明以充分利用图像的细粒度信息为途径，匹配图像间的细粒度相似关系，设计了双层次相似关系保持模块和细粒度相似区域特征对比学习模块及相对应的损失函数。

技术实现思路

1、针对现有技术存在的不足，本发明提供基于细粒度相似关系对比学习的哈希图像检索方法及网络，充分利用了不同图像之间以及它们的增强图像之间的细粒度语义关系，通过细粒度相似性保持来增强无监督深度哈希。本发明（1）设计了双层次相似关系保持模块，在全局和局部细粒度两个层面构建图像间的相似结构：以图像为单位，将全局特征映射成全局哈希编码，通过哈希编码间的余弦相似度构建全局相似结构；以图像块为单位，通过匹配图像块之间的细粒度特征相似度，得到图像对的局部细粒度相似结构；约束图像在全局相似度和局部细粒度相似度两个层次保持一致性，以学习出保持图像相似性的哈希编码；（2）设计了细粒度相似区域特征对比学习模块，通过对来自同一图像的两张不同增强图像进行基于分块的共性区域特征互表达，降低不同增强图像正样本中的特征差异的影响，得到更准确的正样本监督信息，以学习出有图像判别性的哈希编码。

2、为了解决上述技术问题，本发明采用的技术方案是：

3、首先，本发明提供一种基于细粒度相似关系对比学习的哈希图像检索网络，包括两部分，分别是双层次相似关系保持模块和细粒度相似区域特征对比学习模块，所述双层次相似关系保持模块在全局和局部细粒度两个层面构建图像间的相似结构：以图像为单位，将全局特征映射成全局哈希编码，通过哈希编码间的余弦相似度构建全局相似结构，确定图像对之间的全局相似性；以图像块为单位，通过匹配图像块之间的细粒度特征相似度，构建图像对的局部细粒度相似结构，确定图像块之间的局部细粒度相似性；约束图像在全局相似度和局部细粒度相似度两个层次保持一致性，以学习出保持图像相似性的哈希编码；

4、所述细粒度相似区域特征对比学习模块对来自同一图像的两张不同增强图像进行基于分块的共性区域特征互表达，降低不同增强图像正样本中的特征差异的影响，得到正样本监督信息，以学习出有图像判别性的哈希编码。

5、进一步的，所述双层次相似关系保持模块包括vit编码器、与vit编码器结构相同的编码器、哈希网络，vit编码器从两个输入图像中提取两组图像块特征，计算两组图像块特征之间的相似度，构造这两个输入图像之间的图像块相似度矩阵g；取图像块相似度矩阵g中每一行的最大值，共有n个行最大值，对行最大值取平均，对于一个包含n张图像的图像批，使用所有图像对之间的图像块相似度矩阵中行最大值取平均值的方法，构造局部细粒度相似矩阵；编码器对每个输入图像的图像块进行特征提取，得到对应的图像块特征，得到的图像块特征经过维度重塑和线性投影操作得到全局特征，经过哈希网络生成全局哈希编码，对于一个包含n张图像的图像批，通过计算两个图像对应的全局哈希编码的余弦相似度来确定两个图像之间的全局相似度，构造全局相似矩阵。

6、进一步的，所述细粒度相似区域特征对比学习模块包括一个编码器、相似区域特征重加权模块和哈希网络，每个输入图像经过图像增强，生成增强图像对，增强图像对的图像块经过编码器提取相应的图像块特征，并通过相似区域特征重加权模块对特征重新加权得到保持局部细粒度相似性的调整后图像特征，调整后图像特征经过一个哈希网络得到哈希编码；对于一个包含n张图像的图像批，图像增强后将生成2n个增强图像，将增强图像得到的调整后图像特征对作为正样本对，剩余的2（n-1）增强图像特征作为负样本对，进行局部细粒度相似性区域特征对比学习，得到有图像判别性的哈希编码。

7、进一步的，所述相似区域特征重加权模块利用互注意力来寻找两个不同的增强图像之间相似的细粒度特征，然后对特征重新加权得到保持局部细粒度相似性的调整后图像特征。

8、其次，本发明提供一种基于细粒度相似关系对比学习的哈希图像检索方法，包括：

9、使用双层次相似关系保持模块进行双层次相似关系一致性保持学习的步骤，学习出保持图像相似性的哈希编码；

10、使用细粒度相似区域特征对比学习模块进行细粒度相似区域特征对比学习的步骤，学习出有图像判别性的哈希编码。

11、进一步的，双层次相似关系一致性保持学习的步骤，具体如下：

12、步骤11、将输入图像分割为图像块；

13、步骤12、提取输入图像特征与生成哈希编码：使用与vit编码器结构相同的编码器对输入图像进行特征提取，得到对应的图像块特征，将图像块特征经过维度重塑和线性投影操作得到全局特征，经过哈希网络生成全局哈希编码；

14、步骤13、构建全局相似结构：在步骤12之后，通过计算两个图像对应的全局哈希编码的余弦相似度来确定两个图像之间的全局相似度，构造全局相似矩阵；

15、步骤14、构建局部细粒度相似结构：首先，使用预训练的vit编码器从两个输入图像中提取两组图像块特征，计算两组图像块特征之间的相似度，构造这两个输入图像之间的图像块相似度矩阵g；取图像块相似度矩阵g中每一行的最大值，共有n个行最大值，对行最大值取平均，对于一个包含n张图像的图像批，使用所有图像对之间的图像块相似度矩阵中行最大值取平均值的方法，构造局部细粒度相似矩阵；

16、步骤15、构造双层次相似关系一致性保持学习损失函数，使得步骤13得到的全局相似结构和步骤14得到的局部细粒度相似结构保持一致性。

17、进一步的，细粒度相似区域特征对比学习的步骤，具体如下：

18、步骤21、对输入图像进行图像增强，生成增强图像对和：将增强图像和拆分成图像块，增强图像对的图像块经过编码器提取相应的图像块特征和；

19、步骤22、对增强图像对进行相似区域特征重加权：通过相似区域特征重加权模块对步骤21得到的图像块特征和重新加权得到保持局部细粒度相似性的调整后图像特征和，调整后图像特征和经过一个哈希网络得到哈希编码；

20、步骤23、基于步骤22进行对比学习：对于一个包含n张图像的图像批，图像增强后将生成2n个增强图像，将经过步骤22得到的增强图像得到的调整后图像特征对和作为正样本对，剩余的2（n-1）增强图像特征作为负样本对，进行局部细粒度相似性区域特征对比学习，得到有图像判别性的哈希编码。

21、进一步的，步骤22中，相似区域特征重加权模块包括了两个互注意力模块，两个模块之间共享权重，相似区域特征重加权模块的输入为初始图像块特征 和，通过使用多头注意力函数，确定“查询”与“键-值”对之间的相似性：

22、；

23、其中q为查询向量，k为键向量，v为值向量，softmax为softmax函数，t为转置，，为维度，表示注意力头的数量；

24、将多头注意力函数的输出连接k得到：

25、；

26、通过函数，接受的输出并添加残差操作，然后进行层归一化操作，得到互注意力模块的输出mrb（q,k,v）：

27、；

28、其中是relu函数，是可选的规范化层，表示对的输出进行残差连接；

29、步骤22从两个方面进行相似区域特征重加权：(1)增强视图-增强视图，(2)增强视图-增强视图，对于（1），将初始图像块特征作为“查询”，将初始图像块特征作为“键-值”, 执行；在（2）下，应用相反的配置，其中初始图像块特征作为“键-值”，初始图像块特征作为“查询”，该步骤22生成保留局部细粒度相似性的特征，即分别获得和。

30、与现有技术相比，本发明优点在于：

31、（1）本发明设计了双层次相似关系保持模块，从两个层次重建相似性结构。基于全局的图像表示来计算全局哈希编码之间的余弦相似度，并确定图像对之间的全局相似性。基于局部的图像表示来获得局部语义表示，进而构建更细粒度的局部相似结构。通过双层次相似关系一致性保持损失，学习了相似性保持的哈希编码。

32、（2）本发明设计了细粒度相似区域特征对比学习模块，缓解了对比学习过程中增强图像特征差异的影响，提出了一种基于图像块的增强视图之间的相似区域特征重加权，为学习判别性哈希编码提供了细粒度的指导。

33、（3）通过本发明增强哈希码的相似性保持和判别性，在探索细粒度语义信息、增强相似性保持和更有效的对比学习方面具有创新性，显著提高了图像检索精度。