一种基于关键局部信息的图像检索方法

本发明涉及图像处理，尤其涉及一种基于关键局部信息的图像检索方法。

背景技术：

1、图像信息的处理和检索是进行信息推理、决策的重要一环，然而在实际应用中，普遍存在图像信息残缺、检索内容不完整的情况。尽管这类问题通常可以随着侦察技术、图像采集技术和成像技术进步略有缓解，但是在只能获得有限信息的前提下，一种能够解决图像信息不完备问题的系统尤为关键。

2、现有的图像检索技术大多以整个图像为单位提取全局特征，获得能表征图像信息的特征向量，进而做相似度检索，这导致用户受到了查询图像完整性的限制。当输入的查询图像仅为目标的一小部分，而图库中没有对应区域的图像时，往往无法达到检索到原目标的效果。少数关注到此问题的图像检索技术采用了较为单一的图像区域划分方式，难以关注重要特征区域；或采用有监督的方式训练神经网络模型，进行关键特征区域的划分，但是这种方式需要消耗人力标注数据集，且引入人的因素导致关键内容区域划分较为主观。并且，由于此类模型是按照某些特定类别进行训练的，训练好的网络难以用于跨类别进行区域划分。这就导致了难以实现查询图像不具备完整性但是包含足以检索到原图的关键信息的图像检索任务。

技术实现思路

1、本发明的实施例提供一种基于关键局部信息的图像检索方法，能够实现利用关键局部内容检索得到其主体的完整图像，从而提升检索准确度。

2、为达到上述目的，本发明的实施例采用如下技术方案：

3、第一方面，本发明的实施例提供的方法，包括：

4、s1、对原始图像进行预处理，获取对应关键内容区域的关键内容特征；

5、s2、接收用户上传的待查询图像，并提取待查询图像的图像特征；

6、s3、利用数据图库中各原始图像的全局特征和关键内容特征，对所述待查询图像进行相似度检索。

7、结合第一方面，在第一方面的第一种可能的实现方式中，在s1中，所述预处理包括：

8、s11、提取原始图像的卷积特征，并形成卷积特征图；

9、s12、对所得到的卷积特征图进行聚类，得到聚类特征图；

10、s13、根据所述聚类特征图生成关键内容区域；

11、s14、对所述原始图像和关键内容区域分别进行特征提取，得到所述原始图像和关键内容区域各自的特征向量。

12、结合第一方面的第一种可能的实现方式，在第二种可能的实现方式中，在s11中，所述提取原始图像的卷积特征并形成卷积特征图包括：

13、调整所述原始图像最短边尺寸至预设值；

14、通过深度残差网络提取得到特征图，其中，所述深度残差网络中加入特征修正模块；

15、通过所述特征修正模块，获取给定的中间特征图的注意力权重，将所获取的注意力权重与所述给定的中间特征图相乘，得到带有注意力的特征图，其中，所述给定的中间特征图由所述深度残差网络中的残差模块输出。

16、结合第一方面的第二种可能的实现方式,在第三种可能的实现方式中，所述特征修正模块包括：空间自注意力模块mself、通道注意力模块mchannel和空间注意力模块mspatial；

17、

18、

19、

20、其中，f表示给定的中间特征图，f'表示空间自注意力修正特征，f”表示通道注意力修正特征，f”'表示空间注意力修正特征，算符表示按元素相乘。所述通过特征修正模块，从给定的中间特征图得到注意力权重，包括：

21、在所述空间自注意力模块中，将所述给定的中间特征图经过1×1卷积操作降维得到1×h×w的特征张量，然后经过sigmoid激励函数将特征值转换到[0,1]区间，再利用softmax函数获得空间自注意力权重mself，通过将空间自注意力权重和输入特征逐元素相乘获得空间自注意力修正特征，其中，h表示图片的高度尺寸，w表示图片的宽度尺寸。

22、结合第一方面的第三种可能的实现方式,在第四种可能的实现方式中，所述通过特征修正模块，从给定的中间特征图得到注意力权重，还包括：

23、通过所述通道注意力模块，分别按照空间最大池化和平均池化处理所述空间自注意力修正特征，得到两个维度为c×1×1的特征张量，c表示通道数；

24、之后将所得到的两个维度为c×1×1的特征张量经过共享的c个1×1网络，映射成两个维度为c×1×1的新的特征张量，将得到的两个新的特征张量逐元素相加后，经过softmax激活函数输出为一个维度为c×1×1的通道注意力权重mchannel；

25、将通道注意力权重和输入的空间自注意力修正特征逐元素相乘，获得通道注意力修正特征。

26、结合第一方面的第三或四种可能的实现方式,在第五种可能的实现方式中，所述通过特征修正模块，从给定的中间特征图得到注意力权重，还包括：通过所述空间注意力模块，分别按照通道最大池化和平均池化处理所述通道注意力修正特征，得到两个维度为1×h×w的特征张量，之后将所得到的两个维度为1×h×w的特征张量合并形成维度为2×h×w的特征张量，其中，h表示图片的高度尺寸，w表示图片的宽度尺寸；

27、通过一层卷积层，将所得到的维度为2×h×w的特征张量维度转化为1×h×w，并作为空间注意力权重，之后将空间注意力权重和输入的通道注意力修正特征逐元素相乘获得空间注意力修正特征。

28、结合第一方面的第一种可能的实现方式，在第一方面的第六种可能的实现方式中，在s12中，对所得到的卷积特征图进行聚类，得到聚类特征图，包括：

29、在对所得到的卷积特征图中，去除激活不显著的特征图；

30、将剩余的卷积特征图按照响应最大的位置分类，之后将同一类的卷积特征图仅保留最大响应值后相加得到聚类特征图，其中，所述保留最大响应值，包括：对于第i张特征图，若其响应值最大位置(hi，wi)的值则保留，同时其余位置的值置零。

31、结合第一方面的第六种可能的实现方式，在第一方面的第七种可能的实现方式中，所述通过聚类工具将剩余的卷积特征图按照响应最大的位置分类，包括：获取每个剩余的卷积特征图中响应值最大的位置，并对位置向量进行聚类；

32、在s13中，根据所述聚类特征图生成关键内容区域，包括：

33、调整聚类特征图大小调整为所述原始图像的尺寸，生成矩形框，所述矩形框的覆盖范围内的响应值高于响应阈值；记录所述矩形框的尺寸和位置数据，作为聚类特征图的关键内容区域。结合第一方面的第七种可能的实现方式，在第一方面的第八种可能的实现方式中，在s3中，利用数据图库中各原始图像的全局特征和关键内容特征，对所述待查询图像进行相似度检索，包括：

34、计算所述待查询图像的特征向量与数据图库中各原始图像的全局特征的余弦相似度和关键内容特征的余弦相似度；

35、将计算得到的余弦相似度进行排序，余弦相似度的值与数值1的接近程度表征了两特征向量之间的相似性。

36、结合第一方面，在第一方面的第九种可能的实现方式中，s2中所述提取待查询图像的图像特征包括：

37、调整所述待查询图像的高和宽至与s1中所述预处理中相同预设值；

38、使用加入所述特征修正模块的深度残差网络得到卷积特征，将得到的卷积特征展开为高维列向量，作为查询图像的特征向量。

39、本发明实施例提供的基于关键内容的图像检索方法，调整原始图像尺寸，提取图库原始图像卷积特征，对卷积特征图聚类，根据聚类特征图生成关键内容区域，对原始图像以及关键内容区域进行特征提取得到特征向量，调整查询图像尺寸，提取查询图像的特征向量，计算查询图像与原始图库图像及其关键内容区域的相似度，根据结果排序并返回对应原始图像，实现了利用关键局部内容检索得到其主体的完整图像，从而提升检索准确度。