图像检索方法及装置、设备、计算机可读存储介质

1.本技术实施例涉及图像处理技术领域，具体涉及一种图像检索方法及装置、设备、计算机可读存储介质。


背景技术：

2.随着互联网技术和大数据技术的迅猛发展，文本、图像等数据每天都以指数级增长。如何从海量的图像中精准地检索到所需要的相关图像成为热门研究问题。
3.目前，可以通过来聚合卷积之后得到的图像特征检索到所需要的相关图像。经典的聚合算法主要有求和池化、最大池化、多尺度最大池化等。求和聚合时使用了高斯权重加权，最大池化是选取每个通道的最大值作为该通道的代表，获得一维的特征描述子。多尺度最大池化引入了多尺度概念，在每个尺度下选取最大值，再聚合成为一维的特征描述子。但是上述聚合算法将三维卷积特征图降成一维图像特征描述子时，存在信息丢失的问题，影响图像检索的准确性。


技术实现要素：

4.鉴于上述问题，本技术实施例提供了一种图像检索方法及装置、设备、计算机可读存储介质，克服了聚合算法将三维卷积特征图降成一维图像特征描述子时，存在信息丢失的问题，影响图像检索的准确性的问题。
5.本技术实施例的一个方面，提供了一种图像检索方法，所述方法包括：
6.获取训练图像集，所述训练图像集包括多个训练样本图像以及对应的训练样本标签；
7.构建图像检索模型，将所述训练图像集输入至图像检索模型，根据预设的交叉熵损失，对所述训练样本标签分配类代理点；
8.根据聚类模型和损失函数完成对图像检索模型进行训练，得到目标图像检索模型；
9.将待检索图像输入至目标图像检索模型，通过响应值中心加权确定所述待检索图像的一维图像特征描述子；
10.根据所述一维图像特征描述子进行检索，得到对应的检索结果，并对所述检索结果进行排序。
11.上述方案中，所述根据聚类模型和损失函数完成对图像检索模型进行训练，得到目标图像检索模型，包括：
12.根据聚类模型，对所述类代理点进行聚合分类，得到第一集合和第二集合；
13.根据所述第一集合中的类代理点和所述第二集合中的类代理点，以及所述损失函数对所述图像检索模型进行训练，直至所述图像检索模型收敛，得到所述目标图像检索模型。
14.上述方案中，所述聚类模型包括：
[0015][0016]
其中，cr表示类代理点的集合，cr为选定的类代理点，表示第一集合，即属于对应的训练样本标签的类代理点的集合，s
+
表示属于第一集合的训练样本图像，即属于对应的训练样本标签的训练样本图像，l
cr-s
表示第一集合中的类代理点，表示第二集合，即不属于对应的训练样本标签的类代理点的集合，s-表示属于第二集合的训练样本图像，即不属于对应的训练样本标签的训练样本图像。
[0017]
上述方案中，所述聚类模型还包括：
[0018][0019]
其中，cr为选定的类代理点，cr-表示除了选定的类代理点之外的其他类代理点的集合，cr-表示除了选定的类代理点之外的类代理点，l
cr-cr
表示第二集合中的类代理点。
[0020]
上述方案中，所述损失函数包括：
[0021]
loss(cr,s)＝l
cr-s
+μl
cr-cr
[0022]
其中，l
cr-s
表示第一集合中的类代理点，l
cr-cr
表示第二集合中的类代理点，μ表示可调融合参数。
[0023]
上述方案中，所述通过响应值中心加权确定所述待检索图像的一维图像特征描述子，包括：
[0024]
对所述待检索图像进行前向传播，得到对应的三维特征图；
[0025]
将所述三维特征图在通道方向求和，得到对应的响应值图；
[0026]
根据所述响应值图确定响应值权重矩阵，与高斯中心权重矩阵融合，得到空间加权矩阵；
[0027]
将所述空间加权矩阵作用至所述三维特征图，得到经过响应值中心加权的卷积特征图；
[0028]
对所述卷积特征图进行最大池化和平均池化拼接操作，得到一维图像特征描述子。
[0029]
本技术实施例的另一方面，提供了一种图像检索装置，所述装置包括：
[0030]
获取模块，用于获取训练图像集，所述训练图像集包括多个训练样本图像以及对应的训练样本标签；
[0031]
模型构建模块，用于构建图像检索模型；
[0032]
输入模块，用于将所述训练图像集输入至图像检索模型，还用于将待检索图像输入至目标图像检索模型；
[0033]
分配模块，用于根据预设的交叉熵损失，对所述训练样本标签分配类代理点；
[0034]
训练模块，用于根据聚类模型和损失函数完成对图像检索模型进行训练，得到目标图像检索模型；
[0035]
特征提取模块，用于通过响应值中心加权，确定所述待检索图像的一维图像特征描述子；
[0036]
检索模块，用于根据所述一维图像特征描述子进行检索，得到对应的检索结果，并对所述检索结果进行排序。
[0037]
本技术实施例的又一方面，提供了一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一实施例所述的图像检索方法。
[0038]
本技术实施例的又一方面，提供了一种计算机可读存储介质，存储介质中存储有至少一可执行指令，可执行指令使处理器执行上述任一实施例所述的图像检索方法。
[0039]
本技术实施例涉及一种图像检索方法及装置、设备、计算机可读存储介质，其中，上述方法通过获取训练图像集，所述训练图像集包括多个训练样本图像以及对应的训练样本标签；构建图像检索模型，将所述训练图像集输入至图像检索模型，根据预设的交叉熵损失，对所述训练样本标签分配类代理点；根据聚类模型和损失函数完成对图像检索模型进行训练，得到目标图像检索模型；将待检索图像输入至目标图像检索模型，通过响应值中心加权确定所述待检索图像的一维图像特征描述子；根据所述一维图像特征描述子进行检索，得到对应的检索结果，并对所述检索结果进行排序。本技术实施例为每个训练样本标签分配类代理点来保证批处理时每个训练图像集内包含所有类别的全局信息，从而减少信息的丢失，并通过在高斯中心权重矩阵上融合响应值权重矩阵，实现目标区域的增强，得到更具表征力的一维图像特征描述子，从而提高后续的检索效果，提高图像检索的准确度。
[0040]
上述说明仅是本技术实施例技术方案的概述，为了能够更清楚了解本技术实施例的技术手段，而可依照说明书的内容予以实施，并且为了让本技术实施例的上述和其它目的、特征和优点能够更明显易懂，以下特举本技术的具体实施方式。
附图说明
[0041]
为了更清楚地说明本技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0042]
图1为本技术实施例提供的图像检索方法的流程示意图；
[0043]
图2为本技术实施例中响应值加权的流程示意图；
[0044]
图3为本技术实施例提供的图像检索装置的结构示意图；
[0045]
图4为本技术实施例提供的电子设备的实体结构示意图。
具体实施方式
[0046]
为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
[0047]
除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的技术领域的
技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本技术；本技术的说明书和权利要求书及附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。
[0048]
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语“实施例”并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
[0049]
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：存在a，同时存在a和b，存在b这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
[0050]
此外，本技术的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序，可以明示或者隐含地包括一个或者更多个该特征。为了使本技术领域的人员更好地理解本技术方案，下面将结合附图，对本技术实施例中的技术方案进行清楚、完整地描述。
[0051]
图1为本技术实施例提供的图像检索方法的流程示意图，如图1所示，所述方法包括：
[0052]
s101、获取训练图像集，训练图像集包括多个训练样本图像以及对应的训练样本标签。
[0053]
在一些可选的实施例中，采集多个类别的图像，从每个类别中选取预设数量的图像得到一批样本集，得到预设数量批样本集后，得到训练图像集。其中，设训练图像集包括m个类别，即训练图像集包括m批样本集，每批样本集对应一个训练样本标签。每批样本集中包括b个样本，b个样本为选定的样本。设每批样本集其中，f代表样本的一维特征描述子，y代表训练样本标签，该样本与训练样本标签属于同一类别为1，该样本与训练样本标签不属于同一类别为0。
[0054]
s102、构建图像检索模型，将训练图像集输入至图像检索模型，根据预设的交叉熵损失，对训练样本标签分配类代理点。
[0055]
在一些可选的实施例中，每个训练样本标签均分配有一个类代理点，这样m批样本集将有m个类代理点，设类代理点的集合为其中，当一个类代理点对应的训练样本标签y＝1时，其他类代理点的标签为0。将一批内选定的b个样本分为两部分和对于选定的类代理点cr，b个样本内，若第一样本属于第一样本对应的类代理点的类别，则将第一样本放入集合内，若第一样本不属于第一样本对应的类代理点的类别，将第一样本放入集合内。第一样本为b个样本中的任意一个样本，之后将除了选定的类代理点cr的其他类代理点放入集合cr-内。
[0056]
s103、根据聚类模型和损失函数完成对图像检索模型进行训练，得到目标图像检索模型。
[0057]
在一些可选的实施例中，s103还包括：
[0058]
s1031、根据聚类模型，对类代理点进行聚合分类，得到第一集合和第二集合；
[0059]
在一些可选的实施例中，聚类模型可以如公式1-1所示：
[0060][0061]
其中，cr表示类代理点的集合，cr为选定的类代理点，表示第一集合，即属于对应的训练样本标签的类代理点的集合，s
+
表示属于第一集合的训练样本图像，即属于对应的训练样本标签的训练样本图像，l
cr-s
表示第一集合中的类代理点，表示第二集合，即不属于对应的训练样本标签的类代理点的集合，s-表示属于第二集合的训练样本图像，即不属于对应的训练样本标签的训练样本图像。
[0062]
在一些可选的实施例中，聚类模型可以如公式1-2所示：
[0063][0064]
其中，cr为选定的类代理点，cr-表示除了选定的类代理点之外的其他类代理点的集合，cr-表示除了选定的类代理点之外的类代理点，l
cr-cr
表示第二集合中的类代理点。
[0065]
s1032、根据第一集合中的类代理点和第二集合中的类代理点，以及损失函数对图像检索模型进行训练，直至图像检索模型收敛，得到目标图像检索模型。
[0066]
在一些可选的实施例中，损失函数可以如公式1-3所示：
[0067]
loss(cr,s)＝l
cr-s
+μl
cr-cr
ꢀꢀꢀꢀꢀꢀ
1-3
[0068]
其中，l
cr-s
表示第一集合中的类代理点，l
cr-cr
表示第二集合中的类代理点，μ表示可调融合参数。
[0069]
s104、将待检索图像输入至目标图像检索模型，通过响应值中心加权确定待检索图像的一维图像特征描述子。
[0070]
在一些可选的实施例中，图2为本技术实施例中响应值加权的流程示意图，如图2所示，s104中通过响应值中心加权确定待检索图像的一维图像特征描述子，包括：
[0071]
s1041、对待检索图像进行前向传播，得到对应的三维特征图；
[0072]
在一些可选的实施例中，设待检索图像的高为h，宽为w，通过通道数为c的卷积神经网络对待检索图像进行前向传播，将卷积神经网络最后一层卷积层输出的特征图作为三维特征图x∈r
(c
×w×
h)
。
[0073]
在一些可选的实施例中，前向传播时，通过公式1-4对待检索图像进行处理，得到待检索图像的ap(average prescision，平均准确率)，之后在ap的基础上对所有待检索图像的ap进行均值计算得到map(mean average prescision，平均准确率均值)，得到三维特征图，公式1-4如下所示：
[0074][0075]
其中，h表示待检索图像，hi表示所有待检索图像的集合，ap(h)表示平均精度。
[0076]
s1042、将三维特征图在通道方向求和，得到对应的响应值图。
[0077]
在一些可选的实施例中，通过公式1-5，将三维特征图在通道方向求和。公式1-5如下所示：
[0078][0079]
其中，m为响应值图，即为响应值权重。
[0080]
s1043、根据响应值图确定响应值权重矩阵，与高斯中心权重矩阵融合，得到空间加权矩阵。
[0081]
在一些可选的实施例中，通过公式1-6，将响应值权重矩阵与高斯中心权重矩阵融合，公式1-6如下所示：
[0082]g(i,j)
＝k*exp{-(i-cx)2+(j-cy)2/σ}
ꢀꢀꢀꢀ
1-6
[0083]
其中，cx表示x方向的通道，cy表示y方向的通道，σ表示方差。
[0084]
s1044、将空间加权矩阵作用至三维特征图，得到经过响应值中心加权的卷积特征图。
[0085]
在一些可选的实施例中，通过公式1-7，将空间加权矩阵作用至三维特征图，公式1-7如下所示：
[0086]
x
′
＝x*(m+g)
ꢀꢀꢀꢀ
1-7
[0087]
s1045、对卷积特征图进行最大池化和平均池化拼接操作，得到一维图像特征描述子。
[0088]
s105、根据一维图像特征描述子进行检索，得到对应的检索结果，并对检索结果进行排序。
[0089]
可以理解的是，本技术实施例为每个训练样本标签分配类代理点来保证批处理时每个训练图像集内包含所有类别的全局信息，从而减少信息的丢失，并通过在高斯中心权重矩阵上融合响应值权重矩阵，实现目标区域的增强，得到更具表征力的一维图像特征描述子，从而提高后续的检索效果，提高图像检索的准确度。
[0090]
图3为本技术实施例提供的图像检索装置的结构示意图，如图3所示，本技术实施例提供一种图像检索装置，包括：
[0091]
获取模块71，用于获取训练图像集，所述训练图像集包括多个训练样本图像以及对应的训练样本标签；
[0092]
模型构建模块72，用于构建图像检索模型；
[0093]
输入模块73，用于将所述训练图像集输入至图像检索模型，还用于将待检索图像输入至目标图像检索模型；
[0094]
分配模块74，用于根据预设的交叉熵损失，对所述训练样本标签分配类代理点；
[0095]
训练模块75，用于根据聚类模型和损失函数完成对图像检索模型进行训练，得到目标图像检索模型；
[0096]
特征提取模块76，用于通过响应值中心加权，确定所述待检索图像的一维图像特征描述子；
[0097]
检索模块77，用于根据所述一维图像特征描述子进行检索，得到对应的检索结果，并对所述检索结果进行排序。
[0098]
在一些可选的实施例中，所述训练模块75，还用于根据聚类模型，对所述类代理点进行聚合分类，得到第一集合和第二集合；还用于根据所述第一集合中的类代理点和所述第二集合中的类代理点，以及所述损失函数对所述图像检索模型进行训练，直至所述图像检索模型收敛，得到所述目标图像检索模型。
[0099]
在一些可选的实施例中，所述特征提取模块76，还用于对所述待检索图像进行前向传播，得到对应的三维特征图；还用于将所述三维特征图在通道方向求和，得到对应的响应值图；还用于根据所述响应值图确定响应值权重矩阵，与高斯中心权重矩阵融合，得到空间加权矩阵；还用于将所述空间加权矩阵作用至所述三维特征图，得到经过响应值中心加权的卷积特征图；还用于对所述卷积特征图进行最大池化和平均池化拼接操作，得到一维图像特征描述子。
[0100]
图4为本技术实施例提供的电子设备的实体结构示意图，如图4所示，本发明提供的电子设备可以包括：处理器(processor)810、通信接口(communications interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行上述各方法所提供的图像检索方法。
[0101]
此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0102]
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的图像检索方法。
[0103]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0104]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0105]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管
参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。