一种用于图像检索的模型训练方法及装置与流程

本文件涉及图像检索，尤其涉及一种用于图像检索的模型训练方法及装置。

背景技术：

1、当前，随着互联网和数字媒体技术的发展，人们需要快速、准确地检索大量的图像数据，以图搜图成为互联网中常见的应用。图像检索系统可以实现以图搜图，帮助用户快速地查询到所需的图像，而图像检索系统的关键在于对图像进行表征提取，从而基于所提取的表征进行相似性搜索和分类等操作。

2、传统的图像检索系统所采用的特征提取方法包括sift(scale invariantfeature transform，尺度不变特征变换)、hog(histogram of oriented gradient，方向梯度直方图)、surf(speeded up robust features，快速特征变换)等算法和深度学习模型，然而上述算法用于图像检索时，需要手动选择特征点和特征描述子等，上述深度学习模型用于图像检索时通常需要分别训练多个模型。因此，亟需提供一种有较高的泛化能力、能够将多个模型融合从而实现整体调优的图像检索模型的训练方法。

技术实现思路

1、一方面，本说明书一个或多个实施例提供一种用于图像检索的模型训练方法，包括：获取携带有标签信息的图像对构成的训练样本；将所述训练样本中的一个图像输入图像表征模型的第一编码器中，得到第一表征信息，将所述训练样本中的另一个图像输入所述图像表征模型的第二编码器中，得到第二表征信息，所述第一编码器和第二编码器结构相同，参数更新方式不同；将所述第一表征信息和第二表征信息输入图像精排模型中，得到所述训练样本中图像对的匹配度结果，所述图像精排模型是通过比对所述第一表征信息和第二表征信息，对所述训练样本中图像对的匹配度进行打分，并根据打分结果对所述训练样本中图像对的相似度进行精确排序的模型；基于所述第一表征信息、第二表征信息、所述训练样本、所述匹配度结果和预设的损失函数对所述图像表征模型和所述图像精排模型进行联合训练，直到所述损失函数收敛，得到训练后的图像表征模型和训练后的图像精排模型。

2、另一方面，本说明书一个或多个实施例提供一种用于图像检索的模型训练装置，包括：训练样本确定模块，获取携带有标签信息的图像对构成的训练样本；表征信息确定模块，将所述训练样本中的一个图像输入图像表征模型的第一编码器中，得到第一表征信息，将所述训练样本中的另一个图像输入所述图像表征模型的第二编码器中，得到第二表征信息，所述第一编码器和第二编码器结构相同，参数更新方式不同；匹配度确定模块，将所述第一表征信息和第二表征信息输入图像精排模型中，得到所述训练样本中图像对的匹配度结果，所述图像精排模型通过比对所述第一表征信息和第二表征信息，对所述训练样本中图像对的匹配度进行打分，并根据打分结果对所述训练样本中图像对的相似度进行精确排序；联合训练模块，基于所述第一表征信息、第二表征信息、所述训练样本、所述匹配度结果和预设的损失函数对所述图像表征模型和所述图像精排模型进行联合训练，直到所述损失函数收敛，得到训练后的图像表征模型和训练后的图像精排模型。

3、再一方面，本说明书一个或多个实施例提供一种电子设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器，在所述可执行指令被执行时，能够使得所述处理器：获取携带有标签信息的图像对构成的训练样本；将所述训练样本中的一个图像输入图像表征模型的第一编码器中，得到第一表征信息，将所述训练样本中的另一个图像输入所述图像表征模型的第二编码器中，得到第二表征信息，所述第一编码器和第二编码器结构相同，参数更新方式不同；将所述第一表征信息和第二表征信息输入图像精排模型中，得到所述训练样本中图像对的匹配度结果，所述图像精排模型是通过比对所述第一表征信息和第二表征信息，对所述训练样本中图像对的匹配度进行打分，并根据打分结果对所述训练样本中图像对的相似度进行精确排序的模型；基于所述第一表征信息、第二表征信息、所述训练样本、所述匹配度结果和预设的损失函数对所述图像表征模型和所述图像精排模型进行联合训练，直到所述损失函数收敛，得到训练后的图像表征模型和训练后的图像精排模型。

4、再一方面，本说明书一个或多个实施例提供存储介质，用于存储计算机程序，所属计算机程序能够被处理器执行以实现以下流程：获取携带有标签信息的图像对构成的训练样本；将所述训练样本中的一个图像输入图像表征模型的第一编码器中，得到第一表征信息，将所述训练样本中的另一个图像输入所述图像表征模型的第二编码器中，得到第二表征信息，所述第一编码器和第二编码器结构相同，参数更新方式不同；将所述第一表征信息和第二表征信息输入图像精排模型中，得到所述训练样本中图像对的匹配度结果，所述图像精排模型是通过比对所述第一表征信息和第二表征信息，对所述训练样本中图像对的匹配度进行打分，并根据打分结果对所述训练样本中图像对的相似度进行精确排序的模型；基于所述第一表征信息、第二表征信息、所述训练样本、所述匹配度结果和预设的损失函数对所述图像表征模型和所述图像精排模型进行联合训练，直到所述损失函数收敛，得到训练后的图像表征模型和训练后的图像精排模型。

技术特征：

1.一种用于图像检索的模型训练方法，包括：

2.根据权利要求1所述的方法，获取携带有标签信息的图像对构成的训练样本之前，所述方法还包括：

3.根据权利要求2所述的方法，所述基于无标签信息的训练样本，对所述图像表征模型通过对比学习进行预训练，得到预训练后的图像表征模型，包括：

4.根据权利要求1所述的方法，所述损失函数包括第一子损失函数和第二子损失函数，所述第一子损失函数基于最小化不同类别的图像的相似度以及最大化相同类别的图像的相似度而确定，所述第二子损失函数用于对所述图像对的匹配度进行分类。

5.根据权利要求1所述的方法，所述基于所述第一表征信息、第二表征信息、所述训练样本、所述匹配度结果和预设的损失函数对所述图像表征模型和所述图像精排模型进行联合训练，直到所述损失函数收敛，得到训练后的图像表征模型和训练后的图像精排模型，包括：

6.根据权利要求1所述的方法，所述第一编码器是vision transformer神经网络结构的编码器，所述第二编码器是动量编码器。

7.根据权利要求1所述的方法，所述第一表征信息中包括多个第一向量，所述第二表征信息中包括多个第二向量，所述将所述第一表征信息和第二表征信息输入图像精排模型中，得到所述训练样本中图像对的匹配度结果，包括：

8.根据权利要求1所述的方法，所述获取携带有标签信息的图像对构成的训练样本，包括：

9.一种用于图像检索的模型训练装置，包括：

10.一种电子设备，包括：

技术总结
本说明书一个或多个实施例公开了一种用于图像检索的模型训练方法及装置，首先获取携带有标签信息的图像对构成的训练样本；其次将训练样本中的一个图像输入图像表征模型的第一编码器中，得到第一表征信息，将训练样本中的另一个图像输入图像表征模型的第二编码器中，得到第二表征信息；然后将第一表征信息和第二表征信息输入图像精排模型中，得到训练样本中图像对的匹配度结果；最后基于第一表征信息、第二表征信息、训练样本、匹配度结果和预设的损失函数对图像表征模型和图像精排模型进行联合训练，直到损失函数收敛，得到训练后的图像表征模型和训练后的图像精排模型。

技术研发人员：秦兴彬
受保护的技术使用者：支付宝（杭州）信息技术有限公司
技术研发日：
技术公布日：2024/2/1