特征提取模型训练方法、图片搜索方法、装置及设备与流程

本申请涉及计算机，具体涉及一种特征提取模型训练方法、图片搜索方法、装置及设备。

背景技术：

1、目前的图像搜索技术，主要是基于全局特征(global feature)的图像搜索技术和基于协同过滤方案的图像搜索技术。

2、对于有模板图片的搜索问题，目前基于全局特征的方案，因为特征辨识度较低，导致搜索结果误差较大，而基于卷积神经网络的特征提取模型，因为针对的是一般的图片搜索问题，不能有效利用模板图片，因此搜索效果并不是最佳的。

3、因此，对于有模板图片作为搜索目标的图像搜索技术，有待进一步改进。

技术实现思路

1、本申请实施例提供一种特征提取模型训练方法、图片搜索方法、装置及设备，可以提升图片的视觉特征的特征辨识度，以及提升有模板图片的图片搜索的搜索效果。

2、第一方面，提供一种特征提取模型训练方法，所述方法包括：

3、获取包含真实图片和模板图片的训练图片数据，其中，同一批训练图片数据中的每张真实图片具有与其对应的模板图片；

4、基于特征提取模型提取出同一批训练图片数据中每张所述真实图片的视觉特征和每张所述模板图片的视觉特征，其中，所述视觉特征具有图片内区域之间的视觉语义相关性；

5、计算每张所述真实图片的视觉特征和每张所述模板图片的视觉特征之间的相似性；

6、根据所述相似性对所述特征提取模型进行训练，使得训练好的特征提取模型输出的每张所述真实图片的视觉特征与每张所述真实图片对应的模板图片的视觉特征相似。

7、第二方面，提供一种图片搜索方法，所述方法包括：

8、获取待搜索图片；

9、基于训练好的特征提取模型提取所述待搜索图片的视觉特征，其中，所述视觉特征具有图片内区域之间的视觉语义相关性，所述训练好的特征提取模型是根据如上任一实施例所述的特征提取模型训练方法进行训练得到的；

10、从模板图片数据库中搜索与所述待搜索图片的视觉特征相似的模板图片作为搜索结果。

11、第三方面，提供一种特征提取模型训练装置，所述装置包括：

12、第一获取单元，用于获取包含真实图片和模板图片的训练图片数据，其中，同一批训练图片数据中的每张真实图片具有与其对应的模板图片；

13、第一提取单元，用于基于特征提取模型提取出同一批训练图片数据中每张所述真实图片的视觉特征和每张所述模板图片的视觉特征，其中，所述视觉特征具有图片内区域之间的视觉语义相关性；

14、计算单元，用于计算每张所述真实图片的视觉特征和每张所述模板图片的视觉特征之间的相似性；

15、训练单元，用于根据所述相似性对所述特征提取模型进行训练，使得训练好的特征提取模型输出的每张所述真实图片的视觉特征与每张所述真实图片对应的模板图片的视觉特征相似。

16、第四方面，提供一种一种图片搜索装置，其特征在于，所述装置包括：

17、第二获取单元，用于获取待搜索图片；

18、第二提取单元，用于基于训练好的特征提取模型提取所述待搜索图片的视觉特征，其中，所述视觉特征具有图片内区域之间的视觉语义相关性，所述训练好的特征提取模型是如上任一实施例所述的特征提取模型训练方法进行训练得到的；

19、搜索单元，用于从模板图片数据库中搜索与所述待搜索图片的视觉特征相似的模板图片作为搜索结果。

20、第五方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序适于处理器进行加载，以执行如上任一实施例所述的特征提取模型训练方法中的步骤或者如上任一实施例所述的图片搜索方法中的步骤。

21、第六方面，提供一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器通过调用所述存储器中存储的所述计算机程序，用于执行如上任一实施例所述的特征提取模型训练方法中的步骤或者如上任一实施例所述的图片搜索方法中的步骤。

22、第七方面，提供一种计算机程序产品，包括计算机指令，所述计算机指令被处理器执行时实现如上任一实施例所述的特征提取模型训练方法中的步骤或者如上任一实施例所述的图片搜索方法中的步骤。

23、本申请实施例通过获取包含真实图片和模板图片的训练图片数据，其中，同一批训练图片数据中的每张真实图片具有与其对应的模板图片；基于特征提取模型提取出同一批训练图片数据中每张真实图片的视觉特征和每张模板图片的视觉特征，其中，视觉特征具有图片内区域之间的视觉语义相关性；计算每张真实图片的视觉特征和每张模板图片的视觉特征之间的相似性；根据上述相似性对特征提取模型进行训练，使得训练好的特征提取模型输出的每张真实图片的视觉特征与每张真实图片对应的模板图片的视觉特征相似。本申请实施例通过特征学习模型能够有效提取出具有图片内区域之间的视觉语义相关性的视觉特征，并基于训练图片中真实图片的视觉特征和模板图片的视觉特征之间的相似性进行度量学习，来优化特征提取模型，可以提升图片的视觉特征的特征辨识度，以及提升有模板图片的图片搜索的搜索效果。

技术特征：

1.一种特征提取模型训练方法，其特征在于，所述方法包括：

2.如权利要求1所述的特征提取模型训练方法，其特征在于，所述基于特征提取模型提取出同一批训练图片数据中每张所述真实图片的视觉特征和每张所述模板图片的视觉特征，包括：

3.如权利要求2所述的特征提取模型训练方法，其特征在于，所述计算每张所述真实图片的视觉特征和每张所述模板图片的视觉特征之间的相似性，包括：

4.如权利要求3所述的特征提取模型训练方法，其特征在于，所述计算每张所述真实图片的视觉特征和每张所述模板图片的视觉特征之间的余弦距离，包括：

5.如权利要求4所述的特征提取模型训练方法，其特征在于，所述根据所述相似性对所述特征提取模型进行训练，包括：

6.如权利要求5所述的特征提取模型训练方法，其特征在于，同一批训练图片数据中包含n张模板图片以及每张模板图片对应的k张真实图片，k大于n，且k与n为不同的数量级；

7.如权利要求1所述的特征提取模型训练方法，其特征在于，在所述获取包含真实图片和模板图片的训练图片数据时，还包括：

8.如权利要求7所述的特征提取模型训练方法，其特征在于，所述对所述对真实图片进行数据增强处理，包括：

9.一种图片搜索方法，其特征在于，所述方法包括：

10.如权利要求9所述的图片搜索方法，其特征在于，在所述从模板图片数据库中搜索与所述待搜索图片的视觉特征相似的模板图片作为搜索结果之前，还包括：

11.如权利要求10所述的图片搜索方法，其特征在于，所述从模板图片数据库中搜索与所述待搜索图片的视觉特征相似的模板图片作为搜索结果，包括：

12.一种特征提取模型训练装置，其特征在于，所述装置包括：

13.一种图片搜索装置，其特征在于，所述装置包括：

14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序适于处理器进行加载，以执行如权利要求1-8任一项所述的特征提取模型训练方法中的步骤或者权利要求9-11任一项所述的图片搜索方法中的步骤。

15.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器通过调用所述存储器中存储的所述计算机程序，用于执行权利要求1-8任一项所述的特征提取模型训练方法中的步骤或者权利要求9-11任一项所述的图片搜索方法中的步骤。

16.一种计算机程序产品，包括计算机指令，其特征在于，所述计算机指令被处理器执行时实现权利要求1-8任一项所述的特征提取模型训练方法中的步骤或者权利要求9-11任一项所述的图片搜索方法中的步骤。

技术总结
本申请公开一种特征提取模型训练方法、图片搜索方法、装置及设备，该方法包括：获取包含真实图片和模板图片的训练图片数据，同一批训练图片数据中的每张真实图片具有与其对应的模板图片；基于特征提取模型提取出同一批训练图片数据中每张真实图片的视觉特征和每张模板图片的视觉特征，视觉特征具有图片内区域之间的视觉语义相关性；计算每张真实图片的视觉特征和每张模板图片的视觉特征之间的相似性；根据上述相似性对特征提取模型进行训练，使得训练好的特征提取模型输出的每张真实图片的视觉特征与每张真实图片对应的模板图片的视觉特征相似，可提升图片的视觉特征的特征辨识度，及提升有模板图片的图片搜索的搜索效果。

技术研发人员：沈辉
受保护的技术使用者：北京有竹居网络技术有限公司
技术研发日：
技术公布日：2024/1/12