物品相似度检测方法和装置、电子设备及存储介质与流程

本技术涉及金融科技，尤其涉及一种物品相似度检测方法和装置、电子设备及存储介质。

背景技术：

1、随着互联网的快速发展和电子商务的不断兴起，网络购物逐渐已经成为人们生活中不可或缺的一部分。目前，购物网站上商品的数量每天都在急剧增长，商家对商品通过添加文字描述的这种人工标注方式对商品进行分类，耗费大量的人力物力，显然不能满足日益蓬勃发展的电子商务的发展的要求。

2、例如，在保险营销平台中，保险产品的险种、期限、购买条件都存在着异同。为了更好地进行保险推荐，保险营销平台常常倾向于能够将符合当前购买对象的所有同类保险产品一起展示给购买对象进行选择。但在此之前，保险营销平台需要尽可能地将同类保险产品进行标记，否则容易在保险推荐时遗漏部分保险产品，无法做到将所有同类保险产品一起展示给对象。

3、目前，在检测两个物品是否为同类物品时，大多数的检测方法常常是将两个物品的物品类目信息、物品属性信息等进行比对，这一方式往往会造成比对信息具有一定的局限性，且实际生活中常常存在不同品类的物品的物品类目信息和物品属性信息较为相似，会对物品相似度检测造成干扰，使得物品相似度检测的准确性较差。

技术实现思路

1、本技术实施例的主要目的在于提出一种物品相似度检测方法和装置、电子设备及存储介质，旨在提高物品相似度检测的准确性。

2、为实现上述目的，本技术实施例的第一方面提出了一种物品相似度检测方法，所述方法包括：

3、获取目标物品对的物品对数据，其中，所述目标物品对包括第一物品和第二物品，所述物品对数据包括所述第一物品的第一文本数据和第一图像数据，所述物品对数据还包括所述第二物品的第二文本数据和第二图像数据；

4、将所述物品对数据输入到预设的物品对检测模型中，其中，所述物品对检测模型包括图像编码网络、文本编码网络以及物品对检测网络；

5、基于所述图像编码网络对所述第一图像数据进行图像编码，得到第一物品图像特征向量，并基于所述图像编码网络对所述第二图像数据进行图像编码，得到第二物品图像特征向量；

6、基于所述文本编码网络对所述第一文本数据和所述第一物品图像特征向量进行文本编码，得到第一物品特征向量，并基于所述文本编码网络对所述第二文本数据和所述第二物品图像特征向量进行文本编码，得到第二物品特征向量；

7、基于所述物品对检测网络对所述第一物品特征向量、所述第二物品特征向量进行相似度计算，得到物品相似评分数据；

8、根据所述物品相似评分数据检测所述第一物品和所述第二物品之间的物品相似程度，得到检测数据。

9、在一些实施例，所述基于所述图像编码网络对所述第一图像数据进行图像编码，得到第一物品图像特征向量，并基于所述图像编码网络对所述第二图像数据进行图像编码，得到第二物品图像特征向量，包括：

10、对所述第一图像数据进行卷积处理，得到第一物品图像卷积特征，并对所述第二图像数据进行卷积处理，得到第二物品图像卷积特征；

11、对所述第一物品图像卷积特征进行池化处理，得到第一物品图像池化特征，并对所述第二物品图像卷积特征进行池化处理，得到第二物品图像池化特征；

12、对所述第一物品图像池化特征进行线性变换，得到所述第一物品图像特征向量，并对所述第二物品图像池化特征进行线性变换，得到所述第二物品图像特征向量。

13、在一些实施例，所述基于所述文本编码网络对所述第一文本数据和所述第一物品图像特征向量进行文本编码，得到第一物品特征向量，并基于所述文本编码网络对所述第二文本数据和所述第二物品图像特征向量进行文本编码，得到第二物品特征向量，包括：

14、对所述第一文本数据进行字符映射，得到第一文本字向量，并对所述第一文本字向量和所述第一物品图像特征向量进行拼接，得到第一物品拼接向量；

15、基于所述文本编码网络对所述第一物品拼接向量进行文本编码，得到所述第一物品特征向量；

16、对所述第二文本数据进行字符映射，得到第二文本字向量，并对所述第二文本字向量和所述第二物品图像特征向量进行拼接，得到第二物品拼接向量；

17、基于所述文本编码网络对所述第二物品拼接向量进行文本编码，得到所述第二物品特征向量。

18、在一些实施例，所述根据所述物品相似评分数据检测所述第一物品和所述第二物品之间的物品相似程度，得到检测数据，包括：

19、比对所述物品相似评分数据和预设的分数阈值；

20、若所述物品相似评分数据大于所述分数阈值，则将所述检测数据确定为所述第一物品和所述第二物品是同类物品；

21、若所述物品相似评分数据不大于所述分数阈值，则将所述检测数据确定为所述第一物品和所述第二物品不是同类物品。

22、在一些实施例，所述基于所述物品对检测网络对所述第一物品特征向量、所述第二物品特征向量进行相似度计算，得到物品相似评分数据，包括：

23、基于所述物品对检测网络对所述第一物品特征向量、所述第二物品特征向量进行相似度计算，得到初步评分数据；

24、根据预设的调整数据对所述初步评分数据进行评分调整，得到中间评分数据；

25、对所述中间评分数据进行加权和运算，得到所述物品相似评分数据。

26、在一些实施例，所述获取目标物品对的物品对数据，包括：

27、获取所述第一物品的第一物品图像和第一物品文本、所述第二物品的第二物品图像和第二物品文本，其中，所述第一物品文本包括所述第一物品的第一物品标题、第一物品类目以及第一物品属性，所述第二物品文本包括所述第二物品的第二物品标题、第二物品类目以及第二物品属性；

28、对所述第一物品图像进行图像裁剪，得到所述第一图像数据，并对所述第二物品图像进行图像裁剪，得到所述第二图像数据，其中，所述第一图像数据为包含第一物品的最小矩形图像，所述第二图像数据为包含第二物品的最小矩形图像；

29、根据预设的拼接顺序对所述第一物品标题、所述第一物品类目以及所述第一物品属性进行拼接，得到所述第一文本数据，并根据所述拼接顺序对所述第二物品标题、所述第二物品类目以及所述第二物品属性进行拼接，得到所述第二文本数据；

30、根据第一图像数据、所述第二图像数据、所述第一文本数据以及所述第二文本数据，得到所述物品对数据。

31、在一些实施例，在所述将所述物品对数据输入到预设的物品对检测模型中之前，所述方法还包括预先训练所述物品对检测模型，具体包括：

32、获取训练数据，其中，所述训练数据包括数据内容均不相同的第一样本数据、第二样本数据以及第三样本数据；

33、基于所述第一样本数据对预设的神经网络模型进行第一模型训练，得到初步检测模型；

34、基于所述第二样本数据对所述初步检测模型进行第二模型训练，得到中间检测模型；

35、基于所述第三样本数据对所述中间检测模型进行第三模型训练，得到所述物品对检测模型。

36、为实现上述目的，本技术实施例的第二方面提出了一种物品相似度检测装置，所述装置包括：

37、数据获取模块，用于获取目标物品对的物品对数据，其中，所述目标物品对包括第一物品和第二物品，所述物品对数据包括所述第一物品的第一文本数据和第一图像数据，所述物品对数据还包括所述第二物品的第二文本数据和第二图像数据；

38、输入模块，用于将所述物品对数据输入到预设的物品对检测模型中，其中，所述物品对检测模型包括图像编码网络、文本编码网络以及物品对检测网络；

39、图像编码模块，用于基于所述图像编码网络对所述第一图像数据进行图像编码，得到第一物品图像特征向量，并基于所述图像编码网络对所述第二图像数据进行图像编码，得到第二物品图像特征向量；

40、文本编码模块，用于基于所述文本编码网络对所述第一文本数据和所述第一物品图像特征向量进行文本编码，得到第一物品特征向量，并基于所述文本编码网络对所述第二文本数据和所述第二物品图像特征向量进行文本编码，得到第二物品特征向量；

41、物品相似计算模块，用于基于所述物品对检测网络对所述第一物品特征向量、所述第二物品特征向量进行相似度计算，得到物品相似评分数据；

42、检测模块，用于根据所述物品相似评分数据检测所述第一物品和所述第二物品之间的物品相似程度，得到检测数据。

43、为实现上述目的，本技术实施例的第三方面提出了一种电子设备，所述电子设备包括存储器、处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的方法。

44、为实现上述目的，本技术实施例的第四方面提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的方法。

45、本技术提出的物品相似度检测方法和装置、电子设备及存储介质，其通过获取目标物品对的物品对数据，其中，目标物品对包括第一物品和第二物品，物品对数据包括第一物品的第一文本数据和第一图像数据、第二物品的第二文本数据和第二图像数据，能够以物品的图像信息和文本信息两种模态信息一起进行物品相似度检测。进一步地，将物品对数据输入到预设的物品对检测模型中，其中，物品对检测模型包括图像编码网络、文本编码网络以及物品对检测网络；基于图像编码网络对第一图像数据进行图像编码，得到第一物品图像特征向量，并基于图像编码网络对第二图像数据进行图像编码，得到第二物品图像特征向量，能够较为方便地对第一物品和第二物品的图像数据进行图像编码，提取第一物品、第二物品的图像特征信息。进一步地，基于文本编码网络对第一文本数据和第一物品图像特征向量进行文本编码，得到第一物品特征向量，并基于文本编码网络对第二文本数据和第二物品图像特征向量进行文本编码，得到第二物品特征向量，能够较为方便地将第一物品、第二物品的图像特征信息和文本特征信息两种模态信息进行特征融合以及文本编码，提高特征质量。进一步地，基于物品对检测网络对第一物品特征向量、第二物品特征向量进行相似度计算，得到物品相似评分数据，能够提高评分数据的准确性和客观性。最后，根据物品相似评分数据检测物品第一物品和第二物品之间的物品相似程度，得到检测数据，能够提高物品相似度检测的准确性，进而有效地对保险平台中的各个保险产品进行整合归纳，将高相似度的保险产品标记划分到同一类，使得属于同类的保险产品能够全部一起展示给对象进行选择，从而提高保险产品的成交率。