多模态的商品搜索方法及装置、存储介质、计算机设备与流程

本技术涉及数据搜索，尤其是涉及到一种多模态的商品搜索方法及装置、存储介质、计算机设备。

背景技术：

1、随着互联网和计算机技术的不断发展，电子商务平台也越来越成熟，成为了广大用户购物、外卖的重要途径。搜索召回阶段是整个电子商务平台搜索的基础，召回深度与质量决定了排序以及整个搜索引擎的上限。以外卖平台为例，由于餐饮商户商品的非标品属性、早期业务发展过快导致商户商品上线没有统一的命名规范、相同商品的差异性表述等因素，导致商品名称文本的指代含义并不统一，对基于文本的关键词匹配、标签匹配造成了很大的挑战。目前电子商务平台的搜索准确性有待提高。

技术实现思路

1、有鉴于此，本技术提供了一种多模态的商品搜索方法及装置、存储介质、计算机设备，在进行搜索召回时充分利用了商品的多模态信息，使得搜索召回阶段不再依赖于商品的名称等文本信息，解决了商品命名不规范、不统一导致搜索召回效果差的问题，提升了搜索召回的准确性，提高了用户体验。

2、根据本技术的一个方面，提供了一种多模态的商品搜索方法，所述方法包括：

3、响应于商品搜索指令，获取所述商品搜索指令对应的商品搜索词，并确定所述商品搜索词对应的搜索语义特征；

4、获取候选商品对应的候选商品图文融合特征，其中，所述候选商品图文融合特征通过预训练的特征融合模型对所述候选商品对应的候选商品文本和候选商品图片进行融合预测获得；

5、通过预训练的商品匹配模型获取所述搜索语义特征与所述候选商品图文融合特征之间的相似度，并基于所述相似度对所述候选商品进行排序，确定搜索结果。

6、可选地，所述获取候选商品对应的候选商品图文融合特征之前，所述方法还包括：

7、采样第一样本商品对应的第一样本商品文本和第一样本商品图片，并基于所述第一样本商品文本和所述第一样本商品图片确定商品图文正样本；

8、采样第二样本商品对应的第二样本商品文本以及第三样本商品对应的第三样本商品图片，并基于所述第二样本商品文本和所述第三样本商品图片确定商品图文负样本，其中，所述第二样本商品与所述第三样本商品所属的类目不同；

9、通过所述商品图文正样本和所述商品图文负样本对初始图文融合模型进行训练，获取所述图文融合模型。

10、可选地，所述初始图文融合模型包括文本特征提取模块、图片特征提取模块以及图文匹配模块；所述文本特征提取模块用于提取文本特征；所述图片特征提取模块用于按预设图片切割规则进行图片切割，提取切割得到的多个子图片各自的子图片特征，并将所述子图片特征拼接为图片特征；所述图文匹配模块用于基于文本特征和图片特征进行图文匹配；

11、所述通过所述商品图文正样本和所述商品图文负样本对初始图文融合模型进行训练，获取所述图文融合模型，包括：

12、通过所述商品图文正样本和所述商品图文负样本对初始图文融合模型进行训练，并基于训练后的文本特征提取模块、训练后的图片特征提取模块以及预设特征拼接模块，确定所述图文融合模型，其中，所述预设特征拼接模块用于拼接文本特征和图片特征。

13、可选地，所述通过预训练的商品匹配模型获取所述搜索语义特征与所述候选商品图文融合特征之间的相似度之前，所述方法还包括：

14、提取第一历史搜索数据中的第一样本搜索词和第一点击商品，获取所述第一点击商品对应的第一点击商品图文融合特征，并基于所述第一样本搜索词和所述第一点击商品图文融合特征构建商品匹配正样本；

15、提取第二历史搜索数据中的第二样本搜索词和第二点击商品，确定与所述第二点击商品的类目不同的第三点击商品，获取所述第三点击商品对应的第三点击商品图文融合特征，并基于所述第二样本搜索词和所述第三点击商品图文融合特征构建商品匹配负样本；

16、通过所述商品匹配正样本和所述商品匹配负样本对初始商品匹配模型进行训练，得到所述商品匹配模型。

17、可选地，所述确定与所述第二点击商品的类目不同的第三点击商品，包括：

18、确定所述第二点击商品的主类目以及所述主类目下的子类目；

19、在所述主类目下除所述子类目外的其他子类目下，采样所述第三点击商品。

20、可选地，所述提取第一历史搜索数据中的第一样本搜索词和第一点击商品之前，所述方法还包括：

21、获取多条历史搜索数据对应的历史搜索词和历史点击商品，基于所述历史搜索词和所述历史点击商品，将所述历史搜索数据构建为多个搜索数据组，其中，每个搜索数据组中包含的历史搜索数据对应的历史搜索词和历史点击商品均相同；

22、基于所述搜索数据组内历史搜索数据的数据量，获取所述搜索数据组中的参考数据组，并基于所述参考数据组确定所述第一历史搜索数据以及所述第二历史搜索数据。

23、可选地，所述基于所述第一样本搜索词和所述第一点击商品图文融合特征构建商品匹配正样本，包括：

24、基于所述第一样本搜索词和所述第一点击商品图文融合特征构建第一商品匹配正样本，基于所述第一样本搜索词和第一点击商品文本特征构建第二商品匹配正样本，以及基于所述第一样本搜索词和第一点击商品图片特征构

25、建第三商品匹配正样本，其中，所述商品匹配正样本包括所述第一商品匹配5正样本、所述第二商品匹配正样本以及所述第三商品匹配正样本；

26、相应地，所述基于所述第二样本搜索词和所述第三点击商品图文融合特征构建商品匹配负样本，包括：

27、基于所述第二样本搜索词和所述第三点击商品图文融合特征构建第一商

28、品匹配负样本，基于所述第二样本搜索词和第三点击商品文本特征构建第二0商品匹配负样本，以及基于所述第二样本搜索词和第三点击商品图片特征构建第三商品匹配负样本，其中，所述商品匹配负样本包括所述第一商品匹配负样本、所述第二商品匹配负样本以及所述第三商品匹配负样本。

29、可选地，所述获取候选商品对应的候选商品图文融合特征之前，所述方

30、法还包括：

31、5获取上架商品的上架商品文本和上架商品图片，并检测所述上架商品文

32、本是否包含预设实体词，其中，所述上架商品包括所述候选商品；

33、若所述上架商品文本包含预设实体词，且所述上架商品图片为商户自定义图片，则通过所述特征融合模型对所述上架商品文本和所述上架商品图片进行融合预测，获得上架商品图文融合特征；

34、0若所述上架商品文本包含预设实体词，且所述上架商品图片不为商户自

35、定义图片，则获取所述上架商品文本对应的上架商品文本特征作为上架商品图文融合特征；

36、若所述商家商品文本不包含预设实体词，且所述上架商品图片为商户自

37、定义图片，则获取所述商家商品图片对应的上架商品图片特征作为上架商品5图文融合特征。

38、可选地，所述获取候选商品对应的候选商品图文融合特征之前，所述方法还包括：

39、确定所述商品搜索指令对应的目标配送位置，并查询配送范围包括所述目标配送位置的可配送商品；

40、若所述可配送商品的数量小于或等于预设数量阈值，则将所述可配送商品确定为所述候选商品；

41、若所述可配送商品的数量大于预设数量阈值，则对所述可配送商品进行聚类，确定多个商品类以及所述商品类的聚类中心商品，在任一聚类中心商品对应的中心商品图文融合特征与所述搜索语义特征的相似度小于预设相似度阈值时，将所述任一聚类中心商品对应的商品类内的商品从所述可配送商品中删除，并将剩余的可配送商品确定为所述候选商品。

42、根据本技术的另一方面，提供了一种多模态的商品搜索装置，所述装置包括：

43、搜索词确定模块，用于响应于商品搜索指令，获取所述商品搜索指令对应的商品搜索词，并确定所述商品搜索词对应的搜索语义特征；

44、商品特征获取模块，用于获取候选商品对应的候选商品图文融合特征，其中，所述候选商品图文融合特征通过预训练的特征融合模型对所述候选商品对应的候选商品文本和候选商品图片进行融合预测获得；

45、搜索模块，用于通过预训练的商品匹配模型获取所述搜索语义特征与所述候选商品图文融合特征之间的相似度，并基于所述相似度对所述候选商品进行排序，确定搜索结果。

46、可选地，所述装置还包括：第一模型训练模块，用于：

47、采样第一样本商品对应的第一样本商品文本和第一样本商品图片，并基于所述第一样本商品文本和所述第一样本商品图片确定商品图文正样本；

48、采样第二样本商品对应的第二样本商品文本以及第三样本商品对应的第三样本商品图片，并基于所述第二样本商品文本和所述第三样本商品图片确定商品图文负样本，其中，所述第二样本商品与所述第三样本商品所属的类目不同；

49、通过所述商品图文正样本和所述商品图文负样本对初始图文融合模型进行训练，获取所述图文融合模型。

50、可选地，所述初始图文融合模型包括文本特征提取模块、图片特征提取模块以及图文匹配模块；所述文本特征提取模块用于提取文本特征；所述图片特征提取模块用于按预设图片切割规则进行图片切割，提取切割得到的多个子图片各自的子图片特征，并将所述子图片特征拼接为图片特征；所述图文匹配模块用于基于文本特征和图片特征进行图文匹配；

51、所述第一模型训练模块，还用于：通过所述商品图文正样本和所述商品图文负样本对初始图文融合模型进行训练，并基于训练后的文本特征提取模块、训练后的图片特征提取模块以及预设特征拼接模块，确定所述图文融合模型，其中，所述预设特征拼接模块用于拼接文本特征和图片特征。

52、可选地，所述装置还包括：第二模型训练模块，用于：

53、提取第一历史搜索数据中的第一样本搜索词和第一点击商品，获取所述第一点击商品对应的第一点击商品图文融合特征，并基于所述第一样本搜索词和所述第一点击商品图文融合特征构建商品匹配正样本；

54、提取第二历史搜索数据中的第二样本搜索词和第二点击商品，确定与所述第二点击商品的类目不同的第三点击商品，获取所述第三点击商品对应的第三点击商品图文融合特征，并基于所述第二样本搜索词和所述第三点击商品图文融合特征构建商品匹配负样本；

55、通过所述商品匹配正样本和所述商品匹配负样本对初始商品匹配模型进行训练，得到所述商品匹配模型。

56、可选地，所述第二模型训练模块，还用于：

57、确定所述第二点击商品的主类目以及所述主类目下的子类目；

58、在所述主类目下除所述子类目外的其他子类目下，采样所述第三点击商品。

59、可选地，所述第二模型训练模块，还用于：

60、获取多条历史搜索数据对应的历史搜索词和历史点击商品，基于所述历史搜索词和所述历史点击商品，将所述历史搜索数据构建为多个搜索数据组，其中，每个搜索数据组中包含的历史搜索数据对应的历史搜索词和历史点击商品均相同；

61、基于所述搜索数据组内历史搜索数据的数据量，获取所述搜索数据组中的参考数据组，并基于所述参考数据组确定所述第一历史搜索数据以及所述第二历史搜索数据。

62、可选地，所述第二模型训练模块，还用于：

63、基于所述第一样本搜索词和所述第一点击商品图文融合特征构建第一商品匹配正样本，基于所述第一样本搜索词和第一点击商品文本特征构建第二商品匹配正样本，以及基于所述第一样本搜索词和第一点击商品图片特征构建第三商品匹配正样本，其中，所述商品匹配正样本包括所述第一商品匹配正样本、所述第二商品匹配正样本以及所述第三商品匹配正样本；以及，

64、基于所述第二样本搜索词和所述第三点击商品图文融合特征构建第一商品匹配负样本，基于所述第二样本搜索词和第三点击商品文本特征构建第二商品匹配负样本，以及基于所述第二样本搜索词和第三点击商品图片特征构建第三商品匹配负样本，其中，所述商品匹配负样本包括所述第一商品匹配负样本、所述第二商品匹配负样本以及所述第三商品匹配负样本。

65、可选地，所述装置还包括：商品特征确定模块，用于：

66、所述获取候选商品对应的候选商品图文融合特征之前，获取上架商品的上架商品文本和上架商品图片，并检测所述上架商品文本是否包含预设实体词，其中，所述上架商品包括所述候选商品；

67、若所述上架商品文本包含预设实体词，且所述上架商品图片为商户自定义图片，则通过所述特征融合模型对所述上架商品文本和所述上架商品图片进行融合预测，获得上架商品图文融合特征；

68、若所述上架商品文本包含预设实体词，且所述上架商品图片不为商户自定义图片，则获取所述上架商品文本对应的上架商品文本特征作为上架商品图文融合特征；

69、若所述商家商品文本不包含预设实体词，且所述上架商品图片为商户自定义图片，则获取所述商家商品图片对应的上架商品图片特征作为上架商品图文融合特征。

70、可选地，所述装置还包括：候选商品确定模块，用于：

71、确定所述商品搜索指令对应的目标配送位置，并查询配送范围包括所述目标配送位置的可配送商品；

72、若所述可配送商品的数量小于或等于预设数量阈值，则将所述可配送商品确定为所述候选商品；

73、若所述可配送商品的数量大于预设数量阈值，则对所述可配送商品进行聚类，确定多个商品类以及所述商品类的聚类中心商品，在任一聚类中心商品对应的中心商品图文融合特征与所述搜索语义特征的相似度小于预设相似度阈值时，将所述任一聚类中心商品对应的商品类内的商品从所述可配送商品中删除，并将剩余的可配送商品确定为所述候选商品。

74、依据本技术又一个方面，提供了一种存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述多模态的商品搜索方法。

75、依据本技术再一个方面，提供了一种计算机设备，包括存储介质、处理器及存储在存储介质上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述多模态的商品搜索方法。

76、借由上述技术方案，本技术提供的一种多模态的商品搜索方法及装置、存储介质、计算机设备，响应于商品搜索指令，确定该指令指示的商品搜索词对应的搜索语义特征，并获取通过特征融合模型对候选商品文本和候选商品图片进行融合预测得到候选商品图文融合特征，从而计算搜索语义特征与各候选商品图文融合特征的相似度，并依据相似度对候选商品进行排序得到搜索结果。本技术实施例在进行搜索召回时充分利用了商品的多模态信息，使得搜索召回阶段不再依赖于商品的名称等文本信息，解决了商品命名不规范、不统一导致搜索召回效果差的问题，提升了搜索召回的准确性，提高了用户体验。

77、上述说明仅是本技术技术方案的概述，为了能够更清楚了解本技术的技术手段，而可依照说明书的内容予以实施，并且为了让本技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本技术的具体实施方式。