数据查询方法、装置、存储介质及程序产品与流程

本技术涉及数据检索领域，尤其涉及一种数据查询方法、装置、存储介质及程序产品。

背景技术：

1、多模态检索是近年来新兴的一种检索技术，涵盖了语音、视频、文本等多种模态，支持用户输入多种模态信息的检索请求，同时也支持返回包含多种模态信息的检索结果，真正做到了不同模态之间语义的对齐，是下一代互联网领域的关键技术之一。多模态检索的效果直接影响到用户获取目标信息的效率和体验，借助于多种模态的信息在语义空间上的一致性和互补性，用户可以充分表述其复杂的检索意图，进而实现精确的检索。在当前消费者注意范围、时间锐减的数字时代，有效地通过多模态检索来捕捉用户切实需求，提升用户消费体验，越来越成为各大电商平台的发展共识。

2、然而，传统的多模态检索方法尚存在数据处理成本高、检索精度低等缺点，面对越来越复杂的多模态检索场景，其在实际使用中越发捉襟见肘。

技术实现思路

1、有鉴于此，提出了一种数据查询方法、装置、存储介质及程序产品，根据本技术实施例的数据查询方法，能够降低数据处理成本，提高数据检索精度。

2、第一方面，本技术的实施例提供了一种数据查询方法，所述方法包括：接收查询请求，所述查询请求包括至少一种模态的查询数据，其中每种模态的查询数据包括至少一种内容形式；从多个编码器中选择与所述查询请求相匹配的至少一个编码器；使用选择出的编码器对所述查询请求包括的查询数据进行融合处理，得到第一融合向量；确定与所述第一融合向量的相似度满足预设条件的至少一个第二融合向量；根据对应于所述第二融合向量的目标样本生成第一展示数据，所述第一展示数据用于展示包括查询结果的界面，所述查询结果包括所述目标样本的样本数据。

3、根据本技术实施例的数据查询方法，通过接收查询请求，从多个编码器中选择与查询请求相匹配的至少一个编码器，使用选择出的编码器对查询请求包括的查询数据进行融合处理，可以得到第一融合向量；通过确定与第一融合向量的相似度满足预设条件的至少一个第二融合向量，根据对应于第二融合向量的目标样本生成第一展示数据，使得第一展示数据能够用于展示包括查询结果的界面，查询结果包括目标样本的样本数据。由于查询请求包括至少一种模态的查询数据，每种模态的查询数据包括至少一种内容形式，且第一融合向量是多模态、多内容形式的查询数据融合而成，因此一个第一融合向量即可代表多模态、多内容形式的查询数据，确定查询结果只需确定第一融合向量与各目标样本对应的第二融合向量的相似度即可，可以降低数据处理成本，提升检索速度；由于选择出的编码器与查询请求相匹配，因此第一融合向量与查询请求中的查询数据的语义的相似程度也更高，则确定的第二融合向量也更准确，使得查询结果中的样本数据与查询请求中的查询数据更为相似，能够提升数据检索精度；并且避免了所有编码器参与数据处理，进一步减少了数据处理成本。因此，根据本技术实施例的数据查询方法，能够降低数据处理成本，提高数据检索精度。

4、根据第一方面，在所述数据查询方法的第一种可能的实现方式中，所述从多个编码器中选择与所述查询请求相匹配的至少一个编码器，包括：针对所述查询请求中查询数据的每一内容形式，从所述多个编码器中选择与该内容形式对应的编码器。

5、通过这种方式，可以完成与查询请求相匹配的编码器的选择。在此情况下，选择出的编码器与查询请求更为适应，从而能够提升检索的精度。

6、根据第一方面或第一方面的第一种可能的实现方式，在所述数据查询方法的第二种可能的实现方式中，所述使用选择出的编码器对所述查询请求包括的查询数据进行融合处理，得到第一融合向量，包括：针对所述查询请求中，每种模态下每一内容形式的查询数据，对该查询数据添加指示内容形式的标识；将添加标识后的查询数据输入与该查询数据的内容形式对应的编码器，生成与该查询数据对应的第一分词序列；针对每种模态，拼接每一内容形式的查询数据对应的第一分词序列以及待学习的第二分词序列，得到该模态对应的第三分词序列；将所述第三分词序列输入第一转换模型进行融合处理，生成该模态对应的第四分词序列；在所述查询请求仅包括一种模态的查询数据时，将所述第四分词序列作为所述第一融合向量。

7、通过这种方式，可以基于编码器和第一转换模型实现查询数据的模态内融合。通过设置待学习的分词序列，使得第一转换模型能够充分捕捉模态内多源异构数据的差异性，可以保证模态内信息融合的精度。

8、根据第一方面的第二种可能的实现方式，在所述数据查询方法的第三种可能的实现方式中，在所述查询请求包括两种或两种以上模态的查询数据时，所述使用选择出的编码器对所述查询请求包括的查询数据进行融合处理，得到第一融合向量，还包括：针对每一模态对应的第四分词序列，对该第四分词序列添加指示模态类别的类别分词，得到该模态对应的第五分词序列；拼接每一模态对应的第五分词序列，得到第六分词序列；在所述第六分词序列起始位置添加全局分词，得到第七分词序列，所述全局分词是第二转换模型进行融合处理的融合对象；将所述第七分词序列输入所述第二转换模型进行融合处理，所述第二转换模型输出所述第一融合向量。

9、通过这种方式，可以基于第二转换模型实现模态间融合，进一步提升数据查询方法的检索能力以及灵活性。模态间融合实现了深度交互，能够提升数据查询方法的鲁棒性。

10、根据第一方面的第二种或第三种可能的实现方式，在所述数据查询方法的第四种可能的实现方式中，所述查询请求中，任意一种模态下任意一种内容形式对应两个或两个以上的查询数据时，生成与该两个或两个以上的查询数据对应的第一分词序列所使用的编码器采用相同的编码器参数。

11、通过这种方式，可以提升数据处理的效率。并且，采用共享编码器参数，可以简化参数的配置方式，使得数据查询方法的实现更为简洁。

12、根据第一方面的第三种或第四种可能的实现方式，在所述数据查询方法的第五种可能的实现方式中，所述从多个编码器中选择与所述查询请求相匹配的至少一个编码器之前，所述方法还包括：获取至少一个训练样本，每个训练样本包括多种模态的样本数据，每种模态的样本数据包括多种内容形式；针对任意训练样本，对该训练样本中的任意两个或两个以上的样本数据进行组合，得到组合的样本数据；将所述组合的样本数据作为训练数据，用于训练所述编码器、所述第一转换模型和所述第二转换模型。

13、通过这种方式，可以完成编码器、第一转换模型、第二转换模型的训练。使得使用编码器可以把每一内容形式的查询数据(或样本数据)转换为一个分词序列，使用第一转换模型可以把每一模态下多个内容形式的分词序列转换为一个分词序列，使用第二转换模型可以把多个模态的分词序列转换为一个分词序列。从而针对包括多种内容形式的单模态的查询数据(或样本数据)，可以完成模态内的数据融合；针对包括多种模态的查询数据(或样本数据)，可以完成模态间融合，从而为查询请求的查询数据的融合处理以及基础样本的样本数据的融合处理提供基础。

14、根据第一方面的第五种可能的实现方式，在所述数据查询方法的第六种可能的实现方式中，所述确定与所述第一融合向量的相似度满足预设条件的至少一个第二融合向量，包括：对所述第一融合向量以及每一第三融合向量分别进行相似度计算，每一第三融合向量对应数据库中的一个基础样本，每个基础样本包括多种模态的样本数据，每种模态的样本数据包括多种内容形式；将与第一融合向量的相似度满足所述预设条件的至少一个第三融合向量，作为所述第二融合向量，所述至少一个第三融合向量对应的基础样本作为所述目标样本。

15、通过这种方式，可以确定第二融合向量。采用基于融合向量的相似度确定满足条件的融合向量、进一步确定目标样本的方式，多模态的每个样本仅需进行一次融合向量的相似度确定，相比数据库中样本的每个模态的特征均与查询请求的每个模态特征计算一次相似度的现有技术，大大降低了数据处理成本，提升了在线检索速度。且融合向量考虑了同一样本的多模态之间的关联，能够提升确定的满足条件的融合向量的准确度，即使得确定的目标样本的准确度也得到提升。

16、根据第一方面的第六种可能的实现方式，在所述数据查询方法的第七种可能的实现方式中，所述方法还包括：针对每一基础样本，从多个编码器中选择与该基础样本相匹配的至少一个编码器；使用选择出的编码器对该基础样本包括的样本数据进行融合处理，得到该基础样本对应的第三融合向量。

17、通过这种方式，使得针对数据库中的基础样本确定基础样本对应的第三融合向量的方式，与针对查询请求确定查询请求对应的第一融合向量的方式可以相同，因此查询请求和第一融合向量之间的关联程度，与基础样本和第三融合向量之间的关联程度一致，使得第三融合向量与第一融合向量相似度较高时，能够保证第三融合向量对应的基础样本所包括的样本数据与查询请求的查询数据的相似度。并且针对多模态的样本，仅确定并存储一个第三融合向量即可，相比每个模态均需存储一个对应的特征的现有技术，大大降低了数据存储成本。

18、根据第一方面，或以上第一方面的任意一种可能的实现方式，在所述数据查询方法的第八种可能的实现方式中，所述根据对应于所述第二融合向量的目标样本生成第一展示数据，包括：获取检索目标，所述检索目标指示至少一个模态；从对应于所述第二融合向量的目标样本中，选择所述检索目标指示的至少一个模态的样本数据；根据选择出的样本数据生成所述第一展示数据，根据所述第一展示数据展示所述界面时，展示的样本数据包括所述选择出的样本数据。

19、通过这种方式，可以通过调整检索目标指示的模态数量及类别实现查询结果的灵活调整，提升数据查询方法的灵活性，扩展数据查询方法的应用场景。

20、第二方面，本技术的实施例提供了一种数据查询装置，所述装置包括：接收模块，用于接收查询请求，所述查询请求包括至少一种模态的查询数据，其中每种模态的查询数据包括至少一种内容形式；多专家门限模块，用于从多个编码器中选择与所述查询请求相匹配的至少一个编码器；融合模块，用于使用选择出的编码器对所述查询请求包括的查询数据进行融合处理，得到第一融合向量；推理模块，用于确定与所述第一融合向量的相似度满足预设条件的至少一个第二融合向量；展示模块，用于根据对应于所述第二融合向量的目标样本生成第一展示数据，所述第一展示数据用于展示包括查询结果的界面，所述查询结果包括所述目标样本的样本数据。

21、根据第二方面，在所述数据查询装置的第一种可能的实现方式中，所述多专家门限模块包括：用户意图理解单元，用于针对所述查询请求中查询数据的每一内容形式，从所述多个编码器中选择与该内容形式对应的编码器。

22、根据第二方面或第二方面的第一种可能的实现方式，在所述数据查询装置的第二种可能的实现方式中，所述融合模块包括：第一处理单元，用于针对所述查询请求中，每种模态下每一内容形式的查询数据，对该查询数据添加指示内容形式的标识；第一生成单元，用于将添加标识后的查询数据输入与该查询数据的内容形式对应的编码器，生成与该查询数据对应的第一分词序列；第一拼接单元，用于针对每种模态，拼接每一内容形式的查询数据对应的第一分词序列以及待学习的第二分词序列，得到该模态对应的第三分词序列；第二生成单元，用于将所述第三分词序列输入第一转换模型进行融合处理，生成该模态对应的第四分词序列；第一确定单元，用于在所述查询请求仅包括一种模态的查询数据时，将所述第四分词序列作为所述第一融合向量。

23、根据第二方面的第二种可能的实现方式，在所述数据查询装置的第三种可能的实现方式中，在所述查询请求包括两种或两种以上模态的查询数据时，所述融合模块还包括：第二处理单元，用于针对每一模态对应的第四分词序列，对该第四分词序列添加指示模态类别的类别分词，得到该模态对应的第五分词序列；第二拼接单元，用于拼接每一模态对应的第五分词序列，得到第六分词序列；第三处理单元，用于在所述第六分词序列起始位置添加全局分词，得到第七分词序列，所述全局分词是第二转换模型进行融合处理的融合对象；第二确定单元，用于将所述第七分词序列输入所述第二转换模型进行融合处理，所述第二转换模型输出所述第一融合向量。

24、根据第二方面的第二种或第三种可能的实现方式，在所述数据查询装置的第四种可能的实现方式中，所述查询请求中，任意一种模态下任意一种内容形式对应两个或两个以上的查询数据时，生成与该两个或两个以上的查询数据对应的第一分词序列所使用的编码器采用相同的编码器参数。

25、根据第二方面的第三种或第四种可能的实现方式，在所述数据查询装置的第五种可能的实现方式中，所述装置还包括：获取模块，用于获取至少一个训练样本，每个训练样本包括多种模态的样本数据，每种模态的样本数据包括多种内容形式；组合模块，用于针对任意训练样本，对该训练样本中的任意两个或两个以上的样本数据进行组合，得到组合的样本数据；训练模块，用于将所述组合的样本数据作为训练数据，用于训练所述编码器、所述第一转换模型和所述第二转换模型。

26、根据第二方面的第五种可能的实现方式，在所述数据查询装置的第六种可能的实现方式中，所述推理模块包括：计算单元，用于对所述第一融合向量以及每一第三融合向量分别进行相似度计算，每一第三融合向量对应数据库中的一个基础样本，每个基础样本包括多种模态的样本数据，每种模态的样本数据包括多种内容形式；第三确定单元，用于将与第一融合向量的相似度满足所述预设条件的至少一个第三融合向量，作为所述第二融合向量，所述至少一个第三融合向量对应的基础样本作为所述目标样本。

27、根据第二方面的第六种可能的实现方式，在所述数据查询装置的第七种可能的实现方式中，所述多专家门限模块还用于，针对每一基础样本，从多个编码器中选择与该基础样本相匹配的至少一个编码器；所述融合模块还用于，使用选择出的编码器对该基础样本包括的样本数据进行融合处理，得到该基础样本对应的第三融合向量。

28、根据第二方面，或以上第二方面的任意一种可能的实现方式，在所述数据查询装置的第八种可能的实现方式中，所述展示模块包括：获取单元，用于获取检索目标，所述检索目标指示至少一个模态；选择单元，用于从对应于所述第二融合向量的目标样本中，选择所述检索目标指示的至少一个模态的样本数据；第三生成单元，用于根据选择出的样本数据生成所述第一展示数据，根据所述第一展示数据展示所述界面时，展示的样本数据包括所述选择出的样本数据。

29、第三方面，本技术的实施例提供了一种数据查询装置，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令时实现上述第一方面或者第一方面的多种可能的实现方式中的一种或几种的数据查询方法。

30、第四方面，本技术的实施例提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述第一方面或者第一方面的多种可能的实现方式中的一种或几种的数据查询方法。

31、第五方面，本技术的实施例提供了一种计算机程序产品，包括计算机可读代码，或者承载有计算机可读代码的非易失性计算机可读存储介质，当所述计算机可读代码在电子设备中运行时，所述电子设备中的处理器执行上述第一方面或者第一方面的多种可能的实现方式中的一种或几种的数据查询方法。

32、本技术的这些和其他方面在以下(多个)实施例的描述中会更加简明易懂。