资源检索的方法、问答方法及对应装置与流程

本技术涉及人工智能，特别是涉及一种资源检索的方法、问答方法及对应装置。

背景技术：

1、随着图像、文本、视频等多模态数据爆炸式增长，内容形式的多样化能够帮助人们对周围世界进行更好地感知和理解。在人工智能领域，资源检索以及基于资源检索的问答方法愈加智能化。除了同模态资源的检索之外，还提出了跨模态检索。以图文检索为例，当用户输入文本后，在资源库中检索相关的图像资源用以返回给用户，或者在资源库中检索相关的图像资源作为参考资源并利用参考资源生成答案返回给用户。

2、在传统的实现方式中，大多采用双塔编码器来分别编码输入信息和资源库中的资源，然后通过计算输入信息和资源之间的相似度来得到参考资源。但这种方式的检索准确度较低，进而获取答案的准确度也低，尤其是在跨模态检索场景下该缺陷尤为突出。

技术实现思路

1、有鉴于此，本技术提供了一种资源检索的方法、问答方法及对应装置，以便于提高资源检索的准确度，进而提高问答准确度。

2、本技术提供了如下方案：

3、第一方面，提供了一种资源检索的方法，所述方法包括：

4、获取输入信息，对所述输入信息进行编码得到所述输入信息的第一特征表示；

5、基于所述输入信息的第一特征表示与资源库中各资源的第一特征表示，在所述资源库中进行第一检索得到候选资源；

6、获取从所述候选资源中抽取的实体信息，利用抽取的实体信息得到各候选资源的第二特征表示；

7、基于所述输入信息的第一特征表示与所述各候选资源的第二特征表示，在所述各候选资源中进行第二检索，得到参考资源作为针对所述输入信息的检索结果。

8、根据本技术实施例中一可实现的方式，获取从所述候选资源中抽取的实体信息包括：

9、对所述候选资源进行实体抽取，得到一个以上的实体；

10、利用知识图谱获取所述实体的三元组信息，所述三元组信息包括实体和实体之间的关系。

11、根据本技术实施例中一可实现的方式，所述利用抽取的实体信息得到各候选资源的第二特征表示包括：

12、对抽取的各实体信息进行编码，得到各实体信息的特征表示；

13、利用所述各实体信息的特征表示，确定与所述各候选资源关联的实体信息，并利用确定出的实体信息的特征表示得到实体特征表示；

14、利用所述实体特征表示和对各候选资源的编码结果，得到所述各候选资源的第二资源表示。

15、根据本技术实施例中一可实现的方式，利用所述各实体信息的特征表示，确定与所述各候选资源关联的实体信息，并利用确定出的实体信息的特征表示得到实体特征表示包括：

16、确定各参考资源的第一特征表示对应的平均特征表示；

17、利用所述平均特征表示与各实体信息的特征表示之间的相似度，选择对应相似度满足预设相似度要求的实体信息的特征表示；

18、将所述平均特征表示与选择的实体信息的特征表示相加，将得到的特征表示进行编码，得到实体特征表示。

19、根据本技术实施例中一可实现的方式，利用所述实体特征表示和对各候选资源的编码结果，得到所述各候选资源的第二资源表示：

20、将所述输入信息与各候选资源分别进行拼接后编码，得到各候选资源的第三特征表示，将各候选资源的第三特征表示分别与所述实体特征表示进行拼接，得到各候选资源的第二特征表示。

21、根据本技术实施例中一可实现的方式，基于所述输入信息的第一特征表示与所述各候选资源的第二特征表示，在所述各候选资源中进行第二检索，得到参考资源包括：

22、在所述各候选资源中进行多跳检索，其中每一跳检索包括：利用当前得到的推理路径在剩余候选资源中检索，将检索得到的资源加入推理路径并将检索得到的资源从候选资源中去除，执行下一跳检索直至满足预设的停止检索条件；

23、将每一跳检索得到的资源作为参考资源；

24、其中所述利用当前得到的推理路径在剩余候选资源中检索包括：利用当前得到的推理路径的特征表示得到查询矩阵，将各剩余候选资源作为键矩阵和值矩阵，进行交叉注意力处理后，从剩余候选资源中选择交叉注意力得分最高的候选资源作为检索得到的资源。

25、根据本技术实施例中一可实现的方式，所述满足预设的停止检索条件包括：

26、将所述更新后的参考资源特征表示输入预设的分类器，若该分类器输出停止检索的分类结果，则确定满足预设的停止检索条件。

27、第二方面，提供了一种问答方法，所述方法包括：

28、获取问题文本，将所述问题文本作为输入信息采用第一方面所述的方法，得到参考资源；

29、利用所述参考资源，生成针对所述问题文本的答案文本。

30、第三方面，提供了一种训练资源检索模型的方法，所述方法包括：

31、获取包括多个第一训练样本的训练数据，所述第一训练样本包括输入样本和输入样本在资源库中对应的检索结果样本；

32、利用所述训练数据训练资源检索模型，所述资源检索模型包括编码网络和解码网络；其中，所述编码网络对所述输入样本进行编码得到所述输入样本的第一特征表示；基于所述输入样本的第一特征表示与资源库中各资源的第一特征表示，在所述资源库中进行第一检索得到候选资源；获取从所述候选资源中抽取的实体信息，利用抽取的实体信息得到各候选资源的第二特征表示；所述解码网络基于所述输入样本的第一特征表示与所述各候选资源的第二特征表示，在所述各候选资源中进行第二检索，得到参考资源作为针对所述输入样本的检索结果；

33、训练目标包括：最小化所述解码网络得到的针对所述输入样本的检索结果与所述输入样本对应的检索结果样本之间的差异。

34、第四方面，提供了一种训练问答模型的方法，所述方法包括：

35、获取包括第二训练样本的训练数据，所述第二训练样本包括问题样本和问题样本被标注的答案样本；

36、利用所述训练数据训练问答模型，所述问答模型包括编码网络和解码网络；所述编码网络对所述问题样本进行编码得到所述问题样本的第一特征表示；基于所述问题样本的第一特征表示与资源库中各资源的第一特征表示，在所述资源库中进行第一检索得到候选资源；利用从所述候选资源中抽取的实体信息得到各候选资源的第二特征表示；所述解码网络基于所述问题样本的第一特征表示与所述各候选资源的第二特征表示，在所述各候选资源中进行第二检索，得到参考资源；利用所述参考资源，生成针对所述问题样本的答案文本；

37、训练目标包括：最小化所述解码网络得到的针对所述问题样本的答案文本与所述问题样本对应的答案样本之间的差异。

38、第五方面，提供了一种资源检索装置，所述装置包括：

39、输入获取单元，被配置为获取输入信息；

40、检索处理单元，被配置为将所述输入信息输入资源检索模型，获取所述资源检索模型得到的针对所述输入信息的检索结果；所述资源检索模型包括编码网络和解码网络；

41、所述编码网络对所述输入信息进行编码得到所述输入信息的第一特征表示；基于所述输入信息的第一特征表示与资源库中各资源的第一特征表示，在所述资源库中进行第一检索得到候选资源；获取从所述候选资源中抽取的实体信息，利用抽取的实体信息得到各候选资源的第二特征表示；

42、所述解码网络基于所述输入信息的第一特征表示与所述各候选资源的第二特征表示，在所述各候选资源中进行第二检索，得到参考资源作为针对所述输入信息的检索结果。

43、第六方面，提供了一种问答装置，所述装置包括：

44、问题获取单元，被配置为获取问题文本；

45、答案获取单元，被配置为将所述问题文本输入问答模型，获取问答模型生成的针对所述问题文本的答案文本；所述问答模型包括解码网络和编码网络；

46、所述解码网络对所述问题文本进行编码得到所述问题文本的第一特征表示；基于所述问题文本的第一特征表示与资源库中各资源的第一特征表示，在所述资源库中进行第一检索得到候选资源；获取从所述候选资源中抽取的实体信息，利用抽取的实体信息得到各候选资源的第二特征表示；

47、所述解码网络基于所述问题文本的第一特征表示与所述各候选资源的第二特征表示，在所述各候选资源中进行第二检索，得到参考资源；利用所述参考资源，生成针对所述问题文本的答案文本。

48、根据第七方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一方面至第四方面中任一项所述的方法的步骤。

49、根据第八方面，提供了一种电子设备，包括：

50、一个或多个处理器；以及

51、与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时，执行上述第一方面至第四方面中任一项所述的方法的步骤。

52、根据本技术提供的具体实施例，本技术公开了以下技术效果：

53、1)本技术提出了一种以实体为中心的检索方法，首先利用输入信息的第一特征表示和资源库中各资源的第一特征表示在资源库中初步检索得到候选资源，再利用从候选资源中抽取的实体信息在各候选资源中进行更精细地检索，从而充分利用了候选资源可能表达的主题，提高资源检索的准确度。

54、2)本技术中利用知识图谱对候选资源中实体的三元组信息标注，从而更好地表达候选资源的语义和主题，基于这些实体建立了结构化的中间表示即实体特征表示，并利用该表示实现候选资源与输入信息之间的连接，提高检索的准确性。

55、3)本技术中采用多跳检索的方式，每一跳在各候选资源中选择交叉注意力得分最高的候选资源，并使用分类器自动决定检索跳数，具有更强地泛化性能，能够具有更好的检索效果。

56、4)本技术中采用了一种端到端的问答模型来进行参考资源检索和答案生成，使得答案生成阶段能够利用检索阶段的信息，从而提升生成答案的准确度。

57、当然，实施本技术的任一产品并不一定需要同时达到以上所述的所有优点。