基于知识图谱和大型语言模型协同的智能查询推理方法及装置

本发明涉及智能问题查询，尤其涉及一种基于知识图谱和大型语言模型协同的智能查询推理方法及装置。

背景技术：

1、bert、roberta和t5等在大规模语料库上预训练的大型语言模型(llm)已经能非常优秀地应对多种自然语言处理任务，比如问答、机器翻译和文本生成等。随着模型规模的急剧增长，chatgpt和palm2等先进的llm具有数百上千亿个参数，具有强大的零样本和少样本能力，可以通过提供专门设计的提示来解决广泛的任务，而无需针对任务进行微调。

2、但是对于llm来说，存在缺乏事实知识的问题是其亟待解决的问题。具体来说，由于llm的训练文本数据是从多个来源积累的，例如书籍、开放的互联网、文章、社交媒体或研究论文等。llm内部的知识主要依赖于深度神经网络对文本序列中每个单词的关注度评分，以捕获的单词之间的关系，因而会包含一些隐含知识。但是，llm生成的文本往往会缺乏现实世界的事实经验，因而在推理时，llm可能会产生与事实知识相冲突的错误信息，同时也难以理解特定领域的专业知识。另外，llm通常不能提供准确的事实回忆，而并容易出现“幻觉”问题，即生成具有错误事实的表述，会严重损害llm的可信度。举例来说，如果向llm提问：“开普勒在什么时候发现了引力？”它可能会错误地回答：“开普勒在1687年发现了引力。”但事实上，引力理论的发现者是牛顿。

3、为解决上述问题，一种解决方式是引入外部显式知识，即通过外部显示知识对llm进行补充，以将结构化数据线性化成llm可以很好地理解的句子，从而改正生成错误结果。然而，结构化数据通常包含llm在预训练过程中未曾接触的特殊数据格式或模式，这可能会导致llm难以完全掌握或理解结构化数据，且结构化数据的数量巨大，就难以在输入提示中包含所有数据记录，类似于短期记忆容量有限的情况，因而无论是可行性还是效率均不佳。

技术实现思路

1、本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种实现方法简单、成本低、效率与精准度高的基于知识图谱和大型语言模型协同的智能查询推理方法及装置，能够在llm中融入外部知识推理时生成的结果，实现查询问题的精准结果输出，减少大模型推理时产生的“幻觉”现象。

2、为解决上述技术问题，本发明提出的技术方案为：

3、一种基于知识图谱和大型语言模型协同的智能查询推理方法，步骤包括：

4、步骤s01.输入待查的问题查询q，使用预先建立的实体抽取提示模板作为上下文提示，通过llm从所述问题查询q中提取关键实体；

5、步骤s02.根据提取出的关键实体与知识图谱中实体之间的相似度，确定提取出的关键实体在知识图谱上的实体链接；

6、步骤s03.使用预训练语言模型对提取出的关键实体构建知识子图结构，以用于检索与问题查询q内容匹配的外部知识图谱中的知识，其中以提取出的关键实体作为开始节点，沿着问题查询q和实体集合m之间预测关系集合r中的关系序列遍历知识图，选择到达下一个查询中实体的路径，直至到达终端节点，所述终端节点包括关键实体集合中的实体以及外部实体，由所有选择的路径合并构成所述知识子图结构；

7、步骤s04.向llm发送查询指令，llm根据问题查询q以及构建的所述知识子图结构进行结构化知识推理，输出查询结果以及按照所述知识子图结构进行推理得到的推理结果。

8、进一步的，所述步骤s01包括：

9、由多个示例的输入句子q_p和相应的实体集m_p，建立一组实体抽取提示模板{q_p,m_p}；

10、将所述实体抽取提示模板{q_p,m_p}附加至问题查询q以作为上下文提示，由llm根据所述实体抽取提示模板{q_p,m_p}从所述问题查询q中提取关键实体，并生成对应的实体集m。

11、进一步的，所述步骤s02中，通过将提取出的关键实体m_q以及知识图谱中实体集m_kg输入至预训练语言模型中进行模糊匹配，提取关键实体m_q和知识图谱中实体集m_kg的所有实体的相似度距离，选择距离最小的作为提取关键实体m_q在知识图谱上的实体链接。

12、进一步的，步骤s03中构建所述知识子图结构时，还包括使用预训练语言模型构建关系分类器和跳数分类器，所述关系分类器用于从问题查询q和实体集合m中预测关系的集合r，所述跳数分类器用于预测遍历的最大跳数n；根据所述关系分类器和跳数分类器控制构建形成所述知识子图结构。

13、进一步的，步骤s03中构建所述知识子图结构包括：不重复的沿着所述预测关系集合r的关系遍历从提取出的关键实体开始的知识图，选择到达查询中出现的另一个实体的路径，如果没有可以到达其他查询中实体的路径，则随机选择其中一条路径，直至到达距离为n跳的终端节点，将所有从开始节点到终端节点的路径合并构成所述知识子图结构。

14、进一步的，步骤s03中，构建形成所述知识子图结构后，还包括将所述知识子图结构中每个知识形成以头实体、关系、尾实体的结构化三元组的形式。

15、进一步的，步骤s04包括：预先构建思维图提示模板，按照构建的所述思维图提示模板指导llm对问题查询q进行结构化知识推理，所述思维图提示模板包括向llm发送系统指令、问题查询q、所述知识子图结构以及引导指令，由所述系统指令定义llm查询身份以确定应答行为，由所述引导指令控制输出查询结果以及输出按照所述知识子图结构进行推理得到的推理结果。

16、一种基于知识图谱和大型语言模型协同的智能查询推理装置，包括：

17、实体提取模块，用于输入待查的问题查询q，使用预先建立的实体抽取提示模板作为上下文提示，通过llm从所述问题查询q中提取关键实体；

18、实体链接模块，用于根据提取出的关键实体与知识图谱中实体之间的相似度，确定提取出的关键实体在知识图谱上的实体链接；

19、知识子图构建模块，用于使用预训练语言模型对提取出的关键实体构建知识子图结构，以用于检索与问题查询q内容匹配的外部知识图谱中的知识，其中以提取出的关键实体作为开始节点，沿着问题查询q和实体集合m之间预测关系集合r中的关系序列遍历知识图，选择到达下一个查询中实体的路径，直至到达终端节点，所述终端节点包括关键实体集合中的实体以及外部实体，由所有选择的路径合并构成所述知识子图结构；

20、查询推理模块，用于向llm发送查询指令，llm根据问题查询q以及构建的所述知识子图结构进行结构化知识推理，输出查询结果以及按照所述知识子图结构进行推理得到的推理结果。

21、一种计算机装置，包括处理器以及存储器，所述存储器用于存储计算机程序，所述处理器用于执行所述计算机程序以执行如上述方法。

22、一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现如上述方法。

23、与现有技术相比，本发明的优点在于：

24、1、本发明通过将具备结构化事实知识的知识图谱整合进llm中，结合对查询问题的实体识别与链接，利用知识子图构建实现外部知识匹配以及融合，能够可以有效实现对llm进行外部显示知识的补充，在llm中融入外部知识推理时生成的结果，使得可以修正错误的生成结果，减少大模型推理时产生的“幻觉”现象，最终得到查询问题的精确知识输出。

25、2、本发明通过利用语言模型对查询中的关键实体进行知识子图构建，通过从提取出的关键实体开始，沿着问题查询和实体集合之间预测关系集合中的关系序列遍历知识图，由所有选择的路径合并形成知识子图结构，相比于传统的检索类或向量匹配的方式，利用知识子图结构可以从内容和结构两方面匹配外部的知识图谱的相关知识，同时保持结构不变，避免信息的丢失，从而确保查询问题结果的精准度。