一种基于大语言模型的特定领域智能问答系统及方法与流程

本发明涉及大语言模型，具体为一种基于大语言模型的特定领域智能问答系统及方法。

背景技术：

1、随着领域特定知识库(kbs)的不断扩大，人们越来越关注如何有效地访问这些宝贵的资源。基于领域特定知识库的问答(dskb-qa)作为一种用户友好的解决方案，已经备受关注，并以自然语言作为查询语言。dskb-qa的目标是自动检索准确的结果，并根据与用户查询的相关性对其进行聚合。

2、现有技术中，在自然语言处理领域的问答系统中，问题分类是至关重要的，它为问题分配标签，并在大型数据集中缩小搜索范围。这有助于准确定位和验证答案。像xlnet这样基于transformer的模型因其学习全局语义表示的能力以及在大规模数据集上处理能力而受到关注，而且它们不依赖于顺序信息。它们显著提高了自然语言处理任务的性能，包括文本分类。

3、但是，在特定领域中，对于表达原始、非结构化问题和答案的关注不足。此外，基于触发问题找到候选问题的效率以及生成合理答案的能力也受到忽视。

技术实现思路

1、本发明的目的在于提供一种基于大语言模型的特定领域智能问答系统及方法，以解决上述背景技术中提出的问题。

2、为实现上述目的，本发明提供如下技术方案：一种基于大语言模型的特定领域智能问答系统，所述系统由问题分析器、问题分类模块、嵌入模块以及llm模型组成；

3、问题分析器，根据特定规则生成格式化的问题qf；

4、问题分类模块，使用在政府相关领域的标记问题上训练的分类模型来识别问题类型t；

5、嵌入模块，获取候选答案；

6、llm模型，得出最终答案。

7、优选的，嵌入模块中，政府相关领域中的相似性问题和问题-答案对通过问题分析器转换为格式化表示，在qqp数据集上微调sentence-t5模型，以获得针对目标问题和qap中的问题的嵌入，通过匹配与问题类型t对应的候选嵌入，获得相似性问题，并从知识数据集qap中获取候选答案。

8、优选的，dsqa-llm使用特定领域的提示微调llm模型，借助候选答案和经过微调的llm模型，生成一个合理的答案，在呈现给用户之前进行准确性验证。

9、一种基于大语言模型的特定领域智能问答方法，所述方法包括以下步骤：

10、根据特定规则生成格式化的问题qf；

11、使用在政府相关领域的标记问题上训练的分类模型来识别问题类型t；

12、获取候选答案；

13、得出最终答案。

14、优选的，政府相关领域中的相似性问题和问题-答案对通过问题分析器转换为格式化表示，在qqp数据集上微调sentence-t5模型，以获得针对目标问题和qap中的问题的嵌入，通过匹配与问题类型t对应的候选嵌入，获得相似性问题，并从知识数据集qap中获取候选答案。

15、优选的，dsqa-llm使用特定领域的提示微调llm模型，借助候选答案和经过微调的llm模型，生成一个合理的答案，在呈现给用户之前进行准确性验证。

16、与现有技术相比，本发明的有益效果是：

17、本发明提出的基于大语言模型的特定领域智能问答系统及方法，通过集成xlnet进行问题分类以及使用sentencet5进行新颖的相似性搜索方法，我们进而提高了系统的效率和准确性。此外，我们还利用强大的gpt-3.5-turbo来生成连贯的答案。我们实现了dsqa-llm，并构建了一个包含127,840个问题-答案对的数据集。通过对真实问题进行应用，有效验证了我们问答系统的有效性。

技术特征：

1.一种基于大语言模型的特定领域智能问答系统，其特征在于：所述系统由问题分析器、问题分类模块、嵌入模块以及llm模型组成；

2.根据权利要求1所述的一种基于大语言模型的特定领域智能问答系统，其特征在于：嵌入模块中，政府相关领域中的相似性问题和问题-答案对通过问题分析器转换为格式化表示，在qqp数据集上微调sentence-t5模型，以获得针对目标问题和qap中的问题的嵌入，通过匹配与问题类型t对应的候选嵌入，获得相似性问题，并从知识数据集qap中获取候选答案。

3.根据权利要求1所述的一种基于大语言模型的特定领域智能问答系统，其特征在于：dsqa-llm使用特定领域的提示微调llm模型，借助候选答案和经过微调的llm模型，生成一个合理的答案，在呈现给用户之前进行准确性验证。

4.一种根据权利要求1-3任意一项所述的基于大语言模型的特定领域智能问答系统的基于大语言模型的特定领域智能问答方法，其特征在于：所述方法包括以下步骤：

5.根据权利要求4所述的一种基于大语言模型的特定领域智能问答方法，其特征在于：政府相关领域中的相似性问题和问题-答案对通过问题分析器转换为格式化表示，在qqp数据集上微调sentence-t5模型，以获得针对目标问题和qap中的问题的嵌入，通过匹配与问题类型t对应的候选嵌入，获得相似性问题，并从知识数据集qap中获取候选答案。

6.根据权利要求4所述的一种基于大语言模型的特定领域智能问答方法，其特征在于：dsqa-llm使用特定领域的提示微调llm模型，借助候选答案和经过微调的llm模型，生成一个合理的答案，在呈现给用户之前进行准确性验证。

技术总结
本发明涉及大语言模型技术领域，具体为一种基于大语言模型的特定领域智能问答系统及方法，由问题分析器、问题分类模块、嵌入模块以及LLM模型组成；问题分析器，根据特定规则生成格式化的问题Qf；问题分类模块，使用在政府相关领域的标记问题上训练的分类模型来识别问题类型T；嵌入模块，获取候选答案；LLM模型，得出最终答案；有益效果为：本发明提出的基于大语言模型的特定领域智能问答系统及方法，通过集成XLNET进行问题分类以及使用SentenceT5进行新颖的相似性搜索方法，我们进而提高了系统的效率和准确性。此外，我们还利用强大的GPT‑3.5‑turbo来生成连贯的答案。我们实现了DSQA‑LLM，并构建了一个包含127,840个问题‑答案对的数据集，有效验证了问答系统的有效性。

技术研发人员：黄登蓉,李锐,张思嘉,王慧平,景伟,王光鑫
受保护的技术使用者：山东浪潮科学研究院有限公司
技术研发日：
技术公布日：2024/3/12