基于大语言模型的QA抽取方法，电子设备及存储介质与流程

本发明涉及深度学习领域，特别涉及一种基于大语言模型的qa抽取方法、电子设备及存储介质。

背景技术：

1、现有的从文档中抽取问答对的方法通常采用流水线(pipeline)方式，其主要包含以下两种方法：1)先从文档中抽取可能的答案，再根据答案生成问题；2)根据文本生成可能的问题，再根据问题去文本中抽取答案。这两种方法均忽略了问题生成与答案抽取之间的联系，从而可能导致生成的问答(qa)对不兼容，即抽取的答案不适于问题。

技术实现思路

1、本发明实施方式的目的在于提供一种基于大语言模型的qa抽取方法、电子设备及存储介质，以基于对预训练的大语言模型进行微调，实现端到端的直接进行qa对抽取，避免了qa对不匹配的问题。

2、为解决上述技术问题，本发明的实施方式提供了一种基于大语言模型的qa抽取方法，包括：

3、获取训练用语料文本，并生成所述训练用语料文本的qa对标签数据；

4、为预训练好的大语言模型生成关于模型微调的第一提示词，并将所述第一提示词与所述训练用语料文本拼接后的文本作为训练文本；所述大语言模型用于从语料文本中提取qa对；

5、利用所述训练文本和所述qa对标签数据对所述大语言模型进行模型微调，得到qa对抽取模型；

6、利用所述qa对抽取模型，对待预测的语料文本和第二提示词拼接后的文本进行qa对抽取；其中，所述第一提示词和所述第二提示词的语义相同或相似。

7、本发明的实施方式还提供了一种电子设备，包括：

8、至少一个处理器；以及，

9、与所述至少一个处理器通信连接的存储器；其中，

10、所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的基于大语言模型的qa抽取方法。

11、本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的基于大语言模型的qa抽取方法。

12、本发明实施方式相对于现有技术而言，通过获取训练用语料文本，并生成训练用语料文本的qa对标签数据；为预训练好的大语言模型生成关于模型微调的第一提示词，并将第一提示词与训练用语料文本拼接后的文本作为训练文本；所述大语言模型用于从语料文本中提取qa对；利用训练文本和qa对标签数据对大语言模型进行模型微调，得到qa对抽取模型；利用qa对抽取模型，对待预测的语料文本和第二提示词拼接后的文本进行qa对抽取；其中，第一提示词和第二提示词的语义相同或相似。本方案以基于对预训练的大语言模型进行微调，实现端到端的直接进行qa对抽取，避免了qa对不匹配的问题。

技术特征：

1.一种基于大语言模型的qa抽取方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述获取训练用语料文本，并生成所述训练用语料文本的qa对标签数据，包括：

3.根据权利要求2所述的方法，其特征在于，所述生成所述训练用语料文本的qa对标签数据，包括：

4.根据权利要求2所述的方法，其特征在于，所述生成所述训练用语料文本的qa对标签数据，包括：

5.根据权利要求1所述的方法，其特征在于，所述为预训练好的大语言模型生成关于模型微调的第一提示词，包括：

6.根据权利要求1所述的方法，其特征在于，所述利用所述训练文本和所述qa对标签数据对所述大语言模型进行模型微调，得到qa对抽取模型，包括：

7.根据权利要求1所述的方法，其特征在于，所述待预测的语料文本的格式包括pdf、doc、txt中的至少一种。

8.根据权利要求1所述的方法，其特征在于，所述利用所述qa对抽取模型，对待预测的语料文本和第二提示词拼接后的文本进行qa对抽取，包括：

9.一种电子设备，其特征在于，包括：

10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的基于大语言模型的qa抽取方法。

技术总结
本发明实施例涉及深度学习领域，公开了一种基于大语言模型的QA抽取方法、电子设备及存储介质，通过获取训练用语料文本，并生成训练用语料文本的QA对标签数据；为预训练好的大语言模型生成关于模型微调的第一提示词，并将第一提示词与训练用语料文本拼接后的文本作为训练文本；所述大语言模型用于从语料文本中提取QA对；利用训练文本和QA对标签数据对大语言模型进行模型微调，得到QA对抽取模型；利用QA对抽取模型，对待预测的语料文本和第二提示词拼接后的文本进行QA对抽取；其中，第一提示词和第二提示词的语义相同或相似。本方案实现端到端的直接进行QA对抽取，避免了QA对不匹配的问题。

技术研发人员：张发展
受保护的技术使用者：达闼机器人股份有限公司
技术研发日：
技术公布日：2024/3/21