基于检索增强生成的医疗问答文本生成方法和设备与流程

本发明属于医疗问答系统，涉及一种医疗问答文本生成方法和设备，尤其是一种基于检索增强生成的医疗问答文本生成方法和设备。

背景技术：

1、随着人工智能、大数据技术的飞速发展，以大语言模型为代表的新一代人工智能技术带来了革命性的突破，如何基于大语言模型对传统的产品和业务进行重构升级成为了一个火热的研究课题。

2、问答系统是自然语言处理最热门的应用方向之一，系统根据用户输入生成对应的回答以满足用户的需求。但是，人类的自然语言表达方式多样性很大，传统的方法难以很好的应对。而大语言模型具有强大的涌现能力，对于自然语言具备通用的理解能力，跨领域能力和灵活性极高。因此，基于大语言模型的问答系统成为热点研究方向。

3、例如，专利申请号为202310568188.9的中国发明专利提出了一种基于检索增强的金融问答文本生成方法，其具体方案如下：s1、使用检索器，采用双编码器模型分别对开放域以及金融域的问题和检索文档进行编码，并召回问题相关文档。检索器采用基于模糊度监督优化方法调整检索文档的概率；s2、使用检索结果集成器，采用交叉编码器模型对开放域与金融域召回的问题相关文档进行重排并精选检索结果，对精选检索结果与原始上下文采用加权集成策略进行拼接；s3、使用生成器，以加权集成生成的文档为输入，根据问题和检索到的辅助知识生成问答结果。该技术方案能够消除或减少幻觉即事实性错误的生成。但是，上述技术方案主要考虑文本之间的语义相似度，没有考虑文本之间的主题相似度，对用户多样化表达适应能力较弱，知识库切片成功召回率受到限制，导致对话问答系统整体准确率有着局限性。

4、而医疗领域具有极强的专业性，仅仅依靠文本之间的语义相似度难进行召回以满足医疗领域的需求。因此，如何构建专业实用的医疗问答系统是一个很有挑战和意义的课题。

技术实现思路

1、为了克服现有技术的缺陷，本发明提出一种基于检索增强生成的医疗问答文本生成方法和设备，其通过引入文本主题相似度召回路径，解决了传统检索增强生成过程中单纯的语义匹配对文本主题不敏感而导致检索召回率受限的问题，从而提升了医疗问答系统的整体效果。

2、为了实现上述目的，本发明提供如下技术方案：

3、一种基于检索增强生成的医疗问答文本生成方法，其特征在于，包括以下步骤：

4、1)、获取用户输入文本；

5、2)、将所述用户输入文本输入大语言模型，得到与所述用户输入文本对应的文本主题；

6、3)、使用向量化模型将所述用户输入文本以及所述文本主题进行向量化，并将它们的向量化结果进行线性加权以得到最终的输入向量；

7、4)、根据所述最终的输入向量与向量数据库中知识切片的向量的相似度来召回与所述用户输入文本相关度高的知识库切片，作为最终的知识库切片召回结果；

8、5)、将所述用户输入文本和所述最终的知识库切片召回结果输入大语言模型中，由所述大语言模型输出生成的问答结果。

9、优选地，所述步骤2)中的大语言模型是经过预先训练微调后的大语言模型。

10、优选地，训练微调包括以下步骤：

11、创建文本主题生成训练数据集；

12、使用所述文本主题生成训练数据集对大语言模型进行微调。

13、优选地，微调方法为全参数微调方法、lora微调方法或prefix tuning微调方法。

14、优选地，所述向量化模型为m3e模型。

15、优选地，所述步骤4)中，在根据所述最终的输入向量与向量数据库中知识切片的向量的相似度来召回与所述用户输入文本相关度高的知识库切片时，按照相似度降序排列来召回多个知识库切片，并进行去重处理，取相似度最高的n个知识库切片作为最终的知识库切片召回结果。

16、优选地，n设置为10。

17、优选地，所述步骤5)中的大语言模型为chatglm、chatgpt或gpt-4。

18、此外，本发明还提供一种基于检索增强生成的医疗问答文本生成设备，其特征在于，包括：

19、一个或多个处理器；

20、存储器，用于存储一个或多个程序；

21、当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述基于检索增强生成的医疗问答文本生成方法。

22、与现有技术相比，本发明的基于检索增强生成的医疗问答文本生成方法和设备具有如下有益技术效果中的一者或多者：

23、1、本发明通过引入文本主题相似度召回路径，解决了传统检索增强生成过程中单纯的语义匹配对文本主题不敏感而导致检索召回率受限的问题。

24、2、本发明应用于智能医疗问答系统，提升了医疗问答系统的整体准确率，能够满足医疗问答系统的需求。

技术特征：

1.一种基于检索增强生成的医疗问答文本生成方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于检索增强生成的医疗问答文本生成方法，其特征在于，所述步骤2)中的大语言模型是经过预先训练微调后的大语言模型。

3.根据权利要求2所述的基于检索增强生成的医疗问答文本生成方法，其特征在于，训练微调包括以下步骤：

4.根据权利要求3所述的基于检索增强生成的医疗问答文本生成方法，其特征在于，微调方法为全参数微调方法、lora微调方法或prefix tuning微调方法。

5.根据权利要求4所述的基于检索增强生成的医疗问答文本生成方法，其特征在于，所述向量化模型为m3e模型。

6.根据权利要求5所述的基于检索增强生成的医疗问答文本生成方法，其特征在于，所述步骤4)中，在根据所述最终的输入向量与向量数据库中知识切片的向量的相似度来召回与所述用户输入文本相关度高的知识库切片时，按照相似度降序排列来召回多个知识库切片，并进行去重处理，取相似度最高的n个知识库切片作为最终的知识库切片召回结果。

7.根据权利要求6所述的基于检索增强生成的医疗问答文本生成方法，其特征在于，n设置为10。

8.根据权利要求7所述的基于检索增强生成的医疗问答文本生成方法，其特征在于，所述步骤5)中的大语言模型为chatglm、chatgpt或gpt-4。

9.一种基于检索增强生成的医疗问答文本生成设备，其特征在于，包括：

技术总结
本发明属于医疗问答系统技术领域，涉及一种基于检索增强生成的医疗问答文本生成方法和设备，所述方法包括以下步骤：1)、获取用户输入文本；2)、将用户输入文本输入大语言模型，得到对应的文本主题；3)、使用向量化模型将用户输入文本以及对应的文本主题进行向量化，并将它们的向量化结果进行线性加权以得到最终的输入向量；4)、根据最终的输入向量与向量数据库中知识切片的向量的相似度来召回知识库切片；5)、将用户输入文本和知识库切片召回结果输入大语言模型中，由大语言模型输出生成的问答结果。其在检索增强生成过程中引入文本主题相似度，提升了医疗问答系统的整体准确率。

技术研发人员：刘海波,任星宇,王仿
受保护的技术使用者：北京智谱华章科技有限公司
技术研发日：
技术公布日：2024/3/27