语言大模型融合NLU的对话系统设计方法及装置与流程

本发明涉及nlu对话，具体涉及一种语言大模型融合nlu的对话系统设计方法及装置。

背景技术：

1、目前，传统nlu(泛指除大模型以外的使用统计分类方法进行自然语音理解的算法)通过统计分类的方法，将用户的意图划分到具体的领域，并在此基础之上进行领域信息提取，从而生成格式化文本。但是由于传统nlu方法缺少上下文的理解，所以在复杂对话系统中，在遇到有上下文指代关系的语义格式化输出的时候，在进行意图判断和槽位信息抽取的时候会出错。

2、而大语言模型(泛指目前达到百亿级别的类似于chatgpt的模型)通过海量数据的学习，涌现出对语义信息的深度理解能力和极强的多轮对话能力，并且根据需求不同可以生成符合角色的回复。但是由于大模型是生成模型，独立进行对话的时候会出现如下问题：大模型格式化文本输出具有一定的不确定性，造成对话系统的不稳定；现有对话系统已经完成了很多功能，直接用大模型进行替代会有很大的工作量。

技术实现思路

1、为此，本发明提供一种语言大模型融合nlu的对话系统设计方法及装置，解决传统nlu和大语言模型在nlu对话系统中单独使用所存在的问题。

2、为了实现上述目的，本发明提供如下技术方案：一种语言大模型融合nlu的对话系统设计方法，包括：

3、获取用户的语音对话输入信息，将所述语音对话输入信息输送到nlu意图判断模型得到第一意图信息输出结果，将所述语音对话输入信息输送到意图分类大语言模型得到第二意图信息输出结果；

4、将所述第一意图信息输出结果和所述第二意图信息输出结果输送到结果仲裁器，利用所述结果仲裁器的冲裁策略得到意图仲裁结果，所述结果仲裁器的冲裁策略包括：

5、比较所述第一意图信息输出结果和所述第二意图信息输出结果的置信度，若所述第一意图信息输出结果的置信度大于所述第二意图信息输出结果的置信度，采用所述第一意图信息输出结果作为意图仲裁结果；若所述第一意图信息输出结果的置信度不大于所述第二意图信息输出结果的置信度，采用所述第二意图信息输出结果作为意图仲裁结果；

6、将所述意图仲裁结果输入对话管理系统，生成意图动作并语音反馈给用户。

7、作为语言大模型融合nlu的对话系统设计方法优选方案，所述结果仲裁器的冲裁策略还包括：

8、判断所述第一意图信息输出结果和所述第二意图信息输出结果的所属领域，若所述第一意图信息输出结果属于聊天领域，所述第二意图信息输出结果属于非聊天领域，采用所述第二意图信息输出结果作为意图仲裁结果。

9、作为语言大模型融合nlu的对话系统设计方法优选方案，所述结果仲裁器的冲裁策略还包括：

10、判断所述第一意图信息输出结果和所述第二意图信息输出结果的所属领域是否相同，若所述第一意图信息输出结果和所述第二意图信息输出结果的所属领域相同，采用所述第二意图信息输出结果作为意图仲裁结果。

11、作为语言大模型融合nlu的对话系统设计方法优选方案，对用户进行用户画像，根据用户画像选择匹配用户的角色库。

12、作为语言大模型融合nlu的对话系统设计方法优选方案，通过匹配用户的所述角色库生成用户的陪伴角色，通过prompt方式生成提示词，将所述意图仲裁结果和提示词同时输入到生成式大模型，生成对用户的最终回复结果。

13、本发明还提供一种语言大模型融合nlu的对话系统设计装置，包括：

14、第一意图结果识别模块，用于获取用户的语音对话输入信息，将所述语音对话输入信息输送到nlu意图判断模型得到第一意图信息输出结果；

15、第二意图结果识别模块，用于获取用户的语音对话输入信息，将所述语音对话输入信息输送到意图分类大语言模型得到第二意图信息输出结果；

16、意图结果仲裁模块，用于将所述第一意图信息输出结果和所述第二意图信息输出结果输送到结果仲裁器，利用所述结果仲裁器的冲裁策略得到意图仲裁结果，所述意图结果仲裁模块包括：

17、置信度分析子模块，用于比较所述第一意图信息输出结果和所述第二意图信息输出结果的置信度，若所述第一意图信息输出结果的置信度大于所述第二意图信息输出结果的置信度，采用所述第一意图信息输出结果作为意图仲裁结果；若所述第一意图信息输出结果的置信度不大于所述第二意图信息输出结果的置信度，采用所述第二意图信息输出结果作为意图仲裁结果；

18、意图动作反馈模块，用于将所述意图仲裁结果输入对话管理系统，生成意图动作并语音反馈给用户。

19、作为语言大模型融合nlu的对话系统设计装置优选方案，所述意图结果仲裁模块还包括：

20、意图领域分析子模块，用于判断所述第一意图信息输出结果和所述第二意图信息输出结果的所属领域，若所述第一意图信息输出结果属于聊天领域，所述第二意图信息输出结果属于非聊天领域，采用所述第二意图信息输出结果作为意图仲裁结果。

21、作为语言大模型融合nlu的对话系统设计装置优选方案，所述意图结果仲裁模块还包括：

22、领域相同分析子模块，用于判断所述第一意图信息输出结果和所述第二意图信息输出结果的所属领域是否相同，若所述第一意图信息输出结果和所述第二意图信息输出结果的所属领域相同，采用所述第二意图信息输出结果作为意图仲裁结果。

23、作为语言大模型融合nlu的对话系统设计装置优选方案，还包括用户画像模块，用于对用户进行用户画像，根据用户画像选择匹配用户的角色库。

24、作为语言大模型融合nlu的对话系统设计装置优选方案，还包括：

25、陪伴角色生成模块，用于通过匹配用户的所述角色库生成用户的陪伴角色；

26、回复结果生成模块，用于通过prompt方式生成提示词，将所述意图仲裁结果和提示词同时输入到生成式大模型，生成对用户的最终回复结果。

27、本发明具有如下优点：获取用户的语音对话输入信息，将所述语音对话输入信息输送到nlu意图判断模型得到第一意图信息输出结果，将所述语音对话输入信息输送到意图分类大语言模型得到第二意图信息输出结果；将所述第一意图信息输出结果和所述第二意图信息输出结果输送到结果仲裁器，利用所述结果仲裁器的冲裁策略得到意图仲裁结果，所述结果仲裁器的冲裁策略包括：比较所述第一意图信息输出结果和所述第二意图信息输出结果的置信度，若所述第一意图信息输出结果的置信度大于所述第二意图信息输出结果的置信度，采用所述第一意图信息输出结果作为意图仲裁结果；若所述第一意图信息输出结果的置信度不大于所述第二意图信息输出结果的置信度，采用所述第二意图信息输出结果作为意图仲裁结果；将所述意图仲裁结果输入对话管理系统，生成意图动作并语音反馈给用户。本发明解决传统对话系统的不足，利用nlu和大语言模型的融合，更好的输出符合用户需求的反馈结果，给终端客户以更好的使用体验。

技术特征：

1.一种语言大模型融合nlu的对话系统设计方法，其特征在于，包括：

2.根据权利要求1所述的一种语言大模型融合nlu的对话系统设计方法，其特征在于，所述结果仲裁器的冲裁策略还包括：

3.根据权利要求1所述的一种语言大模型融合nlu的对话系统设计方法，其特征在于，所述结果仲裁器的冲裁策略还包括：

4.根据权利要求1所述的一种语言大模型融合nlu的对话系统设计方法，其特征在于，对用户进行用户画像，根据用户画像选择匹配用户的角色库。

5.根据权利要求4所述的一种语言大模型融合nlu的对话系统设计方法，其特征在于，通过匹配用户的所述角色库生成用户的陪伴角色，通过prompt方式生成提示词，将所述意图仲裁结果和提示词同时输入到生成式大模型，生成对用户的最终回复结果。

6.一种语言大模型融合nlu的对话系统设计装置，其特征在于，包括：

7.根据权利要求6所述的一种语言大模型融合nlu的对话系统设计装置，其特征在于，所述意图结果仲裁模块还包括：

8.根据权利要求6所述的一种语言大模型融合nlu的对话系统设计装置，其特征在于，所述意图结果仲裁模块还包括：

9.根据权利要求6所述的一种语言大模型融合nlu的对话系统设计装置，其特征在于，还包括用户画像模块，用于对用户进行用户画像，根据用户画像选择匹配用户的角色库。

10.根据权利要求9所述的一种语言大模型融合nlu的对话系统设计装置，其特征在于，还包括：

技术总结
一种语言大模型融合NLU的对话系统设计方法及装置，该方法获取用户的语音对话输入信息，将语音对话输入信息输送到NLU意图判断模型得到第一意图信息输出结果，将语音对话输入信息输送到意图分类大语言模型得到第二意图信息输出结果；将第一意图信息输出结果和第二意图信息输出结果输送到结果仲裁器，利用结果仲裁器的冲裁策略得到意图仲裁结果；将意图仲裁结果输入对话管理系统，生成意图动作并语音反馈给用户；通过匹配用户的角色库生成用户的陪伴角色，将意图仲裁结果和提示词输入到生成式大模型，生成对用户的最终回复结果。本发明利用NLU和大语言模型的融合，更好的输出符合用户需求的反馈结果，给终端客户以更好的使用体验。

技术研发人员：鲍晴峰,张莉萍,黄盼,陈吉胜
受保护的技术使用者：云知声（杭州）智能科技有限公司
技术研发日：
技术公布日：2024/3/24