一种面向任务型对话中一致性识别的模型化预训练方法、系统及介质

文档序号:36812539发布日期:2024-01-26 16:15阅读:来源:国知局

技术特征:

1.一种面向任务型对话中一致性识别的模块化预训练方法,其特征在于,包括:

2.根据权利要求1所述的面向任务型对话中一致性识别的模块化预训练方法,其特征在于,所述骨干网络选取bert网络,用于判断当前系统响应与当前的用户查询、历史对话、知识库是否一致,判断的计算过程为:

3.根据权利要求1所述的面向任务型对话中一致性识别的模块化预训练方法,查询响应匹配任务数据集由单轮无知识基础对话组成;对话历史一致性识别任务数据集由多轮无知识基础对话组成;基于知识库的掩码建模任务数据集由table-to-text数据集组成。

4.根据权利要求2所述的面向任务型对话中一致性识别的模块化预训练方法,所述s3中对骨干网络进行查询响应一致性识别预训练的具体过程为:

5.根据权利要求2所述的面向任务型对话中一致性识别的模块化预训练方法,所述s4中对s3预训练后骨干网络进行对话历史一致性识别预训练的具体过程为:

6.根据权利要求2所述的面向任务型对话中一致性识别的模块化预训练方法,所述s5中对s4预训练后骨干网络进行基于知识库的一致性识别预训练的具体过程为:

7.根据权利要求4-6任一项所述的面向任务型对话中一致性识别的模块化预训练方法,其特征在于,预训练采用的损失函数为标准的交叉熵损失函数。

8.一种面向任务型对话中一致性识别的模块化预训练系统,其特征在于,包括:

9.一种计算机可读存储介质,其特征在于:存储了计算机程序,所述计算机程序被处理器调用时以执行:权利要求1-7任一项所述方法的步骤。


技术总结
本发明公开了一种面向任务型对话中一致性识别的模块化预训练方法、系统及介质,其中方法包括:选取预训练的骨干网络;获取预训练数据构建查询响应匹配任务数据集、对话历史一致性识别任务数据集、基于知识库的掩码建模任务数据集;基于查询响应匹配任务数据集,对骨干网络进行查询响应一致性识别预训练;进而基于对话历史一致性识别任务数据集,对骨干网络进行对话历史一致性识别预训练;进而通过基于知识库的掩码建模任务数据集,对骨干网络进行基于知识库的一致性识别预训练。三种预训练后,模型可进行面向任务型对话中的一致性识别。解决了预训练因训练目标及训练数据的一般性而导致的难以针对上下文理解和知识库推理能力进行训练的问题。

技术研发人员:覃立波,李勤政,黄仕爵,陈麒光,刘乾,车万翔,徐睿峰
受保护的技术使用者:中南大学
技术研发日:
技术公布日:2024/1/25
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1