任务型对话及模型训练方法、装置、设备和存储介质与流程

文档序号:24306859发布日期:2021-03-17 00:59阅读:来源:国知局

技术特征:

1.一种任务型对话方法,包括:

接收信息;

采用知识选择模型,选择与所述信息匹配的知识,所述知识选择模型采用结构化知识和非结构化知识预训练得到,所述结构化知识的槽位包括自然语言描述信息;

根据所述信息和所述知识生成回复。

2.根据权利要求1所述的方法,其中,所述根据所述信息和所述知识生成回复,包括:

采用预训练的回复生成模型,根据所述信息和所述知识生成回复,所述回复生成模型包括输入层,所述输入层包括类型向量层,所述类型向量层的输入包括互不相同的信息类型标识、知识类型标识和回复类型标识。

3.根据权利要求2所述的方法,其中,所述回复生成模型还包括:

与所述输入层连接的transformer网络。

4.根据权利要求3所述的方法,其中,所述transformer网络包括:

自注意力层,所述自注意力层包括第一部分和第二部分,所述第一部分是所述信息和所述知识对应的部分,所述第二部分是所述回复对应的部分,所述第一部分采用双向自注意力机制,所述第二部分采用单向自注意力机制。

5.根据权利要求1所述的方法,其中,所述知识选择模型包括transformer网络。

6.一种知识选择模型的训练方法,包括:

获取训练语料,所述训练语料包括训练信息、训练非结构化知识和训练结构化知识,所述训练结构化知识的槽位包括自然语言描述信息;

对所述训练语料进行标注;

采用标注后的训练语料进行训练,生成知识选择模型。

7.根据权利要求6所述的方法,其中,所述对所述训练语料进行标注,包括:

对应训练信息标注第一正样本和第一负样本,所述第一正样本为训练结构化知识中的正样本,所述第一负样本为训练结构化知识中的负样本,所述第一正样本包括:所述训练信息对应槽位的自然语言描述信息所属的训练结构化知识;所述第一负样本包括:非所述训练信息对应槽位的自然语言描述信息所属的训练结构化知识、同领域或不同领域的训练非结构化知识;

对应所述训练信息标注第二正样本和第二负样本,所述第二正样本为训练非结构化知识中的正样本,所述第二负样本为训练非结构化知识中的负样本,所述第二正样本包括:与所述训练信息对应的训练非结构化知识;所述第二负样本包括:非与所述训练信息对应的训练非结构化知识;同领域或不同领域的槽位包括自然语言描述信息的训练结构化知识。

8.根据权利要求6所述的方法,其中,所述采用标注后的训练语料进行训练,生成知识选择模型,包括:

基于transformer网络,采用标注后的训练语料进行训练,生成知识选择模型。

9.一种回复生成模型的训练方法,包括:

获取训练语料,所述训练语料包括训练信息、训练知识和训练回复;

采用输入层将所述训练语料转换为输入向量,所述输入层包括类型向量层,所述类型向量层的输入包括互不相同的信息类型标识、知识类型标识和回复类型标识;

采用深度学习网络对所述输入向量和所述训练回复对应的输出向量进行训练,生成回复生成模型。

10.根据权利要求9所述的方法,其中,所述深度学习网络包括:

transformer网络。

11.根据权利要求10所述的方法,其中,所述transformer网络包括:

自注意力层,所述自注意力层包括第一部分和第二部分,所述第一部分是所述训练信息和所述训练知识对应的部分,所述第二部分是所述训练回复对应的部分,所述第一部分采用双向自注意力机制,所述第二部分采用单向自注意力机制。

12.一种任务型对话装置,包括:

接收模块,用于接收信息;

知识选择模块,用于采用知识选择模型,选择与所述信息匹配的知识,所述知识选择模型采用结构化知识和非结构化知识预训练得到,所述结构化知识的槽位包括自然语言描述信息;

回复生成模块,用于根据所述信息和所述知识生成回复。

13.根据权利要求12所述的装置,其中,所述回复生成模块具体用于:

采用预训练的回复生成模型,根据所述信息和所述知识生成回复,所述回复生成模型包括输入层,所述输入层包括类型向量层,所述类型向量层的输入包括互不相同的信息类型标识、知识类型标识和回复类型标识。

14.根据权利要求13所述的装置,其中,所述回复生成模型还包括:

与所述输入层连接的transformer网络。

15.根据权利要求14所述的装置,其中,所述transformer网络包括:

自注意力层,所述自注意力层包括第一部分和第二部分,所述第一部分是所述信息和所述知识对应的部分,所述第二部分是所述回复对应的部分,所述第一部分采用双向自注意力机制,所述第二部分采用单向自注意力机制。

16.根据权利要求12所述的装置,其中,所述知识选择模型包括transformer网络。

17.一种知识选择模型的训练装置,包括:

获取模块,用于获取训练语料,所述训练语料包括训练信息、训练非结构化知识和训练结构化知识,所述训练结构化知识的槽位包括自然语言描述信息;

标注模块,用于对所述训练语料进行标注;

训练模块,用于采用标注后的训练语料进行训练,生成知识选择模型。

18.根据权利要求17所述的装置,其中,所述标注模块具体用于:

对应训练信息标注第一正样本和第一负样本,所述第一正样本为训练结构化知识中的正样本,所述第一负样本为训练结构化知识中的负样本,所述第一正样本包括:所述训练信息对应槽位的自然语言描述信息所属的训练结构化知识;所述第一负样本包括:非所述训练信息对应槽位的自然语言描述信息所属的训练结构化知识、同领域或不同领域的训练非结构化知识;

对应所述训练信息标注第二正样本和第二负样本,所述第二正样本为训练非结构化知识中的正样本,所述第二负样本为训练非结构化知识中的负样本,所述第二正样本包括:与所述训练信息对应的训练非结构化知识;所述第二负样本包括:非与所述训练信息对应的训练非结构化知识;同领域或不同领域的槽位包括自然语言描述信息的训练结构化知识。

19.根据权利要求17所述的装置,其中,所述训练模块具体用于:

基于transformer网络,采用标注后的训练语料进行训练,生成知识选择模型。

20.一种回复生成模型的训练装置,包括:

获取模块,用于获取训练语料,所述训练语料包括训练信息、训练知识和训练回复;

转换模块,用于采用输入层将所述训练语料转换为输入向量,所述输入层包括类型向量层,所述类型向量层的输入包括互不相同的信息类型标识、知识类型标识和回复类型标识;

训练模块,用于采用深度学习网络对所述输入向量和所述训练回复对应的输出向量进行训练,生成回复生成模型。

21.根据权利要求20所述的装置,其中,所述深度学习网络包括:

transformer网络。

22.根据权利要求21所述的装置,其中,所述transformer网络包括:

自注意力层,所述自注意力层包括第一部分和第二部分,所述第一部分是所述训练信息和所述训练知识对应的部分,所述第二部分是所述训练回复对应的部分,所述第一部分采用双向自注意力机制,所述第二部分采用单向自注意力机制。

23.一种电子设备,包括:

至少一个处理器;以及

与所述至少一个处理器通信连接的存储器;其中,

所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-5或者6-8或者9-11中任一项所述的方法。

24.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行权利要求1-5或者6-8或者9-11中任一项所述的方法。

25.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1-5或者6-8或者9-11中任一项所述的方法。


技术总结
本公开公开了一种任务型对话及模型训练方法、装置、设备和存储介质,涉及计算机技术领域,尤其涉及自然语言处理领域和深度学习领域等人工智能领域。任务型对话方法包括:接收信息;采用知识选择模型,选择与所述信息匹配的知识,所述知识选择模型采用结构化知识和非结构化知识预训练得到,所述结构化知识的槽位包括自然语言描述信息;根据所述信息和所述知识生成回复。本公开可以提高知识选择性能。

技术研发人员:鲍思琪;何煌;陆华;王凡;牛正雨;吴华;何径舟
受保护的技术使用者:北京百度网讯科技有限公司
技术研发日:2020.12.18
技术公布日:2021.03.16
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1