对话模型的训练方法、装置、电子设备和存储介质与流程

本申请涉及人工智能领域，尤其涉及自然语言处理、深度学习等领域，具体涉及对话模型的训练方法、装置、电子设备和存储介质。

背景技术：

1、随着自然语言领域发展走向超大规模模型时代，通过超强算力在海量文本数据上训练超大参数量模型可以使得产出的大语言模型具有多任务、少样本学习的通用语义理解与生成能力。为了使得预训练后的大模型生成符合人类需求的内容，可以对大语言模型进行微调。

技术实现思路

1、本申请提供了一种对话模型的训练方法、装置、电子设备和存储介质。具体方案如下：

2、根据本申请的一方面，提供了一种对话模型的训练方法，包括：

3、获取训练样本，其中，训练样本中包括至少一个任务的对话样本；

4、将训练样本输入初始对话模型，以获取初始对话模型输出的预测回复语句；

5、根据预测回复语句与对话样本中的参考回复语句之间的差异，对初始对话模型进行训练，得到对话模型。

6、根据本申请的另一方面，提供了一种对话生成方法，包括：

7、获取输入语句；

8、将输入语句输入到对话模型，以获取对话模型输出的回复语句，其中，对话模型是采用如一方面实施例的方法训练得到的。

9、根据本申请的一方面，提供了一种对话模型的训练装置，包括：

10、第一获取模块，用于获取训练样本，其中，训练样本中包括至少一个任务的对话样本；

11、第二获取模块，用于将训练样本输入初始对话模型，以获取初始对话模型输出的预测回复语句；

12、训练模块，用于根据预测回复语句与对话样本中的参考回复语句之间的差异，对初始对话模型进行训练，得到对话模型。

13、根据本申请的另一方面，提供了一种对话生成装置，包括：

14、第一获取模块，用于获取输入语句；

15、第二获取模块，用于将输入语句输入到对话模型，以获取对话模型输出的回复语句，其中，对话模型是采用如上述一方面实施例的方法训练得到的。

16、根据本申请的另一方面，提供了一种电子设备，包括：

17、至少一个处理器；以及

18、与所述至少一个处理器通信连接的存储器；其中，

19、所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述实施例所述的方法。

20、根据本申请的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据上述实施例所述的方法。

21、根据本申请的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现上述实施例所述方法的步骤。

22、应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。

技术特征：

1.一种对话模型的训练方法，包括：

2.如权利要求1所述的方法，其中，所述获取训练样本，包括：

3.如权利要求2所述的方法，其中，所述m个不同任务的对话样本集中至少一个对话样本集中的对话样本携带有参考知识，所述采样的i个对话样本满足预设条件，包括以下至少一项：

4.如权利要求2所述的方法，其中，所述根据所述i个对话样本，获取所述训练样本，包括：

5.如权利要求4所述的方法，其中，所述将第1个到第i-1个对话样本中的对话与所述第i个对话样本进行拼接，得到所述训练样本，包括：

6.如权利要求5所述的方法，其中，所述将第1个到第i个对话样本中的对话进行拼接，得到中间样本，包括：

7.如权利要求2所述的方法，其中，所述对m个不同任务的对话样本集进行采样，得到第i个对话样本，包括：

8.如权利要求7所述的方法，还包括：

9.如权利要求7所述的方法，还包括：

10.如权利要求1所述的方法，其中，所述根据所述预测回复语句与所述对话样本中的参考回复语句之间的差异，对所述初始对话模型进行训练，得到对话模型，包括：

11.如权利要求1所述的方法，其中，所述根据所述预测回复语句与所述对话样本中的参考回复语句之间的差异，对所述初始对话模型进行训练，得到对话模型，包括：

12.如权利要求1所述的方法，其中，所述将所述训练样本输入初始对话模型，以获取所述初始对话模型输出的预测回复语句，包括：

13.如权利要求1所述的方法，其中，所述将所述训练样本输入初始对话模型，以获取所述初始对话模型输出的预测回复语句，包括：

14.一种对话生成方法，包括：

15.一种对话模型的训练装置，包括：

16.如权利要求15所述的装置，其中，所述第一获取模块，用于：

17.如权利要求16所述的装置，其中，所述m个不同任务的对话样本集中至少一个对话样本集中的对话样本携带有参考知识，所述第一获取模块，用于：

18.如权利要求16所述的装置，其中，所述第一获取模块，用于：

19.如权利要求18所述的装置，其中，所述第一获取模块，用于：

20.如权利要求19所述的装置，其中，所述第一获取模块，用于：

21.如权利要求16所述的装置，其中，所述第一获取模块，用于：

22.如权利要求21所述的装置，还包括：

23.如权利要求21所述的装置，还包括：

24.如权利要求15所述的装置，其中，所述训练模块，用于：

25.如权利要求15所述的装置，其中，所述训练模块，用于：

26.如权利要求15所述的装置，其中，所述第二获取模块，用于：

27.如权利要求15所述的装置，其中，所述第二获取模块，用于：

28.一种对话生成装置，包括：

29.一种电子设备，包括：

30.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-13中任一项所述的方法，或者执行根据权利要求14所述的方法。

31.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现权利要求1-13中任一项所述方法的步骤，或者实现权利要求14所述方法的步骤。

技术总结
本申请公开了对话模型的训练方法、装置、电子设备和存储介质，涉及人工智能领域，尤其涉及自然语言处理、深度学习等领域，可以应用于大语言模型的微调。具体实现方案为：获取训练样本，其中，训练样本中包括至少一个任务的对话样本；将训练样本输入初始对话模型，以获取初始对话模型输出的预测回复语句；根据预测回复语句与对话样本中的参考回复语句之间的差异，对初始对话模型进行训练，得到对话模型。由此，利用包括不同任务对话样本的训练样本对初始对话模型进行训练，可以使对话模型学习多任务知识，从而可以避免用户与对话模型多轮交互后，出现回复质量下降问题。

技术研发人员：尚骏远,王硕寰,丁思宇,赵晏彬,朱鹏飞,柴业坤,孙宇,吴华,王海峰
受保护的技术使用者：北京百度网讯科技有限公司
技术研发日：
技术公布日：2024/1/16