相似问题生成、模型的构建方法和相关设备与流程

本发明涉及语言处理，尤其涉及一种相似问题生成、模型的构建方法和相关设备。

背景技术：

1、随着计算机技术的蓬勃发展，人工智能领域也得到了迅速发展，闲聊软件等也得到了越来越广泛的使用。

2、但是，现有的相似问题生成模型在训练阶段，采用相似问题生成模型对输入的闲聊型问题进行闲聊型答案预测，未对使得闲聊型问题进行部分遮蔽处理，使得所构建的相似问题生成模型的泛化能力较低。

技术实现思路

1、本发明解决的问题是提供一种相似问题生成方法、相似问题生成模型的构建方法和相关设备，能够提高相似问题生成模型的泛化能力。

2、为解决上述问题，本发明提供了一种相似问题生成模型的构建方法，包括：

3、获取相似问题训练语料对，所述相似问题训练语料对包括源相似问题和目标相似问题；

4、对所述相似问题训练语料对中的源相似问题进行遮蔽处理，使被遮蔽部分在所述源相似问题中的占比符合预设需求，得到残缺源相似问题；

5、采用具有初始权重的相似问题生成模型，对所述残缺源相似问题进行目标相似问题预测，完成一次训练；

6、通过多个相似问题训练语料对执行多次迭代训练，对所述相似问题生成模型的初始权重进行调整，直至所述相似问题生成模型在预设验证集上的损失值收敛，获取调整后的权重作为所述相似问题生成模型的权重。

7、相应地，所述对所述相似问题训练语料对中的源相似问题进行遮蔽处理，使被遮蔽部分在所述源相似问题中的占比符合预设需求，得到残缺源相似问题，包括：

8、以字或词为单位对所述源相似问题进行遮蔽处理，使被遮蔽部分在所述源相似问题中的占比符合预设需求，得到残缺源相似问题。

9、相应地，对于同一相似问题训练语料对执行的多次训练，所述源相似问题中被遮蔽部分至少部分不同。

10、相应地，所述相似问题生成模型包括编码层和解码层；

11、所述采用具有初始权重的相似问题生成模型，对所述残缺源相似问题进行目标相似问题预测，完成一次训练，包括：将所述残缺源相似问题和所述目标相似问题输入所述编码层，使得所述编码层根据所述残缺源相似问题和所述目标相似问题，分别生成所述残缺源相似问题的隐藏状态和所述目标相似问题的隐藏状态；将所述残缺源相似问题的隐藏状态输入所述解码层，使得所述解码层根据所述残缺源相似问题的隐藏状态，生成所述目标相似问题的预测相似问题；

12、每次迭代训练包括：采用预设数量的相似问题训练语料对分别对所述相似问题生成模型进行训练，获取预设数量的预测相似问题；根据预测相似问题与所述相似问题训练语料对中所述目标相似问题之间的差异、所述残缺源相似问题的隐藏状态和所述源相似问题之间差异、所述残缺源相似问题的隐藏状态和所述目标相似问题的隐藏状态之间的差异，分别采用预设的损失函数计算得到损失值；根据计算得到的损失值进行网络反向传播求导，获取梯度值；根据反向传播求导得到的梯度值，对相似问题生成模型的权重进行一次调整。

13、相应地，所述损失函数包括对比学习损失函数、数据遮盖损失函数和模型生成交叉熵损失函数；

14、所述对比学习损失函数用于计算所述残缺源相似问题的隐藏状态和所述目标相似问题的隐藏状态之间的第一损失值；

15、所述数据遮盖损失函数用于计算所述残缺源相似问题的隐藏状态和所述源相似问题之间的第二损失值；

16、所述模型生成交叉熵损失函数用于计算所述预测相似问题和所述目标相似问题之间的第三损失值。

17、相应地，本发明实施例还提供了一种相似问题生成模型的构建装置，包括：

18、第一获取单元，适于获取相似问题训练语料对，所述相似问题训练语料对包括源相似问题和目标相似问题；

19、遮蔽处理单元，适于对所述相似问题训练语料对中的源相似问题进行遮蔽处理，使被遮蔽部分在所述源相似问题中的占比符合预设需求，得到残缺源相似问题；

20、所述训练单元，适于采用具有初始权重的相似问题生成模型，对所述残缺源相似问题进行目标相似问题预测，完成一次训练；通过多个相似问题训练语料对执行多次训练，对所述相似问题生成模型的初始权重进行调整，直至所述相似问题生成模型在预设验证集上的损失值收敛，获取调整后的权重作为所述相似问题生成模型的权重。

21、相应地，本发明实施例还提供了一种相似问题生成方法，包括：

22、获取待处理相似问题；

23、采用如上述任一项所述相似问题生成模型的构建方法构建的相似问题生成模型生成所述待处理相似问题的相似问题。

24、相应地，本发明实施例还提供了一种相似问题生成装置，包括：

25、第二获取单元，适获取待处理相似问题；

26、生成单元，适于采用如上述任一项所述的相似问题生成模型的构建方法构建的相似问题生成模型生成所述待处理相似问题的相似问题。

27、相应地，本发明实施例还提供了一种设备，包括至少一个存储器和至少一个处理器，所述存储器存储有一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现如上述任一项所述的相似问题生成模型的构建方法或上述所述的相似问题生成方法。

28、相应地，本发明实施例还提供了一种存储介质，所述存储介质存储有一条或多条计算机指令，所述一条或多条计算机指令用于实现如上述任一项所述的相似问题生成模型的构建方法或上述所述的相似问题生成方法。

29、与现有技术相比，本发明的技术方案具有以下优点：

30、本发明实施例中的技术方案，在获取包括源相似问题和目标相似问题的相似问题训练语料对之后，先对所述相似问题训练语料对中的源相似问题进行遮蔽处理，获取残缺源相似问题，再采用残缺源相似问题和所述目标相似问题对相似问题生成模型进行训练，与直接采用源相似问题和所述目标相似问题对相似问题生成模型进行训练的方式相比，能够提高训练得到的相似问题生成模型的上下文语义理解能力，增强所构建的相似问题生成模型的泛化能力。

技术特征：

1.一种相似问题生成模型的构建方法，其特征在于，包括：

2.根据权利要求1所述的相似问题生成模型的构建方法，其特征在于，所述对所述相似问题训练语料对中的源相似问题进行遮蔽处理，使被遮蔽部分在所述源相似问题中的占比符合预设需求，得到残缺源相似问题，包括：

3.根据权利要求2所述的相似问题生成模型的构建方法，其特征在于，对于同一相似问题训练语料对执行的多次训练，所述源相似问题中被遮蔽部分至少部分不同。

4.根据权利要求1所述的相似问题生成模型的构建方法，其特征在于，所述相似问题生成模型包括编码层和解码层；

5.根据权利要求4所述的相似问题生成模型的构建方法，其特征在于，所述损失函数包括对比学习损失函数、数据遮盖损失函数和模型生成交叉熵损失函数；

6.一种相似问题生成模型的构建装置，其特征在于，包括：

7.一种相似问题生成方法，其特征在于，还包括：

8.一种相似问题生成装置，其特征在于，包括：

9.一种设备，其特征在于，包括至少一个存储器和至少一个处理器，所述存储器存储有一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现如权利要求1-5任一项所述的相似问题生成模型的构建方法或权利要求7所述的相似问题生成方法。

10.一种存储介质，其特征在于，所述存储介质存储有一条或多条计算机指令，所述一条或多条计算机指令用于实现如权利要求1-5任一项所述的相似问题生成模型的构建方法或权利要求7所述的相似问题生成方法。

技术总结
一种相似问题生成、模型的构建方法和相关设备，相似问题生成模型的构建方法包括：获取相似问题训练语料对，相似问题训练语料对包括源相似问题和目标相似问题；对相似问题训练语料对中的源相似问题进行遮蔽处理，使被遮蔽部分在源相似问题中的占比符合预设需求，得到残缺源相似问题；采用具有初始权重的相似问题生成模型，对残缺源相似问题进行目标相似问题预测，完成一次训练；通过多个相似问题训练语料对执行多次迭代训练，对相似问题生成模型的初始权重进行调整，直至相似问题生成模型在预设验证集上的损失值收敛，获取调整后的权重作为相似问题生成模型的权重。本发明技术方案能够提高相似问题生成模型的泛化能力。

技术研发人员：张晓芳
受保护的技术使用者：上海智臻智能网络科技股份有限公司
技术研发日：
技术公布日：2024/1/13