模型训练方法、翻译方法、装置、电子设备及存储介质与流程

本申请属于计算机，具体涉及一种模型训练方法、翻译方法、装置、电子设备及存储介质。

背景技术：

1、神经机器翻译技术目前采用基于编码器-解码器框架的神经网络来进行建模。首先，输入的源语句使用网络的编码器来得到一个固定维度的向量，然后网络的解码器使用这个向量逐词地生成对应的翻译结果。相关的模型训练方法，在对翻译模型进行训练时，为了增强翻译模型的抗造性和泛化性，选择在翻译模型的每层产生的表示结果施加扰动的方式来对翻译模型训练。上述方式，会导致编码器给出的表示噪声过大，使得训练得到的目标翻译模型无法学习到有价值的信息，从而导致目标翻译模型的翻译准确性还有待提高。

技术实现思路

1、鉴于上述问题，本申请提出了一种模型训练方法、翻译方法、装置、电子设备以及存储介质，以实现改善上述问题。

2、第一方面，本申请实施例提供了一种模型训练方法，所述方法包括：获取训练数据，所述训练数据为文本数据或者语音数据；将所述训练数据输入到待训练模型的编码器中，获取所述编码器输出的所述训练数据的原始表示向量；对所述原始表示向量施加扰动，得到所述训练数据的有噪表示向量；将所述原始表示向量和所述有噪表示向量输入到所述待训练模型的解码器中，获取所述解码器输出的所述训练数据的第一概率分布和第二概率分布；基于所述第一概率分布和所述第二概率分布，对所述待训练模型进行迭代训练，直至满足训练结束条件，得到目标翻译模型。

3、第二方面，本申请实施例提供了一种翻译方法，所述方法包括：获取待翻译数据，所述待翻译数据包括待翻译文本或待翻译语音；将所述待翻译数据输入到目标翻译模型中，获取所述目标翻译模型输出的所述待翻译数据的翻译结果。

4、第三方面，本申请实施例提供了一种模型训练装置，所述装置包括：数据获取单元，用于获取训练数据，所述训练数据为文本数据或者语音数据；第一输出单元，用于将所述训练数据输入到待训练模型的编码器中，获取所述编码器输出的所述训练数据的原始表示向量；向量确定单元，用于对所述原始表示向量施加扰动，得到所述训练数据的有噪表示向量；第二输出单元，用于将所述原始表示向量和所述有噪表示向量输入到所述待训练模型的解码器中，获取所述解码器输出的所述训练数据的第一概率分布和第二概率分布；训练单元，用于基于所述第一概率分布和所述第二概率分布，对所述待训练模型进行迭代训练，直至满足训练结束条件，得到目标翻译模型。

5、第四方面，本申请实施例提供了一种翻译装置，所述装置包括：数据获取单元，用于获取待翻译数据，所述待翻译数据包括待翻译文本或待翻译语音。翻译单元，用于将所述待翻译数据输入目标翻译模型中，获取所述目标翻译模型输出的所述待翻译数据的翻译结果。

6、第五方面，本申请实施例提供了一种电子设备，包括一个或多个处理器以及存储器；一个或多个程序，其中所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行上述的方法。

7、第六方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有程序代码，其中，在所述程序代码运行时执行上述的方法。

8、本申请实施例提供了一种模型训练方法、翻译方法、装置、电子设备及存储介质。首先获取训练数据，所述训练数据为文本数据或者语音数据，然后将训练数据输入到待训练模型的编码器中，获取编码器输出的训练数据的原始表示向量，对原始表示向量施加扰动，得到训练数据的有噪表示向量，再将原始表示向量和有噪表示向量输入到待训练模型的解码器中，获取解码器输出的训练数据的第一概率分布和第二概率分布，基于第一概率分布和第二概率分布，对待训练模型进行迭代训练，直至满足训练结束条件，得到目标翻译模型。通过上述方法，只在训练数据的原始表示向量上施加扰动，同时引入了对比学习对待训练模型进行训练，在提高了训练得到的目标翻译模型的鲁棒性的同时，也提高了目标翻译模型的翻译准确性。

技术特征：

1.一种模型训练方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述将所述原始表示向量和所述有噪表示向量输入到所述待训练模型的解码器中，获取所述解码器输出的所述训练数据的第一概率分布和第二概率分布，包括：

3.根据权利要求1所述的方法，其特征在于，所述基于所述第一概率分布和所述第二概率分布，对所述待训练模型进行迭代训练，直至满足训练结束条件，得到目标翻译模型，包括：

4.根据权利要求3所述的方法，其特征在于，所述基于所述第一概率分布和所述第二概率分布，确定损失函数值，包括：

5.根据权利要求1所述的方法，其特征在于，所述对所述原始表示向量施加扰动，得到所述训练数据的有噪表示向量，包括：

6.一种翻译方法，其特征在于，所述方法包括：

7.一种模型训练装置，其特征在于，所述装置包括：

8.一种翻译装置，其特征在于，所述装置包括：

9.一种电子设备，其特征在于，包括一个或多个处理器；一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行权利要求1-6任一所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有程序代码，其中，在所述程序代码被处理器运行时执行权利要求1-6任一所述的方法。

技术总结
本申请实施例公开了一种模型训练方法、翻译方法、装置、电子设备及存储介质。所述方法包括：获取训练数据，所述训练数据为文本数据或者语音数据；将所述训练数据输入到待训练模型的编码器中，获取所述编码器输出的所述训练数据的原始表示向量；对所述原始表示向量施加扰动，得到所述训练数据的有噪表示向量；将所述原始表示向量和所述有噪表示向量输入到所述待训练模型的解码器中，获取所述解码器输出的所述训练数据的第一概率分布和第二概率分布；基于所述第一概率分布和所述第二概率分布，对所述待训练模型进行迭代训练，直至满足训练结束条件，得到目标翻译模型。通过上述方法，提高了训练得到的目标翻译模型的鲁棒性。

技术研发人员：史庭训,薛征山,汪浩
受保护的技术使用者：OPPO广东移动通信有限公司
技术研发日：
技术公布日：2024/3/24