机器翻译方法、装置及电子设备

本发明涉及自然语言处理及转换，尤其是涉及一种机器翻译方法、装置及电子设备。

背景技术：

1、机器翻译是指运用计算机技术将一种自然语言自动转换为另一种自然语言的过程。随着深度学习技术的发展，神经机器翻译已经成为目前机器翻译的主流方法，在高资源翻译场景已达到相对优越的性能。但神经机器翻译在低资源翻译场景中，性能会发生大幅下降，所以如何通过低资源模型开发过程中进行全面的跨语言迁移学习，进而提高低资源模型的性能和实用性，是当前亟待解决的问题。

技术实现思路

1、有鉴于此，本发明的目的在于提供一种机器翻译方法、装置及电子设备。

2、第一方面，本发明实施例提供了一种机器翻译方法，包括：获取待翻译文本；将待翻译文本输入至第一模型中，输出待翻译文本的第一上下文表示以及第一上下文表示对应的第一概率分布；第一模型用于第一语言与第二语言的互译；从第一数据库中检索与第一上下文表示最近邻的第一键值对；第一数据库基于第一模型、第一模型对应的第一训练语料、第二模型和第二模型对应的第二训练语料进行跨语言迁移学习的过程中获得，第二模型用于第三语言与第二语言的互译，键值对包括上下文表示和上下文表示对应的词元；基于第一键值对生成第二概率分布；基于第一概率分布和第二概率分布生成待翻译文本的翻译结果。

3、在本发明较佳的实施例中，上述第一模型、第一模型对应的第一训练语料、第二模型和第二模型对应的第二训练语料进行跨语言迁移学习得到第一数据库，包括：将第一训练语料包括的目标端句子输入至第二模型，输出平行语料；基于第二模型生成第二训练语料包括的词元的第二上下文表示；基于词元和第二上下文表示构成第二数据库；基于第二模型对平行语料进行推理得到第三上下文表示；从第二数据库中提取与第三上下文表示对应的第二键值对；基于第二键值对构成第一数据库。

4、在本发明较佳的实施例中，上述将第一训练语料包括的目标端句子输入至第二模型，输出平行语料，包括：将目标端句子输入至第二模型，输出对应目标端句子的伪源端句子；合成伪源端句子、目标端句子和第一训练语料包括的源端句子，得到平行语料。

5、在本发明较佳的实施例中，上述将第二训练语料包括的目标端句子输入至第二模型，输出平行语料之后，包括：初始化第一模型；基于第一训练语料和平行语料训练初始化后的第一模型。

6、在本发明较佳的实施例中，上述初始化第一模型，包括：将第二模型的嵌入层以外的参数复制到第一模型中；

7、对比第二模型的第一词表和第一模型的第二词表；词表用于示出源端句子的词元和目标端句子的词元的对应关系；若第一词表中的第一词元和第二词表中的第二词元相同，将与第一词元对应的词元复制到第一模型中；将第二词表中的没有被初始化的其余词元基于正态分布随机初始化。

8、在本发明较佳的实施例中，上述基于第一训练语料和平行语料训练初始化后的第一模型，包括：将第一训练语料输入至初始化后的第一模型中，输出第四上下文表示；将平行语料输入至第二模型中，输出第五上下文表示；基于第四上下文表示和第五上下文表示确定损失函数；基于损失函数训练初始化后的第一模型。

9、在本发明较佳的实施例中，上述基于第二模型对平行语料进行推理得到第三上下文表示，包括：基于第二模型和平行语料得到第六上下文表示；计算第六上下文表示与第二数据库中每个上下文表示的欧式距离；检索得到欧式距离最近邻的预设个数的第三上下文表示。

10、在本发明较佳的实施例中，上述基于第一概率分布和第二概率分布生成待翻译文本的翻译结果，包括：通过以下算式基于第一概率分布和第二概率分布生成第三概率分布：

11、其中，表示第三概率分布，表示第一概率分布，λ表示超参数，表示第二概率分布，表示当前解码步骤的上下文表示，表示当前解码步骤的上下文表示与第一数据库中各个上下文表示的欧氏距离，τ表示温度系数，kj和vj表示第一键值对；基于第三概率分布确定待翻译文本的翻译结果。

12、第二方面，本发明实施例还提供一种机器翻译装置，包括：待翻译文本获取模块，用于获取待翻译文本；待翻译文本输入模块，用于将待翻译文本输入至第一模型中，输出待翻译文本的第一上下文表示以及第一上下文表示对应的第一概率分布；第一模型用于第一语言与第二语言的互译；第一数据库检索模块，用于从第一数据库中检索与第一上下文表示最近邻的第一键值对；第一数据库基于第一模型、第一模型对应的第一训练语料、第二模型和第二模型对应的第二训练语料进行跨语言迁移学习的过程中获得，第二模型用于第三语言与第二语言的互译，键值对包括上下文表示和上下文表示对应的词元；第二概率分布生成模块，用于基于第一键值对生成第二概率分布；翻译结果生成模块，用于基于第一概率分布和第二概率分布生成待翻译文本的翻译结果。

13、第三方面，本发明实施例还提供一种电子设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机可执行指令，所述处理器执行所述计算机可执行指令以实现上述第一方面的机器翻译方法。

14、本发明实施例带来了以下有益效果：

15、本发明实施例提供了一种机器翻译方法、装置及电子设备，通过从第一数据库检索与第一上下文表示最近邻的第一键值对，利用第一键值对生成第二概率分布，再通过第一概率分布和第二概率分布生成待翻译文本的翻译结果，使得翻译结果更准确。通过基于第一模型、第一模型对应的第一训练语料、第二模型和第二模型对应的第二训练语料进行跨语言迁移学习，提高了第二模型的利用率，利用第二模型对第一模型可以使用最近邻检索的性能进一步增强，以及增强了第一模型使用最近邻检索方法的实用性。

16、本公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本公开的上述技术即可得知。

17、为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

技术特征：

1.一种机器翻译方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，基于所述第一模型、所述第一模型对应的第一训练语料、第二模型和所述第二模型对应的第二训练语料进行跨语言迁移学习得到所述第一数据库，包括：

3.根据权利要求2所述的方法，其特征在于，所述将所述第一训练语料包括的目标端句子输入至所述第二模型，输出平行语料，包括：

4.根据权利要求2所述的方法，其特征在于，在所述将所述第二训练语料包括的目标端句子输入至所述第二模型，输出平行语料之后，所述方法包括：

5.根据权利要求4所述的方法，其特征在于，所述初始化所述第一模型，包括：

6.根据权利要求4所述的方法，其特征在于，所述基于第一训练语料和所述平行语料训练初始化后的第一模型，包括：

7.根据权利要求2所述的方法，其特征在于，所述基于所述第二模型对所述平行语料进行推理得到第三上下文表示，包括：

8.根据权利要求1所述的方法，其特征在于，所述基于所述第一概率分布和所述第二概率分布生成所述待翻译文本的翻译结果，包括：

9.一种机器翻译装置，其特征在于，包括：

10.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机可执行指令，所述处理器执行所述计算机可执行指令以实现权利要求1至8任一项所述的机器翻译方法。

技术总结
本发明提供了一种机器翻译方法、装置及电子设备，涉及于自然语言处理及转换技术领域，包括：获取待翻译文本；将待翻译文本输入至第一模型中，输出待翻译文本的第一上下文表示以及第一上下文表示对应的第一概率分布；从第一数据库中检索与第一上下文表示最近邻的第一键值对；基于第一键值对生成第二概率分布；基于第一概率分布和第二概率分布生成待翻译文本的翻译结果，提高了翻译的准确性。通过基于第一模型、第一模型对应的第一训练语料、第二模型和第二模型对应的第二训练语料进行跨语言迁移学习，提高了第二模型的利用率，利用第二模型对第一模型可以使用最近邻检索的性能进一步增强，以及增强了第一模型使用最近邻检索方法的实用性。

技术研发人员：黄辉,刘树东,李昭聪,刘学博
受保护的技术使用者：澳门大学
技术研发日：
技术公布日：2024/1/15