文本翻译方法、装置、存储介质和计算机设备与流程

文档序号:21365376发布日期:2020-07-04 04:40阅读:来源:国知局

技术特征:

1.一种文本翻译方法,包括:

获取初始源文本和重构源文本;所述重构源文本是对所述初始源文本进行缺略词位置信息补充而得到的源文本;

对所述初始源文本进行语义编码,得到与所述初始源文本对应的源端向量序列,并根据源端注意力分配权重向量,对所述源端向量序列进行计算得到源端内容向量;

依次对所述源端向量序列进行解码得到目标端向量,且每次解码时根据前次确定的候选目标词的词向量进行解码,并根据当次的目标端向量确定当次的候选目标词、以及所述候选目标词对应的翻译分数;

将依次解码得到的目标端向量构成目标端向量序列,并根据目标端注意力分配权重向量,对所述目标端向量序列进行计算得到目标端内容向量;

按照所述重构源文本,对所述源端内容向量和所述目标端内容向量进行重构评估处理,得到与各候选目标词对应的重构分数;

根据所述各候选目标词生成候选目标文本,并依据所述翻译分数和所述重构分数,从所述候选目标文本中筛选出与所述初始源文本对应的目标文本。

2.根据权利要求1所述的方法,其特征在于,所述获取初始源文本和重构源文本包括:

获取初始源文本;

通过预训练的缺略词还原模型确定所述初始源文本中缺略词的位置;

在所述缺略词的位置处添加指代符以得到重构源文本。

3.根据权利要求1所述的方法,其特征在于,所述依次对所述源端向量序列进行解码得到的目标端向量,且每次解码时根据前次确定的候选目标词的词向量进行解码,并根据当次的目标端向量确定当次的候选目标词,包括

依次获取当次的与所述源端向量序列对应的注意力分配权重向量;

根据所述注意力分配权重向量、以及所述源端向量序列,计算得到当次的内容向量;

依次根据当次的内容向量、前次的目标端向量、以及前次确定的候选目标词的词向量,计算得到当次的目标端向量,并根据当次的目标端向量确定当次的候选目标词。

4.根据权利要求1所述的方法,其特征在于,所述按照所述重构源文本,对所述源端内容向量和所述目标端内容向量进行重构评估处理,得到与各候选目标词对应的重构分数,包括:

根据所述重构源文本中当前词的前一词的词向量、与所述重构源文本中前一词对应的隐层状态向量、所述源端语义向量、以及所述目标端语义向量,计算得到与所述重构源文本中当前词对应的隐层状态向量;

根据与所述重构源文本中当前词对应的隐层状态向量、所述重构源文本中当前词的前一词的词向量、所述源端语义向量、以及所述目标端语义向量,计算得到与所述重构源文本中当前词所对应的重构分数;

对与所述重构源文本中各词所对应的重构分数进行连乘运算,得到与各候选目标词对应的重构分数。

5.根据权利要求4所述的方法,其特征在于,所述方法还包括:

对所述重构源文本中当前词的前一词的词向量、所述重构模块所输出的与所述重构源文本中前一词对应的隐层状态向量、以及所述源端向量序列进行注意力机制处理,得到与所述源端向量序列对应的源端注意力分配权重向量;或,

对所述重构源文本中当前词的前一词的词向量、所述重构模块所输出的与所述重构源文本中前一词对应的隐层状态向量、所述源端向量序列、以及所述目标端内容向量进行注意力机制处理,得到与所述源端向量序列对应的源端注意力分配权重向量。

6.根据权利要求4所述的方法,其特征在于,所述方法还包括:

对所述重构源文本中当前词的前一词的词向量、所述重构模块所输出的与所述重构源文本中前一词对应的隐层状态向量、以及所述目标端向量序列进行注意力机制处理,得到与所述目标端向量序列对应的目标端注意力分配权重向量;或,

对所述重构源文本中当前词的前一词的词向量、所述重构模块所输出的与所述重构源文本中前一词对应的隐层状态向量、所述目标端向量序列、以及所述源端内容向量进行注意力机制处理,得到与所述目标端向量序列对应的目标端注意力分配权重向量。

7.根据权利要求1所述的方法,其特征在于,所述依据所述翻译分数和所述重构分数,从所述候选目标文本中筛选出与所述初始源文本对应的目标文本,包括:

根据各所述候选目标文本中的每个候选目标词对应的翻译分数和重构分数,计算得到各所述候选目标文本分别对应的加权分数;

筛选加权分数最大的候选目标文本作为与所述初始源文本对应的目标文本。

8.根据权利要求1至7中任一项所述的方法,其特征在于,所述文本翻译方法通过机器翻译模型执行,所述机器翻译模型的训练步骤包括:

获取初始样本源文本、参考目标文本、以及重构样本源文本;所述重构样本源文本是对所述初始样本源文本进行缺略词位置信息补充而得到的源文本;

将所述初始样本源文本输入机器翻译模型中进行训练,得到预测目标文本;

依据所述参考目标文本和预测目标文本构建最大似然函数;

通过所述机器翻译模型,获取与所述初始样本源文本对应的源端样本向量序列、以及目标端样本向量序列;

依据所述重构样本源文本、所述源端样本向量序列、以及所述目标端样本向量序列构建重构评估函数;

根据所述最大似然函数和所述重构评估函数,确定目标函数;

将所述目标函数最大化时的模型参数作为机器翻译模型的模型参数,返回所述将所述初始样本源文本输入机器翻译模型中进行训练,得到预测目标文本的步骤继续训练,直至满足训练停止条件时停止训练。

9.根据权利要求8所述的方法,其特征在于,所述根据所述最大似然函数和所述重构评估函数,确定目标函数包括:

将所述最大似然函数和所述重构评估函数的加权和函数作为所述机器翻译模型的目标函数;其中,通过以下公式表示所述目标函数:

其中,θ和γ分别是模型参数;[x,y]是模型训练中的训练样本对;gr()和fr()分别为归一化函数和激活函数;表示所述重构样本源文本中的第i-1个词的词向量;表示与重构样本源文本中的第i个词的词向量对应的隐层状态向量序列;hj表示各源端样本向量或目标端样本向量;表示源端注意力分配权重或目标端注意力分配权重;·表示向量点乘运算。

10.根据权利要求9所述的方法,其特征在于,所述方法还包括:

获取与所述初始样本源文本对应的样本缺略词序列;

通过所述机器翻译模型的重构模块对所述源端样本向量序列、以及所述目标端样本向量序列进行缺略词重构处理,得到与所述样本缺略词序列对应的隐层状态向量序列;

根据所述样本缺略词序列和所述隐层状态向量序列构建缺略词还原函数;

所述根据所述最大似然函数和所述重构评估函数,确定目标函数包括:

根据所述最大似然函数、所述重构评估函数、以及所述缺略词还原函数,确定目标函数。

11.根据权利要求10所述的方法,其特征在于,所述根据所述最大似然函数、所述重构评估函数、以及所述缺略词还原函数,确定目标函数,包括:

将所述最大似然函数、所述重构评估函数、以及所述缺略词还原函数的加权和函数作为所述机器翻译模型的目标函数;其中,通过以下公式表示所述目标函数:

其中,θ、γ和τ分别是模型参数;dp={dp1,dp2,…,dpd}是样本缺略词序列;是与所述样本缺略词序列对应的隐层状态向量序列;gp()是归一化函数。

12.一种文本翻译装置,其特征在于,所述装置包括:

获取模块,用于获取初始源文本和重构源文本;所述重构源文本是对所述初始源文本进行缺略词位置信息补充而得到的源文本;

编码模块,用于对所述初始源文本进行语义编码,得到与所述初始源文本对应的源端向量序列,并根据源端注意力分配权重向量,对所述源端向量序列进行计算得到源端内容向量;

解码模块,用于依次对所述源端向量序列进行解码得到目标端向量,且每次解码时根据前次确定的候选目标词的词向量进行解码,并根据当次的目标端向量确定当次的候选目标词、以及所述候选目标词对应的翻译分数;

拼接模块,用于将依次解码得到的目标端向量构成目标端向量序列,并根据目标端注意力分配权重向量,对所述目标端向量序列进行计算得到目标端内容向量;

重构模块,用于按照所述重构源文本,对所述源端内容向量和所述目标端内容向量进行重构评估处理,得到与各候选目标词对应的重构分数;

生成模块,用于根据所述各候选目标词生成候选目标文本,并依据所述翻译分数和所述重构分数,从所述候选目标文本中筛选出与所述初始源文本对应的目标文本。

13.根据权利要求12所述的装置,其特征在于,所述获取模块还用于获取初始源文本;通过预训练的缺略词还原模型确定所述初始源文本中缺略词的位置;在所述缺略词的位置处添加指代符以得到重构源文本。

14.一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行如权利要求1至11中任一项所述方法的步骤。

15.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如权利要求1至11中任一项所述方法的步骤。


技术总结
本申请涉及一种文本翻译方法,包括:获取初始源文本和补充了缺略词位置信息的重构源文本;对初始源文本进行编码得到源端向量序列,根据源端注意力分配权重向量和源端向量序列计算得到源端内容向量;根据前次确定的候选目标词依次对源端向量序列进行解码得到目标端向量,根据当次的目标端向量确定当次的候选目标词和翻译分数;将目标端向量构成目标端向量序列,根据目标端注意力分配权重向量和目标端向量序列计算得到目标端内容向量;按照重构源文本对源端内容向量和目标端内容向量进行重构评估处理,得到重构分数;根据各候选目标词生成候选目标文本,依据翻译分数和重构分数从候选目标文本中筛选目标文本。本申请提供的方案可以提高翻译质量。

技术研发人员:涂兆鹏;王龙跃
受保护的技术使用者:腾讯科技(深圳)有限公司
技术研发日:2018.09.05
技术公布日:2020.07.03
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1