一种语句处理方法及装置、电子设备、计算机存储介质与流程

1.本技术涉及神经机器翻译领域，尤其涉及一种语句处理方法及装置、电子设备、计算机存储介质。


背景技术：

2.在机器翻译领域，时态是语言表达中的关键信息，将源语言文本的时态信息正确传递到目标语言文本是基本要求。以汉英机器翻译为例，在汉英机器翻译过程中，由于英语和汉语表现时态信息的方式具有较大的差异，英语作为屈折语言，通常使用动词的词形变化来表明不同的时态，而汉语则缺少动词的词形变化，通常需要借助时间名词、副词、助词等上下文信息才能判断出句子的正确时态，因此，将汉语翻译为英语的过程中，时态翻译成为汉英机器翻译的难点。
3.近几年，随着神经机器翻译(nmt，neural machine translation)模型框架的提出和深入研发，机器翻译系统的翻译质量取得了突破性进展。尽管如此，当前的神经机器翻译模型在汉英翻译的时态翻译一致性方面还存在较为严重的问题。
4.在采用基线神经机器翻译系统翻译本领域通用的nist2003汉英翻译测试集时，从该测试集中随机挑选200句，并做人工错误分析后发现，出现时态一致性错误的句子有61句，占比30％。相关统计结果见表1所示的基线nmt系统时态翻译问题调研结果。
5.从表1所示的统计结果可以看出，采用基线神经机器翻译系统对挑选的测试集样本进行翻译后，翻译结果存在的时态错误占据了很大比例。因此，需要采取相关方案处理汉英翻译时的时态一致性问题。
6.表1基线nmt系统时态翻译问题调研结果
[0007][0008]
在一种方案中，针对统计机器翻译框架，提供一种基于汉语语言模型n-gram的时态翻译模型，并与基于短语的统计机器翻译(smt，statistical machine translation)系统结合以提升翻译前后的时态一致性。在基于n-gram的时态模型中，称一个句子的主时态为文档级别的句间时态(即inter tense)，而句子内每个目标词语的时态被称为句子级别
的句内时态(即intra tense)。该实施方式采用了句间时态特征和句内时态特征两个特征，并通过相关算法从英文的句法分析结果中获取英文语料对应的句间时态和句内时态，进而利用这个标注时态的语料来训练基于n-gram的时态模型，之后根据这两个时态翻译模型的得分值来对解码端的所有假定译文进行重新打分，并找出得分最高的译文作为最终结果。该实施方式中，前一个句子翻译结束时，该句的主时态将被保存到解码端缓存中，并传递给下一句，直到文档翻译结束再清除这个主时态缓存。此实施方式实现了跨句子的目标端时态传递。采用此实施方式时，在建立的n-gram时态翻译模型时，针对的是目标端句子间的时态信息进行建模，一旦语篇中某些句子时态翻译错误，错误将传播到语篇中后续的句子；此外，此实施方式主要解决的是句间时态传递和一致性控制问题，未实现句内时态翻译一致性控制，当翻译过程没有上下句信息可以利用时，此实施方式将无法处理时态翻译的一致性。
[0009]
在另一种方案中，通过依赖独立训练的源端汉语时态分类模块，先借助该模块预测源端汉语时态信息，再经由传统注意力机制或对齐信息将时态信息传递给目标端英语，进而在解码选词过程中强制选择与源端时态一致的候选词，实现汉语到英语的时态翻译一致性；另一种方法则面向神经机器翻译框架，在传统神经机器翻译框架中引入额外的时态注意力模块，并借助该模块直接预测目标端单词的预期时态，整个过程不需要事先预测源端单词时态，之后再采用预测的目标端单词时态来指导解码选词过程，从而实现汉语到英语的时态翻译一致性。此实施方式仅考虑利用句内信息实现时态预测和时态翻译一致性控制，完全不考虑时态的跨句传递问题，因此，当出现类似“我昨天到厦门了。几个朋友在我入住的酒店一起聚餐”的语句时，由于第二个句子没有任何时态标志的，将无法实现对第二个语句的时态的正确翻译。
[0010]
综上，现有技术在对待翻译语句进行翻译时，若待翻译的语句中不包括时态标识，将难以正确的确定待翻译语句的时态。


技术实现要素：

[0011]
为解决在待翻译的语句中不包括时态标识时，难以正确的确定待翻译语句的时态的问题，本技术提供了一种语句处理方法及装置、电子设备、计算机存储介质。
[0012]
本技术涉及一种语句处理方法，所述方法包括：
[0013]
在利用神经机器翻译模型将第一源语言语句翻译为目标语言语句的过程中，确定所述第一源语言语句中的目标词语在所述过程中的解码阶段生成的至少一个候选单词，并确定所述候选单词的时态；
[0014]
利用时态预测模型对所述第一源语言语句中的目标词语的时态进行预测，确定所述第一源语言语句中的目标词语的预测时态；
[0015]
基于所述候选单词的时态以及所述预测时态确定所述候选单词的概率。
[0016]
在本技术一可选实施方式中，所述候选单词具有对应的初始概率值，所述基于所述候选单词的时态以及所述预测时态确定所述候选单词的概率，包括：
[0017]
在所述候选单词的时态与所述预测时态不一致的情况下，将所述候选单词的初始概率值的k倍确定为所述候选单词的概率；其中，k为大于零且小于1的数值；
[0018]
在所述候选单词的时态与所述预测时态一致的情况下，将所述候选单词的初始概
率值确定为所述候选单词的概率。
[0019]
在本技术一可选实施方式中，所述时态预测模型包括时态标注模型以及时态生成模型，所述利用时态预测模型对所述第一源语言语句中的目标词语的时态进行预测，确定所述第一源语言语句中的目标词语的预测时态，包括：
[0020]
在利用神经机器翻译模型将第一源语言语句翻译为目标语言语句的过程中，确定所述过程中的编码阶段生成的中间向量；
[0021]
利用所述时态标注模型对所述中间向量进行词性标注，生成所述第一源语言语句的词性标注向量；
[0022]
将所述词性标注向量输入至所述时态生成模型，确定所述时态生成模型顶层的隐状态。
[0023]
在本技术一可选实施方式中，所述时态预测模型还包括时态注意力模型，所述利用时态预测模型对所述第一源语言语句中的目标词语的时态进行预测，确定所述第一源语言语句中的目标词语的预测时态，还包括：
[0024]
在对所述第一源语言语句中的目标词语进行解码阶段的每个解码时间步，将所述时态生成模型顶层的隐状态输入至所述时态注意力模型，得到所述第一源语言语句中的目标词语的第一上下文向量；所述第一上下文向量用于表示与该解码时间步解码的目标词语的时态预测相关的第一源语言语句信息；
[0025]
通过全连接网络模型将所述时态生成模型顶层的隐状态与所述第一上下文向量组合，得到该解码时间步解码的目标词语的第一时态注意力隐状态。
[0026]
在本技术一可选实施方式中，所述神经机器翻译模型包括传统注意力模型，所述利用时态预测模型对所述第一源语言语句中的目标词语的时态进行预测，确定所述第一源语言语句中的目标词语的预测时态，还包括：
[0027]
在对所述第一源语言语句中的目标词语进行解码阶段的每个解码时间步，将所述神经机器翻译模型的解码网络顶层的隐状态输入至所述传统注意力模型，得到所述第一源语言语句中的目标词语的第二上下文向量；所述第二上下向量用于表示与该解码时间步解码的目标词语所在的第一源语言语句的信息；
[0028]
基于所述第二上下文向量确定所述第一源语言语句的目标词语为主动词的概率。
[0029]
在本技术一可选实施方式中，所述利用时态预测模型对所述第一源语言语句中的目标词语的时态进行预测，确定所述第一源语言语句中的目标词语的预测时态，还包括：
[0030]
基于第二源语言语句中的目标词语的时态隐状态以及所述第一时态注意力隐状态确定所述第一源语言语句中的目标词语的第二时态注意力隐状态；所述第二源语言语句为所述第一源语言语句的前一句语句
[0031]
在本技术一可选实施方式中，所述利用时态预测模型对所述第一源语言语句中的目标词语的时态进行预测，确定所述第一源语言语句中的目标词语的预测时态，还包括：
[0032]
若所述第一源语言语句中的目标词语为主动词的概率大，则将所述第二源语言语句中的目标词语的时态隐状态确定为所述第一源语言语句中的目标词语的最终时态注意力隐状态；或者，将所述第二时态注意力隐状态确定为所述第一源语言语句中的目标词语的最终时态注意力隐状态。
[0033]
在本技术一可选实施方式中，所述利用时态预测模型对所述第一源语言语句中的
目标词语的时态进行预测，确定所述第一源语言语句中的目标词语的预测时态，还包括：
[0034]
基于所述第二时态注意力隐状态确定所述第一源语言语句中的目标词语预测目标时态分布；基于所述预测目标时态分布确定所述第一源语言语句中的目标词语的预测时态。
[0035]
本技术还提供了一种语句处理装置，所述装置包括：
[0036]
第一确定单元，用于在利用神经机器翻译模型将第一源语言语句翻译为目标语言语句的过程中，确定所述第一源语言语句中的目标词语在所述过程中的解码阶段生成的至少一个候选单词，并确定所述候选单词的时态；
[0037]
第二确定单元，用于利用时态预测模型对所述第一源语言语句中的目标词语的时态进行预测，确定所述第一源语言语句中的目标词语的预测时态；
[0038]
第三确定单元，用于基于所述候选单词的时态以及所述预测时态确定所述候选单词的概率。
[0039]
在本技术一可选实施方式中，所述候选单词具有对应的初始概率值，所述第三确定单元具体用于：在所述候选单词的时态与所述预测时态不一致的情况下，将所述候选单词的初始概率值的k倍确定为所述候选单词的概率；其中，k为大于零且小于1的数值；在所述候选单词的时态与所述预测时态一致的情况下，将所述候选单词的初始概率值确定为所述候选单词的概率。
[0040]
在本技术一可选实施方式中，所述时态预测模型包括时态标注模型以及时态生成模型，所述第二确定单元具体用于：在利用神经机器翻译模型将第一源语言语句翻译为目标语言语句的过程中，确定所述过程中的编码阶段生成的中间向量；利用所述时态标注模型对所述中间向量进行词性标注，生成所述第一源语言语句的词性标注向量；将所述词性标注向量输入至所述时态生成模型，确定所述时态生成模型顶层的隐状态。
[0041]
在本技术一可选实施方式中，所述时态预测模型还包括时态注意力模型，所述第二确定单元还具体用于：在对所述第一源语言语句中的目标词语进行解码阶段的每个解码时间步，将所述时态生成模型顶层的隐状态输入至所述时态注意力模型，得到所述第一源语言语句中的目标词语的第一上下文向量；所述第一上下文向量用于表示与该解码时间步解码的目标词语的时态预测相关的第一源语言语句信息；通过全连接网络模型将所述时态生成模型顶层的隐状态与所述第一上下文向量组合，得到该解码时间步解码的目标词语的第一时态注意力隐状态。
[0042]
在本技术一可选实施方式中，所述神经机器翻译模型包括传统注意力模型，所述第二确定单元还具体用于：在对所述第一源语言语句中的目标词语进行解码阶段的每个解码时间步，将所述神经机器翻译模型的解码网络顶层的隐状态输入至所述传统注意力模型，得到所述第一源语言语句中的目标词语的第二上下文向量；所述第二上下向量用于表示与该解码时间步解码的目标词语所在的第一源语言语句的信息；基于所述第二上下文向量确定所述第一源语言语句的目标词语为主动词的概率。
[0043]
在本技术一可选实施方式中，所述第二确定单元还具体用于：基于第二源语言语句中的目标词语的时态隐状态以及所述第一时态注意力隐状态确定所述第一源语言语句中的目标词语的第二时态注意力隐状态；所述第二源语言语句为所述第一源语言语句的前一句语句。
[0044]
在本技术一可选实施方式中，所述第二确定单元还具体用于：若所述第一源语言语句中的目标词语为主动词的概率大，则将所述第二源语言语句中的目标词语的时态隐状态确定为所述第一源语言语句中的目标词语的最终时态注意力隐状态；或者，将所述第二时态注意力隐状态确定为所述第一源语言语句中的目标词语的最终时态注意力隐状态。
[0045]
在本技术一可选实施方式中，所述第二确定单元还具体用于：基于所述第二时态注意力隐状态确定所述第一源语言语句中的目标词语预测目标时态分布；基于所述预测目标时态分布确定所述第一源语言语句中的目标词语的预测时态。
[0046]
本技术提供一种电子设备，包括：处理器和存储器，该存储器用于存储计算机程序，所述处理器用于调用并运行所述存储器中存储的计算机程序，执行上述语句处理方法。
[0047]
本技术提供一种计算机可读存储介质，其特征在于，用于存储计算机程序，所述计算机程序使得计算机执行上述语句处理方法。
[0048]
本技术的技术方案，在利用神经机器翻译模型将第一源语言语句翻译为目标语言语句的过程中，确定所述第一源语言语句中的目标词语在所述过程中的解码阶段生成的至少一个候选单词，并确定所述候选单词的时态；利用时态预测模型对所述第一源语言语句中的目标词语的时态进行预测，确定所述第一源语言语句中的目标词语的预测时态；基于所述候选单词的时态以及所述预测时态确定所述候选单词的概率。如此，通过在传统神经机器翻译框架基础上，引入时态预测模型关注源语言句子中与时态表达相关的信息，并生成对于源语言语句的时态预测结果，再以此时态预测来指导机器翻译的译文的生成，降低译文生成过程中候选词表里单词时态与预测结果不一致的单词的概率。
附图说明
[0049]
图1为本技术实施例提供的结合时态注意力机制的神经机器翻译模型整体框架；
[0050]
图2为本技术实施例提供的语句处理方法的流程示意图；
[0051]
图3为本技术实施例提供的时态预测模型和时态传递机制的内部结构示意图。
[0052]
图4为本技术实施例提供的语句处理装置的结构组成示意图；
[0053]
图5为本技术实施例提供的一种电子设备示意性结构图；
[0054]
图6为本技术实施例提供的芯片的示意性结构图。
具体实施方式
[0055]
为了能够更加详尽地了解本技术实施例的特点与技术内容，下面结合附图对本技术的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本技术。
[0056]
图1为本技术实施例提供的结合时态注意力机制的神经机器翻译模型整体框架，如图1所示，该框架包括神经机器翻译模型以及时态预测模型，其中，神经机器翻译模型包括编码模块102、传统注意力结构103以及解码模块104，源语言语句101输入至神经机器翻译模型后，最后能够输出目标语言语句106；图中105代表解码阶段的集束搜索(即beam-search)。时态预测模型包括时态注意力模型108以及时态生成模型109，此外，图中107代表对源语言语句进行词性标注后获取的与时态相关的信息，图中111代表跨句传递的时态隐状态，用于记录并传递每个源语言语句中的主动词对应的时态预测隐状态，图中110代表时态注意力模型生成的目标端时态的预测结果。
[0057]
本技术实施例的语句处理方法主要基于图1所示的结合时态注意力机制的神经机器翻译模型整体框架来实现。本技术实施例中的语句处理方法主要用于将源语言语句翻译为目标语言语句时的时态确定，其中，源语言可以为汉语，目标语言可以为英语。需要说明的是，本技术实施例的语句处理方法并不仅限于用于汉英机器翻译，所有在将源语言语句翻译为目标语言语句过程中，需要确定目标语言语句的时态的场景均可以采用本技术实施例的语句处理方法来实现。
[0058]
图2为本技术实施例提供的语句处理方法的流程示意图，如图2所示，本技术实施例的语句处理方法主要包括以下步骤：
[0059]
步骤201：在利用神经机器翻译模型将第一源语言语句翻译为目标语言语句的过程中，确定所述第一源语言语句中的目标词语在所述过程中的解码阶段生成的至少一个候选单词，并确定所述候选单词的时态。
[0060]
具体的，在利用神经机器翻译模型将第一源语言语句翻译成目标语言语句时，对于第一源语言语句中的每个词汇，在利用解码模块解码的过程中都会生成与该词汇对应的多个目标语言的候选单词，对于第一源语言语句中的目标词语也会相应的生成与该目标词语对应的多个目标语言的候选单词，候选单词具有相应的时态，多个候选单词之间的时态可能相同也可能不同，每个候选单词都具有相应的概率值，在确定最佳候选单词的时候会基于候选单词的概率来选定最终生成的目标语言语句时采用哪个候选单词。本技术实施例中，源语言语句中的目标词语一般是指源语言语句中能够表征源语言语句的时态的词语。
[0061]
步骤202：利用时态预测模型对所述第一源语言语句中的目标词语的时态进行预测，确定所述第一源语言语句中的目标词语的预测时态。
[0062]
本技术一可选实施方式中，在利用神经机器翻译模型将第一源语言语句翻译为目标语言语句的过程中，确定所述过程中的编码阶段生成的中间向量；
[0063]
利用所述时态标注模型对所述中间向量进行词性标注，生成所述第一源语言语句的词性标注向量；
[0064]
将所述词性标注向量输入至所述时态生成模型，确定所述时态生成模型顶层的隐状态。
[0065]
具体的，在将第一源语言语句输入至神经机器翻译模型中后，神经机器翻译模型中的编码模块会输出对第一源语言语句进行编码后的中间向量，该中间向量将分别被用于目标译文生成和目标时态生成(通过传统注意力模型和解码模块处理)。此外，该中间向量还会输入至时态预测模型，首先通过时态预测模型中的时态标注模型对于该中间向量进行词性标注，获得第一源语言语句中与时态表达有关的词性，并将其转换为向量形式，这些向量将作为时态生成模型输入信息的一部分，生成时态生成模型顶层的隐状态。
[0066]
本技术一可选实施方式中，在对所述第一源语言语句中的目标词语进行解码阶段的每个解码时间步，将所述时态生成模型顶层的隐状态输入至所述时态注意力模型，得到所述第一源语言语句中的目标词语的第一上下文向量；所述第一上下文向量用于表示与该解码时间步解码的目标词语的时态预测相关的第一源语言语句信息；
[0067]
通过全连接网络模型将所述时态生成模型顶层的隐状态与所述第一上下文向量组合，得到该解码时间步解码的目标词语的第一时态注意力隐状态。
[0068]
具体的，图3为本技术实施例提供的时态预测模型和时态传递机制的内部结构示
意图，如图3所示，在对所述第一源语言语句中的目标词语进行解码阶段的每个解码时间步t，时态生成模型顶层的隐状态将被作为输入，经由时态注意力模型301推导出第一上下文向量用以表示与当前时间步时态预测相关的源端信息；然后，时态生成模型顶层的隐状态和第一上下文向量将进一步用全连接层网络进行组合并得当前解码步解码的目标词语的第一的时态注意力隐状态
[0069]
需要说明的是，本技术实施例的时态注意力模型借鉴了局部注意力模型的方法。具体而言，每一个时间步t下的，首先根据输入的时态生成模型顶层的隐状态预测目标时态与源端(即源语言语句)信息的对齐位置p
t
，具体公式如下：
[0070][0071]
其中，v
p
和w
p
为待训练的模型参数，s是第一源语言语句的长度。
[0072]
之后，通过将窗口位置[p
t-d,p
t
+d]内的源端隐藏状态的信息与对齐矩阵进行加权平均，即可得到第一上下文向量这里，d是可以调整的超参。
[0073]
本技术一可选实施方式中，在对所述第一源语言语句中的目标词语进行解码阶段的每个解码时间步，将所述神经机器翻译模型的解码网络顶层的隐状态输入至所述传统注意力模型，得到所述第一源语言语句中的目标词语的第二上下文向量；所述第二上下向量用于表示与该解码时间步解码的目标词语所在的第一源语言语句的信息；
[0074]
基于所述第二上下文向量确定所述第一源语言语句的目标词语为主动词的概率。
[0075]
这里，如图3所示，以解码网络(即解码模型)顶层的隐状态则作为输入，经由传统注意力模型302推导出上下文向量第二上下文向量用以表示与当前时间步翻译相关的源端信息；借助该上下文向量输出当前时间步解码的目标词语为主动词的可能性α，具体公式如下：
[0076][0077]
其中，v
α
和w
α
为待训练的模型参数。
[0078]
本技术一可选实施方式中，基于第二源语言语句中的目标词语的时态隐状态以及所述第一时态注意力隐状态确定所述第一源语言语句中的目标词语的第二时态注意力隐状态；所述第二源语言语句为所述第一源语言语句的前一句语句
[0079]
具体的，可能性α将进一步用于门控机制，决定句间时态隐状态的使用与传递。一方面，该可能性α将用于对第二源语言语句中的目标词语的时态隐状态h-1
和当前解码步解码的目标词语的时态注意力隐状态将进行加权，从而确定第一源语言语句中的目标词语的第二时态注意力隐状态
[0080]
本技术一可选实施方式中，若所述第一源语言语句中的目标词语为主动词的概率大，则将所述第二源语言语句中的目标词语的时态隐状态确定为所述第一源语言语句中的目标词语的最终时态注意力隐状态；或者，将所述第二时态注意力隐状态确定为所述第一源语言语句中的目标词语的最终时态注意力隐状态。
[0081]
具体的，确定第一源语言语句中的目标词语的第二时态注意力隐状态的公式如下：
[0082][0083]
从公式(3)可以看出，若当前时间步解码的目标词语为主动词的可能性很大，则最终时态注意力隐状态将倾向于采用历史时态隐状态(即第二源语言语句的主动词的时态隐状态)。
[0084]
此外，可能性α也将用作将第二时态注意力隐状态更新当前句的时态隐状态h0时的权重，具体公式如下：
[0085][0086]
从公式(4)可以看出，若当前时间步解码的动词为主动词的可能性很大，则新的历史时态隐状态(即第一源语言语句的最终时态注意力隐状态)将倾向于采用第一源语言语句的第二时态注意力隐状态
[0087]
本技术一可选实施方式中，基于所述第二时态注意力隐状态确定所述第一源语言语句中的目标词语预测目标时态分布；基于所述预测目标时态分布确定所述第一源语言语句中的目标词语的预测时态。
[0088]
具体的，如图3所示，第二时态注意力隐状态再经过一个归一化指数函数(即softmax)层生成预测目标时态分布的y
t
。基于该预测目标时态分布y
t
即可确定出第一源语言语句中的目标词语的预测时态。
[0089]
这里，通过引入跨句时态传递机制，从而在源语言语篇翻译过程中跨句传递和应用主动词时态，其中，主动词借助传统注意力机制所关注的源语言语句加以预测，通过跨句时态传递和一致性控制机制，可以处理源语言语句语篇中因省略而普遍存在的时态信息缺失问题。
[0090]
步骤203：基于所述候选单词的时态以及所述预测时态确定所述候选单词的概率。
[0091]
本技术一可选实施方式中，所述候选单词具有对应的初始概率值，所述基于所述候选单词的时态以及所述预测时态确定所述候选单词的概率，包括：
[0092]
在所述候选单词的时态与所述预测时态不一致的情况下，将所述候选单词的初始概率值的k倍确定为所述候选单词的概率；其中，k为大于零且小于1的数值；
[0093]
在所述候选单词的时态与所述预测时态一致的情况下，将所述候选单词的初始概率值确定为所述候选单词的概率。
[0094]
具体的，在利用神经机器翻译模型将第一源语言语句翻译为目标语言语句的过程中，在beam-search阶段，针对源语言的目标词语在解码阶段生成的候选词表，在候选词表中某个候选单词的时态与时态预测模型预测的时态不一致时，该候选词的概率降低，候选词的概率调整方式如下：
[0095][0096]
从公式(5)可以看出，当候选词的时态tensec和时态预测模型给出的时态tensea不
一致时，该候选词的概率p将设定为原始概率p0的k倍，否则该候选词的概率不变,其中k为小于1的可调节超参。
[0097]
需要说明的时，如果当前时间步的解码的目标词语被预测为主动词，则该目标词语相关时态预测隐状态将被记录并传递以影响后继句子的时态预测。
[0098]
本技术实施例的技术方案，在传统神经机器翻译框架基础上，引入时态注意力模型用于关注源语言语句中与时态表达相关的信息，进而生成每一个解码时间步的时态预测结果，再以此时态预测来指导目标语言语句的生成，降低候选词表里候选单词时态与预测时态不一致的单词的概率。本技术实施例以源端信息作为预测目标端时态的依据，而不是依赖历史目标时态，因而不会有句间时态翻译错误的传播问题。同时，本技术实施例虽然致力于处理跨句时态传递，但也包含了单句翻译过程中的时态翻译一致性问题，能处理无上下句时态信息可利用的翻译场景。
[0099]
本技术实施例还提供了一种语句处理装置，图4为本技术实施例提供的语句处理装置的结构组成示意图，如图4所示，所述装置包括：
[0100]
第一确定单元401，用于在利用神经机器翻译模型将第一源语言语句翻译为目标语言语句的过程中，确定所述第一源语言语句中的目标词语在所述过程中的解码阶段生成的至少一个候选单词，并确定所述候选单词的时态；
[0101]
第二确定单元402，用于利用时态预测模型对所述第一源语言语句中的目标词语的时态进行预测，确定所述第一源语言语句中的目标词语的预测时态；
[0102]
第三确定单元403，用于基于所述候选单词的时态以及所述预测时态确定所述候选单词的概率。
[0103]
本技术一可选实施方式中，所述候选单词具有对应的初始概率值，所述第三确定单元403具体用于：在所述候选单词的时态与所述预测时态不一致的情况下，将所述候选单词的初始概率值的k倍确定为所述候选单词的概率；其中，k为大于零且小于1的数值；在所述候选单词的时态与所述预测时态一致的情况下，将所述候选单词的初始概率值确定为所述候选单词的概率。
[0104]
本技术一可选实施方式中，所述时态预测模型包括时态标注模型以及时态生成模型，所述第二确定单元402具体用于：在利用神经机器翻译模型将第一源语言语句翻译为目标语言语句的过程中，确定所述过程中的编码阶段生成的中间向量；利用所述时态标注模型对所述中间向量进行词性标注，生成所述第一源语言语句的词性标注向量；将所述词性标注向量输入至所述时态生成模型，确定所述时态生成模型顶层的隐状态。
[0105]
本技术一可选实施方式中，所述时态预测模型还包括时态注意力模型，所述第二确定单元402还具体用于：在对所述第一源语言语句中的目标词语进行解码阶段的每个解码时间步，将所述时态生成模型顶层的隐状态输入至所述时态注意力模型，得到所述第一源语言语句中的目标词语的第一上下文向量；所述第一上下文向量用于表示与该解码时间步解码的目标词语的时态预测相关的第一源语言语句信息；通过全连接网络模型将所述时态生成模型顶层的隐状态与所述第一上下文向量组合，得到该解码时间步解码的目标词语的第一时态注意力隐状态。
[0106]
本技术一可选实施方式中，所述神经机器翻译模型包括传统注意力模型，所述第二确定单元402还具体用于：在对所述第一源语言语句中的目标词语进行解码阶段的每个
解码时间步，将所述神经机器翻译模型的解码网络顶层的隐状态输入至所述传统注意力模型，得到所述第一源语言语句中的目标词语的第二上下文向量；所述第二上下向量用于表示与该解码时间步解码的目标词语所在的第一源语言语句的信息；基于所述第二上下文向量确定所述第一源语言语句的目标词语为主动词的概率。
[0107]
本技术一可选实施方式中，所述第二确定单元402还具体用于：基于第二源语言语句中的目标词语的时态隐状态以及所述第一时态注意力隐状态确定所述第一源语言语句中的目标词语的第二时态注意力隐状态；所述第二源语言语句为所述第一源语言语句的前一句语句。
[0108]
本技术一可选实施方式中，所述第二确定单元402还具体用于：若所述第一源语言语句中的目标词语为主动词的概率大，则将所述第二源语言语句中的目标词语的时态隐状态确定为所述第一源语言语句中的目标词语的最终时态注意力隐状态；或者，将所述第二时态注意力隐状态确定为所述第一源语言语句中的目标词语的最终时态注意力隐状态。
[0109]
本技术一可选实施方式中，所述第二确定单元402还具体用于：基于所述第二时态注意力隐状态确定所述第一源语言语句中的目标词语预测目标时态分布；基于所述预测目标时态分布确定所述第一源语言语句中的目标词语的预测时态。
[0110]
本领域技术人员应当理解，图4所示的语句处理装置中的各单元的实现功能可参照前述语句处理方法的相关描述而理解。图4所示的语句处理装置中的各单元的功能可通过运行于处理器上的程序而实现，也可通过具体的逻辑电路而实现。
[0111]
图5是本技术实施例提供的一种电子设备示意性结构图。该电子设备可以是服务器，该电子设备包括图4所示的语句处理装置，图5所示的电子设备500包括处理器501，处理器501可以从存储器中调用并运行计算机程序，以实现本技术实施例中的方法。
[0112]
可选地，如图5所示，电子设备500还可以包括存储器502。其中，处理器501可以从存储器502中调用并运行计算机程序，以实现本技术实施例中的方法。
[0113]
其中，存储器502可以是独立于处理器501的一个单独的器件，也可以集成在处理器501中。
[0114]
可选地，如图5所示，电子设备500还可以包括收发器503，处理器501可以控制该收发器503与其他设备进行通信，具体地，可以向其他设备发送信息或数据，或接收其他设备发送的信息或数据。
[0115]
其中，收发器503可以包括发射机和接收机。收发器503还可以进一步包括天线，天线的数量可以为一个或多个。
[0116]
可选地，该电子设备500具体可为本技术实施例的网络设备，并且该电子设备500可以实现本技术实施例的各个方法中由网络设备实现的相应流程，为了简洁，在此不再赘述。
[0117]
可选地，该电子设备500具体可为本技术实施例的移动终端/终端设备，并且该电子设备500可以实现本技术实施例的各个方法中由移动终端/终端设备实现的相应流程，为了简洁，在此不再赘述。
[0118]
图6是本技术实施例的芯片的示意性结构图。图6所示的芯片600包括处理器601，处理器601可以从存储器中调用并运行计算机程序，以实现本技术实施例中的方法。
[0119]
可选地，如图6所示，芯片600还可以包括存储器602。其中，处理器601可以从存储
器602中调用并运行计算机程序，以实现本技术实施例中的方法。
[0120]
其中，存储器602可以是独立于处理器601的一个单独的器件，也可以集成在处理器601中。
[0121]
可选地，该芯片600还可以包括输入接口603。其中，处理器601可以控制该输入接口603与其他设备或芯片进行通信，具体地，可以获取其他设备或芯片发送的信息或数据。
[0122]
可选地，该芯片600还可以包括输出接口604。其中，处理器601可以控制该输出接口604与其他设备或芯片进行通信，具体地，可以向其他设备或芯片输出信息或数据。
[0123]
可选地，该芯片可应用于本技术实施例中的网络设备，并且该芯片可以实现本技术实施例的各个方法中由网络设备实现的相应流程，为了简洁，在此不再赘述。
[0124]
可选地，该芯片可应用于本技术实施例中的移动终端/终端设备，并且该芯片可以实现本技术实施例的各个方法中由移动终端/终端设备实现的相应流程，为了简洁，在此不再赘述。
[0125]
应理解，本技术实施例提到的芯片还可以称为系统级芯片，系统芯片，芯片系统或片上系统芯片等。
[0126]
应理解，本技术实施例的处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本技术实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
[0127]
可以理解，本技术实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，rom)、可编程只读存储器(programmable rom，prom)、可擦除可编程只读存储器(erasable prom，eprom)、电可擦除可编程只读存储器(electrically eprom，eeprom)或闪存。易失性存储器可以是随机存取存储器(random access memory，ram)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的ram可用，例如静态随机存取存储器(static ram，sram)、动态随机存取存储器(dynamic ram，dram)、同步动态随机存取存储器(synchronous dram，sdram)、双倍数据速率同步动态随机存取存储器(double data rate sdram，ddr sdram)、增强型同步动态随机存取存储器(enhanced sdram，esdram)、同步连接动态随机存取存储器(synchlink dram，sldram)和直接内存总线随机存取存储器(direct rambus ram，dr ram)。应注意，本文描述的系统和方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
[0128]
应理解，上述存储器为示例性但不是限制性说明，例如，本技术实施例中的存储器
还可以是静态随机存取存储器(static ram，sram)、动态随机存取存储器(dynamic ram，dram)、同步动态随机存取存储器(synchronous dram，sdram)、双倍数据速率同步动态随机存取存储器(double data rate sdram，ddr sdram)、增强型同步动态随机存取存储器(enhanced sdram，esdram)、同步连接动态随机存取存储器(synch link dram，sldram)以及直接内存总线随机存取存储器(direct rambus ram，dr ram)等等。也就是说，本技术实施例中的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
[0129]
本技术实施例还提供了一种计算机可读存储介质，用于存储计算机程序。
[0130]
可选的，该计算机可读存储介质可应用于本技术实施例中的网络设备，并且该计算机程序使得计算机执行本技术实施例的各个方法中由网络设备实现的相应流程，为了简洁，在此不再赘述。
[0131]
可选地，该计算机可读存储介质可应用于本技术实施例中的移动终端/终端设备，并且该计算机程序使得计算机执行本技术实施例的各个方法中由移动终端/终端设备实现的相应流程，为了简洁，在此不再赘述。
[0132]
本技术实施例还提供了一种计算机程序产品，包括计算机程序指令。
[0133]
可选的，该计算机程序产品可应用于本技术实施例中的网络设备，并且该计算机程序指令使得计算机执行本技术实施例的各个方法中由网络设备实现的相应流程，为了简洁，在此不再赘述。
[0134]
可选地，该计算机程序产品可应用于本技术实施例中的移动终端/终端设备，并且该计算机程序指令使得计算机执行本技术实施例的各个方法中由移动终端/终端设备实现的相应流程，为了简洁，在此不再赘述。
[0135]
本技术实施例还提供了一种计算机程序。
[0136]
可选的，该计算机程序可应用于本技术实施例中的网络设备，当该计算机程序在计算机上运行时，使得计算机执行本技术实施例的各个方法中由网络设备实现的相应流程，为了简洁，在此不再赘述。
[0137]
可选地，该计算机程序可应用于本技术实施例中的移动终端/终端设备，当该计算机程序在计算机上运行时，使得计算机执行本技术实施例的各个方法中由移动终端/终端设备实现的相应流程，为了简洁，在此不再赘述。
[0138]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0139]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0140]
在本技术所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦
合或通信连接，可以是电性，机械或其它的形式。
[0141]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0142]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
[0143]
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，)rom、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0144]
以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应所述以权利要求的保护范围为准。