模型参数搜索方法以及装置与流程

文档序号:18060287发布日期:2019-07-03 03:02阅读:178来源:国知局
模型参数搜索方法以及装置与流程

本申请涉及机器翻译技术领域,特别涉及一种模型参数搜索方法。本申请同时涉及一种模型参数搜索装置,一种计算设备,以及一种计算机可读存储介质。



背景技术:

自然语言处理是研究实现人与计算机之间用自然语言进行有效通信的各种理论和方法,而随着自然语言处理的飞速发展,作为计算语言学一个传统分支的机器翻译也受到了广泛关注,机器翻译又称为自动翻译,是利用计算机将一种自然语言(源语言)转换为另一种自然语言(目标语言)的过程,机器翻译是人工智能的终极目标之一,具有重要的实用价值,在促进政治、经济、文化交流等方面起到越来越重要的作用。

目前,机器翻译重要的一种实现方式就是通过建立机器翻译模型,通过将待翻译的内容输入预先建立并训练好的多个机器翻译模型,多个翻译模型分别按照不同的算法进行翻译输出的翻译结果,然后通过一定的手段评价每个机器翻译模型的翻译结果,将评价最好的翻译结果作为待翻译的内容进行翻译后的译文。但目前在确定机器翻译模型的翻译结果中选择译文的过程中,对机器翻译模型的考虑的损失不够充分,无法充分反映采用不同算法的机器翻译模型针对不同内容进行翻译获得的翻译结果的损失,最终得到的译文的准确率较低。



技术实现要素:

有鉴于此,本申请实施例提供了一种模型参数搜索方法,以解决现有技术中存在的技术缺陷。本申请实施例同时提供了一种模型参数搜索装置,一种计算设备,以及一种计算机可读存储介质。

本申请提供一种模型参数搜索方法,包括:

获取至少两个翻译模型对语料库中的语料进行翻译后输出的各自的译文,以及所述译文中每个译句的翻译概率;

基于所述译文和所述译文中每个译句的翻译概率,在参数空间中搜索所述至少两个翻译模型对应的权重参数组;

将搜索到的目标权重参数组包含的权重参数分别作为所述至少两个翻译模型的目标权重参数。

可选的,所述基于所述译文和所述译文中每个译句的翻译概率,在参数空间中搜索所述至少两个翻译模型对应的权重参数组,包括:

基于所述译文和所述译文中每个译句的翻译概率构建搜索树;所述参数空间中的权重参数组与所述搜索树中的搜索节点一一对应;

按照所述搜索树在所述参数空间中搜索所述至少两个翻译模型对应的权重参数组。

可选的,所述基于所述译文和所述译文中每个译句的翻译概率构建搜索树子步骤执行过程中,针对所述参数空间中的权重参数组对应所述搜索树中的搜索节点,执行如下操作:

根据所述搜索节点对应的所述参数空间中的权重参数组,将所述权重参数组作为所述至少两个翻译模型的权重参数,并结合所述译文中每个译句的翻译概率计算所述搜索节点的启发代价;

其中,所述搜索节点的启发代价根据所述至少两个翻译模型中每个翻译模型的模型启发代价计算获得,每个翻译模型的模型启发代价为该翻译模型的权重参数与所述译文中每个译句的翻译概率的乘积之和。

可选的,所述搜索树中任意一个搜索节点的下层搜索节点,采用如下方式确定:

采用高斯算法确定所述搜索树中与所述搜索节点相邻且具有连接关系的相邻搜索节点的搜索节点集合;

根据计算获得的所述搜索节点集合中每个相邻搜索节点的启发代价,在所述搜索节点集合中选择启发代价最高的至少一个相邻搜索节点作为所述搜索节点的下层搜索节点。

可选的,所述采用高斯算法确定所述搜索树中与所述搜索节点相邻且具有连接关系的相邻搜索节点的搜索节点集合子步骤执行之后,且所述根据计算获得的所述搜索节点集合中每个相邻搜索节点的启发代价,在所述搜索节点集合中选择启发代价最高的至少一个相邻搜索节点作为所述搜索节点的下层搜索节点子步骤执行之前,包括:

针对所述搜索节点集合中的搜索节点,根据所述搜索节点对应的所述参数空间中的权重参数组,将所述权重参数组作为所述至少两个翻译模型的权重参数;

以所述至少两个翻译模型的所述权重参数为依据,采用重排序对所述至少两个翻译模型各自输出的文本译文进行融合,获得所述待翻译文本的参考文本译文;

将所述参考文本译文与所述语料的真实译文进行比对,确定所述参考文本译文相对于所述真实译文的翻译准确率和/或翻译损失;

判断所述翻译准确率和/或所述翻译损失是否大于所述搜索节点的上层搜索节点对应的翻译准确率和/或翻译损失;

若不大于,将所述搜索节点从其所属的搜索节点集合中剔除。

可选的,所述基于所述译文和所述译文中每个译句的翻译概率,在参数空间中搜索所述至少两个翻译模型对应的权重参数组步骤,基于集束搜索算法实现。

可选的,所述将搜索到的目标权重参数组包含的权重参数分别作为所述至少两个翻译模型的目标权重参数步骤执行之后,包括:

将待翻译文本分别输入所述至少两个翻译模型进行文本翻译,分别输出针对所述待翻译文本的文本译文;

采用重排序对所述至少两个翻译模型各自输出的文本译文进行融合,获得所述待翻译文本的最优文本译文。

可选的,所述至少两个翻译模型中每个翻译模型输出的文本译文由至少一个文本译句组成,且所述文本译文中的译句分别对应所述待翻译文本中的待翻译句。

可选的,所述采用重排序对所述至少两个翻译模型各自输出的文本译文进行融合,获得所述待翻译文本的最优文本译文,包括:

针对所述待翻译文本中的每个待翻译句,根据所述至少两个翻译模型的目标权重参数在所述待翻译句对应的文本译句集中选择最优文本译句;所述文本译句集由所述待翻译句在所述至少两个翻译模型输出的文本译文中对应的至少两个文本译句组成;

根据所述待翻译文本中所有待翻译句各自对应的最优文本译句,将所述待翻译文本中所有待翻译句各自对应的最优文本译句融合成所述最优文本译文。

可选的,所述针对所述待翻译文本中的每个待翻译句,根据所述至少两个翻译模型的目标权重参数在所述待翻译句对应的文本译句集中选择最优文本译句,包括:

根据所述至少两个翻译模型的目标权重参数,以及所述至少两个翻译模型各自输出的所述待翻译文本中每个待翻译句的翻译概率,计算所述待翻译句对应的文本译句集中每个文本译句的翻译评价分数;

在所述待翻译句对应的文本译句集中选择翻译评价分数最高的文本译句作为所述待翻译句的所述最优文本译句。

本申请还提供一种模型参数搜索装置,包括:

语料翻译模块,被配置为获取至少两个翻译模型对语料库中的语料进行翻译后输出的各自的译文,以及所述译文中每个译句的翻译概率;

权重参数组搜索模块,被配置为基于所述译文和所述译文中每个译句的翻译概率,在参数空间中搜索所述至少两个翻译模型对应的权重参数组;

目标权重参数确定模块,被配置为将搜索到的目标权重参数组包含的权重参数分别作为所述至少两个翻译模型的目标权重参数。

可选的,所述权重参数组搜索模块,包括:

搜索树构建子模块,被配置为基于所述译文和所述译文中每个译句的翻译概率构建搜索树;所述参数空间中的权重参数组与所述搜索树中的搜索节点一一对应;

搜索子模块,被配置为按照所述搜索树在所述参数空间中搜索所述至少两个翻译模型对应的权重参数组。

可选的,所述模型参数搜索装置,包括:

译文翻译模块,被配置为将待翻译文本分别输入所述至少两个翻译模型进行文本翻译,分别输出针对所述待翻译文本的文本译文;

译文融合模块,被配置为采用重排序对所述至少两个翻译模型各自输出的文本译文进行融合,获得所述待翻译文本的最优文本译文。

本申请还提供一种计算设备,包括:

存储器和处理器;

所述存储器用于存储计算机可执行指令,所述处理器执行所述计算机可执行指令时实现所述模型参数搜索方法的步骤。

本申请还提供一种计算机可读存储介质,其存储有计算机指令,该指令被处理器执行时实现所述模型参数搜索方法的步骤。

与现有技术相比,本申请具有如下优点:

本申请提供一种模型参数搜索方法,包括:获取至少两个翻译模型对语料库中的语料进行翻译后输出的各自的译文,以及所述译文中每个译句的翻译概率;基于所述译文和所述译文中每个译句的翻译概率,在参数空间中搜索所述至少两个翻译模型对应的权重参数组;将搜索到的目标权重参数组包含的权重参数分别作为所述至少两个翻译模型的目标权重参数。

本申请提供的模型参数搜索方法,在参数空间搜索翻译模型执行翻译任务所需的目标权重参数的过程中,通过结合语料库中的语料和语料经翻译模型翻译后的翻译概率,在参数空间中进行至少两个翻译模型的权重参数的搜索,提升了搜索效率,并在搜索获得的所述至少两个翻译模型各自执行翻译任务所需的目标权重参数的基础上,使应用所述目标权重参数的翻译模型执行翻译任务过程中的翻译准确率更高,得到更准确的翻译结果。

附图说明

图1是本申请实施例提供的一种模型参数搜索方法处理流程图;

图2是本申请实施例提供的一种搜索树的示意图;

图3是本申请实施例提供的一种模型参数搜索装置的示意图;

图4是本申请实施例提供的一种计算设备的结构框图。

具体实施方式

在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本申请内涵的情况下做类似推广,因此本申请不受下面公开的具体实施的限制。

在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解,尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本说明书一个或多个实施例范围的情况下,第一也可以被称为第二,类似地,第二也可以被称为第一。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

本申请提供一种模型参数搜索方法,本申请还提供一种模型参数搜索装置,一种计算设备,以及一种计算机可读存储介质。以下分别结合本申请提供的实施例的附图逐一进行详细说明,并且对方法的各个步骤进行说明。

本申请提供的一种模型参数搜索方法实施例如下:

参照附图1,其示出了本实施例提供的一种模型参数搜索方法处理流程图,参照附图2,其示出了本实施例提供的一种搜索树的示意图。

步骤s102,获取至少两个翻译模型对语料库中的语料进行翻译后输出的各自的译文,以及所述译文中每个译句的翻译概率。

在机器翻译任务中,为提升翻译准确率,往往会采用多个(两个或者两个以上)翻译模型对待翻译文本进行翻译,然后在多个翻译模型针对待翻译文本的翻译结果中选择最好的翻译结果作为待翻译文本的译文输出。然而,在实际应用中,多个翻译模型可能采用不同的翻译架构或者翻译算法,而不同翻译架构或者翻译算法在对文本进行翻译过程中,针对不同类型的文本进行翻译的翻译效果表现可能也有所不同,从这一点出发,为进一步提升翻译准确率,可将不同翻译模型的翻译结果进行融合,比如对于待翻译文本包含的句(待翻译句)为单位,在不同翻译模型的翻译结果中选出针对待翻译文本中每个待翻译句的翻译效果最好的译句,然后对待翻译文本中所有待翻译句的译句进行融合,融合后即获得对待翻译文本翻译更加准确的译文。

具体实施时,在对待翻译文本中待翻译句的译文进行融合的过程中,需针对多个翻译模型分别设置相应的权重参数,在翻译模型的权重参数的基础上对每个翻译模型针对待翻译文本中每个待翻译句的翻译效果进行量化评价,从而选出针对待翻译文本中每个待翻译句翻译效果最好的译句,最终在选出的每个待翻译句的翻译效果最好的译句的基础上进行融合,从而获得更加准确的翻译结果。

需要说明的是,在设置多个翻译模型各自权重参数的过程中,权重参数的设置无前例可循,因此无法确定权重参数的具体取值或者取值范围,即:权重参数的取值范围是没有限制的,权重参数的参数空间是趋于无穷的,因此,如何在无穷的参数空间确定多个翻译模型各自最优的权重参数,或者确定多个翻译模型接近最优的权重参数的目标权重参数,成为上述对多个翻译模型的翻译结果进行融合获得更加准确的翻译结果过程中的最大难题。

本申请提供的模型参数搜索方法,在设置多个翻译模型各自权重参数的过程中,在结合多个翻译模型对语料库中语料进行翻译的翻译结果的基础上,参考多个翻译模型对语料库中语料的翻译效果,在取值无穷的参数空间中搜索多个翻译模型的权重参数,并且使搜索出的权重参数在应用到对应的翻译模型之后,能使在搜索出的翻译模型的权重参数的基础上进行翻译模型的翻译结果进行融合后获得的译文的准确度更高。

具体实施时,通过将所述语料库中语料分别输入多个翻译模型中的每个翻译模型,每个翻译模型翻译后会输出各自针对所述语料库中语料的译文。具体的,所述语料库中每一句语料在每个翻译模型翻译后获得的译文中都有相对应的译句,每个翻译模型翻译后获得的译文中的译句与所述语料库中的每一句语料双方具有对应关系。

需要说明的是,每个翻译模型在对语料进行翻译输出相应译文的过程中,每个翻译模型还会输出相应译文中每个译句的翻译概率。本申请实施例所述每个译句的翻译概率,可以是表征翻译模型针对该译句的翻译准确度的数值,也可以是其他表征翻译模型针对该译句的翻译准确度相关的数值,比如表征翻译模型对该译句的翻译损失的数值,对此不做限定。

例如,将语料库中的4000句待翻译的语料分别输入3个翻译模型:翻译模型model1、翻译模型model2和翻译模型model3;

其中,翻译模型model1对输入的4000句待翻译的语料进行翻译后,输出4000句待翻译的语料对应的译文t1,该译文t1也包括4000句译句,这4000句译句分别与语料库中4000句待翻译的语料一一对应;同时,翻译模型model1对输入的4000句待翻译的语料进行翻译后,还会输出译文t1中4000句译句各自的翻译概率打分;

类似的,翻译模型model2对输入的4000句待翻译的语料进行翻译后,输出4000句待翻译的语料对应的译文t2,该译文t2也包括4000句译句,这4000句译句分别与语料库中4000句待翻译的语料一一对应;同时,翻译模型model2对输入的4000句待翻译的语料进行翻译后,还会输出译文t2中4000句译句各自的翻译概率打分;

翻译模型model3对输入的4000句待翻译的语料进行翻译后,输出4000句待翻译的语料对应的译文t3,该译文t3也包括4000句译句,这4000句译句分别与语料库中4000句待翻译的语料一一对应;同时,翻译模型model3对输入的4000句待翻译的语料进行翻译后,还会输出译文t3中4000句译句各自的翻译概率打分。

步骤s104,基于所述译文和所述译文中每个译句的翻译概率,在参数空间中搜索所述至少两个翻译模型对应的权重参数组。

上述获取到所述语料库中的语料输出所述至少两个翻译模型进行翻译后输出的各自的译文以及所述译文中每个译句的翻译概率之后,根据获取到的所述译文和所述译文中每个译句的翻译概率,在同一参数空间中搜索所述至少两个翻译模型的权重参数;

本申请实施例中,所述参数空间中的权重参数以权重参数组的形式存在,每个权重参数组中包含的权重参数的数目与所述至少两个翻译模型中翻译模型的数目一致,从而使最终在所述参数搜索空间中搜索到的权重参数组能够被应用到所述至少两个翻译模型。

本申请实施例中,基于所述译文和所述译文中每个译句的翻译概率,在所述参数空间中搜索所述至少两个翻译模型对应的权重参数组,优选采用如下方式实现:

1)基于所述译文和所述译文中每个译句的翻译概率构建搜索树,所述参数空间中的权重参数组与所述搜索树中的搜索节点一一对应。

具体实施时,在构建所述搜索树的过程中,针对所述参数空间中的权重参数组对应的每个搜索节点,优选根据所述搜索节点对应的所述参数空间中的权重参数组,将所述权重参数组作为所述至少两个翻译模型的权重参数,并结合所述译文中每个译句的翻译概率计算所述搜索节点的启发代价;其中,所述搜索节点的启发代价根据所述至少两个翻译模型中每个翻译模型的模型启发代价计算获得,每个翻译模型的模型启发代价为该翻译模型的权重参数与所述译文中每个译句的翻译概率的乘积之和。

进一步,在构建所述搜索树的过程中,所述搜索树中任意一个搜索节点的下层搜索节点,采用如下方式确定:

a)采用高斯算法确定所述搜索树中与所述搜索节点相邻且具有连接关系的相邻搜索节点的搜索节点集合;

b)根据计算获得的所述搜索节点集合中每个相邻搜索节点的启发代价,在所述搜索节点集合中选择启发代价最高的至少一个相邻搜索节点作为所述搜索节点的下层搜索节点。

更进一步,在确定所述搜索树中与所述搜索节点相邻且具有连接关系的相邻搜索节点的搜索节点集合之后,并且在所述搜索节点集合中选择启发代价最高的至少一个相邻搜索节点作为所述搜索节点的下层搜索节点之前,为进一步提升搜索效率,还可以对所述搜索节点集合中的搜索节点进行过滤,通过剔除的方式来减少所述搜索节点集合中的搜搜节点数目,提升在所述搜索节点集合的基础上选择所述搜索节点的下层搜索节点这一过程的处理效率,从而来提升搜索效率。

例如,附图2所示的搜索树,其为采用集束搜索算法在参数空间中搜索翻译模型model1、翻译模型model2和翻译模型model3三者对应的权重参数组的搜索树,参数空间中的每个权重参数组与搜索树中的搜索节点具有对应关系,搜索树的具体构建过程如下:

在构建搜索树的过程中,首先需要确定一个起始搜索节点,起始搜索节点可采用随机算法随机确定,或者在搜索之前指定特定的搜索节点为起始搜索节点;

在确定起始搜索节点之后,从起始搜索节点出发,确定起始搜索节点下一层的搜索节点,下一层的节点数目与集束搜索算法的集束宽度(beamwidth)一致,此处集束宽度设为2;具体在起始搜索节点的下一层的搜索节点的过程中,第一步计算下一层所有搜索节点的启发代价,第二步按照启发代价从高到底的排序顺序对下一层所有搜索节点进行排序,第三步在排序后的下一层所有搜索节点中选择启发代价最高的2个搜索节点,即为起始搜索节点的下层搜索节点,参见附图2中所示的搜索节点top1和搜索节点top2;

其中,搜索节点top1的启发代价为翻译模型model1、翻译模型model2和翻译模型model3三者各自的模型启发代价之和;

具体的,将翻译模型model1在搜索节点top1对应的权重参数组中的权重参数与上述译文t1中4000句译句各自的翻译概率打分分别相乘,并对4000个乘积求和,即为翻译模型model1的模型启发代价h1;类似的,将翻译模型model2在搜索节点top1对应的权重参数组中的权重参数与上述译文t2中4000句译句各自的翻译概率打分分别相乘,并对4000个乘积求和,即为翻译模型model2的模型启发代价h2;将翻译模型model3在搜索节点top1对应的权重参数组中的权重参数与上述译文t3中4000句译句各自的翻译概率打分分别相乘,并对4000个乘积求和,即为翻译模型model3的模型启发代价h3;

并且,对翻译模型model1的模型启发代价h1、翻译模型model2的模型启发代价h2以及翻译模型model3的模型启发代价h3进行求和,即为搜索节点top1的启发代价h1;类似的,搜索树中其他搜索节点的启发代价同样采用上述启发代价计算方式计算获得,此处不再一一赘述;

进一步,针对起始搜索节点的下一层的搜索节点top1和搜索节点top2,与上述起始搜索节点的处理类似,分别确定搜索节点top1下一层的2个搜索节点:搜索节点top11和搜索节点top12;以及,搜索节点top2下一层的2个搜索节点:搜索节点top21和搜索节点top22;

依此类推,确定后续每一层的4个搜索节点,基于确定的搜索节点构建搜索树。

此外,在实际应用中,还可以采用广度优先策略来构建所述搜索树,其中,在确定所述搜索树中搜索节点的过程中,还可以采用启发式搜索算法来确定所述搜索树中的搜索节点,采用启发式搜索算法的目的是有选择的保存能够到达目标节点的搜索节点,具体通过采用启发式搜索算法计算每个搜索节点的启发代价,所述启发代价是指从当前搜索节点到目标搜索节点的损失,然后按照启发代价对每一层的搜索节点进行排序,最后在每一层留下启发代价最优的预设数目的搜索节点,仅在每一层留下的搜索节点进行下一层次的深度搜索,每一层其他没有被留下的搜索节点则被剔除。

本申请实施例提供的一种优选实施方式中,对所述搜索节点集合中的搜索节点进行过滤,具体采用如下方式实现:

a)针对所述搜索节点集合中的搜索节点,根据所述搜索节点对应的所述参数空间中的权重参数组,将所述权重参数组作为所述至少两个翻译模型的权重参数;

b)以所述至少两个翻译模型的所述权重参数为依据,采用重排序对所述至少两个翻译模型各自输出的文本译文进行融合,获得所述待翻译文本的参考文本译文;

c)将所述参考文本译文与所述语料的真实译文进行比对,确定所述参考文本译文相对于所述真实译文的翻译准确率和/或翻译损失;

所述翻译准确率,是指所述参考文本译文相对于所述真实译文的准确率,比如通过相似度算法计算所述参考文本译文与所述真实译文二者之间的文本相似度为89%,则所述参考文本译文相对于所述真实译文的翻译准确率为89%。

所述翻译损失,是指所述参考文本译文与所述真实译文之间的损失差距,比如通过损失函数计算所述参考文本译文相对于所述真实译文的损失为0.11,则所述参考文本译文相对于所述真实译文的翻译损失为0.11。

d)判断所述翻译准确率和/或所述翻译损失是否大于所述搜索节点的上层搜索节点对应的翻译准确率和/或翻译损失;

若大于,则表明该搜索节点相比上层搜索节点的翻译准确度有所提升,可考虑针对该搜索节点进行更加深度的搜索,因此在所述搜索节点集合中保留该搜索节点即可;

若不大于,则表明该搜索节点相比上层搜索节点的翻译准确度并未提升,无需再针对该搜索节点进行更加深度的搜索,将所述搜索节点从其所属的搜索节点集合中剔除。

2)按照所述搜索树在所述参数空间中搜索所述至少两个翻译模型对应的权重参数组。

沿用上例,在构建完搜索树之后,按照搜索树中的搜索节点的顺序进行搜索,具体在搜索过程中,搜索树的层数可以预先指定,然后在最后一层(搜索节点topn1、搜索节点topn2、搜索节点topn3、搜索节点topn4对应的第n层)的4个搜索节点中,选出启发代价最高的一个搜索节点(即搜索节点topn1)作为在参数空间进行权重参数搜索的目标搜索节点,搜索节点topn1对应的权重参数组中包含的3个权重参数,即为在参数空间中要搜索的翻译模型model1、翻译模型model2和翻译模型model3这3个翻译模型各自的目标权重参数。

实际应用中,在所述参数空间中搜索所述至少两个翻译模型对应的权重参数组这一搜索过程,可以采用相应的搜索算法来实现,比如,采用贪婪算法(greedyalgorithm)或者集束搜索算法(beamsearchalgorithm)在所述参数空间中搜索出所述至少两个翻译模型对应的权重参数组。

如上所述,所述参数空间的是趋于无穷的,本申请实施例中,考虑到所述参数空间的是趋于无穷的,使用随机抽样并基于贪婪算法在所述参数空间中进行搜索时,容易陷入局部最优解,搜索效率很低;为提升在所述参数空间中搜索所述至少两个翻译模型对应的权重参数组这一搜索过程的搜索效率,优选采用集束搜索算法,根据集束搜索算法的特性,在每一步深度搜索的过程中剔除一些质量比较差的搜索节点,保留下一些质量较高的搜索节点,从而来提高搜索效率。

步骤s106,将搜索到的目标权重参数组包含的权重参数分别作为所述至少两个翻译模型的目标权重参数。

上述在所述参数空间中搜索出目标搜索节点对应的目标权重参数组之后,将所述目标参数组包含的权重参数分别作为所述至少两个翻译模型各自的目标权重参数。例如,将上述在参数空间中搜索到的目标搜索节点topn1对应的权重参数组包含的3个权重参数,分别应用到翻译模型model1、翻译模型model2和翻译模型model3这3个翻译模型中,作为三者各自的目标权重参数。

实际应用中,所述翻译模型在确定目标权重参数之后,能够应用到实际翻译任务中,对实际翻译任务中需要进行翻译的文本进行翻译,从而使翻译模型在目标权重参数的基础上实现更为精准的翻译,本申请实施例提供的一种优选实施方式中,上述搜索到的所述目标权重参数组包含的权重参数分别应用到所述至少两个翻译模型,作为所述至少两个翻译模型的目标权重参数之后,通过将待翻译文本分别输入所述至少两个翻译模型进行文本翻译,分别输出针对所述待翻译文本的文本译文,并采用重排序对所述至少两个翻译模型各自输出的文本译文进行融合,获得所述待翻译文本的最优文本译文。优选的,所述至少两个翻译模型中每个翻译模型输出的文本译文由至少一个文本译句组成,且所述文本译文中的译句分别对应所述待翻译文本中的待翻译句。可见,上述翻译过程中以句为单位对至少两个翻译模型的翻译结果进行融合,最终获得的翻译结果的准确性更高。

具体的,上述采用重排序对所述至少两个翻译模型各自输出的文本译文进行融合的过程中,优选采用如下方式对各个翻译模型输出的文本译文进行融合以获得所述最优文本译文:

1)针对所述待翻译文本中的每个待翻译句,根据所述至少两个翻译模型的目标权重参数在所述待翻译句对应的文本译句集中选择最优文本译句,所述文本译句集由所述待翻译句在所述至少两个翻译模型输出的文本译文中对应的至少两个文本译句组成。

其中,所述最优文本译句优选采用如下方式确定:

a)根据所述至少两个翻译模型的目标权重参数,以及所述至少两个翻译模型各自输出的所述待翻译文本中每个待翻译句的翻译概率,计算所述待翻译句对应的文本译句集中每个文本译句的翻译评价分数;

b)在所述待翻译句对应的文本译句集中选择翻译评价分数最高的文本译句作为所述待翻译句的所述最优文本译句。

2)根据所述待翻译文本中所有待翻译句各自对应的最优文本译句,将所述待翻译文本中所有待翻译句各自对应的最优文本译句融合成所述最优文本译文。

例如,待翻译文本为10句中文组成的一篇文章text,目标是将当前中文的文章text翻译为英文;

首先,将该文章text分别输入翻译模型model1、翻译模型model2和翻译模型model3这3个翻译模型进行翻译,翻译后翻译模型model1输出由10句英文译句组成的英文译文text1,以及这10句英文译句每一句英文译句的翻译概率,并且英文译文text1中的10句英文译句分别对应中文文章text中的10句中文;翻译模型model2和翻译模型model3与翻译模型model1类似,翻译模型model2输出由10句英文译句组成的英文译文text2,以及这10句英文译句每一句英文译句的翻译概率;翻译模型model3输出由10句英文译句组成的英文译文text3,以及这10句英文译句每一句英文译句的翻译概率;

可见,中文文章text中的每一句中文,分别对应英文译文text1、英文译文text2和英文译文text3中的一句英文译文,即:每一句中文分别对应由3句英文译文组成的英文译句集;

其次,确定中文文章text中的10句中文当中每一句中文的最优英文译句,确定每一句中文的最优英文译句的方法相同,以中文文章text中的任意一句中文为例,该句中文对应的英文译句集由3句英文译句组成:sentence1、sentence2和sentence3,其中sentence1为翻译模型model1针对该句中文进行翻译后输出的英文译句,sentence2为翻译模型model2针对该句中文进行翻译后输出的英文译句,sentence3为翻译模型model3针对该句中文进行翻译后输出的英文译句;

基于此,计算英文译句集中英文译句sentence1、sentence2和sentence3的翻译评价分数,英文译句sentence1的翻译评价分数等于翻译模型model1的权重参数与sentence1的翻译概率的乘积p1,英文译句sentence2的翻译评价分数等于翻译模型model2的权重参数与sentence2的翻译概率的乘积p2,英文译句sentence3的翻译评价分数等于翻译模型model3的权重参数与sentence3的翻译概率的乘积p3;比较p1、p2和p3三者的大小,如果p3最大,则将p3对应的英文译句sentence3作为该句中文的最优英文译句;与之相类似,分别确定中文文章text中的10句中文各自的最优英文译句;

最后,在确定中文文章text中的10句中文各自的最优英文译句的基础上,按照10句最优英文译句对应的中文在中文文章text中语句顺序,依次将这10句最优英文译句组合起来,最终形成的英文文章即为中文文章text的英文译文。

综上所述,本申请提供的模型参数搜索方法,在参数空间搜索翻译模型执行翻译任务所需的目标权重参数的过程中,通过结合语料库中的语料和语料经翻译模型翻译后的翻译概率,在参数空间中进行至少两个翻译模型的权重参数的搜索,提升了搜索效率,并在搜索获得的所述至少两个翻译模型各自执行翻译任务所需的目标权重参数的基础上,使应用所述目标权重参数的翻译模型执行翻译任务过程中的翻译准确率更高,得到更准确的翻译结果。

本申请提供的一种模型参数搜索装置实施例如下:

在上述的实施例中,提供了一种模型参数搜索方法,与之相对应的,本申请还提供了一种模型参数搜索装置,下面结合附图进行说明。

参照附图3,其示出了本申请提供的一种模型参数搜索装置实施例的示意图。

由于装置实施例基本相似于方法实施例,所以描述得比较简单,相关的部分请参见上述提供的方法实施例的对应说明即可。下述描述的装置实施例仅仅是示意性的。

本申请提供一种模型参数搜索装置,包括:

语料翻译模块302,被配置为获取至少两个翻译模型对语料库中的语料进行翻译后输出的各自的译文,以及所述译文中每个译句的翻译概率;

权重参数组搜索模块304,被配置为基于所述译文和所述译文中每个译句的翻译概率,在参数空间中搜索所述至少两个翻译模型对应的权重参数组;

目标权重参数确定模块306,被配置为将搜索到的目标权重参数组包含的权重参数分别作为所述至少两个翻译模型的目标权重参数。

可选的,所述权重参数组搜索模块304,包括:

搜索树构建子模块,被配置为基于所述译文和所述译文中每个译句的翻译概率构建搜索树;所述参数空间中的权重参数组与所述搜索树中的搜索节点一一对应;

搜索子模块,被配置为按照所述搜索树在所述参数空间中搜索所述至少两个翻译模型对应的权重参数组。

可选的,所述搜索树构建子模块运行过程中,针对所述参数空间中的权重参数组对应所述搜索树中的搜索节点,根据所述搜索节点对应的所述参数空间中的权重参数组,将所述权重参数组作为所述至少两个翻译模型的权重参数,并结合所述译文中每个译句的翻译概率计算所述搜索节点的启发代价;

其中,所述搜索节点的启发代价根据所述至少两个翻译模型中每个翻译模型的模型启发代价计算获得,每个翻译模型的模型启发代价为该翻译模型的权重参数与所述译文中每个译句的翻译概率的乘积之和。

可选的,所述搜索树中任意一个搜索节点的下层搜索节点,通过运行下述单元确定:

搜索节点集合确定单元,被配置为采用高斯算法确定所述搜索树中与所述搜索节点相邻且具有连接关系的相邻搜索节点的搜索节点集合;

下层搜索节点确定单元,被配置为根据计算获得的所述搜索节点集合中每个相邻搜索节点的启发代价,在所述搜索节点集合中选择启发代价最高的至少一个相邻搜索节点作为所述搜索节点的下层搜索节点。

可选的,所述搜索树中任意一个搜索节点的下层搜索节点,还通过运行下述单元确定:

权重参数确定单元,被配置为针对所述搜索节点集合中的搜索节点,根据所述搜索节点对应的所述参数空间中的权重参数组,将所述权重参数组作为所述至少两个翻译模型的权重参数;

参考文本译文确定单元,被配置为以所述至少两个翻译模型的所述权重参数为依据,采用重排序对所述至少两个翻译模型各自输出的文本译文进行融合,获得所述待翻译文本的参考文本译文;

文本译文比对单元,被配置为将所述参考文本译文与所述语料的真实译文进行比对,确定所述参考文本译文相对于所述真实译文的翻译准确率和/或翻译损失;

判断单元,被配置为判断所述翻译准确率和/或所述翻译损失是否大于所述搜索节点的上层搜索节点对应的翻译准确率和/或翻译损失;

若不大于,将所述搜索节点从其所属的搜索节点集合中剔除。

可选的,所述权重参数组搜索模块304,基于集束搜索算法实现。

可选的,所述模型参数搜索装置,包括:

译文翻译模块,被配置为将待翻译文本分别输入所述至少两个翻译模型进行文本翻译,分别输出针对所述待翻译文本的文本译文;

译文融合模块,被配置为采用重排序对所述至少两个翻译模型各自输出的文本译文进行融合,获得所述待翻译文本的最优文本译文。

可选的,所述至少两个翻译模型中每个翻译模型输出的文本译文由至少一个文本译句组成,且所述文本译文中的译句分别对应所述待翻译文本中的待翻译句。

可选的,所述译文融合模块,包括:

最优文本译句选择单元,被配置为针对所述待翻译文本中的每个待翻译句,根据所述至少两个翻译模型的目标权重参数在所述待翻译句对应的文本译句集中选择最优文本译句;所述文本译句集由所述待翻译句在所述至少两个翻译模型输出的文本译文中对应的至少两个文本译句组成;

最优文本译句融合单元,被配置为根据所述待翻译文本中所有待翻译句各自对应的最优文本译句,将所述待翻译文本中所有待翻译句各自对应的最优文本译句融合成所述最优文本译文。

可选的,所述最优文本译句选择单元,包括:

翻译评价分数计算子单元,被配置为根据所述至少两个翻译模型的目标权重参数,以及所述至少两个翻译模型各自输出的所述待翻译文本中每个待翻译句的翻译概率,计算所述待翻译句对应的文本译句集中每个文本译句的翻译评价分数;

最优文本译句选择子单元,被配置为在所述待翻译句对应的文本译句集中选择翻译评价分数最高的文本译句作为所述待翻译句的所述最优文本译句。

本申请提供的一种计算设备实施例如下:

图4是示出了根据本说明书一实施例的计算设备400的结构框图。该计算设备400的部件包括但不限于存储器410和处理器420。处理器420与存储器410通过总线430相连接,数据库450用于保存数据。

计算设备400还包括接入设备440,接入设备440使得计算设备400能够经由一个或多个网络460通信。这些网络的示例包括公用交换电话网(pstn)、局域网(lan)、广域网(wan)、个域网(pan)或诸如因特网的通信网络的组合。接入设备440可以包括有线或无线的任何类型的网络接口(例如,网络接口卡(nic))中的一个或多个,诸如ieee802.11无线局域网(wlan)无线接口、全球微波互联接入(wi-max)接口、以太网接口、通用串行总线(usb)接口、蜂窝网络接口、蓝牙接口、近场通信(nfc)接口,等等。

在本说明书的一个实施例中,计算设备400的上述部件以及图4中未示出的其他部件也可以彼此相连接,例如通过总线。应当理解,图4所示的计算设备结构框图仅仅是出于示例的目的,而不是对本说明书范围的限制。本领域技术人员可以根据需要,增添或替换其他部件。

计算设备400可以是任何类型的静止或移动计算设备,包括移动计算机或移动计算设备(例如,平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如,智能手机)、可佩戴的计算设备(例如,智能手表、智能眼镜等)或其他类型的移动设备,或者诸如台式计算机或pc的静止计算设备。计算设备400还可以是移动式或静止式的服务器。

本申请提供一种计算设备,包括存储器410和处理器420;

所述存储器410用于存储计算机可执行指令,所述处理器420执行所述计算机可执行指令时实现:

获取至少两个翻译模型对语料库中的语料进行翻译后输出的各自的译文,以及所述译文中每个译句的翻译概率;

基于所述译文和所述译文中每个译句的翻译概率,在参数空间中搜索所述至少两个翻译模型对应的权重参数组;

将搜索到的目标权重参数组包含的权重参数分别作为所述至少两个翻译模型的目标权重参数。

可选的,所述基于所述译文和所述译文中每个译句的翻译概率,在参数空间中搜索所述至少两个翻译模型对应的权重参数组,包括:

基于所述译文和所述译文中每个译句的翻译概率构建搜索树;所述参数空间中的权重参数组与所述搜索树中的搜索节点一一对应;

按照所述搜索树在所述参数空间中搜索所述至少两个翻译模型对应的权重参数组。

可选的,所述基于所述译文和所述译文中每个译句的翻译概率构建搜索树指令执行过程中,针对所述参数空间中的权重参数组对应所述搜索树中的搜索节点,执行如下操作:

根据所述搜索节点对应的所述参数空间中的权重参数组,将所述权重参数组作为所述至少两个翻译模型的权重参数,并结合所述译文中每个译句的翻译概率计算所述搜索节点的启发代价;

其中,所述搜索节点的启发代价根据所述至少两个翻译模型中每个翻译模型的模型启发代价计算获得,每个翻译模型的模型启发代价为该翻译模型的权重参数与所述译文中每个译句的翻译概率的乘积之和。

可选的,所述搜索树中任意一个搜索节点的下层搜索节点,采用如下方式确定:

采用高斯算法确定所述搜索树中与所述搜索节点相邻且具有连接关系的相邻搜索节点的搜索节点集合;

根据计算获得的所述搜索节点集合中每个相邻搜索节点的启发代价,在所述搜索节点集合中选择启发代价最高的至少一个相邻搜索节点作为所述搜索节点的下层搜索节点。

可选的,所述采用高斯算法确定所述搜索树中与所述搜索节点相邻且具有连接关系的相邻搜索节点的搜索节点集合指令执行之后,且所述根据计算获得的所述搜索节点集合中每个相邻搜索节点的启发代价,在所述搜索节点集合中选择启发代价最高的至少一个相邻搜索节点作为所述搜索节点的下层搜索节点指令执行之前,包括:

针对所述搜索节点集合中的搜索节点,根据所述搜索节点对应的所述参数空间中的权重参数组,将所述权重参数组作为所述至少两个翻译模型的权重参数;

以所述至少两个翻译模型的所述权重参数为依据,采用重排序对所述至少两个翻译模型各自输出的文本译文进行融合,获得所述待翻译文本的参考文本译文;

将所述参考文本译文与所述语料的真实译文进行比对,确定所述参考文本译文相对于所述真实译文的翻译准确率和/或翻译损失;

判断所述翻译准确率和/或所述翻译损失是否大于所述搜索节点的上层搜索节点对应的翻译准确率和/或翻译损失;

若不大于,将所述搜索节点从其所属的搜索节点集合中剔除。

可选的,所述基于所述译文和所述译文中每个译句的翻译概率,在参数空间中搜索所述至少两个翻译模型对应的权重参数组指令,基于集束搜索算法实现。

可选的,所述将搜索到的目标权重参数组包含的权重参数分别作为所述至少两个翻译模型的目标权重参数指令执行之后,包括:

将待翻译文本分别输入所述至少两个翻译模型进行文本翻译,分别输出针对所述待翻译文本的文本译文;

采用重排序对所述至少两个翻译模型各自输出的文本译文进行融合,获得所述待翻译文本的最优文本译文。

可选的,所述至少两个翻译模型中每个翻译模型输出的文本译文由至少一个文本译句组成,且所述文本译文中的译句分别对应所述待翻译文本中的待翻译句。

可选的,所述采用重排序对所述至少两个翻译模型各自输出的文本译文进行融合,获得所述待翻译文本的最优文本译文,包括:

针对所述待翻译文本中的每个待翻译句,根据所述至少两个翻译模型的目标权重参数在所述待翻译句对应的文本译句集中选择最优文本译句;所述文本译句集由所述待翻译句在所述至少两个翻译模型输出的文本译文中对应的至少两个文本译句组成;

根据所述待翻译文本中所有待翻译句各自对应的最优文本译句,将所述待翻译文本中所有待翻译句各自对应的最优文本译句融合成所述最优文本译文。

可选的,所述针对所述待翻译文本中的每个待翻译句,根据所述至少两个翻译模型的目标权重参数在所述待翻译句对应的文本译句集中选择最优文本译句,包括:

根据所述至少两个翻译模型的目标权重参数,以及所述至少两个翻译模型各自输出的所述待翻译文本中每个待翻译句的翻译概率,计算所述待翻译句对应的文本译句集中每个文本译句的翻译评价分数;

在所述待翻译句对应的文本译句集中选择翻译评价分数最高的文本译句作为所述待翻译句的所述最优文本译句。

本申请提供的一种计算机可读存储介质实施例如下:

本申请一实施例还提供一种计算机可读存储介质,其存储有计算机指令,该指令被处理器执行时以用于:

获取至少两个翻译模型对语料库中的语料进行翻译后输出的各自的译文,以及所述译文中每个译句的翻译概率;

基于所述译文和所述译文中每个译句的翻译概率,在参数空间中搜索所述至少两个翻译模型对应的权重参数组;

将搜索到的目标权重参数组包含的权重参数分别作为所述至少两个翻译模型的目标权重参数。

可选的,所述基于所述译文和所述译文中每个译句的翻译概率,在参数空间中搜索所述至少两个翻译模型对应的权重参数组,包括:

基于所述译文和所述译文中每个译句的翻译概率构建搜索树;所述参数空间中的权重参数组与所述搜索树中的搜索节点一一对应;

按照所述搜索树在所述参数空间中搜索所述至少两个翻译模型对应的权重参数组。

可选的,所述基于所述译文和所述译文中每个译句的翻译概率构建搜索树子步骤执行过程中,针对所述参数空间中的权重参数组对应所述搜索树中的搜索节点,执行如下操作:

根据所述搜索节点对应的所述参数空间中的权重参数组,将所述权重参数组作为所述至少两个翻译模型的权重参数,并结合所述译文中每个译句的翻译概率计算所述搜索节点的启发代价;

其中,所述搜索节点的启发代价根据所述至少两个翻译模型中每个翻译模型的模型启发代价计算获得,每个翻译模型的模型启发代价为该翻译模型的权重参数与所述译文中每个译句的翻译概率的乘积之和。

可选的,所述搜索树中任意一个搜索节点的下层搜索节点,采用如下方式确定:

采用高斯算法确定所述搜索树中与所述搜索节点相邻且具有连接关系的相邻搜索节点的搜索节点集合;

根据计算获得的所述搜索节点集合中每个相邻搜索节点的启发代价,在所述搜索节点集合中选择启发代价最高的至少一个相邻搜索节点作为所述搜索节点的下层搜索节点。

可选的,所述采用高斯算法确定所述搜索树中与所述搜索节点相邻且具有连接关系的相邻搜索节点的搜索节点集合子步骤执行之后,且所述根据计算获得的所述搜索节点集合中每个相邻搜索节点的启发代价,在所述搜索节点集合中选择启发代价最高的至少一个相邻搜索节点作为所述搜索节点的下层搜索节点子步骤执行之前,包括:

针对所述搜索节点集合中的搜索节点,根据所述搜索节点对应的所述参数空间中的权重参数组,将所述权重参数组作为所述至少两个翻译模型的权重参数;

以所述至少两个翻译模型的所述权重参数为依据,采用重排序对所述至少两个翻译模型各自输出的文本译文进行融合,获得所述待翻译文本的参考文本译文;

将所述参考文本译文与所述语料的真实译文进行比对,确定所述参考文本译文相对于所述真实译文的翻译准确率和/或翻译损失;

判断所述翻译准确率和/或所述翻译损失是否大于所述搜索节点的上层搜索节点对应的翻译准确率和/或翻译损失;

若不大于,将所述搜索节点从其所属的搜索节点集合中剔除。

可选的,所述基于所述译文和所述译文中每个译句的翻译概率,在参数空间中搜索所述至少两个翻译模型对应的权重参数组步骤,基于集束搜索算法实现。

可选的,所述将搜索到的目标权重参数组包含的权重参数分别作为所述至少两个翻译模型的目标权重参数步骤执行之后,包括:

将待翻译文本分别输入所述至少两个翻译模型进行文本翻译,分别输出针对所述待翻译文本的文本译文;

采用重排序对所述至少两个翻译模型各自输出的文本译文进行融合,获得所述待翻译文本的最优文本译文。

可选的,所述至少两个翻译模型中每个翻译模型输出的文本译文由至少一个文本译句组成,且所述文本译文中的译句分别对应所述待翻译文本中的待翻译句。

可选的,所述采用重排序对所述至少两个翻译模型各自输出的文本译文进行融合,获得所述待翻译文本的最优文本译文,包括:

针对所述待翻译文本中的每个待翻译句,根据所述至少两个翻译模型的目标权重参数在所述待翻译句对应的文本译句集中选择最优文本译句;所述文本译句集由所述待翻译句在所述至少两个翻译模型输出的文本译文中对应的至少两个文本译句组成;

根据所述待翻译文本中所有待翻译句各自对应的最优文本译句,将所述待翻译文本中所有待翻译句各自对应的最优文本译句融合成所述最优文本译文。

可选的,所述针对所述待翻译文本中的每个待翻译句,根据所述至少两个翻译模型的目标权重参数在所述待翻译句对应的文本译句集中选择最优文本译句,包括:

根据所述至少两个翻译模型的目标权重参数,以及所述至少两个翻译模型各自输出的所述待翻译文本中每个待翻译句的翻译概率,计算所述待翻译句对应的文本译句集中每个文本译句的翻译评价分数;

在所述待翻译句对应的文本译句集中选择翻译评价分数最高的文本译句作为所述待翻译句的所述最优文本译句。

上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是,该存储介质的技术方案与上述的模型参数搜索方法的技术方案属于同一构思,存储介质的技术方案未详细描述的细节内容,均可以参见上述模型参数搜索方法的技术方案的描述。

所述计算机指令包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom,read-onlymemory)、随机存取存储器(ram,randomaccessmemory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。

需要说明的是,对于前述的各方法实施例,为了简便描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定都是本申请所必须的。

在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。

以上公开的本申请优选实施例只是用于帮助阐述本申请。可选实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施方式。显然,根据本说明书的内容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本申请的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本申请。本申请仅受权利要求书及其全部范围和等效物的限制。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1