词对齐模型的训练方法、装置、电子设备和可读介质与流程

本技术涉及计算机，尤其涉及一种词对齐模型的训练方法、装置、电子设备和可读介质。

背景技术：

1、词对齐指的是在给定互为译文的双语文本中，在其组成词语间按照翻译关系建立对应关系。这对充分发掘语料库的有着重要作用，是机器翻译中的重要技术。

2、在相关技术中，通常要根据要对齐的语种类别来训练机器学习模型以执行对应的词对齐任务。

3、然而，此类方案中，训练得到的机器学习模型通常只能单一任务，每一个模型只能用于处理一个语言对单一方向的对齐任务，对于多语种和多方向任务则需要多个模型来进行处理，训练资源分散到各个模型中，训练效率较差。

技术实现思路

1、基于上述技术问题，本技术提供一种词对齐模型的训练方法、装置、电子设备和可读介质，以减少训练时间和计算资源消耗，提高训练效率。

2、本技术的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本技术的实践而习得。

3、根据本技术实施例的一个方面，提供一种词对齐模型的训练方法，包括：

4、对于多个目标语种中每个目标语种，获取训练词对齐数据集，所述训练词对齐数据集中包含所述每个目标语种的训练词、所述多个目标语种中其他目标语种的目标词以及所述训练词和所述目标词之间的对齐结果；

5、根据大语言模型中词对齐任务的数据输入格式，构建词对齐任务指令；将所述训练词对齐数据集中所述每个目标语种的训练词、所述其他目标语种的目标词和所述词对齐任务指令，输入到所述大语言模型中进行词对齐，得到训练结果；

6、根据所述训练词对齐数据集中的所述对齐结果与所述训练结果的比对结果，对所述大语言模型进行模型调整，得到词对齐模型。

7、根据本技术实施例的一个方面，提供一种词对齐模型的训练装置，包括：

8、数据集获取模块，配置成对于多个目标语种中每个目标语种，获取训练词对齐数据集，所述训练词对齐数据集中包含所述每个目标语种的训练词、所述多个目标语种中其他目标语种的目标词以及所述训练词和所述目标词之间的对齐结果；

9、指令构建模块，配置成根据大语言模型中词对齐任务的数据输入格式，构建词对齐任务指令；

10、训练模块，配置成将所述训练词对齐数据集中所述每个目标语种的训练词、所述其他目标语种的目标词和所述词对齐任务指令，输入到所述大语言模型中进行词对齐，得到训练结果；

11、模型调整模块，配置成根据所述训练词对齐数据集中的所述对齐结果与所述训练结果的比对结果，对所述大语言模型进行模型调整，得到词对齐模型。

12、在本技术的一些实施例中，基于以上的技术方案，数据集获取模块具体配置成对于多个目标语种中每个目标语种，获取将所述每个目标语种对齐到所述多个目标语种中其他目标语种的第一对齐模型以及将所述其他目标语种对齐到所述每个目标语种的第二对齐模型；将待处理数据输入到所述第一对齐模型中，生成第一对齐结果，所述待处理数据包含所述每个目标语种的训练词和所述其他目标语种的目标词，所述第一对齐结果中包含将每个目标语种的训练词对齐到所述其他目标语种的目标词的对齐结果；将所述待处理数据输入到所述第二对齐模型中，生成第二对齐结果，所述第二对齐结果中包含将所述其他目标语种的目标词对齐到所述每个目标语种的训练词的对齐结果；将所述待处理数据、所述第一对齐结果和所述第二对齐结果作为训练词对齐数据集。

13、在本技术的一些实施例中，基于以上的技术方案，指令构建模块具体配置成：获取所述数据输入格式对应的候选指令以及所述数据输入格式中的词对齐格式；根据所述候选指令和所述多个目标语种中每两个目标语种的语种标识，生成输入指令；若所述词对齐格式词格式，则将所述输入指令确定为词对齐任务指令。

14、在本技术的一些实施例中，基于以上的技术方案，指令构建模块还配置成：若所述词对齐格式为索引格式，则获取所述索引格式对应的索引描述信息，所述索引描述信息中包含所述对齐结果中所述训练词和所述目标词的索引策略；将所述索引描述信息和所述输入指令组合得到词对齐任务指令。

15、在本技术的一些实施例中，基于以上的技术方案，指令构建模块具体配置成：获取所述每个目标语种的第一语种标识和所述其他目标语种的第二语种标识；将所述第一语种标识和所述第二语种标识嵌入所述词对齐任务指令中对应的参数位置，生成输入指令。

16、在本技术的一些实施例中，基于以上的技术方案，训练模块具体配置成：根据预设的数据分批参数，将所述训练词对齐数据集划分为n个训练批次数据，所述n为大于或等于1的整数；将所述词对齐任务指令和所述n个训练批次数据分别发送到n个所述大语言模型中分别进行词对齐，得到n个批次训练结果。

17、在本技术的一些实施例中，基于以上的技术方案，训练模块具体配置成：将所述大语言模型的优化器状态信息划分为n个状态信息分片，并分别发送给n个所述大语言模型，其中，n个所述大语言模型与所述n个状态信息分片分别一一对应；对于每个大语言模型，根据接收到的所述训练批次数据和所生成的批次训练结果，确定梯度更新信息；根据n个所述大语言模型确定的n个梯度更新信息，确定模型梯度信息；根据所述模型梯度信息和n个状态信息分片分别进行模型调整，得到n个模型更新参数；根据所述n个模型更新参数对大语言模型进行模型调整，得到词对齐模型。

18、在本技术的一些实施例中，基于以上的技术方案，模型调整模块具体配置成：将所述大语言模型的优化器状态信息和梯度信息分别划分为n个状态信息分片和n个梯度分片，并分别发送给n个所述大语言模型，其中，n个所述大语言模型与所述n个状态信息分片和所述n个梯度分片分别一一对应；对于每个大语言模型，根据所接收到的梯度分片、接收到的所述训练批次数据和所生成的批次训练结果，确定所接收到的梯度分片对应的梯度分片更新信息；对于每个大语言模型，根据接收到的状态信息分片和所述梯度分片更新信息对所述状态信息分片对应的模型参数进行更新，得到n个模型更新参数；根据所述n个模型更新参数对大语言模型进行模型调整，得到词对齐模型。

19、在本技术的一些实施例中，基于以上的技术方案，训练模块还配置成：将所述大语言模型的优化器状态信息、梯度信息和模型参数分别划分为n个状态信息分片、n个梯度分片和n个参数分片，并分别发送给n个所述大语言模型，其中，n个所述大语言模型与所述n个状态信息分片、所述n个梯度分片和n个参数分片分别一一对应；

20、模型调整模块具体配置成：对于每个大语言模型，从其他n-1个大语言模型获取n-1个参数分片，并根据所述n-1个参数分片和所述本地的参数分片，确定模型参数；对于每个大语言模型，根据所述模型参数、所接收到的所述训练批次数据和所生成的批次训练结果，确定所接收到的梯度分片对应的梯度分片更新信息，并删除所述n-1个参数分片；对于每个大语言模型，根据接收到的状态信息分片和所述梯度分片更新信息对所述参数分片进行更新，得到n个模型更新参数；根据所述n个模型更新参数对大语言模型进行模型调整，得到词对齐模型。

21、在本技术的一些实施例中，基于以上的技术方案，训练模块还配置成：在所述大语言模型的权重矩阵中添加适应矩阵，其中，所述适应矩阵的秩低于所述权重矩阵；模型调整模块具体配置成：根据所述训练词对齐数据集中的所述对齐结果与所述训练结果的比对结果，对所述适应矩阵中的权重进行参数调整，得到词对齐模型。

22、在本技术的一些实施例中，基于以上的技术方案，模型调整模块具体配置成：根据预设的模块列表，从所述大语言模型中获取所述模块列表中标识的目标模块；在所述目标模块的权重矩阵中添加适应矩阵。

23、根据本技术实施例的一个方面，提供一种电子设备，该电子设备包括：处理器；以及存储器，用于存储处理器的可执行指令；其中，该处理器配置为经由执行可执行指令来执行如以上技术方案中的词对齐模型的训练方法。

24、根据本技术实施例的一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，当该计算机程序被处理器执行时实现如以上技术方案中的词对齐模型的训练方法。

25、根据本技术实施例的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实现方式中提供的词对齐模型的训练方法。

26、在本技术的实施例中，先对多个目标语种中每个目标语种，获取训练词对齐数据集，然后构建出用于大语言模型中词对齐任务的词对齐任务指令，随后利用多个目标语种的训练词对齐数据集和词对齐任务指令来对大语言模型进行微调训练，从而得到能够进行多语种对齐的词对齐模型。通过包含多种目标语种的训练词对齐数据集以及构建出的词对齐任务指令，对大语言模型进行遵循指令的训练微调，使得对于多语种和多方向任务只需要一个词对齐模型来进行处理，而不需要对于多语种和多方向任务单独建立和训练模型，从而将训练资源的消耗集中在一个模型中，减少训练时间和计算资源消耗，提高训练效率。

27、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本技术。