一种语音合成模型训练方法、装置、电子设备及存储介质与流程

本发明涉及语音合成技术领域，尤其涉及一种语音合成模型训练方法、装置、电子设备及存储介质。

背景技术：

语音合成技术是一种用于将文字信息转化为语音信息的技术。目前使用较为广泛的语音合成技术有基于参数合成的语音合成技术和基于深度学习的语音合成技术。

在基于参数合成的语音合成技术中，当进行语音合成时，将文本抽象成语音学特征，根据统计模型生成语音参数，在预测出声学特征，由声码器合成语音输出。而统计模型学习语音学特征和声学特征的对应关系也需要通过大量的优质语料进行训练，以确保统计模型的声学特征预测、语音参数准确。

在基于深度学习的语音合成技术中，可以通过神经网络直接学习到文本和声学特征的对应关系，针对不同的文本给出自然、准确的合成语音。但是其语音合成模型的参数量非常庞大，要想得到稳定输出高质量语音的模型，也需要采用大量的优质语料作为训练数据，得到目标模型。

在现有技术中，均需要用到大量的优质语料来训练获得目标模型，以实现高质量语音的合成。然而，优质语料的获取周期长，且成本高，采用现有技术中的模型训练方案，会导致语音合成技术的研发周期长、研发成本高的问题。

技术实现要素：

本发明实施例所要解决的技术问题在于，提供一种语音合成模型训练方法、装置、电子设备及存储介质，能够使用少量的目标文本语音平行语料训练出满足较高语音合成要求的目标语音合成模型，有效缩短语音合成技术的研发周期，并降低研发成本。

第一方面，本发明实施例提供了一种语音合成模型训练方法，所述方法包括：

构建基于深度学习方法的原始语音合成模型；

获取预先构建的基础文本语音平行语料，并根据所述基础文本语音平行语料训练所述原始语音合成模型，获得基础语音合成模型；其中，每一所述基础文本语音平行语料根据预设的语音数据库和文本语料构建生成，所述语音数据库包括若干个第一字文本以及各个所述第一字文本对应的第一字语音；

获取预先生成的目标文本语音平行语料，并根据所述目标文本语音平行语料优化训练所述基础语音合成模型，获得目标语音合成模型；其中，所述目标文本语音平行语料为满足预设的语音合成要求的语料。

进一步的，所述基础文本语音平行语料通过以下步骤构建生成：

根据所述语音数据库，确定所述文本语料中的每一个第二字文本所对应的第二字语音；

根据所述第二字文本在所述文本语料中的排列顺序，将所有的所述第二字语音排列拼接，获得文本语音语料；

根据所述文本语料和文本语音语料，构建生成所述基础文本语音平行语料。

进一步的，所述方法通过以下步骤生成所述目标文本语音平行语料：

获取预设的录音文本；

采集所述录音文本对应的录音语音；其中，所述录音语音为满足预设的语音质量要求的语音；

根据所述录音文本和所述录音语音，生成所述目标文本语音平行语料。

进一步的，所述方法通过以下步骤生成所述目标文本语音平行语料：

采集满足预设要求的音频语料；

对所述音频语料进行语音识别，获得所述音频语料对应的识别文本；

在对所述识别文本修正处理后，获取修正处理后的识别文本；

根据修正处理后的识别文本和所述音频语料，生成所述目标文本语音平行语料。

进一步的，所述原始语音合成模型为tacotron模型、gst模型或deepvoice模型中的任意一种。

第二方面，本发明实施例还提供了一种语音合成模型训练装置，所述装置包括：

原始语音合成模型构建模块，用于构建基于深度学习方法的原始语音合成模型；

基础语音合成模型获得模块，用于获取预先构建的基础文本语音平行语料，并根据所述基础文本语音平行语料训练所述原始语音合成模型，获得基础语音合成模型；其中，每一所述基础文本语音平行语料根据预设的语音数据库和文本语料构建生成，所述语音数据库包括若干个第一字文本以及各个所述第一字文本对应的第一字语音；

目标语音合成模型获得模块，用于获取预先生成的目标文本语音平行语料，并根据所述目标文本语音平行语料优化训练所述基础语音合成模型，获得目标语音合成模型；其中，所述目标文本语音平行语料为满足预设的语音合成要求的语料。

进一步的，所述装置还包括所述基础文本语音平行语料构建模块，所述基础文本语音平行语料构建模块具体用于：

根据所述语音数据库，确定所述文本语料中的每一个第二字文本所对应的第二字语音；

根据所述第二字文本在所述文本语料中的排列顺序，将所有的所述第二字语音排列拼接，获得文本语音语料；

根据所述文本语料和文本语音语料，构建生成所述基础文本语音平行语料。

进一步的，所述装置还包括所述目标文本语音平行语料构建模块，所述目标文本语音平行语料构建模块具体用于：

获取预设的录音文本；

采集所述录音文本对应的录音语音；其中，所述录音语音为满足预设的语音质量要求的语音；

根据所述录音文本和所述录音语音，生成所述目标文本语音平行语料；或，

所述目标文本语音平行语料构建模块具体用于：

采集满足预设要求的音频语料；

对所述音频语料进行语音识别，获得所述音频语料对应的识别文本；

在对所述识别文本修正处理后，获取修正处理后的识别文本；

根据修正处理后的识别文本和所述音频语料，生成所述目标文本语音平行语料。

第三方面，本发明实施例还提供了一种电子设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面提供的任意一项所述的语音合成模型训练方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述第一方面提供的任意一项所述的语音合成模型训练方法。

上述提供的一种语音合成模型训练方法、装置、电子设备及计算机可读存储介质，能够通过少量的目标文本语音平行语料获得满足较高语音合成要求的目标语音合成模型，无需采用大量的优质的语料来构建模型，有效缩短语音合成技术的研发周期，并降低研发成本。

附图说明

图1是本发明提供的一种语音合成模型训练方法的一个优选实施例的流程图；

图2是本发明提供的一种语音合成模型训练装置的一个优选实施例的结构框图；

图3是本发明提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供了一种语音合成模型训练方法，请参阅图1，其是本发明提供的一种语音合成模型训练方法的一个优选实施例的流程图；具体的，所述的语音合成模型训练方法包括：

s1、构建基于深度学习方法的原始语音合成模型；

s2、获取预先构建的基础文本语音平行语料，并根据所述基础文本语音平行语料训练所述原始语音合成模型，获得基础语音合成模型；其中，所述基础文本语音平行语料根据预设的语音数据库和文本语料构建生成，所述语音数据库包括若干个第一字文本以及各个所述第一字文本对应的第一字语音；

s3、获取预先生成的目标文本语音平行语料，并根据所述目标文本语音平行语料优化训练所述基础语音合成模型，获得目标语音合成模型；其中，所述目标文本语音平行语料为满足预设的语音合成要求的语料。

具体的，构建基于深度学习方法的原始语音合成模型，原始语音合成模型具有深度学习能力，但是其中的模型参数还未根据训练数据进行调整，即原始语音合成模型还没有学习到特征之间的基本的对应关系，还不能进行语音合成。为了获得具有语音合成能力的模型，获取预先构建的基础文本语音平行语料，基础文本语音平行语料根据预设的语音数据库和文本语料构建生成，根据基础文本语音平行语料训练原始语音合成模型，原始语音合成模型在训练过程中不断学习基础文本语音平行语料中的文本与语音中的音色和音律等参数的对应关系，学习语言环境和声学特征对应关系，不断迭代更新模型中的各参数，直至收敛，获得基础语音合成模型。而获得的基础语音合成模型已经学习到基础文本语音平行语料中文本和语音的对应关系，已具备基础的语音合成能力。获得基础语音合成模型后，为了实现模型输出的语音具有较高质量，对基础语音合成模型进一步增加训练，获取目标文本语音平行语料，根据目标文本语音平行语料优化训练基础语音合成模型，在训练过程中，基础语音合成模型学习目标文本语音平行语料中文本和语音的对应关系，进一步对模型中的各参数进行迭代更新，直至收敛，获得目标语音合成模型。由于目标文本语音平行语料是满足语音合成要求的语料，根据目标文本语音平行语料训练得到的目标语音合成模型便能满足较高的语音合成要求，后续使用时，输入文本后，便能输出满足语音合成要求的语音。

需要说明的是，基础语音合成模型只需要具有基本的语音合成能力，本发明提供的语音合成模型训练方法只需要大规模的基础文本语音平行语料、小规模的目标文本语音平行语料即可。基础文本语音平行语料和目标文本语音平行语料均包括字文本以及与字文本严格对齐的字语音。语音合成要求一般为合成的语音正确、清晰且自然度好，语音音色和韵律能语言环境相契合。

本发明实施例提供的一种语音合成模型训练方法，由于目标语音合成模型由基础语音合成模型根据目标文本语音平行语料训练获得，故本发明提供的语音合成模型训练方法中所需的基础文本语音平行语料只是普通或者语音自然度略差的语料即可，减低了语音数据库中的文本和语音的质量要求；且只需要根据小规模的目标文本语音平行语料训练微调基础语音合成模型即可训练获得满足较高语音合成要求的目标语音合成模型，而基础文本语音平行语料的构建成本要远低于目标文本语音平行语料，实现了通过少量的目标文本语音平行语料获得满足较高语音合成要求的目标语音合成模型，无需采用大量的优质语料构建模型，有效缩短语音合成技术的研发周期，并降低研发成本。

可选的，目标文本语音平行语料根据预设数量的字文本和满足语音合成要求的每一字文本的字语音构成。采用本发明实施例提供的语音合成模型训练方法，仅需2000个目标文本语音平行语料即可，即大约2.8小时的语音；目标文本语音平行语料仅需通过采集约1500个字文本和对应的字语音即可。目标文本语音平行语料的采集仅需一个星期左右即可完成，而基础文本语音平行语料的采集也很容易，相比于现有技术中至少需要收集至少5万句、数十小时的语音构成的优质语料来构建模型，至少3个月的时间收集优质语料来说，本发明提供的一种语音合成模型训练方法，有效缩短语音合成技术的研发周期，提高研发效率，并降低研发成本。

优选地，所述基础文本语音平行语料通过以下步骤构建生成：

根据所述语音数据库，确定所述文本语料中的每一个第二字文本所对应的第二字语音；

根据所述第二字文本在所述文本语料中的排列顺序，将所有的所述第二字语音排列拼接，获得文本语音语料；

根据所述文本语料和文本语音语料，构建生成所述基础文本语音平行语料。

具体的，根据语音数据库，确定文本语料中的每一个第二字文本所对应的第二字语音；根据第二字文本在所述文本语料中的排列顺序，将所有的第二字语音排列拼接，以使第二字语音和相应的第二字文本严格对齐，拼接获得文本语音语料；根据文本语料和文本语音语料，构建生成基础文本语音平行语料。

本发明实施例提供的一种语音合成模型训练方法，利用语音数据库确定第二字文本所对应的第二字语音，可自动拼接生成大量的基础文本语音平行语料，构建成本低，且能让原始语音合成模型学习到基础的文本与语音的对应关系，更新获得基础语音合成模型。

优选地，所述方法通过以下步骤生成所述目标文本语音平行语料：

获取预设的录音文本；

采集所述录音文本对应的录音语音；其中，所述录音语音为满足预设的语音质量要求的语音；

根据所述录音文本和所述录音语音，生成所述目标文本语音平行语料。

为了获得高质量的语料，使目标文本语音平行语料满足语音合成要求，利用录音员的录音语音作为高质量的语音数据。具体的，获取预设的录音文本；采集录音文本对应的录音语音；将录音文本和录音语音严格对齐，生成目标文本语音平行语料。

本发明实施例提供的一种语音合成模型训练方法，直接利用录音员专业的语音发音，获得满足预设的语音质量要求的语音，且更符合人类语音的音色和韵律，进一步降低了研发周期，提高研发效率。

优选地，所述方法通过以下步骤生成所述目标文本语音平行语料：

采集满足预设要求的音频语料；

对所述音频语料进行语音识别，获得所述音频语料对应的识别文本；

在对所述识别文本修正处理后，获取修正处理后的识别文本；

根据修正处理后的识别文本和所述音频语料，生成所述目标文本语音平行语料。

为了获得高质量的语料，使目标文本语音平行语料满足语音合成要求，利用音频语料作为语音数据，再结合经修正处理的识别文本，获得目标文本语音平行语料。

需要说明的是，修正处理可以是人工修正处理，也可以利用现有的修正技术进行识别文本的修正，只要能提高识别文本的正确率，适用于生成满足语音合成要求的目标文本语音平行语料即可。

本发明实施例提供的一种语音合成模型训练方法，直接利用音频语料，以及现有的音频识别技术，能够快速获得初步的语音及对应的文本，且经修正后的识别文本，更准确地对应音频语料，使得根据修正处理后的识别文本和音频语料生成的目标文本语音平行语料具有准确地文本和语音的对应关系，从而能快速、准确地生成目标文本语音平行语料，提高目标语音合成模型的构建效率和预测准确度，从而实现了在训练出满足较高语音合成要求的目标语音合成模型，有效缩短语音合成技术的研发周期。

优选地，所述原始语音合成模型为tacotron模型、gst模型或deepvoice模型中的任意一种。

需要说明的是，tacotron模型是一种端到端的深度学习语音合成模型，其训练后的模型能将输入的文本直接输出对应的音频。

gst(globalstyletokens)模型是一种在tacotron模型的基础上嵌入韵律学编码器的模型，其具有特定韵律风格。

deepvoice模型是一种完全由深度神经网络构建的高质量语音合成系统，实现了真正的端到端语音合成。

本发明实施例还提供了一种语音合成模型训练装置，请参阅图2，其是本发明提供的一种语音合成模型训练装置的一个优选实施例的结构框图；具体的，所述的语音合成模型训练装置包括：

原始语音合成模型构建模块11，用于构建基于深度学习方法的原始语音合成模型；

基础语音合成模型获得模块12，用于获取预先构建的基础文本语音平行语料，并根据所述基础文本语音平行语料训练所述原始语音合成模型，获得基础语音合成模型；其中，每一所述基础文本语音平行语料根据预设的语音数据库和文本语料构建生成，所述语音数据库包括若干个第一字文本以及各个所述第一字文本对应的第一字语音；

目标语音合成模型获得模块13，用于获取预先生成的目标文本语音平行语料，并根据所述目标文本语音平行语料优化训练所述基础语音合成模型，获得目标语音合成模型；其中，所述目标文本语音平行语料为满足预设的语音合成要求的语料。

本发明实施例提供的一种语音合成模型训练装置，通过原始语音合成模型构建模块11构建基于深度学习方法的原始语音合成模型；通过基础语音合成模型获得模块12获取预先构建的基础文本语音平行语料，并根据所述基础文本语音平行语料训练所述原始语音合成模型，获得基础语音合成模型；其中，每一所述基础文本语音平行语料根据预设的语音数据库和文本语料构建生成，所述语音数据库包括若干个第一字文本以及各个所述第一字文本对应的第一字语音；并通过目标语音合成模型获得模块13获取预先生成的目标文本语音平行语料，并根据所述目标文本语音平行语料优化训练所述基础语音合成模型，获得目标语音合成模型；其中，所述目标文本语音平行语料为满足预设的语音合成要求的语料。

本发明实施例提供的一种语音合成模型训练装置，由于目标语音合成模型由基础语音合成模型根据目标文本语音平行语料训练获得，故本发明提供的语音合成模型训练装置中所需的基础文本语音平行语料只是普通或者语音自然度略差的语料即可，减低了语音数据库中的文本和语音的质量要求；且只需要根据小规模的目标文本语音平行语料训练微调基础语音合成模型即可训练获得满足较高语音合成要求的目标语音合成模型，而基础文本语音平行语料的构建成本要远低于目标文本语音平行语料，实现了通过少量的目标文本语音平行语料获得满足较高语音合成要求的目标语音合成模型，无需采用大量的优质语料构建模型，有效缩短语音合成技术的研发周期，并降低研发成本。

优选地，所述装置还包括所述基础文本语音平行语料构建模块，所述基础文本语音平行语料构建模块具体用于：

根据所述语音数据库，确定所述文本语料中的每一个第二字文本所对应的第二字语音；

根据所述第二字文本在所述文本语料中的排列顺序，将所有的所述第二字语音排列拼接，获得文本语音语料；

根据所述文本语料和文本语音语料，构建生成所述基础文本语音平行语料。

优选地，所述装置还包括所述目标文本语音平行语料构建模块，所述目标文本语音平行语料构建模块具体用于：

获取预设的录音文本；

采集所述录音文本对应的录音语音；其中，所述录音语音为满足预设的语音质量要求的语音；

根据所述录音文本和所述录音语音，生成所述目标文本语音平行语料；或，

所述目标文本语音平行语料构建模块具体用于：

采集满足预设要求的音频语料；

对所述音频语料进行语音识别，获得所述音频语料对应的识别文本；

在对所述识别文本修正处理后，获取修正处理后的识别文本；

根据修正处理后的识别文本和所述音频语料，生成所述目标文本语音平行语料。

优选地，所述原始语音合成模型为tacotron模型、gst模型或deepvoice模型中的任意一种。

需要说明的是，本发明实施例提供的所述语音合成模型训练装置用于执行上述实施例所述的语音合成模型训练方法的步骤，两者的工作原理和有益效果一一对应，因而不再赘述。

本领域技术人员可以理解，所述语音合成模型训练装置的示意图仅仅是语音合成模型训练装置的示例，并不构成对语音合成模型训练装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述语音合成模型训练装置还可以包括输入输出设备、网络接入设备、总线等。

需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本发明实施例还提供了一种电子设备，请参阅图3，其是本发明提供的一种电子设备的结构示意图；具体的，所述电子设备包括处理器10、存储器20以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上述实施例提供的任意一项所述的语音合成模型训练方法。

具体的，该电子设备中的处理器、存储器均可以是一个或者多个，电子设备可以是电脑、服务器、云端设备等。

本实施例的电子设备包括：处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序。所述处理器执行所述计算机程序时实现上述实施例提供的语音合成模型训练方法中的步骤，例如图1所示的步骤s1、构建基于深度学习方法的原始语音合成模型。或者，所述处理器执行所述计算机程序时实现上述各装置实施例中各模块的功能，例如实现原始语音合成模型构建模块11，用于构建基于深度学习方法的原始语音合成模型。

示例性的，所述计算机程序可以被分割成一个或多个模块/单元(如图3所示的计算机程序1、计算机程序2……)，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述电子设备中的执行过程。例如，所述计算机程序可以被分割成原始语音合成模型构建模块11、基础语音合成模型获得模块12、目标语音合成模型获得模块13，各模块具体功能如下：

原始语音合成模型构建模块11，用于构建基于深度学习方法的原始语音合成模型；

基础语音合成模型获得模块12，用于获取预先构建的基础文本语音平行语料，并根据所述基础文本语音平行语料训练所述原始语音合成模型，获得基础语音合成模型；其中，每一所述基础文本语音平行语料根据预设的语音数据库和文本语料构建生成，所述语音数据库包括若干个第一字文本以及各个所述第一字文本对应的第一字语音；

目标语音合成模型获得模块13，用于获取预先生成的目标文本语音平行语料，并根据所述目标文本语音平行语料优化训练所述基础语音合成模型，获得目标语音合成模型；其中，所述目标文本语音平行语料为满足预设的语音合成要求的语料。

所称处理器可以是中央处理单元(centralprocessingunit，cpu)，还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现成可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分。

所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述电子设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smartmediacard,smc)，安全数字(securedigital,sd)卡，闪存卡(flashcard)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

其中，所述电子设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例提供的语音合成模型训练方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述任一实施例提供的语音合成模型训练方法的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

需要说明的是，上述电子设备可包括，但不仅限于，处理器、存储器，本领域技术人员可以理解，图3结构示意图仅仅是上述电子设备的示例，并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述实施例提供的任意一项所述的语音合成模型训练方法。

综上，本发明提供的一种语音合成模型训练方法、一种语音合成模型训练装置、一种电子设备以及一种计算机可读存储介质，具有以下有益效果：

采用大规模的成本低的基础文本语音平行语料、小规模的优质的目标文本语音平行语料训练获得目标语音合成模型，无需采用大量的优质语料构建模型，有效缩短语音合成技术的研发周期，并降低研发成本。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。