韵律停顿预测方法和装置的制造方法
【技术领域】
[0001]本发明涉及语音合成技术领域，特别涉及一种韵律停顿预测方法和装置。
【背景技术】
[0002]韵律预测技术是指在语音合成技术的前端文本处理过程中，通过文本内容来预测文本中的停顿位置和停顿时间长短的信息，使得在后端合成语音的过程中，利用文本中的停顿位置和停顿时间长短的信息合成出来的语音能够尽量符合人类自然说话的停顿和韵律习惯。因此，韵律预测技术的好坏是直接影响语音合成质量好坏的一个至关重要的方面。
[0003]目前，韵律预测技术主要是基于机器学习的方法，利用大规模语料训练模型，然后通过该模型对输入的文本进行预测，将预测的韵律停顿的概率结合长度约束矩阵，运用最优路径搜索算法，得到最后的停顿预测结果。
[0004]但是，由于训练语料是人工标注的，因此获取大规模的训练语料是非常昂贵和耗时的，并且受限于人工标注能力及规模，由此得到的训练语料也并不够充分。此外，训练模型的学习过程是在模型的泛化能力和模型复杂度之间的一种权衡，这使得模型的泛化能力或者说学习能力总是有限的。另外现实中文本的多样性、变化性、歧义性，也使得模型很难去准确描述这些文本。这就导致了模型本身学习能力的局限性。上述训练语料的不充分性以及训练模型学习能力的局限性使得基于机器学习的韵律预测方法仍然有待改进。
【发明内容】
[0005]本发明旨在至少在一定程度上解决上述技术问题。
[0006]为此，本发明的第一个目的在于提出一种韵律停顿预测方法，能够对机器学习方法的预测结果进行补充和修正，提升韵律预测结果的可靠性。
[0007]本发明的第二个目的在于提出一种韵律停顿预测装置。
[0008]为达上述目的，根据本发明第一方面实施例提出了一种韵律停顿预测方法，包括以下步骤:基于机器学习方法获取待预测的文本内容对应的停顿预测结果，并根据预设的句式模板库对所述文本内容进行句式匹配，以确定所述文本内容对应的韵律停顿信息；根据所述韵律停顿信息对所述停顿预测结果进行修正；根据修正后的停顿预测结果对所述文本内容进行韵律停顿预测。
[0009]本发明实施例的韵律停顿预测方法，不但基于机器学习方法获取文本内容的停顿预测结果，还根据句式模板匹配确定文本内容对应的韵律停顿信息，并根据该韵律停顿信息对机器学习的停顿预测结果进行修正，然后根据修正后的停顿预测结果对文本内容进行韵律停顿预测，从而能够将机器学习的预测结果与句式模板匹配的停顿信息进行结合，对基于机器学习的停顿预测结果进行修正，可弥补训练语料的不充分性以及训练模型学习能力的局限性带来的不足，提升预测结果的可靠性。
[0010]本发明第二方面实施例提出了一种韵律停顿预测装置，包括:获取模块，用于基于机器学习方法获取待预测的文本内容对应的停顿预测结果；匹配模块，用于根据预设的句式模板库对所述文本内容进行句式匹配，以确定所述文本内容对应的韵律停顿信息；修正模块，用于根据所述韵律停顿信息对所述停顿预测结果进行修正；预测模块，用于根据修正后的停顿预测结果对所述文本内容进行韵律停顿预测。
[0011]本发明实施例的韵律停顿预测装置，不但基于机器学习方法获取文本内容的停顿预测结果，还根据句式模板匹配确定文本内容对应的韵律停顿信息，并根据该韵律停顿信息对机器学习的停顿预测结果进行修正，然后根据修正后的停顿预测结果对文本内容进行韵律停顿预测，从而能够将机器学习的预测结果与句式模板匹配的停顿信息进行结合，对基于机器学习的停顿预测结果进行修正，可弥补训练语料的不充分性以及训练模型学习能力的局限性带来的不足，提升预测结果的可靠性。
[0012]本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
【附图说明】
[0013]本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中:
[0014]图1为根据本发明一个实施例的韵律停顿预测方法的流程图；
[0015]图2为根据本发明一个实施例的确定文本内容对应的韵律停顿信息的示例图；
[0016]图3为根据本发明一个实施例的韵律停顿预测方法中预测过程的架构图；
[0017]图4为根据本发明一个实施例的韵律停顿预测装置的结构示意图；
[0018]图5为根据本发明另一个实施例的韵律停顿预测装置的结构示意图。
【具体实施方式】
[0019]下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
[0020]在本发明的描述中，需要理解的是，术语“多个”指两个或两个以上；术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。
[0021]考虑到句子的韵律停顿与句子的语法句式结构的重要关系，如果将句子中的句式结构信息转化为韵律信息，结合现有的韵律预测流程，能够减少训练语料的不充分性和训练模型学习能力的局限性带来的影响，有效改善韵律预测的结果。因此，本发明提出了一种韵律停顿预测方法和装置。
[0022]下面参考附图描述根据本发明实施例的韵律停顿预测方法和装置。
[0023]本发明提出了一种韵律停顿预测方法，包括以下步骤:基于机器学习方法获取待预测的文本内容对应的停顿预测结果，并根据预设的句式模板库对文本内容进行句式匹配，以确定文本内容对应的韵律停顿信息；根据韵律停顿信息对停顿预测结果进行修正；根据修正后的停顿预测结果对文本内容进行韵律停顿预测。
[0024]图1为根据本发明一个实施例的韵律停顿预测方法的流程图。
[0025]如图1所示，根据本发明实施例的韵律停顿预测方法，包括以下步骤:
[0026]S101，基于机器学习方法获取待预测的文本内容对应的停顿预测结果，并根据预设的句式模板库对文本内容进行句式匹配，以确定文本内容对应的韵律停顿信息。
[0027]其中，句式模板库为预先建立的，包括多个句式模板，且每个句式模板分别具有对应的韵律停顿信息。举例来说，句式模板库中可包括“因为……，所以”且在“所以”之前具有一个韵律停顿信息(为长停顿)、还可包括“不但……，而且……”等句式模板，且在每个句式模板中，根据句式结构和发音规律在相应的位置都赋予了韵律停顿信息。
[0028]在本发明的一个实施例中，根据预设的句式模板库对文本内容进行句式匹配，以确定文本内容对应的韵律停顿信息，可具体包括:在句式模板库中查找文本内容对应的句式模板；根据文本内容对应的句式模板确定文本内容对应的韵律停顿信息。
[0029]举例来说，如图2所示，对于文本内容“因为你笑了，所以我也笑了”，通过查找句式模板库中的所有句式模板，可确定其具有句式模板“因为……，所以”，并可根据该句式模板对应的韵律停顿信息确定，该文本内容中“所以”之前应当为长停顿。
[0030]在本发明的实施例中，基于机器学习方法获取待预测的文本内容对应的停顿预测结果是指通过机器学习方法根据预先训练的预测模型对待预测的文本内容进行预测，获取该文本内容对应的停顿预测结果，其中，停顿预测结果可包括停顿位置，停顿类型(可包括长停顿、短停顿等)以及与停顿类型相对应的概率值。举例来说，可通过CRF(Condit1nalRandom Fields，条件随机场)算法对待预测的文本内容进行韵律停顿预测。
[0031]S102，根据韵律停顿信息对停顿预测结果进行修正。
[0032]在本发明的一个实施例中，停顿预测结果可包括停顿位置和与停顿位置对应的停顿类型和概率，即停顿预测结果中在文本内容中标注了具体需要停顿的位置，且每个位置具有相应的停顿类型(可包括长停顿和短停顿等)，以及为长停顿的概率或者短停顿的概率。
[0033]根据韵律停顿信息对停顿预测结果进行修正具体包括:根据韵律停顿信息确定文本内容中的长停顿的位置；判断在停顿预测结果中长停顿的位置对应的停顿类型是否为短停顿；如果是，则将停顿预测结果中长停顿的位置的停顿类型修改为长停顿，并将相应的概率设置为预设概率值。该预设概率阈值可为1.0o
[0034]如果根据韵律停顿信息确定文本内容中的长停顿的位置在停顿预测结果中没有被标注为停顿，则可忽略该韵律停顿信息，仍以停顿预测结果为准。如果根据韵律停顿信息确定文本内容中的长停顿的位置在停顿预测结果中也被标注为长停顿，则表明两种预测结果一致，