歌唱合成系统中基频合成参数生成方法及系统的制作方法
【技术领域】
[0001] 本发明涉及语音合成技术领域，具体涉及一种歌唱合成系统中基频合成参数生成 方法及系统。
【背景技术】
[0002] 近年来，歌唱合成系统得到了广泛的研究和应用，其中基于隐马尔可夫模型 (Hidden Markov Model, HMM)的参数合成系统以及基于波形拼接合成系统达到了实用标 准。相比于基于波形拼接合成系统，基于HMM的参数合成方法对训练数据量要求较少且系 统规模较小，因而具有较好的实用价值。
[0003] 基于参数合成的歌唱合成系统首先分别确定各基本合成单元(如音节，音素等）的 时长参数序列、基频参数序列以及频谱参数序列，随后再根据合成参数序列利用参数合成 器得到连续歌唱信号。时长参数、基频参数以及频谱参数的准确性都将直接影响到歌唱合 成效果。而对于歌唱语音，反映了韵律特征和情感表现的基频合成参数对最终合成效果有 非常大的影响，显然如何改善歌唱合成中基频合成参数的生成是歌唱合成系统中很重要的 一个问题。
[0004] 传统歌唱合成系统中基频参数的生成主要采用以下两种方式：
[0005] (1)基于简谱标注的基频参数生成
[0006] 具体地，系统根据简谱音高标注确定各基本合成单元对应的标准音高，并根据音 高基频转换公式直接生成基频参数。
[0007] (2)基于基频合成模型的参数生成
[0008] 具体地，系统预先录制大量歌唱语音训练数据并根据对应歌词标注信息(也包括 简谱中的音高和时值等信息）训练得到各基本合成单元的基频合成模型，随后在接收到歌 唱合成请求时，系统首先根据简谱的歌词文本信息获取各基本语音单元对应的基频模型， 进而生成相应的基频参数。
[0009] 基于简谱标注的基频参数生成方法，由于简谱的标注音高并不一定满足发音人的 实际基频分布特性，从而导致根据标准音高获取的基频参数与发音人本身的发音特性不一 致，最后合成语音不能反映发音人的特性，相似度很低、且合成语音略显呆板。而基于基频 合成模型的参数生成通过对真实数据的统计模拟得到符合发音人音色特点的基频模型，然 而由于建模本身带来的损失、以及基频模型选择的不完全准确性，该方法很难保证最终合 成效果的稳定性，有可能会出现明显的走调现象。
【发明内容】
[0010] 本发明提供一种歌唱合成系统中基频合成参数生成方法及系统，以使合成语音在 保留较高相似度和表现力的前提下，避免有明显的走调现象。
[0011] 为此，本发明提供如下技术方案：
[0012] 一种歌唱合成系统中基频合成参数生成方法，包括：
[0013] 获取待合成简谱；
[0014] 确定所述简谱的各基本合成单元；
[0015] 根据简谱标注获取各基本合成单元的基频合成参数，并将其作为第一融合参数；
[0016] 根据简谱标注确定对应所述各基本合成单元的基频合成模型，得到基频合成模型 序列；
[0017] 利用所述第一融合参数和所述基频合成模型序列进行融合优化，获得所述基本合 成单元的基频合成参数。
[0018] 优选地，所述根据简谱标注获取各基本合成单元的基频合成参数包括：
[0019] 利用简谱标注中的基调及音高信息，计算各基本合成单元的基频合成参数。
[0020] 优选地，所述方法还包括：
[0021] 基于最小误差原则对根据简谱标注获取的各基本合成单元的基频合成参数进行 优化。
[0022] 优选地，所述根据简谱标注确定对应所述各基本合成单元的基频合成模型，得到 基频合成模型序列包括：
[0023] 根据所述简谱标注获取各基本合成单元的上下文属性；
[0024] 根据所述上下文属性在预先训练得到的各基本合成单元的基频合成模型决策树 中分别确定对应所述基本合成单元的基频合成模型；
[0025] 拼接所述各基本合成单元的基频合成模型得到基频合成模型序列。
[0026] 优选地，所述利用所述第一融合参数和所述基频合成模型序列进行融合优化，获 得所述基本合成单元的基频合成参数包括：
[0027] 获取所述基频合成模型序列的似然度总和函数；
[0028] 使所述似然度总和最大化，得到各基本合成单元的基频合成参数，并将其作为第 二融合参数；
[0029] 对所述基本合成单元的第一融合参数和第二融合参数进行加权平均，获得所述基 本合成单元的基频合成参数。
[0030] 优选地，所述利用所述第一融合参数和所述基频合成模型序列进行融合优化，获 得所述基本合成单元的基频合成参数包括：
[0031] 获取所述基频合成模型序列的似然度总和函数；
[0032] 根据所述第一融合参数确定约束条件；
[0033] 使所述似然度总和在所述约束条件下最大化，得到各基本合成单元的基频合成参 数。
[0034] 一种歌唱合成系统中基频合成参数生成系统，包括：
[0035] 简谱获取模块，用于获取待合成简谱；
[0036] 确定模块，用于确定所述简谱的各基本合成单元；
[0037] 第一融合参数获取模块，用于根据简谱标注获取各基本合成单元的基频合成参 数，并将其作为第一融合参数；
[0038] 模型序列确定模块，用于根据简谱标注确定对应所述各基本合成单元的基频合成 模型，得到基频合成模型序列；
[0039] 融合模块，用于利用所述第一融合参数和所述基频合成模型序列进行融合优化， 获得所述基本合成单元的基频合成参数。
[0040] 优选地，所述第一融合参数获取模块，具体用于利用简谱标注中的基调及音高信 息，计算各基本合成单元的基频合成参数。
[0041] 优选地，所述系统还包括：
[0042] 优化模块，用于基于最小误差原则对根据简谱标注获取的各基本合成单元的基频 合成参数进行优化。
[0043] 优选地，所述模型序列确定模块包括：
[0044] 上下文属性获取单元，用于根据所述简谱标注获取各基本合成单元的上下文属 性；
[0045] 基频合成模型获取单元，用于根据所述上下文属性在预先训练得到的各基本合成 单元的基频合成模型决策树中分别确定对应所述基本合成单元的基频合成模型；
[0046] 模型序列确定单元，用于拼接所述各基本合成单元的基频合成模型得到基频合成 模型序列。
[0047] 优选地，所述融合模块包括：
[0048] 计算单元，用于获取所述基频合成模型序列的似然度总和函数；
[0049] 第二融合参数获取单元，用于使所述似然度总和最大化，得到各基本合成单元的 基频合成参数，并将其作为第二融合参数；
[0050] 加权单元，用于对所述基本合成单元的第一融合参数和第二融合参数进行加权平 均，获得所述基本合成单元的基频合成参数。
[0051 ] 优选地，所述融合模块包括：
[0052] 计算单元，用于获取所述基频合成模型序列的似然度总和函数；
[0053] 约束条件确定单元，用于根据所述第一融合参数确定约束条件；
[0054] 优化单元，用于使所述似然度总和在所述约束条件下最大化，得到各基本合成单 元的基频合成参数。
[0055] 本发明实施例提供的歌唱合成系统中基频合成参数生成方法及系统与现有技术 相比的优点在于：现有技术是直接使用从简谱中得到的基频、或直接根据模型生成基频，对 于使用从简谱中得到的基频，对任何发音人均使用这个基频参数，对于很多音色有特性的 用户，其基频的分布对其音色有很重要的影响，比如在一个词的末尾基频有明显下降，如果 完全使用简谱中描述的基频、或对其范围进行调整后再使用，则合成语音与目标发音人的 音色相似度将大大降低，但如果直接使用合成模型生成的基频，则会由于生成基频不准确 而导致出现较明显的走调现象。而利用本发明实施例的方法及系统，可以使合成语音在保 留较高相似度和表现力的前提下，不会有明显的走调现象，在相似度、表现力和合成效果之 间做出了很好的折中，从而可以使合成语音在保留较高相似度和表现力的前提下，避免有 明显的走调现象。
【附图说明】
[0056] 为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所 需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一 些实施例，对于本领域普通技术人员来讲，还可以根据