一种唱歌评测方法及系统与流程

本发明涉及语音信号处理技术领域，特别涉及一种唱歌评测方法及系统。

背景技术：

随着移动互联网技术的快速发展，人们可以方便、快捷地实现随时随地唱歌的需求，越来越多的KTV或在线歌唱软件开始针对用户的唱歌水平进行评测，从而增加了唱歌的娱乐性。由于受到K歌设备软件或硬件等因素的影响，例如：(1)录音设备的响应时间与播放时间存在时间差；(2)录音硬件设备质量较差，无法保证录音采样率的稳定性；(3)歌曲播放时间难以获取，歌曲播放过程中可能无法准确读取各个时刻的播放进度，如Flash平台录音时，需要等待一段时间之后才能取得录音数据，系统延迟较大；(4)软件运行过程中可能会由于CPU占用等问题，导致系统运行受阻，从而在某个时间点出现录音偏差。这些影响因素容易导致系统所接收的用户演唱数据(也即，用户演唱歌曲的录音数据)与用户实际的演唱数据之间存在时间偏差，进而导致唱歌评测的准确度较低。因此，在对用户演唱歌曲进行评测前，需要将接收到的用户演唱数据与用户实际的演唱数据进行同步操作。在不考虑演唱技巧的情况下，用户在演唱歌曲过程中，总是期望能与标准原唱同步，考虑到用户的实际演唱时间难以获取，可以将用户演唱歌曲的录音与标准原唱声音进行同步操作，然后对同步后的演唱数据进行评分，从而保证评分结果的准确性。

现有技术中，通常采用动态时间规整(Dynamic Time Warping，简称DTW)算法将用户演唱歌曲的录音和标准原唱声音进行同步。具体而言，通过分别提取用户演唱歌曲的录音和标准原唱声音的频谱特征(例如：美尔频率倒谱系数或基频特征)，然后采用DWT实现两者的同步。其中，标准原唱声音通常为带有伴奏的歌曲原唱数据或通过音乐专业人士录制的数据。当使用带有伴奏的歌曲原唱时，由于标准原唱中含有伴奏的声音，会对同步操作造成干扰，并且 伴奏声音也很难准确消除；当使用音乐专业人士录制的数据时，将导致成本直接提升；并且采用DWT实现同步操作时，一般是以帧为单位进行每步代价的计算，导致计算量较大，很难满足实时评分的要求。

技术实现要素：

本发明实施例提供了一种唱歌评测方法及系统，计算过程简单、评分准确，能够满足实时打分的应用需求。

本发明实施例提供的技术方案如下：

一方面，提供了一种唱歌评测方法，包括：

获取用户演唱歌曲中当前句子的录音数据；

获取所述当前句子的标准乐谱数据；

在包含所述当前句子的录音数据的起始位置的搜索窗长范围内查找最佳偏移帧数；

根据所述最佳偏移帧数对所述当前句子的录音数据进行平移，以使所述当前句子的录音数据与所述标准乐谱数据在时间上同步；

对平移后的所述当前句子的录音数据进行评分；

根据用户演唱歌曲的每个句子的评分得到所述用户演唱歌曲的评分结果。

优选地，所述在包含所述当前句子的录音数据的起始位置的搜索窗长范围内查找最佳偏移帧数包括：

判断所述当前句子是否为所述歌曲的首句；

如果是，则从所述当前句子的录音数据的起始位置开始以预设步长在所述搜索窗长范围内多次调整偏移帧数，并根据每次调整后的偏移帧数对所述当前句子的录音数据进行平移，计算每次平移后的所述当前句子的录音数据和所述标准乐谱数据的音高差值；

将所述音高差值中最小音高差值所对应的偏移帧数确定为所述当前句子的最佳偏移帧数。

优选地，所述方法还包括：如果所述当前句子不是所述歌曲的首句，且所述当前句子为所述歌曲的第j句，j为大于等于2的整数；

计算第j-1句的音高偏移得分；

如果所述音高偏移得分高于预设分值，则根据预设的窗长调整因子和所述音高偏移得分对所述搜索窗长进行调整。

优选地，所述在包含所述当前句子的录音数据的起始位置的搜索窗长范围内查找最佳偏移帧数还包括：

分别获取第j-1句的录音数据的音高偏移得分和最佳偏移帧数；

获取第j-2句的录音数据的最佳偏移帧数，并根据所述第j-2句的录音数据的最佳偏移帧数对所述第j-1句的录音数据进行平移，得到平移后的所述第j-1句的录音数据的起始帧编号；

在包含所述第j-1句的录音数据的起始帧编号的搜索窗长范围内查找所述第j-1句的录音数据和所述标准乐谱数据的最小音高差值所对应的偏移帧数；

根据所述起始帧编号和所述最小音高差值所对应的偏移帧数确定所述第j-1句的录音数据的最佳偏移位置；

根据所述第j-1句的录音数据的最佳偏移帧数、所述音高偏移得分、所述起始帧编号和所述最佳偏移位置确定所述当前句子的最佳偏移帧数。

优选地，在对平移后的所述当前句子的录音数据进行评分之前，所述方法还包括：

以音符为单位计算平移后的所述当前句子的录音数据和所述标准乐谱数据的误差距离；

如果所述误差距离大于预设阈值，则以所述预设阈值替代所述误差距离；

根据所述预设阈值和/或所述误差距离计算所述当前句子的录音数据和所述标准乐谱数据的累计误差距离。

另一方面，提供了一种唱歌评测系统，包括：

第一获取模块，用于获取用户演唱歌曲中当前句子的录音数据；

第二获取模块，用于获取所述当前句子的标准乐谱数据；

查找模块，用于在包含所述当前句子的录音数据的起始位置的搜索窗长范围内查找最佳偏移帧数；

平移模块，用于根据所述最佳偏移帧数对所述当前句子的录音数据进行平移，以使所述当前句子的录音数据与所述标准乐谱数据在时间上同步；

第一评分模块，用于对平移后的所述当前句子的录音数据进行评分；

第二评分模块，用于根据用户演唱歌曲的每个句子的评分得到所述用户演唱歌曲的评分结果。

优选地，所述查找模块包括：

第一判断单元，用于判断所述当前句子是否为所述歌曲的首句；

第一调整单元，用于在所述第一判断单元判断所述当前句子为所述歌曲的首句后，从所述当前句子的录音数据的起始位置开始以预设步长在所述搜索窗长范围内多次调整偏移帧数；

第一平移单元，用于根据每次调整后的偏移帧数对所述当前句子的录音数据进行平移；

第一计算单元，用于计算每次平移后的所述当前句子的录音数据和所述标准乐谱数据的音高差值；

第一确定单元，用于将所述音高差值中最小音高差值所对应的偏移帧数确定为所述当前句子的最佳偏移帧数。

优选地，所述系统还包括：

第二计算单元，用于在所述第一判断单元判断所述当前句子不是所述歌曲的首句，且判断所述当前句子为所述歌曲的第j句后，j为大于等于2的整数，计算第j-1句的音高偏移得分；

第二判断单元，用于判断所述音高偏移得分是否高于预设分值；

第二调整单元，用于在所述第二判断单元判断所述音高偏移得分高于预设分值后，根据预设的窗长调整因子和所述音高偏移得分对所述搜索窗长进行调整。

优选地，所述查找模块还包括：

第一获取单元，用于分别获取第j-1句的录音数据的音高偏移得分和最佳偏移帧数；

第二获取单元，用于获取第j-2句的录音数据的最佳偏移帧数；

第二平移单元，用于根据所述第j-2句的录音数据的最佳偏移帧数对所述第j-1句的录音数据进行平移，得到平移后的所述第j-1句的录音数据的起始帧编号；

查找单元，用于在包含所述第j-1句的录音数据的起始帧编号的搜索窗长 范围内查找所述第j-1句的录音数据和所述标准乐谱数据的最小音高差值所对应的偏移帧数；

第二确定单元，用于根据所述起始帧编号和所述最小音高差值所对应的偏移帧数确定所述第j-1句的录音数据的最佳偏移位置；

第三确定单元，用于根据所述第j-1句的录音数据的最佳偏移帧数、所述音高偏移得分、所述起始帧编号和所述最佳偏移位置确定所述当前句子的最佳偏移帧数。

优选地，所述系统还包括：

第一计算模块，用于在所述第一评分模块对平移后的所述当前句子的录音数据进行评分之前，以音符为单位计算平移后的所述当前句子的录音数据和所述标准乐谱数据的误差距离；

判断模块，用于判断所述误差距离是否大于预设阈值；

替代模块，用于在所述判断模块判断所述误差距离大于预设阈值后，以所述预设阈值替代所述误差距离；

第二计算模块，用于根据所述预设阈值和/或所述误差距离计算所述当前句子的录音数据和所述标准乐谱数据的累计误差距离。

本发明实施例提供的唱歌评测方法及系统，通过在包含当前句子的录音数据的起始位置的搜索窗长范围内查找最佳偏移帧数，并根据最佳偏移帧数对当前句子的录音数据进行平移，使当前句子的录音数据与标准乐谱数据在时间上同步，然后对平移后的当前句子的录音数据进行评分，计算过程简单，评分结果准确、及时，能够满足实时打分的应用需求。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种唱歌评测方法的流程图；

图2是本发明实施例提供的第二种唱歌评测方法的流程图；

图3是本发明实施例提供的第三种唱歌评测方法的流程图；

图4是本发明实施例提供的一种查找最佳偏移帧数的流程图；

图5是本发明实施例提供的一种累计误差计算方法的流程图；

图6是本发明实施例提供的一种唱歌评测系统的结构示意图；

图7是本发明实施例提供的第二种唱歌评测系统的结构示意图；

图8是本发明实施例提供的第三种唱歌评测系统的结构示意图；

图9是本发明实施例提供的第四种唱歌评测系统的结构示意图；

图10是本发明实施例提供的第五种唱歌评测系统的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明实施例的方案，下面结合附图和实施方式对本发明实施例作进一步的详细说明。

本发明实施例提供了一种唱歌评测方法，如图1所示，包括以下步骤：

步骤101：获取用户演唱歌曲中当前句子的录音数据。

具体地，可以采用麦克风等输入设备对用户演唱歌曲进行数据采集。

步骤102：获取当前句子的标准乐谱数据。

步骤103：在包含当前句子的录音数据的起始位置的搜索窗长范围内查找最佳偏移帧数。

其中，可以通过端点检测技术等进行录音数据的起始位置的确定，搜索窗长可以预先设置好，例如，为录音数据的起始位置的左右20帧范围，从而在该搜索窗长范围内查找最佳偏移帧数。

具体而言，如图2所示，在包含当前句子的录音数据的起始位置的搜索窗长范围内查找最佳偏移帧数包括：

步骤201：判断当前句子是否为歌曲的首句。

具体可以根据歌曲的标记文件判断当前句子是否为歌曲的首句。

如果是，则执行步骤202：从当前句子的录音数据的起始位置开始以预设步长在搜索窗长范围内多次调整偏移帧数，并根据每次调整后的偏移帧数对当前句子的录音数据进行平移，计算每次平移后的当前句子的录音数据和标准乐谱数据的音高差值。

其中，预设步长可以根据实际需要进行设定，例如设置为2帧，从而可以在当前句子的录音数据的-20帧到20帧范围内，每次移动2帧，并计算每次平移后的当前句子的录音数据和标准乐谱数据的音高差值。

具体而言，对于一个具体位置的用户演唱歌曲的录音数据和标准乐谱数据的音高差值SubPitch_j＝{subPitch_j1,subPitch_j2,...subPitch_jk}，则用户演唱数据中第j句与标准乐谱第j句之间在移动shift_jk帧时的音高差值subPitch_jk的计算方法如公式(1)所示：

${\mathrm{subPitch}}_{\mathrm{jk}}=\underset{i=1}{\overset{N_j}{\mathrm{\Σ}}}|{\mathrm{UserPitch}}_{j(i+{\mathrm{shift}}_{\mathrm{jk}})}-{\mathrm{TemplatePitch}}_{j(i+{\mathrm{shift}}_{\mathrm{jk}})}|---\left(1\right)$

其中，对于首句j＝1，subPitch_jk表示用户演唱数据中第j句与标准乐谱第j句之间在移动shift_jk帧时的音高差值，UserPitch_j(i+shiftjk)表示第j句用户演唱数据中第i帧移动shift_jk帧后的音高值，TemplatePitch_j(i+shiftjk)表示第j句标准乐谱第i帧移动shift_jk帧后的音高值，N_j表示第j句用户演唱数据的总帧数。shift_jk表示第j句用户演唱数据第k次移动的偏移帧数，例如，步长为2时，每次移动的偏移帧数：第一次移动2帧，第二次移动4帧，第三次移动6帧等。

步骤203：将音高差值中最小音高差值所对应的偏移帧数确定为当前句子的最佳偏移帧数。

将音高差值SubPitch₁中最小音高差值对应的偏移帧数shift_jk，确定为用户演唱数据的当前句子的录音数据的最佳偏移帧数BestShift₁。

如果当前句子不是歌曲的首句，假设当前句子为歌曲的第j句，j为大于等于2的整数，如图3所示，上述唱歌评测方法还包括：

步骤301：计算第j-1句的音高偏移得分。

在本发明实施例中，如果当前句子为歌曲的第j句，则j-1句为当前句子的上一句子，也即计算第j-1句的音高偏移得分，具体计算方式如公式(2)所示：

${\mathrm{ScorePitch}}_{j-1}=1-\frac{\min \left\{{\mathrm{SubPitch}}_{j-1}\right\}}{\mathrm{MAX}}---\left(2\right)$

其中，min{SubPitch_j-1}是指SubPitch_j-1中的最小值，MAX指比min{SubPitch_j-1} 还大的半音数，如MAX＝4，即4个半音，一般根据经验取值。由公式(2)可知，当用户演唱数据与标准乐谱差较多时，音高偏移得分ScorePitch_j-1较小，反之，会较大。

步骤302：判断音高偏移得分是否高于预设分值。

如果是，则执行步骤303：根据预设的窗长调整因子和音高偏移得分对搜索窗长进行调整。

第j句用户演唱语音帧最佳起始位置的搜索窗长WinLen_j，计算方法如公式(3)所示：

WinLen_j＝WinLen_j-1-WinLen_j-1*Wratio*ScorePitch_j-1，j>1 (3)

其中，Wratio为窗长调整因子，取值可以根据实际应用情况而定，ScorePitch_j-1为第j-1句的音高偏移得分。由公式(3)可知，当用户演唱数据的第j-1句的音高偏移得分较小时，说明用户演唱数据与标准乐谱的偏移较大，搜索窗长调整的幅度要小一些，防止找不到最佳偏移；

如果否，搜索窗长不进行调整，即WinLen_j＝WinLen_j-1，其中，j为大于等于2的整数。

如图4所示，在包含当前句子的录音数据的起始位置的搜索窗长范围内查找最佳偏移帧数，还包括：

步骤401：分别获取第j-1句的录音数据的音高偏移得分和最佳偏移帧数。

步骤402：获取第j-2句的录音数据的最佳偏移帧数，并根据第j-2句的录音数据的最佳偏移帧数对第j-1句的录音数据进行平移，得到平移后的第j-1句的录音数据的起始帧编号。

具体而言，平移后的第j-1句的录音数据的起始帧编号的计算方法如公式(4)所示，其中，j为大于等于2的整数：

aftTransPos_j-1＝preTransPos_j-1+BestShift_j-2 (4)

其中，preTransF_j-1为第j-1句用户演唱语音帧平移前的起始帧编号，preTransPos_j-1为第j-1句用户演唱语音帧平移后的起始帧编号，BestShift_j-2为第j-2句的最佳偏移帧数，当j＝2时，aftTransPos_j-1＝preTransPos_j-1。

步骤403：在包含第j-1句的录音数据的起始帧编号的搜索窗长范围内查找第j-1句的录音数据和标准乐谱数据的最小音高差值所对应的偏移帧数。

在本发明实施例中，根据搜索窗长WinLen_j-1，在平移后的用户演唱语音起始帧编号aftTransPos_j-1基础上，搜索第j-1句用户演唱语音帧与标准乐谱数据的最小音高差值所对应的偏移帧数shift_(j-1)k

步骤404：根据起始帧编号和最小音高差值所对应的偏移帧数确定第j-1句的录音数据的最佳偏移位置bestBeginPos_j-1，如公式(5)所示：

bestBeginPos_j-1＝aftTransPos_j-1+shift_(j-1)k (5)

公式(5)中的j为大于等于2的整数，k为大于等于1的整数。

步骤405：根据第j-1句的录音数据的最佳偏移帧数、音高偏移得分、起始帧编号和最佳偏移位置确定当前句子的最佳偏移帧数。

具体而言，根据公式(6)可以计算得出当前句子(第j句)的最佳偏移帧数BestShift_j，其中，j为大于等于2的整数。

BestShift_j＝BestShift_j-1+ScorePitch_j-1*(bestBeginPos_j-1-aftTransPos_j-1) (6)

其中，公式(6)中的BestShift_j-1为第j-1句的最佳偏移帧数，ScorePitch_j-1为第j-1句的音高偏移得分，bestBeginPos_j-1为第j-1句的最佳偏移位置，aftTransPos_j-1为第j-1句平移后的起始帧编号。

步骤104：根据最佳偏移帧数对当前句子的录音数据进行平移，以使当前句子的录音数据与标准乐谱数据在时间上同步。

步骤105：对平移后的当前句子的录音数据进行评分。

在本发明的另一个实施例中，如图5所示，在对平移后的当前句子的录音数据进行评分之前，上述唱歌评测方法还包括：

步骤501：以音符为单位计算平移后的当前句子的录音数据和标准乐谱数据的误差距离；

步骤502：判断误差距离是否大于预设阈值；

步骤503：如果判断上述误差距离大于预设阈值，则以预设阈值替代误差距离，否则保持误差距离不变；

步骤504：根据预设阈值和/或误差距离计算当前句子的录音数据和标准乐谱数据的累计误差距离。

具体而言，累计误差距离D_j可以通过公式(7)计算得到：

$D_j=\frac{1}{N}\underset{i=1}{\overset{N_j}{\mathrm{\Σ}}}\frac{1}{N_i}\underset{k=1}{\overset{N_{\mathrm{ji}}}{\mathrm{\Σ}}}\min \left(\right|{\mathrm{note}}_{\mathrm{ji}}^k-{\mathrm{user}}_{\mathrm{ji}}^k|,\mathrm{PENALTY})---\left(7\right)$

其中，N表示第j句中的音符总数，N_ji表示第j句用户语音帧第i个音符标准的时长帧数，表示第j句标准乐谱中第i个音符第k帧的音高值，表示第j句用户演唱语音帧第i个音符第k帧的音高值，PENALTY表示用户演唱的音高值和标准音高值差距的上限，所述上限主要为了防止用户在一句中唱错了一个音符或漏唱了一个音符，整句的距离过大，提升评分算法的鲁棒性。

步骤106：根据用户演唱歌曲的每个句子的评分得到用户演唱歌曲的评分结果。

本发明实施例提供的唱歌评测方法，通过在包含当前句子的录音数据的起始位置的搜索窗长范围内查找最佳偏移帧数，并根据最佳偏移帧数对当前句子的录音数据进行平移，使当前句子的录音数据与标准乐谱数据在时间上同步，然后对平移后的当前句子的录音数据进行评分，计算过程简单，评分结果准确、及时，能够满足实时打分的应用需求。

本发明实施例另外提供一种唱歌评测系统，如图6所示，包括：

第一获取模块601，用于获取用户演唱歌曲中当前句子的录音数据；

第二获取模块602，用于获取当前句子的标准乐谱数据；

查找模块603，用于在包含当前句子的录音数据的起始位置的搜索窗长范围内查找最佳偏移帧数；

平移模块604，用于根据最佳偏移帧数对当前句子的录音数据进行平移，以使当前句子的录音数据与标准乐谱数据在时间上同步；

第一评分模块605，用于对平移后的当前句子的录音数据进行评分；

第二评分模块606，用于根据用户演唱歌曲的每个句子的评分得到用户演唱歌曲的评分结果。

如图7所示，上述查找模块603包括：

第一判断单元701，用于判断当前句子是否为歌曲的首句；

第一调整单元702，用于在第一判断单元701判断当前句子为歌曲的首句后，从当前句子的录音数据的起始位置开始以预设步长在搜索窗长范围内多次 调整偏移帧数；

第一平移单元703，用于根据每次调整后的偏移帧数对当前句子的录音数据进行平移；

第一计算单元704，用于计算每次平移后的当前句子的录音数据和标准乐谱数据的音高差值；

第一确定单元705，用于将音高差值中最小音高差值所对应的偏移帧数确定为当前句子的最佳偏移帧数。

如图8所示，上述唱歌评测系统进一步还包括：

第二计算单元706，用于在第一判断单元701判断当前句子不是歌曲的首句，且判断当前句子为歌曲的第j句后，j为大于等于2的整数，计算第j-1句的音高偏移得分；

第二判断单元707，用于判断音高偏移得分是否高于预设分值；

第二调整单元708，用于在第二判断单元707判断音高偏移得分高于预设分值后，根据预设的窗长调整因子和音高偏移得分对搜索窗长进行调整。

在本发明的另外一个实施例中，如图9所示，查找模块603还包括：

第一获取单元709，用于分别获取第j-1句的录音数据的音高偏移得分和最佳偏移帧数；

第二获取单元710，用于获取第j-2句的录音数据的最佳偏移帧数；

第二平移单元711，用于根据第j-2句的录音数据的最佳偏移帧数对所述第j-1句的录音数据进行平移，得到平移后的第j-1句的录音数据的起始帧编号；

查找单元712，用于在包含第j-1句的录音数据的起始帧编号的搜索窗长范围内查找第j-1句的录音数据和标准乐谱数据的最小音高差值所对应的偏移帧数；

第二确定单元713，用于根据起始帧编号和最小音高差值所对应的偏移帧数确定第j-1句的录音数据的最佳偏移位置；

第三确定单元714，用于根据第j-1句的录音数据的最佳偏移帧数、音高偏移得分、起始帧编号和最佳偏移位置确定当前句子的最佳偏移帧数。

如图10所示，上述唱歌评测系统进一步还包括：

第一计算模块801，用于在第一评分模块605对平移后的当前句子的录音数据进行评分之前，以音符为单位计算平移后的当前句子的录音数据和标准乐谱数据的误差距离；

判断模块802，用于判断误差距离是否大于预设阈值；

替代模块803，用于在判断模块802判断误差距离大于预设阈值后，以预设阈值替代所述误差距离；

第二计算模块804，用于根据预设阈值和/或误差距离计算当前句子的录音数据和标准乐谱数据的累计误差距离。

本发明实施例提供的唱歌评测系统，通过在包含当前句子的录音数据的起始位置的搜索窗长范围内查找最佳偏移帧数，并根据最佳偏移帧数对当前句子的录音数据进行平移，使当前句子的录音数据与标准乐谱数据在时间上同步，然后对平移后的当前句子的录音数据进行评分，计算过程简单，评分结果准确、及时，能够满足实时打分的应用需求。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统实施例仅仅是示意性的，其中所述作为分离部件说明的模块或单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。