专利名称：一种提取歌曲副歌的方法、装置和系统的制作方法
技术领域：
本发明涉及通信技术领域，具体涉及一种提取歌曲副歌的方法、装置和系统。
背景技术：
通常，一首歌曲是由一定结构性的段落组成，包括前奏、主歌、副歌、间奏等。而其中的副歌，一般会重复2至3次，其旋律和歌词都非常相似，形成了流行歌曲中通常最容易被人记忆的部分，给予听者一种歌曲达到“高潮”的感觉。因此，副歌可以称为一首歌曲当中“最具代表性”和“最吸引人”的部分。另外，副歌片段的长度明显短于整个歌曲的长度，因此副歌片段可以作为一首歌曲的有效标志。作为一首歌曲的标志，如果能够准确的提取副歌部分将会在音乐概要和彩铃等方面有很广阔的商业应用前景。但是，一首歌曲音频文件中信号的复杂性和不同歌曲之间的差异性为副歌提取带来很多的困难。现有技术中具有很多提取副歌的方法，但是其效果均·不太理想，基于音高特征分布向量(即chroma特征向量)的副歌提取方法是其中的一种较为常用的方法，其方案具体可以如下第一步，将音频信号分为等长的片段，每一片段称为帧，从片段中提取12维的chroma特征向量,其中，这12维的chroma特征向量代表12个不同半音量值的分布。第二步,计算chroma特征向量的相似性。第三步，通过比较不同两个片段的相似性，得到重复片段。第四步，对得到的重复片段进行分类和整合。第五步，对第四步中得到的整合后的重复片段进行修正。比如在第四步中没有考虑到基音的变化(即变调)，则此时需要对第四步得到的重复片段提高音高再去提取重复片段。第六部，选择副歌部分。比如，当一个重复片段在两个较长的重复片段之间时更有可能为副歌部分；又比如，副歌部分一般含有两个重复的子部分，如果一个重复片段有两个重复子片段时更有可能为副歌部分。将这些假设设置为条件，根据条件对重复片段进行打分，得分高的即为副歌部分。在对现有技术的研究和实践过程中，本发明的发明人发现，现有技术主要采用固定分帧的方法，在默认节奏是固定的情况下，将歌曲分割成等长度的片段(即帧)。但实际上，歌曲的节拍并不是固定的，所以采用该方案并不能准确地提取副歌部分。
发明内容
本发明实施例提供一种提取歌曲副歌的方法、装置和系统；可以较为准确地提取歌曲的副歌部分。一种提取歌曲副歌的方法，包括获取音频信号；对所述音频信号进行节拍追踪，得到节拍追踪结果；
根据节拍追踪结果，以节拍为单位提取音高特征分布向量chroma特征向量；根据chroma特征向量选择副歌估计片段；根据预置条件对副歌估计片段进行评分，得到评分结果；根据评分结果从副歌估计片段中选择副歌。一种副歌提取设备，包括获取单元,用于获取音频信号；节拍追踪单元，用于对获取单元获取到的音频信号进行节拍追踪，得到节拍追踪结果;特征提取单元，用于根据节拍追踪单元得到的节拍追踪结果，以节拍为单位提取 音高特征分布向量chroma特征向量；估计单元，用于根据特征提取单元提取到的chroma特征向量选择副歌估计片段；评分单元，用于根据预置条件对估计单元选择出的副歌估计片段进行评分，得到评分结果；选择单元，用于根据评分单元得到的评分结果从副歌估计片段中选择副歌。本发明实施例采用对获取到的音频信号进行节拍追踪，然后根据节拍追踪结果，以节拍为单位提取音高特征分布向量chroma特征向量,根据chroma特征向量选择副歌估计片段，再根据预置条件对副歌估计片段进行评分，根据评分结果从副歌估计片段中选择副歌；由于该方案可以对歌曲的节拍进行跟踪，并基于歌曲的节拍来进行后续的chroma特征向量提取，实现对副歌进行提取，所以相对现有技术所采用的固定分帧方法而言，更能贴合不同节拍的歌曲的需求，可以更灵活和准确地提取副歌。
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图I是本发明实施例提供的提取歌曲副歌的方法的流程图；图2是本发明实施例提供的提取歌曲副歌的方法的另一流程图；图3是本发明实施例提供的副歌提取设备的结构示意图；图4是本发明实施例提供的副歌提取设备的另一结构示意图。
具体实施例方式下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。副歌提取在日常生活中具有很广泛的应用首先，由于手机铃声以及彩铃在时间长度上的限制性，一般不可能使用整首歌曲。因此对于任意给定的流行音乐歌曲，如果可以自动生成手机铃声以及彩铃的话，则可以为用户提供更加丰富的个性化服务，为用户带来更好的使用体验。而副歌的提取则可以满足该需求，副歌的提取可以应用于手机铃声以及彩铃的自动生成，用户可以在大量的提取出的副歌数据库选择自己喜欢的副歌作为手机铃声或彩铃，也可以利用该副歌提取方法制作自己喜欢的手机铃声以及彩铃。其次，在大规模的音乐数据库中，可以通过副歌提取来制作示范片段，使得用户可以通过欣赏提取出的较少的副歌部分来决定是否下载，从而可以避免直接下载整首歌曲，以节省网络带宽。最后，副歌提取技术可以应用在音乐版权的管理和保护中。当然，副歌的提取也可以有其他的应用，在此不再赘述。本发明实施例提供一种提取歌曲副歌的方法、装置和系统。以下分别进行详细说明。实施例一、本实施例将从副歌提取设备的角度进行描述。该副歌提取设备具体可以为计算机。一种提取歌曲副歌的方法，包括获取音频信号，对该音频信号进行节拍追踪，得到节拍追踪结果，根据节拍追踪结果，以节拍为单位提取音色(chroma)特征向量，根据chroma特征向量选择副歌估计片段，根据预置条件对副歌估计片段进行评分，得到评分结果，根据评分结果从副歌估计片段中选择副歌。如图I所示，具体流程可以如下101、获取音频信号；例如，读取一个音频文件，比如一首流行歌曲，该音频文件具体可以由系统自动读取，也可以由用户输入。102、对获取到的音频信号进行节拍追踪，得到节拍追踪结果；例如，可以对音频信号进行音符开端检测(Onset Detection)，得到音符开端检测结果，然后根据音符开端检测结果进行节拍追踪，使得节拍的开端尽可能与音符开端重合，并且使得两个节拍之间的时间长度恒定。如下(I)对音频信号进行音符开端检测，得到音符开端检测结果，具体可以如下将音频信号划分为第一预置长度的帧；对划分为帧的音频信号通过短时傅立叶变换(STFT, Short-time Fourier Transform)映射到频域；对映射到频域的音频信号进行频谱分析，得到音符开端检测函数(此时音符开端检测函数即为音符开端检测结果)。其中，第一预置长度的大小可以根据实际应用的需求进行设置，一般为了保证短时傅里叶变换中的信号相对稳定，可以对音频信号进行固定长度的分帧，即第一预置长度为一固定的值，比如可以设置第一预置长度为32毫秒(ms)，且每次以4ms为单位进行推进一进行分巾贞。例如，如果一音频信号的长度为60ms,则可以划分为1ms 32ms为第一中贞，5ms 36ms为第二巾贞，9ms 40ms为第三巾贞，13ms 44ms为第四巾贞，17ms 48ms为第五中贞，21ms 52ms为第六巾贞，25ms 56ms为第七巾贞，29ms 60ms为第八巾贞，以此类推。(2)根据音符开端检测结果进行节拍追踪(Beat Tracking)，使得节拍的开端尽可能与音符开端重合，并且使得两个节拍之间的时间长度恒定，具体可以如下将音符开端检测函数与预置的衡量标准函数的和作为目标函数，计算可以使得该目标函数的值最大的节拍序列。
其中，衡量标准函数为用于衡量速率的一个标准。另外，如果能够找到使得目标函数的值最大的节拍序列，则意味着可以满足“使得节拍的开端尽可能与音符开端重合，并且使得两个节拍之间的时间长度恒定”这两个条件。103、根据节拍追踪结果，以节拍为单位提取音高特征分布向量chroma特征向量；例如，具体可以如下将音频信号划分为第二预置长度的帧；其中，第二预置长度的大小可以根据实际应用的需求进行设置，比如，如果音频信号的采样率是44100Hz，则每一帧的长度可以为2048个点/44100Hz = 46ms,即设置第二预置长度为46ms。将每一巾贞内的音频信号通过傅里叶变换(FT, Fourier Transform)由时域映射到频域；在频域中，将对应于不同八度但对应同一音名频率的部分映射到对应的半音音名中，产生一个12维向量，其中，每一维对应于一个八度中的一个半音；根据节拍追踪结果将划分后的帧与节拍同步；计算属于同一个节拍内的所有帧的12维向量的平均值，得到与该节拍同步的chroma特征向量。·
此外，如果在步骤102中，已经得到了可以使得目标函数的值最大的节拍序列，则此时，根据节拍追踪结果，以节拍为单位提取chroma特征向量(即步骤103)具体可以为根据得到的节拍序列，以节拍为单位提取音高特征分布向量chroma特征向量。104、根据chroma特征向量选择副歌估计片段；例如，具体可以采用现有技术的方法来根据chroma特征向量选择副歌估计片段，具体可参见现有技术。也可以采用不同于现有技术的方法来根据chroma特征向量选择副歌估计片段，即可以利用chroma特征向量进行自距离矩阵(SDM, Self-distance Matrix)计算，再根据自距离矩阵中每一个元素所表示的距离大小对自距离矩阵进行二值化处理，得到二值化结果，然后根据二值化结果选择副歌估计片段。具体可以如下(I)利用chroma特征向量进行自距离矩阵计算，包括根据音频信号的总节拍数和chroma特征向量定义自距离矩阵，从自距离矩阵的主对角线开始向左下方平移，计算每一条子对角线上所有矩阵元素的平均值，得到元素平均值，计算第一函数的极小值，其中，第一函数为一个以k为自变量,元素平均值为函数值的函数。k表示该子对角线与主对角线相比而言，向左下方平移的长度邱是整个音频文件的节拍数。(2)根据自距离矩阵中每一个元素所表示的距离大小对自距离矩阵进行二值化处理，得到二值化结果，包括根据第一函数的极小值获取对应的子对角线，将获取到的对角线上的矩阵元素与预置第一阈值进行比较，若矩阵元素大于第一阈值，则将矩阵元素设置为0，若矩阵元素小于等于第一阈值，则将矩阵元素设置为I。其中，第一阈值可以根据实际应用的需求进行设置。(3)根据二值化结果选择副歌估计片段，包括若连续出现I的音频信号片段的长度大于预置的第二阈值，则确定该音频信号片段为副歌估计片段。其中，第二阈值可以根据实际应用的需求进行设置。105、根据预置条件对副歌估计片段进行评分，得到评分结果；例如，一般来讲，某一类副歌的出现位置都是在一个大约的位置，因此，可以对该位置进行估计。比如，大部分流行音乐歌曲的副歌都会出现在接近歌曲四分之以及四分之三的位置附近，因为，可以通过副歌可能出现的段落与整首歌曲四分之一以及四分之三的位置之间的距离作为一个衡量的评分标准。若段落与四分之一或四分之三较近，则得分较高。即，根据预置条件对副歌估计片段进行评分，得到评分结果(即步骤105)具体可以为根据副歌估计片段在音频信号中位置对副歌估计片段进行评分，得到评分结果。又例如，副歌部分通常给人以歌曲达到了“高潮”的感觉，而这种“高潮”的感觉说明副歌部分的信号具有较高的能量，因此能量也可以作为一个衡量的评分标准，能量越高 得分越高。即，除了可以根据副歌估计片段在音频信号中位置对副歌估计片段进行评分，得到评分结果之外，根据预置条件对副歌估计片段进行评分，得到评分结果(即步骤105)具体也可以为根据副歌估计片段对应的音频信号的平均能量以及在自距离矩阵中的平均距离对副歌估计片段进行评分，得到评分结果。当然，也可以将将上述两种评分方式综合起来，即，根据副歌估计片段在音频信号中位置、副歌估计片段对应的音频信号的平均能量、以及在自距离矩阵中的平均距离对副歌估计片段进行评分。106、根据评分结果从副歌估计片段中选择副歌。例如，具体可以如下可以对评分结果进行预置的权值处理，得到总分数，选取总分数最高的副歌估计片段为副歌。可选的，由于通常的音频信号的采样率是44. 1kHz，如果直接进行处理的话，数据量会较大，因此，为了有效地减少数据量，以便提高运算速度，在对音频信号进行节拍追踪(即步骤102)之前，还可以对音频信号进行预处理，如下对获取到的音频信号进行重采样。比如，其中，重采样的采样频率可以定为8kHz。则此时，对音频信号进行节拍追踪(即步骤102)具体为对重采样后的音频信号进行节拍追踪，得到节拍追踪结果。由上可知，本实施例采用对获取到的音频信号进行节拍追踪，然后根据节拍追踪结果，以节拍为单位提取chroma特征向量,根据chroma特征向量选择副歌估计片段,再根据预置条件对副歌估计片段进行评分，根据评分结果从副歌估计片段中选择副歌；由于该方案可以对歌曲的节拍进行跟踪，并基于歌曲的节拍来进行后续的chroma特征向量提取，实现对副歌进行提取，所以相对现在技术所采用的固定分帧方法而言，更能贴合不同节拍的歌曲的需求，可以更灵活和准确地提取副歌。实施例二、根据实施例所描述的方法，以下将举例作进一步详细说明。如图2所示，具体流程可以如下201、副歌提取装置获取音频信号，比如读取需要提取副歌的音频文件。需说明的是，该音频文件的编码格式需要是该副歌提取装置所能支持的编码格式，比如，如果该副歌提取装置默认所能支持的编码格式为波形格式数据(wav，Wave)格式，则需要将音频文件先转换为wav格式。所以，在读取了需要提取副歌的音频文件之后，可选的，还可以包括将读取到的音频文件转换为副歌提取装置所能支持的编码格式。202、副歌提取装置对获取到的音频信号进行节拍追踪，得到节拍追踪结果。如下首先，可以对音频信号进行预处理，比如，由于通常的音频信号的采样率是44. 1kHz，如果直接进行处理的话，数据量会较大，因此，为了有效地减少数据量，以便提高运算速度，可以对音频信号进行重采样。其中，重采样的采样频率可以定为8kHz。通过执行该重采样步骤，可以有效的减少数据量，提高运算速度，而且对结果也不会产生大的影响。其次，在对音频信号进行重采样之后，对重采样后的音频信号进行节拍追踪，以得到节拍追踪结果。具体可以包括以下步骤 (I)对于音乐信号进行基于能量和相位结合的音符开端检测，检测的方法可以如下首先，对音频信号进行固定长度的分帧，例如，帧长可以设置为32ms，并且设置每次的划分以4ms为单位进行推进，比如，第一巾贞为Ims 32ms,第二巾贞为5ms 36ms,第三帧为9ms 40ms，等等，以此类推，直至全部音频信号划分完毕。也就是说，帧与帧之间是具有重叠部分的，之所以让帧与帧之间具有重叠部分，主要是为了让音频信号能够平滑过渡，以便进行更好地检测。其次，将每一帧音频信号通过短时傅立叶变换映射到频域，并进行频谱分析，以得到音符开端包络线，该音符开端包络线可以用音符开端检测函数来表示。也就是说，此时在频域会有η个bin，其中，η为该帧短时信号的采样点个数，而bin指的是一种二进制文件，一般来讲是机器代码，汇编语言编译后的结果，具体可参见现有技术。对于其中的某一帧的第k个bin，可以以复数的形式来表示，如下
Sk (m) =Rk (m) ^φΚπι);其中，m表示该帧的帧数，Rk(m)为第m帧中的第k个bin的幅度，Cpk (m)为第m帧中的第k个bin的相位，e是对于某一帧的复数表示，映射到复平面，j是虚数。此后，可以根据当前一帧对下一帧进行估计，其中，对于某一帧内的每一个bin，其幅度的估计值“ Rk(m) ”即为该帧的前一帧中，与之对应的bin的幅度，比如，第二帧内的第k个bin的幅度，等于第一帧的第k个bin的幅度，用公式表示即为 Rk(m)=Rk(m_l)。而相位的估计值“ ~ Cpk ( m )”则为前一帧与之对应的bin的相位，以及该前一帧与该一帧的前一帧的相位的差分之和。比如，第三帧内的第k个bin的相位的估计值，等于“第二帧的第k个bin的相位”与“第二帧内的第k个bin的相位和第一帧内的第k个bin的相位的差分”之和，用公式表示即为
~ Cpk ( m ) = princarg [2cpk (m - I ) _cpk (m_2)]。 其中，函数princarg将相位映射到[-，π]的范围中。这样就得到了第m中贞的幅度的估计值和相位的估计值。此时可以在复平面上对这两个点求欧几里德距离，若用Ik (m )表示第m帧的第k个bin的实际值与估计值之间的距离，则
权利要求
1.一种提取歌曲副歌的方法，其特征在于，包括 获取音频信号； 对所述音频信号进行节拍追踪，得到节拍追踪结果； 根据节拍追踪结果，以节拍为单位提取音高特征分布向量chroma特征向量； 根据chroma特征向量选择副歌估计片段； 根据预置条件对副歌估计片段进行评分，得到评分结果； 根据评分结果从副歌估计片段中选择副歌。
2.根据权利要求I所述的方法，其特征在于，所述根据chroma特征向量选择副歌估计片段包括 利用chroma特征向量进行自距离矩阵计算； 根据自距离矩阵中每一个元素所表示的距离大小对自距离矩阵进行二值化处理，得到二值化结果； 根据二值化结果选择副歌估计片段。
3.根据权利要求2所述的方法，其特征在于， 所述利用chroma特征向量进行自距离矩阵计算包括根据音频信号的总节拍数和chroma特征向量定义自距离矩阵，从自距离矩阵的主对角线开始向左下方平移，计算每一条子对角线上所有矩阵元素的平均值，得到元素平均值，计算第一函数的极小值，其中，第一函数为一个以k为自变量,元素平均值为函数值的函数； 则所述根据自距离矩阵中每一个元素所表示的距离大小对自距离矩阵进行二值化处理，得到二值化结果包括根据第一函数的极小值获取对应的子对角线，将获取到的对角线上的矩阵元素与预置第一阈值进行比较，若矩阵元素大于所述第一阈值，则将矩阵元素设置为0，若矩阵元素小于等于所述第一阈值，则将矩阵元素设置为I ; 所述根据二值化结果选择副歌估计片段包括若连续出现I的音频信号片段的长度大于预置的第二阈值，则确定该音频信号片段为副歌估计片段。
4.根据权利要求I至3中任一项所述的方法，其特征在于，所述对音频信号进行节拍追踪具体为 对音频信号进行音符开端检测，得到音符开端检测结果； 根据音符开端检测结果进行节拍追踪，使得节拍的开端尽可能与音符开端重合，并且使得两个节拍之间的时间长度恒定。
5.根据权利要求4所述的方法，其特征在于，所述对音频信号进行音符开端检测，得到音符开端检测结果具体为 将音频信号划分为第一预置长度的帧； 对划分为帧的音频信号通过短时傅立叶变换映射到频域； 对映射到频域的音频信号进行频谱分析，得到音符开端检测函数。
6.根据权利要求5所述的方法，其特征在于，所述根据音符开端检测结果进行节拍追踪，使得节拍的开端尽可能与音符开端重合，并且使得两个节拍之间的时间长度恒定包括 将音符开端检测函数与预置的衡量标准函数的和作为目标函数，所述衡量标准函数为用于衡量速率的一个标准；计算可以使得所述目标函数的值最大的节拍序列； 则所述根据节拍追踪结果，以节拍为单位提取chroma特征向量具体为根据所述节拍序列，以节拍为单位提取chroma特征向量。
7.根据权利要求I至3中任一项所述的方法，其特征在于，所述根据节拍追踪结果，以节拍为单位提取chroma特征向量包括 将音频信号划分为第二预置长度的帧； 将每一帧内的音频信号通过傅里叶变换由时域映射到频域； 在频域中将对应于不同八度但对应同一音名频率的部分映射到对应的半音音名中，产生一个12维向量，其中，每一维对应于一个八度中的一个半音； 根据节拍追踪结果将划分后的帧与节拍同步； 计算属于同一个节拍内的所有巾贞的12维向量的平均值,得到与该节拍同步的chroma特征向量。
8.根据权利要求I至3中任一项所述的方法，其特征在于，所述根据预置条件对副歌估计片段进行评分，得到评分结果包括 根据副歌估计片段在音频信号中位置对副歌估计片段进行评分，得到评分结果；和/或， 根据副歌估计片段对应的音频信号的平均能量以及在自距离矩阵中的平均距离对副歌估计片段进行评分，得到评分结果。
9.根据权利要求I至3中任一项所述的方法，其特征在于，所述根据评分结果从副歌估计片段中选择副歌，包括 对评分结果进行预置的权值处理，得到总分数； 选取总分数最高的副歌估计片段为副歌。
10.一种副歌提取设备，其特征在于，包括 获取单元，用于获取音频信号； 节拍追踪单元，用于对获取单元获取到的音频信号进行节拍追踪，得到节拍追踪结果; 特征提取单元，用于根据节拍追踪单元得到的节拍追踪结果，以节拍为单位提取音高特征分布向量chroma特征向量； 估计单元，用于根据特征提取单元提取到的chroma特征向量选择副歌估计片段； 评分单元，用于根据预置条件对估计单元选择出的副歌估计片段进行评分，得到评分结果; 选择单元，用于根据评分单元得到的评分结果从副歌估计片段中选择副歌。
11.根据权利要求10所述的副歌提取设备，其特征在于，所述估计单元包括 自距离计算子单元，用于利用特征提取单元提取到的chroma特征向量进行自距离矩阵计算； 二值化计算子单元，用于根据自距离矩阵中每一个元素所表示的距离大小对自距离矩阵进行二值化处理，得到二值化结果； 选择子单元，用于根据二值化计算子单元得到的二值化结果选择副歌估计片段。
12.根据权利要求11所述的副歌提取设备，其特征在于，所述自距离计算子单元，具体用于根据音频信号的总节拍数和特征提取单元提取到的chroma特征向量定义自距离矩阵，从自距离矩阵的主对角线开始向左下方平移，计算每一条子对角线上所有矩阵元素的平均值，得到元素平均值，计算第一函数的极小值，其中，第一函数为一个以k为自变量,元素平均值为函数值的函数； 所述二值化计算子单元，具体用于根据第一函数的极小值获取对应的子对角线，将获取到的对角线上的矩阵元素与预置第一阈值进行比较，若矩阵元素大于第一阈值，则将矩阵元素设置为O，若矩阵元素小于等于所述第一阈值，则将矩阵元素设置为I ; 所述选择子单元，具体用于若连续出现I的音频信号片段的长度大于预置的第二阈值，则确定该音频信号片段为副歌估计片段。
13.根据权利要求10至12中任一项所述的副歌提取设备，其特征在于，所述节拍追踪单元包括 检测子单元，用于对音频信号进行音符开端检测，得到音符开端检测结果； 追踪子单元，用于根据检测子单元得到的音符开端检测结果进行节拍追踪，使得节拍的开端尽可能与音符开端重合，并且使得两个节拍之间的时间长度恒定。
全文摘要
本发明实施例公开了一种提取歌曲副歌的方法、装置和系统。本发明实施例采用对获取到的音频信号进行节拍追踪，然后根据节拍追踪结果，以节拍为单位提取chroma特征向量，根据chroma特征向量选择副歌估计片段，再根据预置条件对副歌估计片段进行评分，根据评分结果从副歌估计片段中选择副歌。由于该方案可以对歌曲的节拍进行跟踪，并基于歌曲的节拍来进行后续的chroma特征向量提取，以实现对副歌的提取，所以相对现在技术所采用的传统方法而言，更能贴合不同节拍的歌曲的需求，可以更灵活和准确地提取副歌。
文档编号G10H7/10GK102903357SQ201110216520
公开日2013年1月30日 申请日期2011年7月29日 优先权日2011年7月29日
发明者李伟, 梁达文, 顾旻玮, 杨素娟 申请人:华为技术有限公司, 复旦大学