节拍提取设备和节拍提取方法

专利名称：节拍提取设备和节拍提取方法
技术领域：
本发明涉及一种提取音乐节奏的节拍的节拍提取设备和节拍提 取方法。
背景技术：
乐曲是基于时间尺度，比如小节和节拍构成的。因此，音乐家利 用小节和节拍作为时间的基本尺度演奏乐曲。当采用乐曲的演奏的定 时时，音乐家使用在某一小节的某一节拍产生特定声音的方法演奏该 乐曲，而决不使用在开始演奏之后的某分某秒产生特定声音的时间戳 记采用方法来演奏该乐曲。由于音乐是由小节和节拍定义的，因此音 乐家能够灵活地处理音乐速度和节奏方面的波动。另外，每位音乐家 能够在同样的乐谱的演奏中，用音乐速度和节奏表达他们的独创性。
音乐家进行的演奏最终以音乐内容的形式被传递给用户。更具体 地说，每位音乐家的演奏以双声道立体声的形式被混音，并被形成为
完整的包装。该完整的包装以采用PCM(脉码调制)格式的音乐CD(光 盘)的形式被交付给用户。这种音乐CD的声源被称为所谓的采样声 源。
在这种CD或类似物的包装阶段，和音乐家明白的定时，比如小 节和节拍有关的信息遗失。
不过，仅仅通过收听通过对这种PCM格式的音频波形进行 D/A(数模)转换而获得的模拟声音，人类就能够自然地重新识别和定时 有关的信息。即，人类能够自然地重新获得音乐节奏的感觉。另一方 面，机器不具有这样的能力，只具有并不直接与音乐本身直接相关的 时间戳记的时间信息。
作为与由音乐家的演奏或者由歌唱家的嗓音提供的这种乐曲比
较的一种对象是常规的卡拉OK系统。这种系统在卡拉OK显示屏幕 上显示与音乐的节奏同步的歌词。
不过，这种卡拉OK系统并不识别音乐的节奏，而只是再现称为 MIDI(乐器数字接口 )的专用数据。
同步控制所必需的演奏信息和歌词信息以及描述发声的定时(事 件时间)的时间码信息(时间戳记)以MIDI格式描述成MIDI数据。 MIDI数据事先由内容创作者生成。卡拉OK重放设备只是按照MIDI 数据的指令，在预定定时完成发声。即，该设备立刻生成(播放)乐曲。 这只能在MIDI数据及其专用设备的有限环境中享受。
此外，尽管除了 MIDI之外还存在各种格式，比如SMIL(同步多 媒体集成语言)，不过基本原理相同。
同时，市场中发行的音乐内容的主流是主要包括称为上述采样声 源的原始音频波形的格式，比如由CD代表的PCM数据或作为其压 缩音频的MP3(MPEG(运动图像专家组)音频层3)，而不是MIDI和 SMIL。
音乐重放设备通过对PCM等的这些采样音频波形进行D/A转换 并输出它们，向用户提供音乐内容。另外，如在FM音频广播等中所 看到的那样，存在其中音乐波形本身的模拟信号被广播的例子。此外， 存在个人立刻演奏音乐，比如在音乐会和现场演奏中，并且音乐内容 被提供给用户的例子。
如果机器能够自动从音乐的原始音乐波形中识别定时，比如音乐 的小节和节拍，那么即使不存在准备好的信息，比如MIDI和SMIL 的事件时间信息，也能够实现如同在卡拉OK和舞蹈中那样，使音乐 和另一媒体能够节奏同步的同步功能。此外，就诸如CD之类的大量 现有内容而论，扩大了新的娱乐活动的可能性。
迄今为止，做出了自动提取音乐速度或节拍的各种尝试。
例如，在日本未经审查的专利申请公开No.2002-116754中，公 开一种计算充当时序信号的音乐波形信号的自相关性，根据计算结果 分析音乐的节拍结构，并根据该分析结果进一步提取音乐的速度的方法。
另外，在日本专利No.3066528中，描述一种根据乐曲数据创建 多个频带中的每个频带的声压数据，从所述多个频带中指定节奏感受 最显著的一个频带，并根据指定的频率定时的声压数据的变化周期， 估计节奏分量。
计算节奏、节拍和音乐速度的技术被大致分成如日本未经审查的 专利申请公开No.2002-116754那样在时域中分析音乐信号的技术，和 如日本专利No.3066528那样在频域中分析音乐信号的技术。
但是，在日本未经审查的专利申请公开No.2002-116754的在时 域中分析音乐信号的方法中，由于节拍和时序波形不一定相符，因此 基本不能获得高的提取准确性。另外，日本专利No.3066528的在频 域中分析音乐信号的方法能够与日本未经审查的专利申请公开 No.2002-116754相比较相对提高提取准确性。但是，频率分析产生的 数据包含除特定音符的节拍之外的许多节拍，极其难以把特定音符的 节拍从所有节拍中分离出来。另外，由于音乐速度(时间周期)本身波 动极大，因此在跟踪这些波动的同时，只提取特定音符的节拍极其困 难。
因此，利用常规技术不可能提取在整个乐曲内随时间波动的特定 音符的节拍。

发明内容
鉴于这样的常规情况，提出了本发明。本发明的目的是提供一种 关于其音乐速度(tempo)波动的乐曲，能够在整首乐曲内只高度准确提 取特定音符的节拍的节拍提取设备和节拍提取方法。
为了实现上迷目的，按照本发明的节拍提取设备的特征在于包括 节拍提取处理装置，用于提取乐曲的节奏的节拍位置信息，和节拍对 准处理装置，用于利用节拍提取处理装置提取和获取的节拍位置信息 产生节拍周期信息，并根据节拍周期信息对准由节拍提取处理装置提 取的节拍位置信息的节拍。
另外，为了实现上述目的，按照本发明的节拍提取方法的特征在 于包括节拍提取处理步骤，用于提取乐曲的节奏的节拍位置信息，和 节拍对准处理步骤，用于利用在节拍提取处理步骤提取和获取的节拍 位置信息产生节拍周期信息，并根据节拍周期信息对准由节拍提取处 理装置提取的节拍位置信息的节拍。


图1是表示包括按照本发明的节拍提取设备的一个实施例的音 乐重放设备的内部配置的功能方框图。
图2是表示节拍提取部分的内部配置的功能方框图。
图3(A)是表示数字音频信号的时序波形的例子的示图，而图3(B)
是表示数字音频信号的频谗图的示图。
图4是表示节拍提取处理单元的内部配置的功能方框图。
图5(A)是表示数字音频信号的时序波形的例子的示图，图5(B)
是表示数字音频信号的频语图的示图，图5(C)是表示数字音频信号的
提取的节拍信息的示图。
图6(A)是表示由节拍提取处理单元提取的节拍位置信息的节拍 间隔的示图，而图6(B)是表示由节拍对准处理单元进行对准处理后的 节拍位置信息的节拍间隔的示图。
图7是表示其中确定特定节拍是否合拍的窗口宽度的示图。
图8是表示节拍位置信息的节拍间隔的示图。
图9是表示根据节拍提取部分提取的节拍位置信息计算的节拍 的总数的示图。
图IO是表示节拍的总数和瞬时节拍周期的示图。
图11是表示现场录制的乐曲中的瞬时BPM对节拍数的关系图
的示图。
图12是表示所谓的计算机同步的录制乐曲中的瞬时BPM对节 拍数的关系图的示图。
图13是表示按照可靠性指数值，校正节拍位置信息的程序的例
子的流程图。
图14是表示自动优化节拍提取条件的程序的例子的流程图。
具体实施例方式
下面参考附图，说明应用本发明的具体实施例。
图1是表示包括按照本发明的节拍提取设备的实施例的音乐重
放设备IO的内部配置的方框图。例如，音乐重放设备IO由个人计算
才几构成。
在音乐重放设备10中，CPU(中央处理器)101， ROM(只读存储 器)102和RAM(随机存取存储器)103与系统总线100连接。ROM 102 保存各种程序。CPU 101在充当工作区的RAM 103中执行基于这些 程序的处理。
音频数据解码部分104,介质驱动器105，通信网络接口(附图中， 所述接口被表示成I/F。下面同样如此)107，操作输入部分接口 109， 显示接口 111,1/0端口 113,1/0端口 114，输入部分接口 115，HDD(石更 盘驱动器)121也与系统总线100连接。由每个功能块处理的一系列数 据通过系统总线IOO被供给另一功能块。
介质驱动器105把记录在介质106，比如CD(光盘)或DVD(数字 通用光盘)上的音乐内容的音乐数据输入到系统总线100。
诸如键盘和鼠标之类的操作输入部分110与操作输入部分接口 109连接。
假定显示器112显示与提取的节拍同步的图像，和与提取的节拍 同步起舞的人像或机器人。
音频再现部分117和节拍提取部分11与I/O端口 113连接。另 外，节拍提取部分ll与1/0端口 114连接。
包括A/D(模数)转换器116A，麦克风端子116B和麦克风116C 的输入部分116与输入部分接口 115连接。麦克风116C拾取的音频 信号和音乐信号由A/D转换器116A转换成数字音频信号。数字音频 信号随后被供给输入部分接口 115。输入部分接口 115把该数字音频 信号输入到系统总线100。输入系统总线100的数字音频信号(对应于 时序波形信号)以.wav文件等格式被记录在HDD121中。通过输入部 分接口 115输入的数字音频信号并不直接被供给音频再现部分117。
当通过系统总线100从HDD 121或介质驱动器105收到音乐数 据时，音频数据解码部分104解码该音频数据，以恢复数字音频信号。 音频数据解码部分104通过系统总线IOO把恢复的数字音频信号传给 1/0端口 113。 I/O端口 113把通过系统总线IOO传送的数字音频信号 供给节拍提取部分11和音频再现部分117。
诸如现在CD之类的介质106通过介质驱动器105被引入到系统 总线100。收听者通过下栽或类似手段获得的，并将被保存在HDD 121 中的非压缩音频内容被直接输入到系统总线100。另一方面，压缩的 音频内容通过音频数据解码部分104返回给系统总线100。从输入部 分116通过输入部分接口 115输入系统总线100的数字音频信号(数字 音频信号不局限于音乐信号，例如包括话音信号和其它声频带信号) 在被保存在HDD 121中之后，也被再次被返回给系统总线100。
在应用本发明的一个实施例中的音乐重放设备10中，输入系统 总线100的数字音频信号(对应于时序波形信号)被传送给I/O端口 113，随后被供给节拍提取部分ll。
作为按照本发明的节拍处理设备的一个实施例的节拍提取部分 11包括节拍提取处理单元12，用于提取乐曲的节奏的节拍位置信息， 和节拍对准处理单元13，用于利用节拍提取处理单元12提取和获得 的节拍位置信息，产生节拍周期信息，并根据节拍周期信息，对准节 拍提取处理单元12提取的节拍位置信息的节拍。
如图2中所示，当收到以.wav文件的形式记录的数字音频信号 时，节拍提取处理单元12从该数字音频信号提取粗略的节拍位置信 息，并以用.mty文件记录的元数据的形式输出该结果。另外，节拍对 准处理单元13利用用.mty文件记录的整个元数据，或者与预期具有 同样音乐速度的乐曲部分对应的元数据，对准由节拍提取处理单元12 提取的节拍位置信息，并以用.may文件记录的元数据的形式输出该结
果。这便于逐步地获得高度准确的提取节拍位置信息。同时，节拍提 取部分11将在后面详细说明。
音频再现部分117包括D/A转换器117A，输出放大器117B和 扬声器117C。 1/0端口 113把通过系统总线100传送的数字音频信号 供给包括在音频再现部分117中的D/A转换器117A。D/A转换器117A 把从I/0端口 U3供给的数字音频信号转换成模拟音频信号，并通过 输出放大器117B把模拟音频信号供给扬声器117C。扬声器117C再 现通过输出放大器117B从D/A转换器117A供给的模拟音频信号。
由例如LCD(液晶显示器)等构成的显示器112与显示接口 111 连接。显示器112显示从音乐内容的音乐数据提取的节拍分量和音乐 速度值。显示器112还显示与音乐同步的动画图像或歌词。
通信网络接口 107与因特网108连接。音乐重放设备10通过因 特网108访问保存音乐内容的属性信息的服务器，并利用音乐内容的 标识信息作为检索关键字发送获取属性信息的获取请求。音乐重放设 备把响应该获取请求从服务器发送的属性信息保存在例如包括在 HDD 121中的硬盘中。
音乐重放设备10采用的音乐内容的属性信息包括构成乐曲的信 息。构成乐曲的信息包括充当决定所谓的旋律的标准的信息，比如关 于乐曲的小段(section)的信息，关于乐曲的和弦，和弦单位中的音乐 速度，调子，音量和节拍的信息，关于乐谱的信息，关于和弦进行的 信息，和关于歌词的信息。
这里，和弦单位是附属于乐曲的和弦的单位，比如乐曲的节拍或
小节。另外，关于乐曲的小段的信息包括从乐曲的开始位置起的相对 位置信息或者时间戳记。
包括在应用本发明的一个实施例中的音乐重放设备10中的节拍 提取部分11根据数字音频信号的特征，提取音乐的节奏的节拍位置 信息，这将在下面说明。
图3(A)表示数字音频信号的时序波形的一个例子。已知图3(A) 中所示的时序波形零星地包括指示较大瞬时峰值的部分。指示较大峰
值的所述部分对应于例如鼓的一部分节拍。
同时，实际收听具有图3(A)中所示的时序波形的数字音频信号 的音乐显示基本间隔均匀地包括更多的节拍分量，不过这样的节拍分 量被隐藏在具有图3(A)中所示的时序波形的数字音频信号的时序波 形中。因此，仅仅根据图3(A)中所示的时序波形的较大峰值，不能提 取音乐的节奏的实际节拍分量。
图3(B)表示具有图3(A)中所示的时序波形的数字音频信号的频
谱。在图3(B)中所示的数字音频信号的频语中，已知隐藏在图3(A)
中所示的时序波形中的节拍分量可被看作功率谱瞬时显著变化的部
分。实际收听该声音显示该频镨中功率镨瞬时显著变化的部分对应于
节拍分量。节拍提取部分11把该频谱的功率谱瞬时显著变化的部分 看作节奏的节拍分量。
通过提取这些节拍分量和测量节拍周期，能够知道音乐的节奏周 期和BPM(每分钟的节拍)。
如图4中所示，节拍提取处理单元12包括功率语计算器UA, 变化率计算器12B，包络跟随器12C，比较器12D和二值化器UE。
功率镨计算器12A接收由图5(A)中所示的乐曲的时序波形构成 的数字音频信号。
更具体地说，从音频数据解码部分104供给的数字音频信号被供 给包括在节拍提取处理单元12中的功率谱计算器12A。
由于不能从时序波形高度准确地提取节拍分量，因此功率谱计算 器12A利用例如对该时序波形的FFT(快速傅里叶变换)计算图5(B) 中所示的频谦。
当输入节拍提取处理单元12的数字音频信号的采样频率为 48kHz时，该FFT运算中的分辨率最好被设置成与为512样本或1024 样本的样本数实时的5-30毫秒。在该FFT运算中设置的各种值并不 局限于这些。另外，通常最好在应用窗函数(切趾函数)，比如汉宁 (hanning)函数或汉明(hamming)函数，并重叠窗口 ("范围，，)的时候， 执行FFT运算。
功率谱计算器12A把计算的功率镨供给变化率计算器12B。
变化率计算器12B计算从功率谱计算器12A供给的功率i瞽中的 变化率。更具体地说，变化率计算器12B对从功率语计算器12A供给 的功率谱进行微分运算，从而计算功率谱中的变化率。通过反复对瞬 时变化的功率谱进行微分运算，变化率计算器12B输出指示图5(C) 中所示的提取节拍波形的检测信号。这里，沿图5(C)中所示的提取节 拍波形的正方向出现的峰值被看作节拍分量。
当从变化率计算器12B收到检测信号时，包络跟随器12C对该 检测信号应用具有恰当时间常数的滞后特性，从而从该检测信号中除 去震颤。包络跟随器把消除震颤的检测信号供给比较器12D。
比较器12D设置适当的阈值，从自包络跟随器12C供给的检测 信号中除去低电平噪声，并把消除低电平噪声的检测信号供给二值化 器12E。
二值化器12E执行二值化操作，以便只从自比较器12D供给的 检测信号中提取电平等于或高于阈值的检测信号。二值化器以记录 在.mty文件中的元数据的形式输出指示由P1，P2，P3构成的节拍分量 的时间位置的节拍位置信息。
按照这种方式，节拍提取处理单元12从数字音频信号的时序波 形中提取节拍位置信息，并以记录在.mty文件中的元数据的形式输出 该节拍位置信息。同时，包括在该节拍提取处理单元12中的每个元 件具有内部参数，并且通过改变每个内部参数修改每个元件的操作的
效果。内容参数被自动优化，如后所述。不过，内部参数可由用户对 操作输入部分110的手动操作手动设置。
由节拍提取处理单元12提取并作为元数据记录在.mty文件中的 乐曲的节拍位置信息的节拍间隔通常是不均匀的，如图6(A)中所示。
节拍对准处理单元13对节拍提取处理单元12提取的节拍位置信 息中乐曲的或者预期具有相同音乐速度的多个乐曲部分的节拍位置 信息进行对准处理。
节拍对准处理单元13从节拍提取处理单元12提取并记录在.mty
文件中的节拍位置信息的元数据中提取相隔均匀时间间隔定时的间
隔均匀的节拍，比如由图6(A)的Al-All所示的那些节拍，而不提取 间隔不均匀的节拍，比如由Bl-B4所示的那些节拍。在该实施例中， 间隔均匀的节拍相隔1/4音符的间隔被定时。
节拍对准处理单元13根据节拍提取处理单元12提取并记录 在.mty文件中的节拍位置信息的元数据计算高度准确的平均周期T， 并提取时间间隔与平均周期T相等的节拍作为间隔均匀的节拍。
这里，提取的间隔均匀的节拍独自导致图6(A)中所示的空白周 期。因此，如图6(B)中所示，节拍对准处理单元13重新在理应存在 间隔均匀的节拍的位置添加插值(interpolation)节拍，比如Cl-C3所 示的那些插值节拍。这使得可以获得相隔均匀间隔定时的所有节拍的 节拍位置信息。
节拍对准处理单元13把与间隔均匀的节拍基本同相的节拍定义 成合拍(in beat),并提取它们。这里，所述合拍是与音乐节拍同步的 节拍，还包括间隔均匀的节拍。另一方面，节拍对准处理单元13把 与间隔均匀的节拍异相的节拍定义成失拍(outbeat)，并排除它们。失 拍是不与实际的音乐节拍(l/4音符节拍)同步的节拍。因此，节拍对准 处理单元13需要区分合拍和失拍。
更具体地说，作为确定某一节拍是合拍还是失拍的方法，节拍对 准处理单元13定义如图7中所示的以间隔均匀的节拍为中心的预定 窗口宽度W。节拍对准处理单元13确定包括在该窗口宽度W中的节 拍是合拍，不包括在该窗口宽度W中的节拍是失拍。
另外，当窗口宽度W中不包括间隔均匀的节拍时，节拍对准处 理单元13增加插值节拍，所述插值节拍是插入间隔均匀节拍的节拍。
更具体地说，如图8中所示，节拍对准处理单元13提取间隔均 匀的节拍，比如由A11-A20所示的那些节拍，和合拍Dll(它是与间 隔均匀的节拍All基本同相的节拍)作为合拍。节拍对准处理单元还 提取插值节拍，比如由Cll-C13所示的那些节拍。另外，节拍对准处 理单元13不提取诸如由B11-B13所示的那些失拍作为1/4音符节拍。
由于音乐节拍实际上瞬时波动，因此从波动较大的音乐中提取的
合拍的数目减小。从而，产生导致称为节拍滑移(beatslip)的提取错误 的问题。
因此，对于波动较大的音乐，通过把窗口宽度W的值重新设置 得更大，提取的合拍的数目增大，提取错误能够被降低。窗口宽度W 通常是常数。不过，对于波动极大的乐曲，窗口宽度可作为参数被调 节，比如增大该值。
节拍对准处理单元13分配包括在窗口宽度W中的合拍或者不包 括在窗口宽度W中的失拍的节拍属性作为元数据。另外，如果在窗 口宽度W内不存在任何提取的节拍，那么节拍对准处理单元13自动 增加插值节拍，并分配该插值节拍的节拍属性作为元数据。通过该操 作，包括节拍信息，比如上述节拍位置信息和上述节拍属性的节拍信 息构成的元数据被记录在元数据文件(.may)中。同时，包括在该节拍 对准处理单元13中的每个元件具有内部参数，比如基本窗口宽度W， 通过改变每个内部参数修改操作的效果。
如上所述，通过在节拍提取处理单元12和节拍对准处理单元13 中执行两步数据处理，节拍提取部分11能够从数字音频信号中自动 提取高度准确的节拍信息。节拍提取部分不仅执行节拍是合拍还是失 拍的确定，而且还执行增加适当节拍的插值处理，从而能够获得整首 乐曲内1/4音符间隔的节拍信息。
下面说明计算与由音乐重放设备10中的按照本发明的节拍提取 部分11提取的节拍位置信息一起获得的各种音乐特征的数量的方法。
如图9中所示，音乐重放设备IO能够利用下面所示的等式(l), 根据节拍提取部分11提取的第一节拍XI和最后节拍Xn的节拍位置 信息，计算节拍的总数。
节拍的总数=合拍的总数+插值节拍的总数 (1)
另外，音乐重放设备IO能够利用下面所示的等式(2)和等式(3), 根据节拍提取部分11提取的节拍位置信息，计算音乐速度(平均 BPM).
平均节拍周期[样本=(最后节拍位置_第一节拍位置)/(节拍的总
数-l) (2) 平均BPMbpml-釆样频率/平均节拍周期x60 (3) 这样，音乐重放设备IO能够利用简单的四种基本算术运算，获 得节拍的总数和平均BPM。这允许音乐重放设备10利用计算的结果， 高速、低负栽地计算乐曲的音乐速度。同时，确定乐曲的音乐速度的 方法并不局限于这一种。
由于在该计算方法中，计算准确性取决于音频采样频率，因此通 常能够获得8个有效数字的高度准确的值。另外，即使在节拍对准处 理单元13的节拍提取处理中发生提取错误，获得的BPM也是高度准 确的值，因为在该计算方法中，其错误率介于几百分之一和几千分之 一之间。
另外，根据节拍提取部分ll提取的节拍位置信息，音乐重放设 备10能够计算指示乐曲的音乐速度的瞬时波动的瞬时BPM(到目前 为止，这是不能实现的)。如图IO中所示，音乐重放设备10把间隔均 匀的节拍的时间间隔设置成瞬时节拍周期Ts，并利用下面给出的等式 (4)计算瞬时BPM。
瞬时BPM[bpmj-采样频率/瞬时节拍周期Tsx60 (4) 音乐重放设备10关于每个单一的节拍标出瞬时BPM的图表， 并通过显示接口 11把所述图表显示在显示器112上。用户能够把瞬 时BPM的分布理解为用户实际收听的音乐的速度波动的分布，并且 能够把其用于例如节奏训练，在乐曲的录制期间造成的演奏错误的掌 握，等等。
图11是表示现场录制的乐曲的瞬时BPM对节拍数的关系图的 示图。图12是表示所谓的计算机合成的录制乐曲的瞬时BPM对节拍 数的关系图的示图。从这两个图的比较可看出，计算机录制的乐曲具 有比现场录制的乐曲小的波动时间宽度。这是因为计算机录制的乐曲 具有比较起来，音乐速度变化较小的特性。通过利用该特性，能够自 动确定某一乐曲是现场录制的还是计算机录制的，以前这是不可能
的。
下面说明使节拍位置信息提取处理的准确性更高的方法。 由于指示节拍提取部分11提取的节拍位置信息的元数据通常是 按照计算机的自动识别技术提取的数据，因此该节拍位置信息包括或
多或少的提取错误。特别地，取决于乐曲，存在节拍明显不均匀波动 的乐曲和极其缺乏节拍感觉的乐曲。
因此，节拍对准处理单元13向从节拍提取处理单元12供给的元 数据分配指示该元数据的可靠性的可靠性指数值，并自动确定该元数 据的可靠性。所述可靠性指数值被定义成如下面的等式(5)所示，与瞬 时BPM的方差成反比的函数。
可靠性指数^i/瞬时BPM的方差 (5)
这是因为存在当在节拍提取处理中造成提取错误时，瞬时BPM 的方差(variance)通常增大的特性。即，可靠性指数值被定义成随着瞬 时BPM的方差变小而增大。
下面利用图13和图14的流程图，说明根据可靠性指数值更准确 地提取节拍位置信息的方法。
可以毫不夸张地说从包括节拍位置信息提取错误的各个乐曲以 100。/。的准确性自动获得具体的节拍位置信息是不可能的。因此，用 户能够通过手动操作，手动校正节拍位置信息提取错误。如果能够容 易地发现提取错误，并且错误部分能够被校正，那么校正工作变得更 有效。
图13是表示根据可靠性指数值，手动校正节拍位置信息的程序 的例子的流程图。
在步骤Sl,数字音频信号从I/0端口 113被供给包括在节拍提 取部分ll中的节拍提取处理单元12。
在步骤S2，节拍提取处理单元12从自1/0端口 113供给的数字 音频信号中提取节拍位置信息，并把节拍位置信息作为记录在.mty文 件中的元数据提供给节拍对准处理单元13。
在步骤S3，节拍对准处理单元13对构成从节拍提取处理单元12
供给的节拍位置信息的节拍进行对准处理。
在步骤S4,节拍对准处理单元13确定分配给对准处理后的元数 据的可靠性指数值是否等于或大于阈值N(。/。)。如果在步骤S4，可靠 性指数值等于或大于N(。/。)，那么处理进入步骤S6。如果可靠性指数 值小于N(。/。)，那么处理进入步骤S5。
在步骤S5，用户利用包括在音乐重放设备10中的创作工具(未 示出)，进行关于节拍对准处理的手动校正。
在步骤S6，节拍对准处理单元13把经过节拍对准处理后的节拍 位置信息作为记录在.may文件中的元数据提供给I/O端口 114。
另外，通过根据上述可靠性指数值，改变节拍位置信息的提取条 件，能够更加高度准确地提取节拍位置信息。
图14是表示指定节拍提取条件的程序的例子的流程图。
多个指定提取条件的内部参数存在于节拍提取部分H中的节拍 提取处理中，提取准确性随参数值而变化。因此，在节拍提取部分ll 中，节拍提取处理单元12和节拍对准处理单元12预先准备多组内部 参数，对于每个参数组进行节拍提取处理，并计算上述可靠性指数值。
在步骤Sll,数字音频信号从I/0端口 113被供给包括在节拍提 取部分11中的节拍提取处理单元12。
在步骤S12，节拍提取处理单元12从自1/0端口 in供给的数 字音频信号中提取节拍位置信息，并把节拍位置信息作为记录在.mty 文件中的元数据供给节拍对准处理单元13。
在步骤S13,节拍对准处理单元13对从节拍提取处理单元12供 给的元数据进行节拍对准处理。
在步骤S14，节拍对准处理单元13确定分配给对准处理后的元 数据的可靠性指数值是否等于或大于阈值N(%)。如果在步骤S14, 可靠性指数值等于或大于N(%)，那么处理进入步骤S16。如果可靠 性指数值小于N(Vo)，那么处理进入步骤S15。
在步骤S15，节拍提取处理单元12和节拍对准处理单元13改变 上述参数组的参数，处理返回步骤S12。在步骤S12和步骤S13之后，
再次在步骤S14进行可靠性指数值的确定。
重复步骤S12-S15，直到在步骤S14，可靠性指数值等于或大于 N(。/o)为止。
通过这样的步骤，能够指定最佳的参数组，并且能够显著提高自 动节拍提取处理的提取准确性。
如上所述，按照包括按照本发明的节拍提取设备的音乐重放设备 10,不具有时间戳记信息，比如节拍位置信息的音频波形(采样声源)， 比如PCM能够与其它媒体音乐同步。另外，由于时间戳记信息，比 如节拍位置信息的数据大小介于几K字节和几十K字节之间，相当 小，为音频波形的数据大小的几千分之一，因此能够降低存储器容量 和减少处理步骤，从而使用户可以相当容易地处理它。
如上所述，按照包括按照本发明的节拍提取设备的音乐重放设备 10,能够从其音乐速度变化的音乐中，或者从其节奏波动的音乐中准 确提取整首乐曲内的节拍，此外通过使音乐与其它媒体同步创建新的 娱乐。
同时，显然本发明并不仅仅局限于上述实施例，可在不脱离本发 明的精神的范围内不同地修改。
例如，按照本发明的节拍提取设备不仅可应用于上面说明的个人 计算机或便携式音乐重放设备，而且可应用于各种设备或电子设备。
按照本发明，乐曲的节奏的节拍位置信息被提取，利用该提取和 获得的节拍位置信息生成节拍周期信息，根据该节拍周期信息对准提 取的节拍位置信息的节拍，从而能够高度准确地从整个乐曲中提取特 定音符的节拍位置信息。
权利要求
1.一种节拍提取设备，其特征在于包括:节拍提取处理装置，用于提取乐曲的节奏的节拍位置信息；和节拍对准处理装置，用于利用节拍提取处理装置提取和获取的节拍位置信息产生节拍周期信息，并根据节拍周期信息对准由节拍提取处理装置提取的节拍位置信息的节拍。
2、 按照权利要求1所述的节拍提取设备，其特征在于 节拍对准处理装置使用从整个乐曲、或者从预期具有相同音乐速度的一部分乐曲提取的节拍位置信息。
3、 按照权利要求l所述的节拍提取设备，其特征在于 节拍提取处理装置包括功率语计算装置，用于根据音乐的音乐信号的时序波形计算音乐 信号的功率谱；和变化量计算装置，用于计算功率谱计算装置计算的功率"^普中的变 化量，并输出计算的变化量。
4、 按照权利要求1所述的节拍提取设备，其特征在于节拍对准 处理装置定义就时间而论以与节拍周期信息的节拍周期相符的节拍 为中心的窗口宽度，并且只提取存在于该窗口宽度内的节拍。
5、 按照权利要求4所述的节拍提取设备，其特征在于当在窗口 宽度内不存在任何节拍时，节拍对准处理装置在窗口宽度内增加新的 节拍，并提取该增加的节拍。
6、 按照权利要求1所述的节拍提取设备，其特征在于节拍对准 处理装置计算指示节拍对准的节拍位置信息的可靠性的指数值，并确 定所述指数值是否等于或高于预定阈值。
7、 按照权利要求6所迷的节拍提取设备，其特征在于节拍提取 处理装置和节拍对准处理装置分别具有指定节拍提取处理条件和节 拍对准处理条件的内部参数，并且反复改变相应的内部参数，直到所 述指数值等于或高于预定阈值为止。
8、 按照权利要求6所迷的节拍提取设备，其特征在于还包括 校正装置，用于手动校正由节拍对准处理装置对准的节拍位置信息， 直到所述指数值等于或高于预定阈值为止。
9、 按照权利要求6所述的节拍提取设备，其特征在于所述指数 值是与节拍位置信息的节拍之间的瞬时BPM的方差成反比的函数。
10、 一种节拍提取方法，其特征在于包括 节拍提取处理步骤，用于提取乐曲的节奏的节拍位置信息；和 节拍对准处理步骤，用于利用在节拍提取处理步骤提取和获取的节拍位置信息产生节拍周期信息，并根据节拍周期信息对准在节拍提 取处理步骤提取的节拍位置信息的节拍。
11、 按照权利要求10所述的节拍提取方法，其特征在于 在节拍对准处理步骤，使用从整个乐曲、或者从预期具有相同音乐速度的一部分乐曲提取的节拍位置信息。
12、 按照权利要求IO所述的节拍提取方法，其特征在于 节拍提取处理步骤包括功率谱计算步骤，用于根据音乐的音乐信号的时序波形，计算音 乐信号的功率谱；和变化量计算步骤，用于计算在功率谱计算步骤计算的功率谱中的 变化量，并输出计算的变化量。
13、 按照权利要求10所述的节拍提取方法，其特征在于在节拍 对准处理步骤，定义就时间而论以与节拍周期信息的节拍周期相符的 节拍为中心的窗口宽度，并且只提取存在于该窗口宽度内的节拍。
14、 按照权利要求13所述的节拍提取方法，其特征在于当在窗 口宽度内不存在任何节拍时，在节拍对准处理步骤，在窗口宽度内增 加新的节拍并提取该增加的节拍。
15、 按照权利要求10所述的节拍提取方法，其特征在于在节拍 对准处理步骤，计算指示节拍对准的节拍位置信息的可靠性的指数 值，并确定所述指数值是否等于或高于预定阈值。
16、 按照权利要求15所述的节拍提取方法，其特征在于在节拍提取处理步骤和节拍对准处理步骤，分别存在指定节拍提取处理条件 和节拍对准处理条件的内部参数，并且相应的内部参数反复被改变， 直到所述指数值等于或高于预定阈值为止。
17、 按照权利要求16所述的节拍提取方法，其特征在于还包括 校正步骤，用于手动校正在节拍对准处理步骤对准的节拍位置信息， 直到所述指数值等于或高于预定阈值为止。
18、 按照权利要求15所述的节拍提取方法，其特征在于所述指 数值是与节拍位置信息的节拍之间的瞬时BPM的方差成反比的函 数。
全文摘要
当收到记录在.wav文件中的数字音频信号时，节拍提取处理单元12从数字音频信号中提取节拍位置信息，并以记录在.mty文件中的元数据的形式输出该结果。另外，节拍对准处理单元13对准记录在.mty文件中的元数据的节拍信息，并以记录在.may文件中的元数据的形式输出结果。在再现乐曲的音乐信号的时候，高度准确地提取音乐的节奏的节拍。
文档编号G10G3/04GK101375327SQ20078000351
公开日2009年2月25日 申请日期2007年1月24日 优先权日2006年1月25日
发明者宫岛靖, 山下功诚 申请人:索尼株式会社