专利名称：利用乐器的声音分析音乐的设备的制作方法
技术领域：
本发明涉及一种基于乐器的声音信息分析音乐的设备，本发明特别涉及一种通过将输入数字声音信号的频率成分与预先按音调和强度存储的乐器声音信息的频率成分进行比较来对以数字声音的形式输入的音乐进行分析的设备。
背景技术：
自从个人计算机在20世纪80年代开始普及以来，计算机技术、性能和环境已经得到快速发展。在20世纪90年代，因特网迅速扩展到办公和个人生活的各个方面。因此，在21世纪，在全世界的每个领域中计算机的使用都已非常重要，并且已开发出了将计算机应用于音乐领域的技术。特别是，从不同的方面开发出了使用计算机技术和数字信号处理技术的音乐分析技术，但还没有获得令人满意的结果。
发明内容
本发明提供了一种用于对以数字声音的形式输入的音乐进行分析的设备，其中按音调和强度预先存储了各种乐器的声音信息，并且将输入数字声音信号的频率成分与该预先存储的乐器声音信息的频率成分进行比较，从而能够获得更精确的音乐演奏分析结果，并且可以以定量数据的形式提取该分析结果。
本发明还提供了一种基于按音调和强度预先存储的乐器声音信息和关于待演奏的乐谱的乐谱信息来分析以数字声音的形式输入的音乐的设备。
根据本发明的一个方面，提供了一种用于分析音乐的设备。该设备包括声音信息存储单元，所述声音信息存储单元按照乐器的类型分别存储声音信息；声音信息选择单元，所述声音信息选择单元从所述声音信息存储单元中存储的不同类型的乐器的声音信息中选择一种特定乐器的声音信息，并输出所选择的声音信息；数字声音输入单元，所述数字声音输入单元接收外部演奏的音乐，并且将其转换成数字声音信号；频率分析单元，所述频率分析单元从所述数字声音输入单元接收数字声音信号，将其分解成多个频率成分，并且以帧为单位输出这些频率成分；比较/分析单元，所述比较/分析单元接收从所述声音信息选择单元输出的声音信息和从所述频率分析单元以帧为单位输出的频率成分，从由所述频率分析单元输出的各个帧中的频率成分的峰值频率中选择最低的峰值频率，并且从由所述声音信息选择单元输出的声音信息中检测出包含该最低峰值频率的声音信息；单音分量检测单元，所述单音分量检测单元从所述比较/分析单元接收所检测到的声音信息、数字声音信号的频率成分和最低峰值频率，并且在声音信息中检测出具有与声音信息中的所述最低峰值频率最接近的峰值信息的声音信息作为单音分量；单音分量去除单元，所述单音分量去除单元从所述单音分量检测单元接收已被用于检测所述单音分量的最低峰值频率和数字声音信号的频率成分，从所述频率成分中去除最低峰值频率，并且将去除的结果传送到所述比较/分析单元；演奏声音信息检测单元，所述演奏声音信息检测单元组合由所述单音分量检测单元检测到的各个单音分量以检测演奏声音信息；以及演奏声音信息输出单元，所述演奏声音信息输出单元输出所述演奏声音信息。
根据本发明的另一个方面，提供了一种用于分析音乐的设备。该设备包括声音信息存储单元，所述声音信息存储单元按照乐器的类型分别存储声音信息；声音信息选择单元，所述声音信息选择单元从所述声音信息存储单元中存储的不同类型的乐器的声音信息中选择一种特定乐器的声音信息，并输出所选择的声音信息；乐谱信息存储单元，所述乐谱信息存储单元存储关于由特定乐器演奏的乐谱的信息，即，乐谱信息；数字声音输入单元，所述数字声音输入单元接收外部演奏的音乐，并且将其转换成数字声音信号；频率分析单元，所述频率分析单元从所述数字声音输入单元接收数字声音信号，将其分解成多个频率成分，并且以帧为单位输出这些频率成分；预期演奏值生成单元，所述预期演奏值生成单元响应于外部控制信号而开始工作，自它开始工作起随着时间的推移基于存储在乐谱信息存储单元中的乐谱信息以帧为单位生成预期演奏值，并且以帧为单位输出所述预期演奏值；比较/分析单元，所述比较/分析单元接收从所述声音信息选择单元输出的声音信息、从所述频率分析单元以帧为单位输出的频率成分以及从所述预期演奏值生成单元输出的所述预期演奏值，从还未与所述频率成分进行比较的所述预期演奏值中选择最低的预期演奏值，检测出对应于所述最低预期演奏值的声音信息，并且判断所检测到的对应于所述最低预期演奏值的声音信息是否被包含在所述频率成分中；单音分量检测单元，所述单音分量检测单元接收对应于所述最低预期演奏值的声音信息和所述频率成分，并且当比较/分析单元判断对应于所述最低预期演奏值的声音信息被包含在所述频率成分中时，检测出所述接收的声音信息作为单音分量；单音分量去除单元，所述单音分量去除单元从所述单音分量检测单元接收所述单音分量和数字声音信号的频率成分，从所述频率成分中去除单音分量，并且将去除的结果传送到所述比较/分析单元；演奏声音信息检测单元，所述演奏声音信息检测单元组合所述单音分量检测单元检测到的单音分量以检测演奏声音信息；以及演奏声音信息输出单元，所述演奏声音信息输出单元输出所述演奏声音信息。
图1示出了乐器的声音信息的示例。
图2是根据本发明第一实施例的用于分析音乐的设备的示意性框图。
图3是利用根据本发明第一实施例的音乐分析设备来分析音乐的过程的流程图。
图3A是利用根据本发明第一实施例的音乐分析设备来检测帧的单音信息的过程的流程图。
图3B是利用根据本发明第一实施例的音乐分析设备来比较和分析帧的频率成分的过程的流程图。
图4A至图4C示出了多个频率波形，用以说明利用本发明第一实施例的音乐分析设备从多个演奏音符中检测单音符的过程。
图5是根据本发明第二实施例的用于分析音乐的设备的示意性框图。
图6是利用本发明第二实施例的音乐分析设备来分析音乐的过程的流程图。
图6A是利用本发明第二实施例的音乐分析设备来检测当前帧的单音信息和演奏错误信息的过程的流程图。
图6B和图6C是利用本发明第二实施例的音乐分析设备对帧的频率成分进行比较和分析的过程的流程图。
图6D是利用本发明第二实施例的音乐分析设备修正预期演奏值的流程图。
具体实施例方式
下面将参照附图对本发明的音乐分析设备的优选实施例进行详细描述。
图1示出了各种乐器的声音信息的示例。图1表明，在不同类型的乐器中声音信息是不同的。声音信息(a)表示处于音调C5的钢琴声。声音信息(b)表示处于音调C5的小号声。声音信息(c)表示处于音调C5的小提琴声。声音信息(d)表示处于音调C5的女声。
参照图1(a)，由于按下键盘时音锤击打一条琴弦，钢琴声的强度在整个频率范围内都增大，各个频率成分都明显地出现。同时，随着时间推移，钢琴声的强度迅速减弱。
参照图1(b)，由于管乐器的特性，小号声具有细且清晰的谐波分量。但是，随着谐波升高，振动慢慢地逐渐发生。
参照图1(c)，由于弦乐器的特性，小提琴声具有上下扩展的频率成分。随着谐波升高，明显地出现频率扩展。
参照图1(d)，由于音调不准，女声具有大幅振动的频率成分，并且没有很多谐波分量。
利用这个事实，即，如上所述即使演奏相同的音调，在不同类型的乐器中声音信息也是不同的，可获得准确的分析结果。
图2是根据本发明第一实施例的音乐分析设备的示意性框图。参照图2，根据本发明第一实施例的音乐分析设备包括声音信息存储单元10；数字声音输入单元110、频率分析单元120、比较/分析单元130、单音分量检测单元140、单音分量去除单元150、演奏声音信息检测单元160、演奏声音信息输出单元170和声音信息选择单元180。
声音信息存储单元10按照乐器的类型分别存储声音信息。声音信息选择单元180从所述声音信息存储单元10中存储的不同类型的乐器的声音信息中选择一种所需乐器的声音信息“A”，并输出所选择的声音信息“A”。这里，声音信息存储单元10以波形数据或者不同频率成分的强度的形式存储声音信息。在以波形数据的形式存储声音信息的情况下，如果声音信息选择单元180生成了声音信息请求，则声音信息存储单元10从波形数据中检测出所请求的声音的频率成分，并且提供它们。
数字声音输入单元110接收外部演奏的音乐并且将其转换成数字声音信号。频率分析单元120从数字声音输入单元110接收数字声音信号，以帧为单位将其分解成多个频率成分“F”，并且以帧为单位输出频率成分“F”。
比较/分析单元130接收从声音信息选择单元180输出的声音信息“A”和从频率分析单元120以帧为单位输出的频率成分“F”，并且对它们进行比较。具体而言，在频率分析单元120输出的一个帧中，比较/分析单元130从频率成分“F”的峰值频率中选择最低的峰值频率“FPL1”，并且从声音信息选择单元180输出的声音信息“A”中检测出包含该最低峰值频率“FPL1”的声音信息“APL1”。
单音分量检测单元140从比较/分析单元130接收所检测到的声音信息“APL1”、频率成分“F”和最低峰值频率“FPL1”，并且检测出峰值信息与声音信息“APL1”中的最低峰值频率“FPL1”最接近的声音信息作为单音分量“AS”。
同时，单音分量检测单元140检测每一帧的时间信息，接着检测各帧中包含的各个单音符的音调和强度。另外，当检测到的单音分量“AS”是未包含在先前帧中的新的单音分量时，单音分量检测单元140将包含该新单音分量“AS”的当前帧划分成多个子帧，找出包含该新单音分量“AS”的子帧，并且检测所找到的子帧的时间信息以及单音分量“AS”，即音调和强度信息。
单音分量去除单元150从单音分量检测单元140接收最低峰值频率“FPL1”和频率成分“F”，从频率成分“F”中去除最低峰值频率“FPL1”，并且将去除的结果(F←F-FPL1)传送到比较/分析单元130。
接着，比较/分析单元130判断从单音分量去除单元150接收到的频率成分“F”是否包含有效的峰值频率信息。当确定从单音分量去除单元150接收到的频率成分“F”中包含有效的峰值频率信息时，比较/分析单元130从频率成分“F”中选择最低的峰值频率“FPL2”，并且检测出包含该最低峰值频率“FPL2”的声音信息“APL2”。但是，当确定从单音分量去除单元150接收到的频率成分“F”中不包含有效的峰值频率信息时，如上所述，比较/分析单元130从频率分析单元120接收下一帧的频率成分，在所接收到的频率成分中包含的峰值频率成分中选择最低的峰值频率，并且检测出包含该最低峰值频率的声音信息。换言之，将从频率分析单元120输出的当前帧的频率成分“F”与待分析的从声音信息选择单元180传送的声音信息进行比较，同时利用比较/分析单元130、单音分量检测单元140和单音分量去除单元150顺序地和反复地进行处理，直到检测出了当前帧中包含的所有单音信息。
演奏声音信息检测单元160组合由单音分量检测单元140检测到的各个单音分量“AS”以检测演奏声音信息。显然，即使演奏多音符，演奏声音信息检测单元160也可检测演奏声音信息。演奏声音信息检测单元160检测关于多音符的演奏声中包含的各个单音符的信息，并且组合检测到的单音信息，从而检测出对应于多音符的演奏声音信息。
演奏声音信息输出单元170输出由演奏声音信息检测单元160检测到的演奏声音信息。
图3至图3B是根据本发明第一实施例的音乐分析设备所执行的方法的流程图。
图3是利用根据本发明第一实施例的音乐分析设备分析音乐的流程图。参照图3，在生成和存储(未示出)不同类型的乐器的声音信息后，在步骤s100中从所存储的不同类型的乐器的声音信息中选择将实际演奏的一种特定乐器的声音信息。
接着，如果在步骤s200中输入了数字声音信号，则在步骤s400中以帧为单位把数字声音信号分解成多个频率成分。在步骤s500中，把数字声音信号的频率成分与所选择的特定乐器的声音信息的频率成分进行比较和分析，以在以帧为单位的数字声音信号中检测出单声信息。在步骤s600中输出所检测到的单声信息。
重复步骤s200至步骤s600，直至数字声音信号的输入停止或者在步骤s300中输入了结束指令。
图3A是利用根据本发明第一实施例的音乐分析设备检测各帧的单音信息的步骤s500的流程图。参照图3A，在步骤s510中检测当前帧的时间信息。在步骤s520中将当前帧的频率成分与所选择的特定乐器的声音信息的频率成分比较和分析，以检测当前帧中包含的各个单音符的音调、强度和时间信息。在步骤s530中检测到的音调、强度和时间信息构成了检测单音分量。
如果在步骤s540中确定在步骤s530中所检测到的单音符是没有包含在先前帧中的新的单音符，则在步骤s550中把当前帧划分成多个子帧。在步骤s560中从这多个子帧中检测包含该新单音符的子帧。在步骤s570中检测所检测到的子帧的时间信息。在步骤s580中将该子帧的时间信息设定为当前单音符的时间信息。当检测到的单音符处于低频范围内时，即，检测音符频率的最小采样数大于子帧规格时，或者不要求时间信息的精度时，可以省略步骤s540至步骤s580。
图3B是利用根据本发明第一实施例的音乐分析设备来比较和分析当前帧的频率成分的步骤s520的流程图。参照图3B，在步骤s521中选择输入数字声音信号的当前帧中包含的最低峰值频率。接着，在步骤s522中从特定乐器的声音信息中检测包含所选择的峰值频率的声音信息。在步骤s523中，在步骤s522中检测到的声音信息中检测出具有与所选择的峰值频率的分量最接近的峰值信息的声音信息作为单音信息。
在检测出对应于最低峰值频率的单音信息后，在步骤s524中从当前帧中包含的频率成分中去除所检测的单音信息中包含的频率成分。接着，在步骤s525中判断在当前帧中是否存在任何峰值频率成分。如果确定在当前帧中存在峰值频率成分，则重复步骤s521至s524。
图4A至图4C是表示频率波形的图表，是为了说明利用根据本发明第一实施例的音乐分析设备从多个演奏音符中检测单音符的过程。X轴表示音调，即，快速傅里叶变换(FFT)指数，而Y轴表示各个频率成分的强度，即，作为FFT的结果的量值。
下面将参照图4A至图4C详细描述步骤s520。
在图4A中，波形(a)表示输入的当前帧的数字声音信号包含三个音符D3、F3#和A3的情况。在这种情况下，在步骤s521中将音符D3的基频分量选择为当前帧中包含的峰值频率成分中的最低峰值频率。在步骤s522中，在特定乐器的声音信息中，检测出包含音符D3的基频分量的声音信息。在步骤s522中，可检测出许多音符的声音信息，如D3、D2和A1。
接着在步骤s523中，在步骤s522中检测到的声音信息中，检测出具有与在步骤s521中选择的峰值频率成分最接近的峰值频率成分的音符D3的声音信息，作为所选择的峰值频率成分的单音信息。在图4A中的波形(b)中示出了音符D3的单音信息。
接着，在步骤s524中，从数字声音信号的当前帧中包含的音符D3、F3#和A3的频率成分中去除音符D3的单音信息(图4A(b))。
然后，如图4A(c)中所示，音符F3#和A3的频率成分保留在当前帧中。重复步骤s521至步骤s524，直至当前帧中没有频率成分，从而可以检测出当前帧中包含的所有音符的单音信息。
在上述情况下，可通过三次重复执行步骤s521至步骤s524来检测出所有音符D3、F3#和A3的单音信息。
图4B用于说明在上述情况下检测和去除音符F3#的过程。图4B(a)示出了在将音符D3从音符D3、F3#和A3中去除后保留在当前帧的声音信息中的音符F3#和A3的频率成分。图4B(b)示出了通过上述步骤检测到的音符F3#的频率成分。图4B(c)示出了在将音符F3#(图4B(b))从图4B(a)中所示的波形中去除后留下的音符A3的频率成分。
图4C用于说明在上述情况下检测和去除音符A3的过程。图4C(a)示出了在将音符F3#从音符F3#和A3中去除后留在当前帧的声音信息中的音符A3的频率成分。图4C(b)示出了通过上述步骤检测到的音符A3的频率成分。图4C(c)示出了在将音符A3(图4C(b))从图4C(a)所示的波形中去除后剩余的频率成分。由于所有三个演奏音符都已经被检测出来，因此剩余的频率成分具有接近零的强度。因此，剩余的频率成分被认为是由噪声生成的。
图5是根据本发明第二实施例的音乐分析设备的示意性框图。
在本发明的第二实施例中，使用了乐器的声音信息和待演奏的乐谱的信息。如果可以把具有不同频率成分的各个音符的所有信息构建到各种乐器的声音信息中，则可准确地分析输入的数字声音信号。但是，实际上由于难以将各个音符的所有信息构建到各种乐器的声音信息中，因此提供本发明的第二实施例以解决该问题。换言之，在本发明的第二实施例中，检测音乐演奏的乐谱信息，基于特定的乐器的声音信息和乐谱信息预测待输入的音符，并且利用关于所预测的音符的信息来分析输入的数字声音。
参照图5，根据本发明第二实施例的音乐分析设备包含声音信息存储单元10、乐谱信息存储单元20、数字声音输入单元210、频率分析单元220、比较/分析单元230、单音分量检测单元240、单音分量去除单元250、预期演奏值生成单元290、演奏声音信息检测单元160、演奏声音信息输出单元270和声音信息选择单元280。
声音信息存储单元10按照乐器的类型分别存储声音信息。声音信息选择单元280从声音信息存储单元10中存储的不同类型的乐器的声音信息中选择所需乐器的声音信息“A”，并输出所选择的声音信息“A”。这里，声音信息存储单元10以波形数据或者不同频率成分的强度的形式存储声音信息。在以波形数据的形式存储声音信息的情况下，如果声音信息选择单元280生成了声音信息请求，则声音信息存储单元10从波形数据中检测出所请求的声音的频率成分并且提供它们。
乐谱信息存储单元20存储关于要由特定乐器演奏的乐谱的信息。乐谱信息存储单元20根据待演奏的乐谱来存储和管理音调信息、音符长度信息、节拍信息、节奏信息、音符强度信息、详细演奏信息(例如，断音、短断音、逆波音)以及用于辨别用双手演奏或者用多种乐器演奏的信息中的至少一种信息。
数字声音输入单元210接收外部演奏的音乐并且将其转换成数字声音信号。频率分析单元220从数字声音输入单元210接收数字声音信号，将其分解成以帧为单位的频率成分“F”，并且以帧为单位输出频率成分“F”。
当通过数字声音输入单元210输入了音乐声时，预期演奏值生成单元290开始工作，自它开始工作起随着时间的推移，基于存储在乐谱信息存储单元20中的乐谱信息，以帧为单位生成预期演奏值“E”，并且以帧为单位输出预期演奏值“E”。
比较/分析单元230接收从声音信息选择单元280输出的声音信息“A”、从频率分析单元220以帧为单位输出的频率成分“F”以及从预期演奏值生成单元290输出的预期演奏值“E”；从还未与频率成分“F”进行比较的预期演奏值“E”中选择最低的预期演奏值“EL1”，检测出对应于该最低预期演奏值“EL1”的声音信息“AL1”；并且判断该声音信息“AL1”是否包含在频率成分“F”中。
单音分量检测单元240接收对应于该最低预期演奏值“EL1”的声音信息“AL1”和频率成分“F”。当比较/分析单元230确定声音信息“AL1”包含在频率成分“F”中时，单音分量检测单元240检测出声音信息“AL1”作为单音分量“AS”。
同时，单音分量检测单元240检测各帧的时间信息和包含在各帧中的各个单音符的音调和强度。另外，当检测到的单音分量“AS”是未包含在先前帧中的新的单音分量时，单音分量检测单元240将包含该新单音分量“AS”的当前帧划分成多个子帧，找出包含该新单音分量“AS”的子帧，并且检测所找到的子帧的时间信息以及单音分量“AS”，即音调和强度信息。
当比较/分析单元230确定声音信息“AL1”未包含在频率成分“F”中时，单音分量检测单元240检测出表示声音信息“AL1”被包含在多少各连续的帧中的历史信息，并且当声音信息“AL1”没有被包含在预定数量的连续帧中时，从预期演奏值“E”中去除声音信息“AL1”。
单音分量去除单元250从单音分量检测单元240接收单音分量“AS”和频率成分“F”，从频率成分“F”中去除单音分量“AS”，并且将去除的结果(F←F-AS)传送到比较/分析单元230。
同时，当预期演奏值生成单元290还没有生成相对于已由频率分析单元220生成了频率成分的帧的预期演奏值时，比较/分析单元230从声音信息选择单元290输出的声音信息“A”和从频率分析单元220以帧为单位输出的频率成分“F”。接着，比较/分析单元230从当前帧中的频率成分“F”的各个峰值频率中选择出最低的峰值频率“FPL”，并且从由声音信息选择单元280输出的声音信息“A”中检测出包含该最低峰值频率“FPL”的声音信息“APL”。
单音分量检测单元240从比较/分析单元230接收声音信息“APL”、频率成分“F”和最低峰值频率“FPL”并且检测具有与声音信息“APL”中的最低峰值频率“FPL”最接近的峰值信息的声音信息“AF”，作为演奏错误信息“Er”。另外，单音分量检测单元240搜索乐谱信息，判断在乐谱信息中接下来要演奏的音符中是否包含该演奏错误信息“Er”。如果确定在乐谱信息中接下来要演奏的音符中包含演奏错误信息“Er”，则单音分量检测单元240将演奏错误信息“Er”加到预期演奏值“E”上并且输出对应于演奏错误信息“Er”的声音信息作为单音分量“AS”。如果确定在乐谱信息中接下来要演奏的音符中不包含演奏错误信息“Er”，则单音分量检测单元240输出对应于演奏错误信息“Er”的声音信息作为错误音符分量“ES”。
当单音分量检测单元240检测到错误音符分量“ES”时，单音分量去除单元250从单音分量检测单元240接收错误音符分量“ES”和频率成分“F”，从频率成分“F”中去除错误音符分量“ES”，并且将去除的结果(F←F-ES)传送到比较/分析单元230。
接着，比较/分析单元230判断从单音分量去除单元250接收到的频率成分“F”是否包含有效的峰值频率信息。当确定在从单音分量去除单元250接收到的频率成分“F”中包含有效的峰值频率信息时，比较/分析单元230执行上述对单音分量去除单元250所接收的频率成分“F”进行的操作。但是，当确定在从单音分量去除单元250接收到的频率成分“F”中不包含有效的峰值频率信息时，比较/分析单元230从频率分析单元220接收输入数字声音信号的下一帧的频率成分，并且对该下一帧的频率成分执行上述操作。
演奏声音信息检测单元260和演奏声音信息输出单元270执行与本发明第一实施例中的演奏声音信息检测单元160和演奏声音信息输出单元170相同的功能，因此这里省略对其详细描述。
图6是利用根据本发明第二实施例的音乐分析设备分析音乐的过程的流程图。
下面的描述涉及利用根据本发明第二实施例的音乐分析设备基于不同类型的乐器的声音信息分析外部输入数字声音的过程。
在生成和存储(未示出)不同类型的乐器的声音信息和待演奏的音乐的乐谱信息后，在步骤t100和t200中从所存储的不同类型的乐器的声音信息和乐谱信息中选择出将实际演奏的一种特定乐器的声音信息和实际演奏的音乐的乐谱信息。生成待演奏的音乐的乐谱信息的方法不在本发明的范围之内。目前，具有许多能够扫描印刷在纸上的乐谱、将扫描的乐谱转换成乐器数字接口(MIDI)音乐的演奏信息以及存储演奏信息的技术。因此，将省略对生成和存储乐谱信息的详细描述。
乐谱信息包括，例如音调信息、音符长度信息、节拍信息、节奏信息、音符强度信息、详细演奏信息(例如，断音、短断音、逆波音)以及用于辨别利用双手演奏或者利用多种乐器演奏的辨别信息。
在步骤t100和t200中选择声音信息和乐谱信息后，如果在步骤t300中输入了数字声音信号，则在步骤t500中将数字声音信号分解成以帧为单位的频率成分。在步骤t600中，将数字声音信号的频率成分与所选择的乐谱信息和所选择的声音信息的频率成分进行比较，并且进行分析，以从数字声音信号中检测出当前帧的演奏错误信息和单声信息。
接着，在步骤t700中输出检测到的单声信息。
在步骤t800中可基于演奏错误信息评估演奏准确性。如果演奏错误信息对应于由演奏者有意演奏的音符(例如，变调)，则在步骤t900中将演奏错误信息添加到乐谱信息上。可选择性地执行步骤t800和t900。
图6A是利用根据本发明第二实施例的音乐分析设备检测当前帧的单音信息和演奏错误信息的步骤t600的流程图。参照图6A，在步骤t610中检测当前帧的时间信息。在步骤t620中，将当前帧的频率成分与所选择的特定乐器的声音信息的频率成分进行比较并与乐谱信息进行比较，并进行分析以检测出当前帧中包含的各个单音符的音调、强度和时间信息。在步骤t640中，作为分析的结果，检测当前帧的单音信息和演奏错误信息。
如果在步骤t650中确定对应于所检测到的单音信息的单音符是没有包含在先前帧中的新的单音符，则在步骤t660中将当前帧划分成多个子帧。在步骤t670中，从这多个子帧中检测出包含该新单音符的子帧。在步骤t680中检测所检测到的子帧的时间信息。在步骤t690中将该子帧的时间信息设定为该单音信息的时间信息。与第一实施例类似，当该单音符处于低频范围内时或者不要求时间信息的精度时，可以省略步骤t650至步骤t690。
图6B和图6C是利用根据本发明第二实施例的音乐分析设备对当前帧的频率成分进行比较和分析的步骤t620的流程图。参照图6B和图6C，在步骤t621中，对于演奏特定乐器时实时生成的数字声音信号，生成当前帧的预期演奏值，并且判断在当前帧中是否存在还未与实际演奏声音，即数字声音信号比较过的预期演奏值。
如果在步骤t621中确定在当前帧中不存在还未与数字声音信号比较的预期演奏值，则在步骤t622至t628中，判断当前帧中的数字声音信号的频率成分是否对应于演奏错误信息；检测演奏错误信息和单音信息；并从当前帧中的数字声音信号中去除对应于演奏错误信息和单音信息的声音信息的频率成分。
具体而言，在步骤t622中选择当前帧中的输入数字声音信号的最低峰值频率。在步骤t623中从特定乐器的声音信息中检测出包含所选峰值频率的声音信息。在步骤t624中，从步骤t623中检测到的声音信息中检测出具有与所选峰值频率的分量最接近的峰值信息的声音信息，作为演奏错误信息。如果在步骤t625中确定在根据乐谱信息而接下来要演奏的音符中包含该演奏错误信息，则在步骤t626中将对应于该演奏错误信息的音符添加到预期演奏值上。接着，在步骤t627中将该演奏错误信息设定为单音信息。在步骤t628中，将步骤t624或者步骤t627中检测出的作为演奏错误信息或者单音信息的声音信息的频率成分从数字声音信号的当前帧中去除。
如果在步骤t621中确定在当前帧中存在还未与数字声音信号比较的预期演奏值，则将数字声音信号与一个或者多个预期演奏值进行比较和分析，以检测当前帧的单音信息，并且在步骤t630至t634中，从数字声音信号的当前帧中去除对应于单音信息的声音信息的频率成分。
具体而言，在步骤t630中，从对应于一个或者多个预期演奏值的声音信息中选择出还未与数字声音信号的当前帧中包含的频率成分进行比较的最低音调的声音信息。如果在步骤t631中确定在步骤t630中选择的声音信息的频率成分被包含在数字声音信号的当前帧中所包含的频率成分中，则在步骤t632中，把所选择的声音信息设定为单音信息。接着，在步骤t633中，从数字声音信号的当前帧中去除所选择的声音信息的频率成分。如果在步骤t631中确定所选择的声音信息的频率成分未被包含在数字声音信号的当前帧中所包含的频率成分中，则在步骤t635中，对这一个或者多个预期演奏值进行修正。重复步骤t630至t633，直至在步骤t634中确定对应于这一个或者多个预期演奏值的每一个音符都已与当前帧的数字声音信号进行了比较。
重复在图6B和6C中所示的步骤t621至t628以及步骤t630至t635，直至在步骤t629中确定没有峰值频率成分留在当前帧中的数字声音信号中。
图6D是利用根据本发明第二实施例的音乐分析设备修正一个或多个预期演奏值的步骤635的流程图。参照图6D，如果在步骤t636中确定在步骤t630中选择的声音信息的频率成分没有被包含在至少预定数量的N个连续的先前帧N中，并且如果在步骤t637中确定所选择的声音信息的频率成分已经被包含在数字声音信号的至少一个先前帧中，则在步骤t639中去除对应于所选声音信息的预期演奏值。或者，如果在步骤t636中确定所选声音信息的频率成分没有被包含在至少预定数量的N个连续先前帧N中，并且如果在步骤t637中确定所选声音信息的频率成分从未包含在数字声音信号的任何一个先前帧中，则在步骤t638中将所选择的声音信息设定为演奏错误信息，并且在步骤t639中去除对应于所选声音信息的预期演奏值。
上述内容仅涉及本发明的实施例。本发明不限于上述实施例，并且可在由附属的权利要求所限定的保护范围内进行各种改进。例如，可改变在实施例中定义的各个元件的形状和结构。
工业实用性根据本发明的音乐分析设备使用声音信息或者声音信息和乐谱信息，从而快速地分析所输入的数字声音，并且提高了分析的准确性。在分析数字声音的常规方法中，不能分析由多音调构成的音乐，例如，钢琴音乐。但是，根据本发明，可快速准确地分析数字声音中包含的单音调以及多音调。
因此，根据本发明的分析数字声音的结果可直接用于电子乐谱，并且可以利用该分析结果定量地检测演奏信息。该分析结果可广泛地应用于从儿童的音乐教育到专业演奏家的练习。即，利用本发明的能够实现输入数字声音实时分析的技术，可以实时识别电子乐谱上的当前演奏音符的位置，并且可以在电子乐谱上自动地指示接下来要演奏的音符的位置，从而演奏者可以专注于演奏而无需进行纸质乐谱的翻页。
另外，本发明将作为分析结果而获得的演奏信息与先前存储的乐谱信息进行比较以检测演奏准确性，从而演奏者可以知道错误演奏。所检测的演奏准确性可用作对演奏者的演奏进行评估的数据。
权利要求
1.一种用于分析音乐的设备，包括声音信息存储单元，其按照乐器的类型分别存储声音信息；声音信息选择单元，其从所述声音信息存储单元中存储的不同类型的乐器的声音信息中选择出特定乐器的声音信息，并输出所选择的声音信息；数字声音输入单元，其接收外部演奏的音乐并且将其转换成数字声音信号；频率分析单元，其从所述数字声音输入单元接收数字声音信号，将其分解成多个频率成分，并且以帧为单位输出这些频率成分；比较/分析单元，其接收从所述声音信息选择单元输出的声音信息和从所述频率分析单元以帧为单位输出的频率成分，从所述频率分析单元输出的各个帧中的频率成分的各个峰值频率中选择出最低的峰值频率，并且从所述声音信息选择单元输出的声音信息中检测出包含所述最低峰值频率的声音信息；单音分量检测单元，其从所述比较/分析单元接收所检测到的声音信息、数字声音信号的频率成分和最低峰值频率，并且检测出具有与所述声音信息中的最低峰值频率最接近的峰值信息的声音信息作为单音分量；单音分量去除单元，其从所述单音分量检测单元接收已被用于检测数字声音信号的单音分量和频率成分的最低峰值频率，从所述频率成分中去除所述最低峰值频率，并且将该去除结果传送到所述比较/分析单元；演奏声音信息检测单元，其组合所述单音分量检测单元检测到的各个单音分量以检测演奏声音信息；以及演奏声音信息输出单元，其输出所述演奏声音信息。
2.如权利要求1所述的设备，其中所述声音信息存储单元以波形数据的形式存储不同类型乐器的声音信息，当由外部装置生成了声音信息请求时，所述声音信息存储单元从所述波形数据中检测出对应于所述声音信息请求的声音信息的频率成分，并且提供它们。
3.如权利要求1所述的设备，其中所述声音信息存储单元以可直接表示的不同频率成分的强度的形式存储不同类型乐器的声音信息。
4.如权利要求1所述的设备，其中所述单音分量检测单元检测各个帧的时间信息，接着检测各个帧中包含的各个单音符的音调和强度。
5.如权利要求4所述的设备，其中当检测到的单音分量是未包含在先前帧中的新的单音分量时，单音分量检测单元将包含该新单音分量的当前帧分成多个子帧，找出包含该新单音分量的子帧，并且检测所找到的子帧的时间信息以及对应于各个单音分量的单音符的音调和强度信息。
6.如权利要求1所述的设备，其中当确定从所述单音分量去除单元接收到的频率成分中包含有效的峰值频率信息时，比较/分析单元从所述有效峰值频率信息中选择最低的峰值频率，并且检测出包含所选最低峰值频率的声音信息，当确定从所述单音分量去除单元接收到的频率成分中不包含有效的峰值频率信息时，比较/分析单元从频率分析单元接收下一帧的频率成分，从所接收的频率成分中包含的各个峰值频率中选择最低的峰值频率，并且检测出包含该最低峰值频率的声音信息。
7.一种用于分析音乐的设备，包括声音信息存储单元，其按照乐器的类型分别存储声音信息；声音信息选择单元，其从所述声音信息存储单元中存储的不同类型的乐器的声音信息中选择特定乐器的声音信息，并输出所选择的声音信息；乐谱信息存储单元，其存储关于要由特定乐器演奏的乐谱的信息，即乐谱信息；数字声音输入单元，其接收外部演奏的音乐并且将其转换成数字声音信号；频率分析单元，其从所述数字声音输入单元接收数字声音信号，将其分解成多个频率成分，并且以帧为单位输出这些频率成分；预期演奏值生成单元，其响应于外部控制信号而开始工作，自它开始工作起随着时间的推移而基于所述乐谱信息存储单元中存储的乐谱信息以帧为单位生成预期演奏值，并且以帧为单位输出所述预期演奏值；比较/分析单元，其接收从所述声音信息选择单元输出的声音信息、从所述频率分析单元以帧为单位输出的频率成分、以及从所述预期演奏值生成单元输出的预期演奏值，从还未与所述频率成分进行比较的预期演奏值中选择最低的预期演奏值，检测出对应于所述最低预期演奏值的声音信息，并且判断所检测到的对应于所述最低预期演奏值的声音信息是否被包含在所述频率成分中；单音分量检测单元，其接收对应于所述最低预期演奏值的声音信息和所述频率成分，当比较/分析单元确定在所述频率成分中包含对应于所述最低预期演奏值的声音信息时，检测出所接收的声音信息作为单音分量；单音分量去除单元，其从所述单音分量检测单元接收所述单音分量和数字声音信号的频率成分，从所述频率成分中去除所述单音分量，并且将去除结果传送到所述比较/分析单元；演奏声音信息检测单元，其组合所述单音分量检测单元检测到的各个单音分量以检测演奏声音信息；以及演奏声音信息输出单元，其输出所述演奏声音信息。
8.如权利要求7所述的设备，其中所述单音分量检测单元检测各个帧的时间信息，接着检测各个帧中包含的各个单音符的音调和强度。
9.如权利要求8所述的设备，其中当检测到的单音分量是未包含在先前帧中的新的单音分量时，单音分量检测单元将包含该新单音分量的当前帧分成多个子帧，找出包含该新单音分量的子帧，并且检测所找到的子帧的时间信息以及对应于各个单音分量的单音符的音调和强度信息。
10.如权利要求7到9中任何一项所述的设备，其中当比较/分析单元确定对应于所述最低预期演奏值的声音信息未被包含在所述频率成分中时，单音分量检测单元检测指示在多少个连续的帧中包含对应于所述最低预期演奏值的声音信息的历史信息，并且当对应于所述最低预期演奏值的声音信息没有被包含在预定数量的连续帧中时，从预期演奏值中去除对应于所述最低预期演奏值的声音信息。
11.如权利要求10所述的设备，其中当由频率分析单元生成了频率成分的帧的预期演奏值还没有生成时，比较/分析单元接收从声音信息选择单元输出的特定乐器的声音信息和从频率分析单元以帧为单位输出的频率成分，在当前帧中的各个频率成分的峰值频率中选择出最低的峰值频率，并且从所述声音信息选择单元输出的声音信息中检测出包含该最低峰值频率的声音信息。
12.如权利要求11所述的设备，其中单音分量检测单元从所述比较/分析单元接收所检测到的声音信息、频率成分和最低峰值频率，从所述比较/分析单元检测到的声音信息中检测出具有与所述最低峰值频率最接近的峰值信息的声音信息作为演奏错误信息，当确定乐谱信息中接下来要演奏的音符中包含该演奏错误信息时，把该演奏错误信息添加到预期演奏值上，并且输出对应于该演奏错误信息的声音信息作为单音分量。
13.如权利要求12所述的设备，其中当确定乐谱信息中接下来要演奏的音符中不包含演奏错误信息时，单音分量检测单元输出对应于演奏错误信息的声音信息作为错误音符分量。
14.如权利要求13所述的设备，其中单音分量去除单元从所述单音分量检测单元接收错误音符分量和频率成分，从所述频率成分中去除所述错误音符分量，并且将去除结果传送到所述比较/分析单元。
15.如权利要求13所述的设备，其中当确定从单音分量去除单元接收到的频率成分中包含有效的峰值频率信息时，比较/分析单元从单音分量去除单元接收所述频率成分作为输入，当确定从单音分量去除单元接收到的频率成分中不包含有效的峰值频率信息时，比较/分析单元从频率分析单元接收下一帧输入数字声音信号的频率成分。
16.如权利要求7所述的设备，其中所述声音信息存储单元以波形数据的形式存储不同类型乐器的声音信息，当由外部装置生成了声音信息请求时，所述声音信息存储单元从所述波形数据中检测出对应于所述声音信息请求的声音信息的频率成分，并且提供它们。
17.如权利要求7所述的设备，其中所述声音信息存储单元以可直接表示的不同频率成分的强度的形式存储不同类型乐器的声音信息。
全文摘要
本发明提供了一种基于乐器的声音信息分析音乐的设备。该设备使用乐器的声音信息或者声音信息和乐谱信息来分析数字声音。预先按照音调和强度存储演奏而生成数字声音的乐器的声音信息，从而可以容易地分析乐器演奏的单音符和多音符。另外，同时利用乐器的声音信息和乐谱信息，能准确地分析输入数字声音并且能以定量数据的形式进行检测。
文档编号G10H3/12GK1605096SQ02825414
公开日2005年4月6日 申请日期2002年12月10日 优先权日2001年12月18日
发明者郑道一 申请人:愉悦泰克株式会社