专利名称：交互性的音乐伴奏的方法和设备的制作方法
技术领域：
本发明涉及一种音乐伴奏系统，特别涉及一种对应不同演唱者调节乐音参数的音乐伴奏系统。
一音乐伴奏设备，通常称作卡拉OK机，重放歌曲的乐谱或伴奏乐。这使得使用者或演唱者能够对应恰当的音乐演唱乐曲的歌词。一般地，歌词和乐曲的伴奏都存储在同一介质中。例如，图一表示一个传统的卡拉OK机100，其包括光盘播放机102、视频信号产生器104、视频显示器106、音乐伴奏信号产生器108、扬声器110、麦克风112以及混合器114。当使用者将光盘116插入光盘播放机102中时，卡拉OK机100开始运行，光盘116中包含有视频或歌词信号(未示出)以及音频或伴奏信号(未示出)。视频信号产生器104从光盘116中提取视频信号，并且将提取的视频信号作为歌曲的歌词显示在视频显示器106上。伴奏信号产生器108从光盘116中提取视频信号，并且将其发送到混合器114。演唱者基本上同时对着麦克风112演唱显示在视频显示器104上的歌词，麦克风将歌声转换为表示歌声的电声信号118。电声信号118被发送到混合器114。混合器114将音频信号和电声信号118组合，并向扬声器110输出组合的声音信号120，从而产生音乐。
然而，卡拉OK机100只是如实地再现存储的音乐伴奏，包括音拍。音拍被规定为音乐的节拍，表示歌唱或音乐伴奏中基本音调有规律地重复出现。这迫使用户或演唱者与存储在光盘(或其它允许的介质-如个人计算机存储器)上的固定的或预先存储的音乐伴奏参数协调。如果演唱者不能跟上固定的音拍，那么他将不能与音乐伴奏同步。因此，演唱者必须调整他的音拍以适应存储的音乐固定音拍。所以，人们期望调整存储的音乐参数以适应演唱者的演唱风格。
本发明的优点和目的将通过说明来部分地描述或通过实践本发明来掌握。借助于各元素和组合，尤其是附属权利要求中指出的元素和组合可以实现和达到本发明的优点和目的。
为了实现本发明的优点和本发明的目的，如此处所表现的和主要描述的，本发明的系统根据由用户建立的音拍处理音乐伴奏文件。按照本发明的处理音乐伴奏文件的方法，由处理器执行的步骤包括选择用于处理的音乐伴奏文件和将具有特征音拍的声音转换成表示特征音拍的电信号。该处理过程将音乐伴奏文件的音拍改变从而与由电信号表示的特征音拍匹配，且输出电信号和音乐伴奏文件。
本发明的用于处理存储在存储器中音乐伴奏文件的设备，包括第一控制器，用于从存储器中提取所选择的音乐伴奏文件；一个麦克风，用于将具有特征音拍的声音转换为电信号；一分析器，用于对电信号滤波并识别特征音拍；从而，一第二控制器，将音乐伴奏文件的音拍与特征音拍匹配。
按照本发明的计算机程序产品包括计算机适用介质，该介质具有计算机可读代码，该代码用于处理在乐器数字接口(MIDI)控制器中的数据；该计算机适用介质包括一选择模块，用于选择由第一控制器处理的MIDI格式的音乐伴奏文件；一分析模块；用于将具有特征音拍的外部声音转换为表示特征音拍的电信号；一控制处理模块，用于加速或减速音乐伴奏文件的音拍以与特征音拍匹配。
在本说明书中采用并构成说明书的一部分的附图，结合文字说明一起描述了本发明的一个优先实施例，并解释了本发明的目的、优点和原理。其中
图1是传统卡拉OK机的示意图。
图2是本发明的音乐伴奏系统的示意图。
图3是本发明的处理伴奏音乐的方法的流程图。
图4是图2所示的声音分析器的示意图。
图5是由图4所示的噪声消除器完成的消除超标噪声的方法的流程图。
图6是输入到声音分析器的典型波形轮廓图。
图7是本发明将估算的歌声信号分段的一种方法的流程图。
图8是本发明将估算的歌声信号分段的另一种方法的流程图。
图9A、9B是本发明将音乐伴奏信号的音拍改变的模糊逻辑操作的流程图。
图10是用于确定伴奏信号是否与图9段位置匹配的模糊逻辑成员函数(Fuzzy logic membership function)的波形图。
图11是图9中用于确定加速是否充分的模糊逻辑成员函数的波形图。
下面将要参照附图详细描述本发明的一个优先实施例。说明书中所包含的和附图中所示的全部内容将作示意性解释而不起限制作用。
本发明的方法和装置能够改变音乐伴奏的音拍，从而使音乐伴奏的音拍与演唱者的自然音拍匹配。这种改变主要通过探测演唱者演唱歌曲的一部分所花费的时间(例如演唱一个词所花费的时间)并将该时间与预先编程的演唱那部分歌曲的标准时间进行比较来实现的。根据比较结果，音乐伴奏机将音乐伴奏的音拍调整为与演唱者的音拍匹配。
图2所示是按照本发明构成的音乐伴奏系统200。音乐伴奏系统200包括控制器202、音乐伴奏存储器204、麦克风206、声音分析器208、实时动态MIDI控制器210和扬声器212。
在优先实施例中，音乐伴奏存储器204位于个人计算机的ROM部分、个人计算机的随机存取存储器(RAM)或某些等效存储介质中。构成控制器202的可以是个人计算机，且在某种程度上取决于音乐伴奏存储器204的介质。本领域技术人员按照这里所教授的方法可以组成音乐伴奏系统200装置的硬件实施例，而在优先实施例中，该装置是由安装在个人计算机主控制器202上的软件模块实现的。
图3是音乐伴奏系统200操作的流程图300。首先，演唱者选择一首歌曲(步骤302)。根据这个选择，控制器202从音乐伴奏存储器204提取包含以MIDI格式存储的音乐伴奏信息的预存文件，且使该文件存储在MIDI控制器210可存储访问器中(步骤304)。例如，控制器202从存储在主个人计算机的ROM(音乐伴奏存储器204)中的多个音乐伴奏信息文件中提取被选的音乐伴奏信息文件，并在主个人计算机的RAM(未示出)中存储该音乐伴奏信息。该RAM可与控制器202或MIDI控制器210相连。演唱者对着麦克风206演唱被选音乐伴奏的歌词。麦克风206将歌声转换为电信号以输送给声音分析器208(步骤306)。
从麦克风206输出的电信号包含不期望有的背景噪声-如来自扬声器212的噪声。为了消除不期望有的噪声，如下面将要描述的，声音分析器208对电信号进行滤波(步骤308)。另外，声音分析器208将电信号分段以识别演唱者歌声的音拍。MIDI控制器210从可访问存储器中检索到的音乐伴奏信息文件(步骤310)。步骤310基本上同时与步骤306和步骤308并行进行。实时动态MIDI控制器210利用已识别的歌声的音拍来改变音乐伴奏信号的参数从而使音乐伴奏信号的音拍与歌声信号的音拍匹配(步骤312)。被选歌曲的伴奏MIDI文件全部预存储在例如主个人计算机RAM中，并且其可以在重放期间由MIDI控制器210实时地存取。这样，音拍的改变不会干扰乐曲的传送。换言之，音拍的改变不影响音乐的流畅。
为了使音乐的音拍与演唱者的音拍匹配，本发明的装置能够确定演唱者歌声的音拍。图4为声音分析器208的结构图，该声音分析器能够确定演唱者的音拍。声音分析器208能够确定演唱者演唱歌曲的自然音拍，并且它包括一噪声消除器402以将演唱者演唱的声音与其它不期望的背景噪声分离和一分段器404以确定演唱者演唱一部分歌曲(如一个词)的时间。
噪声消除器402具有滤除不期望的声音的功能，以便只采用演唱者的歌声确定音拍。不期望的声音被消除是必要的，因为接收器如麦克风206不仅可以拾取由演唱者产生的噪声，而且可以拾取由其它源如406位于演唱者较近位置的音乐伴奏系统200的左、右声道扬声器产生的噪声。噪声歌声信号一般由噪声消除器402处理。在处理完成后，噪声消除器402输出一估算歌声信号408。分段器404利用该估算歌声信号408来确定演唱者歌声的音拍。分段器404输出附带在估算歌声信号408上的表示演唱者歌声的自然音拍的段位置信息。含有附带段位置信息的估算歌声信号408在图4中被标志为段位置估算歌声信号410。
图5是表示噪声消除器402的操作的流程图500。首先，噪音歌声信号406被输入到噪声消除器402(步骤502)。噪音歌声信号406包括实际的歌声信号，由SA[n]表示；左扬声器声道噪声和右扬声器声道噪声，这里由麦克风206接收到的总噪声由n0[n]表示。这里点[n]是沿时间轴上的某一点。这个组合声音可由下式表示S0[n]=SA[n]+n0[n](公式1)第二步，噪声消除器402去除超标噪声(步骤504)。如果假定作为左扬声器声道噪声和右扬声器声道噪声发射的不期望的信号由n1[n]表示(n1[n]信号等于扬声器在源(扬声器)处产生的实际噪声)，而n0[n]信号等于在麦克风处的扬声器噪声，即噪声在经过扬声器和麦克风之间的路径后还应包括路径长度上扬声器噪声的衰减，则噪音歌声信号406中超标部分可以表示为y[n]=∑h[i]n1[n-i](公式2)其中i=0到N-1，和
H[z]=Z{h[n]}(公式3)这里公式3表示噪声消除器402的估算参数。函数h[i]表示从噪声的源(如扬声器)到麦克风之间路径上扬声器噪声的变化。故而，h[i]表示路径的滤波器效果。在超标声音被噪声消除器402去除之后，其输出由Sc[n]表示的估算歌声信号408，这里Sc[n]=S0[n]-y[n]，Sc[n]是在没有超标噪声的情况下的演唱者歌声的估算。实际歌声与估算歌声信号408之间的误差定义为e[n]e2[n]=(SA[n]-SC[n])2(公式4)噪声消除器402是根据所期望的实际歌声与估算歌声信号408之间的最小误差设计的。误差由e[n]表示。噪声消除器402的参数是由迭代计算得到的对于i等于0到N-1，且0＜η＜2，进行迭代运算直到误差最小。η是系统学习(system learning)参数，由系统设计者预置。这使估算歌声信号408(Sc[n])输出到分段器404(步骤506)。
分段器404用于区分时间轴上的各个所唱歌词的位置。例如，图6表示可能的歌唱声波轮廓600。声波轮廓600包括歌词602、604等。例如，歌词604开始于对应于歌词602结束位置的第一位置606，且结束于对应于下一歌词(未示出)起始位置的第二位置608。分段器404利用多种不同方法在时间轴上确定各个歌词的第一和第二位置606和608。例如，可以利用能量包络方法和非线性信号矢量分析法。
图7表示分段器404利用能量包络方法的流程图700。如波形轮廓600所示，歌词602、604等是连续的。这些词由边界区域分成段，其中边界区域是第一和第二位置606和608的最邻近区域，该区域有一明显的能级凹陷，其后跟随着能量上升。因此，通过检测能量的变化可以确定分段位置。假定波形轮廓600由x[n]表示，其中x[n]等于SA[n]，则分段位置由流程图700概述的过程来确定。首先，利用估算歌声信号408确定具有2N+1长度的一滑动窗口(sliding window)，如下所示(步骤702)
其中N是由系统设计者预置的时间值。这样，随着时间的推移具体点的能量被确定为E[n]=[1／(2N+1)]∑︱W[i]·x[n-1]｜，i=-N到+N(公式7)下一步，当能量信号增长超过一预定阈值时确定段的第一位置606(步骤704)。换言之，当公式7比一个预定阈值大时，歌词604开始于位置n。当T1·(E[n+d])小于或等于E[n]时以及E[n+d]小于或等于T2·(E[n+2d])时，分段位置被确定。T1和T2是0到1之间的常数，d是由系统设计者预定的间隔。T1、T2和d是为歌曲预先确定的。分段位置被输出到实时动态MIDI控制器210。时间位置信息附加在估算歌声信号上并作为时间位置估算歌声信号410从分段器404输出(步骤708)。
图8所示流程图800表示利用非线性信号矢量分析法确定分段位置。首先，利用预先记录的测试歌声信号x[n]，一矢量定义为(步骤802)X[n]={x[n]，x[n+1]，…，x[n-N]，x[n]·x[n]，x[n]·x[n-1]，…，x[n-N]·x[n-N]}T(公式8)X[n]是歌声信号构成的矢量。分段特征定义为(步骤804)Z[n]=1分段位置(公式9)0未分段位置下一步，估算函数定义为(步骤806)ex[n]=αT·X[n](公式10)其中ex[n]是分段位置的估计量，αT是常矢量。代价函数(cost function)定义为其中E代表其有关音域的函数的期望值。关于函数期望值的更多的信息参见A．Papoulis的《概率、随机变量与统计处理》，Megraw-Hill，1984。利用Wiener-Hopf公式对 进行最小化，Wiener-Hopf公式例如α=R-1β(公式12)R=E{X[n]·XT[n]}和β={Z[n]·X[n]}(公式13)关于Wiener-Hopf公式的更多的信息参见N．Kalouptisidis等的《自适应系统识别和信号处理算法》，Prentice-Hall，1993。将不同演唱者演唱的不同歌曲作为训练数据(training data)来记录以便获取α、β和R。上面所述的信号的分段位置Z[n]首先由程序器确定。公式12和公式13用来计算α。得到α后，利用公式10计算估计函数ex[n]。则分段位置定义为
分段位置=是若︱ex[n]-1︱≤ε(公式14)否其它情况其中ε是置信度系数(步骤808)。分段位置附加在估算歌声信号上并输出给实时动态MIDI控制器210(步骤810)。
总之，非线性信号矢量分析法使用配置的多个预先记录的检测歌声信号利用公式8得到矢量X[n]。听者首先识别检测信号的分段位置并得到Z[n]值。利用公式12和13计算α、β和R。一旦α、β和R计算出来，利用公式11和公式14能够确定歌声信号的分段位置。实时动态MIDI控制器210利用由声音分析器208识别的分段位置来加速或减速存储在可被MIDI控制器210访问的存储器中的伴奏音乐。
音乐伴奏信息最好是以MIDI格式存储在音乐伴奏存储器204中。如果，音乐伴奏信息不是以MIDI格式存储，则在将音乐伴奏信息存储在可被MIDI控制器210访问的存储器中之前需要MIDI转换器(未示出)将音乐伴奏信号转换为MIDI相容的格式。
实时动态MIDI控制器210在Alvin Wen-Yu SU等共同进行申请的说明书-实时动态MIDI控制的方法和装置(申请号___，申请的日期与本申请相同，这里公开引用以作参考)中有更充分的描述。具体而言，该被转换的MIDI信号和音乐伴奏信号被输入到软件控制子程序。该软件控制子程序利用模糊逻辑控制原理来加速或减速音乐伴奏信号的音拍，从而达到与转换歌声信号的音拍匹配。图9的流程图900表示软件控制子程序是如何调整音拍的。首先，软件控制子程序测定分段位置(步骤902)。图10代表分段位置P[n]的曲线图。软件控制子程序识别测定的位置并确定P[n]是否太靠后了(步骤904)。如果P[n]太靠后了，则音乐伴奏信号接收到很大的正加速信号(步骤906)；否则确定P[n]是否太靠前了(步骤908)，如果P[n]太靠前了，则音乐伴奏信号接收到很大的负加速信号(步骤910)。如果P[n]不是很靠前或很靠后，则Q[n]定义为P[n]-P[n-1]，Q[n]被测定(步骤912)。图11表示Q[n]曲线图。下一步，软件控制子程序确定是否P[n]落后和Q[n]是否快速向前匹配(步骤914)。如果P[n]是落后和Q[n]是快速向前匹配的，则初始的正加速度值被大幅度提高(步骤916)。否则，进一步确定P[n]是否是落后的以及Q[n]是否是缓慢向前匹配的(步骤918)。如果P[n]是落后和Q[n]是缓慢向前匹配的，则初始的正加速度值提高(步骤920)。否则，进一步确定P[n]是否是落后的以及Q[n]是否是没有变化的(步骤922)。如果P[n]是落后和Q[n]是没有变化的，则初始的正加速度值被稍微提高(步骤924)。否则，进一步确定P[n]是否是落后的以及Q[n]是否是缓慢向后匹配的(步骤926)。如果P[n]是落后和Q[n]是缓慢向后匹配的，则正加速度值不变(步骤928)。否则，进一步确定P[n]是否是落后的以及Q[n]是否是快速向后匹配的(步骤930)。如果P[n]是落后和Q[n]是快速向后匹配的，则初始的正加速度值被降低(步骤932)。否则，进一步确定P[n]是否是超前的以及Q[n]是否是缓慢向前匹配的(步骤934)。如果P[n]是超前的和Q[n]是缓慢向前匹配的，则初始的负加速度值不变化(步骤936)。否则，进一步确定P[n]是否是超前的以及Q[n]是否是不变化的(步骤938)。如果P[n]是超前的和Q[n]是不变化的，则初始的负加速度值稍微增加(步骤940)。否则，进一步确定P[n]是否是超前的以及Q[n]是否是缓慢向后匹配的(步骤942)。如果P[n]是超前的和Q[n]是缓慢向后匹配的，则初始的负加速度值增加(步骤944)。否则，进一步确定P[n]是否是超前的以及Q[n]是否是快速向后匹配的(步骤946)。如果P[n]是超前的和Q[n]是快速向后匹配的，则初始的负加速度值大幅度增加(步骤948)。否则，进一步确定P[n]是否是超前的以及Q[n]是否是快速向前匹配的(步骤950)。如果P[n]是超前的和Q[n]是快速向前匹配的，则初始的负加速度值降低(步骤952)。一旦音乐伴奏信号的音拍与转换的MIDI信号匹配了，则演奏音乐的信号输出到扬声器212(步骤954)。
虽然上述公开内容是根据演唱者的音拍改变音乐伴奏文件，其也可以用于任意外部信号-如乐器、扬声器、自然界声音。唯一需要的是外部信号具有可识别的音拍或可识别的分段位置。
对于本技术领域的技术人员而言，很明显的是在不脱离本发明的范围和要旨的情况下，能对本发明的方法和优先实施例的构造作不同修改和变更。参照这里公开的本说明书和本发明的实践，本发明的其它实施例对于本技术领域的技术人员也是清楚的。说明书和实例仅作示例，而本发明的真正范围和要旨如下面的权利要求所述。
权利要求
1．一种处理音乐伴奏文件的方法，包括由处理器执行的步骤有选择用于处理的音乐伴奏文件；将具有特征音拍的声音转换为表示特征音拍的电信号；将音乐伴奏文件的乐曲音拍改变以与电信号表示的特征音拍匹配；输出电信号和音乐伴奏文件。
2．一种处理存储在存储器中的音乐伴奏文件的装置，包括第一控制器，用于从存储器中提取所选择的音乐伴奏文件；麦克风，用于将具有特征音拍的声音转换为电信号；分析器，用于将该电信号滤波和识别特征音拍；第二控制器，用于将音乐伴奏文件的乐曲音拍与特征音拍匹配。
3．一种计算机程序产品，包括具有计算机可读代码的计算机可用介质，用于处理在乐器数字接口(MIDI)控制器中的数据，该计算机可用介质包括一选择模块，其构成用于由第一控制器选择要处理的MIDI格式的音乐伴奏文件；一分析模块，其构成用于将具有特征音拍的外部声音转换为表示特征音拍的电信号；以及一控制处理模块，其构成用于将音乐伴奏文件的乐曲音拍加速以与特征音拍匹配。
4．一种处理音乐伴奏文件的方法，包括由处理器执行的步骤有选择用于处理的音乐伴奏文件；将演唱者演唱的歌声转换为表示歌声音拍的电歌声信号；将音乐伴奏文件的乐曲音拍改变以与该电歌声信号表示的歌声音拍匹配；以及将该电歌声信号和音乐伴奏文件作为歌曲输出。
5．如权利要求4所述的方法，其中转换步骤包括将电歌声信号滤波以消除不期望的背景噪声；和将滤波后的信号分段以识别歌声音拍。
6．如权利要求5所述的方法，其中滤波步骤包括根据背景噪声源与麦克风之间背景噪声的路径消除不期望的背景噪声；根据估算的背景噪声对电歌声信号进行滤波；和根据滤波后的电歌声信号输出估算的歌声信号。
7．如权利要求6所述的方法，其中生成滤波器的步骤包括建立学习参数从而使电歌声信号的实际歌声信号部分与估算歌声信号之间的误差最小。
8．如权利要求5所述的方法，其中分段步骤包括测量该被滤波信号的能量；识别当测定的能量上升超过一预定阈值时的起始位置；和识别当测定的能量下降低于一预定阈值时的结束位置。
9．如权利要求5所述的方法，其中分段步骤包括预存储测试歌声信号；利用预存储测试歌声信号生成矢量估计量；根据测试信号定义矢量分段位置；根据矢量估计量和矢量分段位置计算估算函数从而使代价函数最小；根据估算函数确定实际分段位置是否在一定置信度指标内。
10．如权利要求4所述的方法，其中改变乐曲音拍的步骤包括加速音乐伴奏文件的音拍。
11．如权利要求10所述的方法，其中加速步骤包括将电歌声信号分段，以便根据分段位置识别歌声音拍；测定分段位置；和确定使音乐伴奏文件与分段位置相符所必需的加速度值。
12．如权利要求11所述的方法，其中确定步骤包括确定分段位置是否为下列位置之一即太超前于音乐伴奏文件、超前于音乐伴奏文件、落后于音乐伴奏文件、太落后于音乐伴奏文件、匹配于音乐伴奏文件。
13．如权利要求12所述的方法，其中分段位置确定步骤包括当确定分段位置为超前音乐伴奏文件、落后音乐伴奏文件和匹配音乐伴奏文件之一时，测定分段位置与相邻的前面分段位置之间的差值。
14．一种处理存储在存储器中的音乐伴奏文件的装置，包括第一控制器，用于从存储器中提取用户所选择的音乐伴奏文件；麦克风，用于将用户的歌声转换为电信号；声音分析器，用于对该电信号滤波和识别歌声音拍；和第二控制器，用于将音乐伴奏文件的乐曲音拍与歌声音拍匹配。
15．如权利要求14所述的装置，其中该音乐伴奏文件采用MIDI格式。
16．如权利要求14所述的装置，其中该声音分析器包括噪声消除器，用于从该电信号中消除不期望的背景噪声；以及分段器，用于识别歌声音拍。
17．一种处理存储在存储器中的音乐伴奏文件的装置，包括选择音乐伴奏文件的装置；从存储器中提取音乐伴奏文件的装置；将用户的歌声转换为电信号的装置；识别电信号的歌声音拍的装置；以及将音乐伴奏文件的乐曲音拍改变从而与歌声音拍匹配的装置。
18．如权利要求17所述的装置，其中改变音乐伴奏文件的乐曲音拍的装置包括用于将乐曲音拍加速的装置。
19．一种根据表示用户歌声的电信号处理存储在存储器中的音乐伴奏文件的装置，包括声音分析器，用于将电信号滤波和识别用户歌声的歌声音拍；以及控制器，用于将音乐伴奏文件的乐曲音拍与歌声的音拍匹配。
20．如权利要求19所述的装置，其中该控制器包括用于将乐曲音拍加速以与歌声音拍匹配的装置。
21．一种计算机程序产品，包括具有计算机可读代码的计算机可用介质，用于处理在乐器数字接口MIDI控制器中的数据，该计算机可用介质包括一选择模块，其构成用于选择要被MIDI控制器处理的音乐伴奏文件；一分析模块，其构成用于将用户的歌声转换为表示歌声音拍的电信号；以及一控制处理模块，其构成用于将音乐伴奏文件的乐曲音拍加速以与歌声音拍匹配。
全文摘要
一种处理音乐伴奏文件的音乐伴奏机器,其能够改变存储的音乐伴奏文件的音拍从而与用户建立的音拍匹配。该机器利用声音分析器识别用户的音拍。该声音分析器从超标背景噪声中分离出用户的歌声信号,且将分段位置信息附加在表示演唱者所建立的音拍的该歌声信号上。一MIDI控制器将音乐伴奏文件的乐曲音拍改变从而与用户所建立的音拍相匹配。
文档编号G10H1/26GK1205499SQ9711454
公开日1999年1月20日 申请日期1997年7月11日 优先权日1997年7月11日
发明者苏文钰, 张靖敏, 简良臣, 余德彰 申请人:财团法人工业技术研究院