专利名称：多信道信号的处理的制作方法
技术领域：
本发明涉及音频信号的处理，更具体来讲，涉及多信道音频信号的编码。
参数化的多信道音频编码器通常只传输一个完全带宽音频信道，所述音频信道结合有一组描述输入信号空间属性的参数。例如，
图1示出了在2002年11月20日申请的第02079817.9号欧洲专利申请(代理人编号为PHNL021156)中描述的编码器10中执行的步骤。
在最初的步骤S1中，输入信号L和R例如由跟随有变换操作的时窗分为子带101。随后，在步骤S2，确定相应子带信号的级差(ILD)；在步骤S3，确定相应子带信号的时差(ITD或者IPD)；并且在步骤S4，描述无法由ILD或者ITD说明的波形的相似性或者不相似性的量。在后续步骤S5、S6和S7中，所确定的参数被量化。
在步骤S8，根据输入的音频信号来生成单声道信号S，并且最后在步骤S9，根据单声道信号和所确定的空间参数来生成编码的信号102。
图2示出了包括编码器10和相应的解码器202的编码系统的示意性框图。包括和信号S和空间参数P的编码信号102被传递至解码器202。所述信号102可以经由任意适当的通信信道204来传递。作为选择地或者另外地，所述信号可以被存储在可移动存储介质214上，借此，可以将信号从编码器传送至解码器。
通过把空间参数应用于和信号以生成左和右输出信号，由此来执行合成(在解码器202中)。因此，所述解码器202包括解码模块210，其执行步骤S9的逆运算，并且从编码的信号102提取和信号S和参数P。所述解码器进一步包括合成模块211，其根据所述和(或者主要的)信号以及空间参数来恢复立体声分量L和R。
问题之一在于步骤S8以这样一种方式生成单声道信号S，以使当解码到输出信道中时，感觉到的声音音色与输入信道的完全一样。
以前已经提出了许多用于生成所述和信号的方法。总体上，这些方法组成单信号作为输入信号的线性组合。特定技术包括1.输入信号的简单求和。例如参见2001年在New York的NewPaltz，在音频和声学的信号处理的应用的专题研究组(Workshop onapplications of signal processing on audio and acoustics)、即WASPAA’01，由C.Faller和F.Baumgarte提出的“Efficientrepresentation of spatial audio using perceptualparametrization”。
2.使用主成分分析(PCA)对输入信号的加权求和。例如参见2002年4月10日申请的第02076408.0号欧洲专利申请(代理人编号为PHNL020284)和2002年4月10日申请的第02076410.6号欧洲专利申请(代理人编号为PHNL020283)。在此方案中，求和的平方权重总计达到1，并且实际值取决于输入信号中的相对能量。
3.权重取决于输入信号之间的时域相关性的加权求和。例如参见由D.Sinha提出的题目为“Joint stereo coding of audio signals”的欧洲专利申请EP 1 107 232 A2。在此方法中，权重总计为+1，而实际值取决于输入信道的交叉相关。
4.Herre等人提出的US 5,701,346专利申请公开了利用向下混合宽带信号的左、右和中央信道的能量维持缩放比例来加权的求和。然而，这样做没有作为频率的函数来执行。
这些方法可以被应用于完全带宽信号，或者可以被应用于频带滤波信号，对于每个频带而言，所述频带滤波信号都具有它们自己的权重。然而，所描述的所有方法都具有一个缺陷。如果所述交叉相关是随频率而定的，这对于立体声录音的情况而言是很经常的情况，那么将会产生解码器的声音的调色(coloration)(即，感觉到的音色的改变)。
这可以通过如下原因来解释，即对于具有+1的交叉相关的频带来说，两个输入信号的线性求和导致信号幅度的线性增加并且使加性信号平方以便确定作为结果产生的能量。(对于相等幅度的两个同相信号来说，这样做导致幅度加倍，具有四倍的能量。)如果交叉相关是0，那么线性求和导致小于幅度的二倍并且小于能量的四倍。此外，如果某一频带的交叉相关总数是-1，那么该频带的信号分量抵消并且没有信号剩余。因此，对于简单的求和来说，所述和信号的频带可以具有0到两个输入信号的功率的4倍之间的能量(功率)，这取决于输入信号的相对级别和交叉相关。
本发明试图减轻此问题并且提供如权利要求1所述的方法。
如果趋向于平均的不同频带具有相同的相关性，那么可以期望由这种求和引起的超时失真(over time distortion)将会在频谱上达到平均数。然而，应该意识到的是，在多信道信号中，低频分量势必比高频分量更加相关。因此，可以看出，在没有本发明的情况下，不考虑随信道相关性而定的频率的求和往往会过度地放大更加高度相关、尤其是听觉上灵敏的低频频带的能级。
本发明提供了一种单信号的频率相关校正，其中所述校正因数取决于输入信号的频率相关的交叉相关和相对级别。此方法减少了由已知的求和法引入的频谱调色假象，并且确保每个频带中的能量维持。
所述频率相关校正可以通过如下操作来应用，即通过首先对输入信号求和(或者线性求和或加权求和)，继之以应用校正滤波器，或者通过释放求和(或者它们的均方值)的权重必定总计达到+1的限制，而是总计达到取决于交叉相关的值。
应该注意的是，本发明可以应用于任何系统，其中组合了两个或多于两个输入信道。
现在参照附图来描述本发明的实施例，其中图1示出了现有技术的编码器；图2示出了包括图1编码器的音频系统的框图；图3示出了由根据本发明第一实施例的声频编码器的信号求和部件执行的步骤；以及图4示出了由图3的求和部件采用的校正因数m(i)的线性内插。
根据本发明，提供了改进的信号求和部件(S8′)，尤其用于执行对应于图1的S8的步骤。尽管如此，可以看出，本发明还适用于需要对两个或多个信号求和的任何情况。在本发明的第一实施例中，在编码求和信号S之前，所述求和部件添加左和右立体声信道信号，步骤S9。
现在参照图3，在第一实施例中，被提供给求和部件的左(L)和右(R)信道信号包括在连续时间帧t(n-1)，t(n)，t(n+1)中重叠的多信道段m1，m2…。典型情况下，以10ms的速率来更新正弦曲线，并且每个段m1，m2…两倍于更新速率的长度，即20ms。
对于L、R信道信号将要被求和的每个重叠时窗t(n-1)，t(n)，t(n+1)而言，所述求和部件使用(平方根)汉宁窗函数把来自于重叠段m1，m2…的每个信道信号组合为表示时窗的每个信道的相应时域信号，步骤42。
对每个时域窗信号应用FFT(快速傅里叶变换)，由此产生每个信道的窗信号的相应复频谱表示，步骤44。对于44.1kHz的采样速率和20ms的帧长度来说，FFT的长度通常是882。此过程为两个输入信道(L(k)，R(k))产生了一组K频率分量。
在第一实施例中，两个输入信道表示L(k)和R(k)通过简单的线性求和首先组合，步骤46。然而，可以看出，其可以易于被扩展为加权求和。由此，对于本实施例来说，和信号S(k)包括S(k)＝L(k)+R(k)输入信号L(k)和R(k)的频率分量独立地被组合为多个频带，优选的是使用涉及感觉的带宽(ERB或者BARK比例)，并且对于每个子带i，计算能量维持校正因数m(i)，步骤45m2(i)=Σk∈l{|L(k)|2+|R(k)|2}2Σk∈l|S(k)|2=Σk∈l{|L(k)|2+|R(k)|2}2Σk∈l|L(k)+R(k)|2]]>公式1其还可以被写为m2(i)=12Σk∈l{|L(k)|2+|R(k)|2}Σk∈l|L(k)|2+Σk∈l|R(k)|2+2ρLR(i)Σk∈l|L(k)|2Σk∈l|R(k)|2]]>公式2其中ρLR(i)是子带i的波形的(标准化的)交叉相关，在参数化的多信道编码器中其它地方使用的参数，因此容易地可用于计算公式2。在任何情况下，步骤45为每个子带i提供校正因数m(i)。
下一步骤47然后包括把和信号的每个频率分量S(k)与校正滤波器C(k)相乘S′(k)＝S(k)C(k)＝C(k)L(k)+C(k)R(k) 公式3可以从公式3的最后部分看出的是，可以把校正滤波器单独应用于求和信号S(k)，或者应用于每个输入信道(L(k)，R(k))。照此，当校正因数m(i)已知或者与用于确定m(i)的求和信号S(k)独立地执行时，可以组合步骤46和47，如图3中的散列线所表示的那样。
在优选的实施例中，校正因数m(i)用于每个子带的中央频率，而对于其它频率而言，校正因数m(i)被内插以便为子带i的每个频率分量(k)提供校正滤波器C(k)。原则上，可以使用任何内插函数，然而，经验结果已经表明，简单的线性内插方案就足够了，如图4所示。
作为选择，可以为每个FFT库推导独立的校正因数(即，子带i对应于频率分量k)，在这种情况下，不必进行内插。然而，此方法可以造成锯齿状的而不是平滑的校正因数的频率状态，而这往往因为会造成时域失真而是不期望的。
在优选的实施例中，求和部件然后对校正的求和信号S′(k)进行逆FFT以便获得时域信号，步骤48。通过对连续的校正求和时域信号应用重叠相加，步骤50，最终的求和信号s1，s2…被创建，并且将其馈送以便编码，步骤S9，图1。可以看出，所述求和段s1，s2…对应于时域中的段m1，m2…，并且照此，不会存在作为求和的结果的同步损失。
可以看出，输入信道信号不是重叠信号，而是连续时间信号，这样将不会需要开窗步骤42。同样，如果编码步骤S9期待连续时间信号而不是重叠信号，那么将不会需要重叠相加步骤50。此外，可以看出，所描述的分段方法以及频率域变换还可以由其它(可能是连续时间)类似于滤波器组的结构来替代。此处，输入音频信号被馈送到相应的滤波器组，其共同地为每个输入音频信号提供瞬时频谱表示。这意味着连续的段实际上可以对应于单个时间采样，而不是采样块，如在所描述的实施例中的那样。
可以从公式1看出的是，存在这样的环境，其中左和右信道的特定频率分量可以彼此抵消，或者如果它们具有负相关的话，那么对于特殊的频带，它们势必产生非常大的校正因数值m2(i)。在此情况下，可以传输符号位以便表明分量S(k)的和信号是S(k)＝L(k)-R(k)具有用于公式1或者2中的对应减法。
作为选择，频带i的分量可以旋转角度α(i)以便彼此更加同相。ITD分析过程S3提供输入信号L(k)和R(k)(的子带)之间的(平均)相位差。假定对于某一频带i来说，输入信号之间的相位差是由α(i)给定的，那么在求和之前，输入信号L(k)和R(k)可以根据如下公式被变换为两个新的输入信号L′(k)和R′(k)，所述公式为
L′(k)＝ejcα(i)L(k)R′(k)＝e-j(1-c)α(l)R(k)其中c是用于确定两个输入信道之间的相位校准的分布的参数(0≤c≤1)。
在任何情况下，可以看出，例如对于子带i而言，两个信道具有+1的相关性，那么m2(i)将是1/4，因此m(i)将是1/2。由此，频带i中的任何分量的校正因数C(k)将通过取求和信号的每个原始输入信号的一半来趋向于保留原始能级。然而，正如可以从公式1中看到的那样，其中立体声信号的频带i包括空间属性，信号S(k)的能量将趋向于小于它们同相时的能量，而L、R信号的能量的和将趋向于保持很大，因此所述校正因数对于那些信号来说趋向于较大。照此，所述和信号中的总体能级跨越频谱仍将被保留，而不管输入信号中的频率相关的相关性如何。
在第二实施例中，示出了朝向多个(两个以上)输入信道的扩展，并结合了上述的输入信道的可能的加权。对于第n个输入信道的第k个频率分量来说，频率域输入信道由Xn(k)来表示。这些输入信道的频率分量k在频带i中被分组。随后，为子带i如下来计算校正因数m(i)m2(i)=ΣnΣk∈l|wn(k)Xn(k)|2nΣk∈l|Σnwn(k)Xn(k)|2]]>在此公式中，wn(k)表示输入信道n的频率相关加权因数(对于线性求和来说，其可以仅仅设定为+1)。根据这些校正因数m(i)，通过如第一实施例所描述的那样来内插校正因数m(i)，可以生成校正滤波器C(k)。然后，根据如下公式来获得单输出信道S(k)S(k)=C(k)Σnwn(k)Xn(k)]]>可以看出，使用上述公式，不同的信道的权重不必总计是+1，然而，校正滤波器自动地校正总计不是+1的权重，并且确保每个频带中的(内插)能量维持。
权利要求
1.一种用于生成单声道信号(S)的方法，所述单声道信号包括至少两个输入音频信道(L，R)的组合，该方法包括以下步骤为所述音频信道(L，R)的多个连续段(t(n))的每一个，根据每个音频信道的各自的频谱表示(L(k)，R(k))来求和(46)对应的频率分量，以便为每个连续的段提供一组求和的频率分量(S(k))；为所述多个连续的段的每个，计算(45)多个频带(i)的每个的校正因数(m(i))作为所述频带中求和信号的频率分量的能量 以及所述频带中输入音频信道的所述频率分量的能量 的函数；以及作为所述分量的频带的校正因数(m(i))的函数来校正(47)每个求和频率分量。
2.如权利要求1所述的方法，还包括如下步骤为每个输入音频信道的多个连续段的每一个提供(42)相应的采样信号值组；并且对于所述多个连续段的每个而言，把所述采样信号值组的每一个变换(44)到频率域，以便提供每个输入音频信道的所述复频谱表示(L(k)，R(k))。
3.如权利要求2所述的方法，其中提供所述采样信号值组的步骤包括为每个输入音频信道，把重叠段(m1，m2)组合为表示时窗(t(n))的每个信道的相应的时域信号。
4.如权利要求1所述的方法，还包括如下步骤为每个连续的段，把所述求和信号的所述已校正频谱表示(S′(k))转换(48)到时域。
5.如权利要求4所述的方法，还包括如下步骤把重叠相加(50)应用于连续转换的求和信号表示以便提供最终的求和信号(s1，s2)。
6.如权利要求1所述的方法，其中两个输入音频信道被求和，并且其中所述校正因数(m(i))根据如下函数来确定m2(i)=Σk∈i{|L(k)|2+|R(k)|2}2Σk∉i|S(k)|2=Σk∉i{|L(k)|2+|R(k)|2}2Σk∈i|L(k)+R(k)|2]]>
7.如权利要求1所述的方法，其中根据如下函数来求和两个或多个输入音频信道(Xn)S(k)=C(k)Σnwn(k)Xn(K)]]>其中C(k)是每个频率分量的校正因数，并且其中每个频带的所述校正因数(m(i))根据如下函数被确定m2(i)=ΣnΣk∈i|wn(k)Xn(k)|2nΣk∈i|Σnwn(k)Xn(k)|2]]>其中wn(k)包括每个输入信道的频率相关的加权因数。
8.如权利要求7所述的方法，其中对于所有输入音频信道而言，wn(k)＝1。
9.如权利要求7所述的方法，其中对于至少某些输入音频信道而言，wn(k)≠1。
10.如权利要求7所述的方法，其中每个频率分量的校正因数(C(k))是根据至少一个频带的校正因数(m(i))的线性内插推导出来的。
11.如权利要求1所述的方法，还包括如下步骤对于所述多个频带的每个来说，确定连续段中所述音频信道的频率分量之间的相位差的指示符(α(i))；并且在对相应频率分量求和之前，根据所述频率分量的频带的所述指示符来变换至少一个所述音频信道的频率分量。
12.如权利要求11所述的方法，其中所述变换步骤包括对左和右输入音频信道(L，R)的频率分量(L(k)，R(k))运算如下函数L′(k)＝ejca(1)L(k)R′(k)＝e-j(1-c)α(1)R(k)其中0≤c≤1确定所述输入信道之间的相位校准的分布。
13.如权利要求1所述的方法，其中所述校正因数是所述频带中求和信号的频率分量能量的和以及所述频带中输入音频信道的所述频率分量的能量的和的函数。
14.一种用于根据至少两个输入音频信道(L，R)的组合来生成单声道信号的部件(S8′)，包括求和器(46)，被设置为对于所述音频信道(L，R)的多个连续段(t(n))的每一个而言，根据每个音频信道的相应频谱表示(L(k)，R(k))来求和对应的频率分量，以便为每个连续的段提供一组求和的频率分量(S(k))；用于为所述多个连续段的每一个的多个频带(i)中的每一个计算(45)校正因数(m(i))作为所述频带中求和信号的频率分量的能量 以及所述频带中输入音频信道的所述频率分量的能量 的函数的装置；以及校正滤波器(47)，用于作为所述分量的频带的校正因数(m(i))的函数来校正每个求和的频率分量。
15.一种包括如权利要求14所述的部件的音频编码器。
16.包括如权利要求15所述的音频编码器和可兼容音频播放器的音频系统。
全文摘要
公开了一种用于生成单声道信号(S)的方法，所述单声道信号包括至少两个输入音频信道(L，R)的组合。对来自于每个音频信道的相应频谱表示(L(k)，R(k))的对应频率分量求和(46)以便为每个连续段提供一组求和的频率分量(S(k))。为每个连续段的每个频带(i)计算(45)校正因数(m(i))作为所述频带公式(I)中求和信号的频率分量的能量的和以及所述频带公式(II)中输入音频信道的所述频率分量的能量的和的函数。作为所述分量的频带的校正因数(m(i))的函数来校正(47)每个求和的频率分量。
文档编号G10L19/008GK1761998SQ200480007118
公开日2006年4月19日 申请日期2004年3月15日 优先权日2003年3月17日
发明者D·J·比巴亚特, E·G·P·舒杰斯 申请人:皇家飞利浦电子股份有限公司