用于使用采用谱权重生成器的频域处理分解立体声录音的方法和装置制造方法
【专利摘要】提供了一种用于从具有第一输入声道和第二输入声道的立体声输入信号生成具有第一侧声道和第二侧声道的立体声侧信号的装置。所述装置包括修改信息生成器（110），其用于基于中侧信息生成修改信息。此外，所述装置包括信号操纵器（120），其适于基于所述修改信息操纵所述第一输入声道以获得所述第一侧声道并适于基于所述修改信息操纵所述第二输入声道以获得所述第二侧声道。所述修改信息生成器（110）包括谱权重生成器（116），其用于通过基于所述立体声输入信号的单声道中信号和单声道侧信号生成第一谱加权因子生成所述修改信息。
【专利说明】用于使用采用谱权重生成器的频域处理分解立体声录音的方法和装置
【技术领域】
[0001]本发明涉及音频处理，并特别涉及一种用于使用频域处理分解立体录音的方法和
>J-U ρ?α装直。
【背景技术】
[0002]音频处理在许多方面都已经发展了。特别而言，环绕系统已变得越来越重要。然而，大部分音乐录音仍然作为立体声信号而不是作为多声道信号被编码并传输。环绕系统包括多个扬声器(例如四个或五个扬声器)，当只有两个可用输入信号时哪个信号应该被提供给多个扬声器已经成为许多研究的主题。
[0003]在这种情况下，使用环绕声系统重放立体声信号的格式转换(例如上混合(upmixing))起着重要的作用。术语“m到η上混合描述从m声道音频信号转换到采用η声道音频信号的转换，其中n>m。上混合的两个概念是众所周知的:采用引导所述上混合处理的附加信息的上混合以及本申请所关注的不使用任何枝节信息的无引导上混合(unguided(blind)upmixing)。
[0004]在文献中，报告了用于上混合处理的两种不同方法。这些概念是直接/环境(direct/ambient)方法 和“在波段中”的方法(“in-the_band”-approach)。基于直接/环境的技术的核心部分是提取被馈送到环绕声信号的多声道的后声道中的环境信号。环境声音是形成(虚拟)听音环境(包括室内混响、观众的声音(例如掌声)、环境声音(例如雨水)、艺术意图的效果声音(例如乙烯的爆裂)和背景噪声的印象的那些声音。使用后声道再现环境可由聆听者唤起对周围的印象(即“沉浸在声音)。此外，直接声源根据它们在立体全景中的位置分布在前声道。
[0005]“在波段中”的方法的目的在于使用所有可用的扬声器定位聆听者周围的所有声音(直接声音以及环境声音)。在再现上混合格式时感知的声源的位置理想化为立体声输入信号中的它们的感知位置的函数。可使用所提出的信号处理来实施这种方法。
[0006]已经在过去开发了在频域中上混合的各种方法[9、10]。它们试图分解输入信号以及直接和环境信号成分并基于声源的空间位置进行分解。环境信号成分基于左和右声道之间的声道间相干性的测量而被识别。基于方向的分解可基于谱系数的振幅的相似度来实现。专利申请US2009/0080666描述了一种用于使用谱加权提取环境信号的方法。
[0007]US2010/0030563描述了一种用于提取应用于上混合应用的环境信号的方法。所述方法使用谱减法。从输入信号的时-频域表示和其压缩版本的差获得时-频域表示，优选使用非负矩阵因子分解来计算。
[0008]US2010/0296672描述了使用基于矢量的信号分解的频域上混合方法。分解的目的在于与直接/环境信号分解相反的中心声道的提取[13]。中心声道的输出信号被计算为其包含左和右输入声道信号共有的所有信息。输入信号和中心声道信号的残留信号被计算用于左和右输出声道信号。
【发明内容】
[0009]本发明的目的是提供用于从具有第一输入声道和第二输入声道的立体声输入信号生成额外声道的改进概念。本发明的目的通过根据权利要求1的用于生成立体侧信号的一种装置、根据权利要求10所述的用于产生立体声中信号的装置、根据权利要求12的用于产生立体侧信号的方法、根据权利要求13所述的用于产生立体声中信号的方法和权利要求15所述的计算机程序来解决。
[0010]提供了一种用于具有从具有第一输入声道和一个第二输入声道的立体声输入信号的生成具有第一侧声道和第二侧声道的立体声侧信号的装置。该装置包括用于基于中侧信息的生成修改信息的修改信息生成器。此外，该装置包括一信号操纵器适于根据该修改信息操纵第一输入声道以获得第一侧声道，和适于基于所述修改信息操纵第二输入声道以获得所述第二侧声道。
[0011]操纵信息生成器可以包括谱减法器，其用于通过生成指示单声道中信号或单声道侧信号和第一或第二输入声道之间的差的差值生成修改信息。或者，修改信息生成器可包括谱权重生成器，其用于通过基于立体声输入信号的单声道中信号和单声道侧信号生成第一谱加权因子生成修改信息。
[0012]中侧信息可以是立体声输入信号的单声道中信号、立体声输入信号的单声道侧信号和/或立体声输入信号的单声道中信号和单声道侧信号之间的关系。在一个实施例中，修改信息生成器适于基于立体声输入信号的单声道中信号或立体声输入信号的单声道侧信号生成修改信息作为中侧信息。
[0013]根据一个实施例，立体声录音被分解为侧信号和中信号，与常规中侧(MS)分解相反，侧信号和中信号两者都是立体声信号。可使用如与频域处理结合的常规M-S处理(即谱减法或谱加权)中的相位消除(phase cancellation)来应用信号分离。导出的信号可被应用于利用额外播放声道再现音频信号。
[0014]根据一个实施例的装置将双声道立体声录音分解为立体声侧信号和立体声中信号。立体声侧信号具有两个主要特点。首先，它包括所有信号成分，但并不包括调移到中心的那些。在这方面，它类似于由立体声信号的中侧处理已知的侧信号。实际上，它包括与由常规M-S分解导出的侧信号相同的信号成分。
[0015]所提出的立体声侧信号与常规侧信号相比的重要差别由立体声属性描述:立体声侧信号是双声道立体声信号，与常规侧信号(是单声道的)相反。立体声侧信号的左声道包括其被调移到输入信号的左侧的所有信号成分。立体声信号的右声道包括其被调移到右侧的所有信号成分。
[0016]立体声中信号是包括存在于两个输入声道中的所有成分的立体声信号。它是双声道立体声信号并包括与输入信号与立体声侧信号相比较少的立体声信息，但它不是如常规中信号那样的单声道信号。它包括与常规中信号相同的信号成分，但具有原始立体声信息。
[0017]根据一个实施方案，修改信息生成器包括谱减法器。谱减法器可适于通过从立体声输入信号的单声道中信号或单声道侧信号的振幅值或加权振幅值中减去第一或第二输入声道的振幅值或加权振幅值生成修改信息。或者，谱减法器可适于通过从第一或第二输入声道的振幅值或加权振幅值中减去立体声输入信号的单声道中信号或单声道侧信号的振幅值或加权振幅值生成修改信息。[0018]此外，修改信息生成器可包括振幅确定器。振幅确定器可适于接收第一输入声道、第二输入声道、单声道中信号或单声道侧信号中的至少一个(以谱域表示)作为所接收的振幅输入信号。此外，振幅确定器可适于确定每个接收的振幅输入信号的至少一个振幅值，并且可适于将每个接收的振幅输入信号的至少一个振幅值馈送到谱减法器中。
[0019]在一个实施例中，谱减法器包括第一谱减法单元和第二谱减法单元，其中振幅确定器被布置为接收第一和第二输入声道和单声道中信号，其中振幅确定器适于确定第一输入声道的第一振幅值、第二输入声道的第二振幅值和所述单声道中信号的第三振幅值，其中振幅确定器适于将第一、第二和第三振幅值馈送到谱减法器中。第一谱减法单元可适于基于第一输入声道的第一振幅值和单声道中信号的第三振幅值进行第一谱减法以获得第一立体声侧信号的第一立体声侧振幅值，并且其中第二谱减法单元适于基于第二输入声道的第二振幅值和单声道中信号的第三振幅值进行第二谱减法以获得第二侧立体声信号的第二立体声侧幅值。
[0020]第一谱减法单元可适于通过应用下式来进行第一谱减法:
[0021]Si (f) = |Xi(f)| - W |M,(f)|
[0022]其中指示谱减法结果为正时的第一立体声侧振幅谱，其中Ixjf) I指示第一
输入声道的第一振幅谱，其中Im1 (f) I指示单声道中信号的第三振幅谱，并且其中W指示范围O < W < I内的标量系数。第二谱减法单元可适于通过应用下式来进行第二谱减法:
[0023]S (f) = |Xr(f)| - W IM1Cf)!
[0024]其中,.(f).指示谱减法结果为正时的第二立体声侧振幅谱，其中Ixjf) I指示第一
输入声道的第二振幅谱，其中Im1 (f) I指示单声道中信号的第三振幅谱，并且其中W指示范围O≤w≤I内的标量系数。
[0025]在一个实施例中，信号操纵器可包括相位提取器和组合器。相位提取器可被布置为接收第一输入声道和第二输入声道，其中相位提取器适于确定第一输入声道的第一相位值作为第一立体声侧相位值和第二输入声道的第二相位值作为第二立体声侧相位值。相位提取器可适于将第一立体声侧相位值和第二立体声侧相位值馈送到组合器中，其中第一谱减法单元适于将第一立体声侧振幅值馈送到组合器中，其中第二谱减法单元适于将第二立体声侧相位值馈送到组合器中。组合器可适于组合第一立体声侧振幅值和第一立体声侧相位值以获得第一侧声道的第一谱的第一复数系数。此外，该组合器可适于将第二立体声侧振幅值和第二立体声侧相位值相组合以获得所述第二侧声道的第二谱的第二复数系数。
[0026]根据一个实施例，修改信息生成器包括用于通过生成第一谱加权因子生成修改信息的谱权重生成器，其中第一谱加权因子依赖于立体声输入信号的单声道中信号和单声道侧信号。
[0027]修改信息生成器还可包括振幅确定器。振幅确定器可适于接收以谱域表示的单声道中信号。振幅确定器可适于接收以谱域表示的单声道侧信号，其中振幅确定器适于确定单声道侧信号的振幅值作为振幅侧值且其中幅值确定器适于确定单声道中信号的振幅值作为振幅中值。振幅确定器可适于将振幅侧值和振幅中值馈送到谱权重生成器中。谱权重生成器可适于基于第一数量相对第二数量的比率生成第一谱加权因子，其中第一数量取决于振幅侧值，且其中第二数量取决于振幅中值和振幅侧值。
[0028]在其它实施例中，谱权重生成器适于根据下式生成修改因子
[0029]
【权利要求】
1.一种用于从具有第一输入声道和第二输入声道的立体声输入信号生成具有第一侧声道和第二侧声道的立体声侧信号的装置，其包括: 修改信息生成器(110、610、710、810、910、1310)，其用于基于所述立体声输入信号的中侧信息生成修改信息，和 信号操纵器(120、620、720、820、1320)，其适于基于所述修改信息操纵所述第一输入声道以获得所述第一侧声道并适于基于所述修改信息操纵所述第二输入声道以获得所述第二侧声道， 其中所述修改信息生成器(110、610、710、810、910、1310)包括谱权重生成器(116、615、715、815、915),其用于通过基于所述立体声输入信号的单声道中信号和单声道侧信号生成第一谱加权因子而生成所述修改信息。
2.根据权利要求1所述的装置， 其中所述信号操纵器(120、620、720、820、1320)适于基于所述第一谱加权因子作为修改信息操纵所述第二输入声道以获得所述第二侧声道。
3.根据权利要求1或2所述的装置， 其中所述修改信息生成器(110、610、710、810、910、1310)包括谱权重生成器(116、615、715、815、915),其用于通过基于所述立体声输入信号的所述单声道中信号和所述单声道侧信号生成所述第一谱加权因子生成所述修改信息， 其中所述谱权重生成器(116、615、715、815、915)适于基于所述立体声输入信号的所述单声道中信号和所述单声道侧信号生成第二谱加权因子， 且其中所述信号操纵器(120、620、720、820、1320)适于基于所述第二谱加权因子作为修改信息操纵所述第二输入声道以获得`所述第二侧声道。
4.根据前述权利要求中的一项所述的装置， 其中所述修改信息生成器(110、610、710、810、910、1310)包括所述谱权重生成器(116、615、715、815、915),其用于通过基于所述立体声输入信号的所述单声道中信号和所述单声道侧信号生成所述第一谱加权因子生成所述修改信息， 其中所述修改信息生成器(110、610、710、810、910、1310)还包括振幅确定器(912)，其中所述振幅确定器(912)适于接收以谱域表示的所述单声道中信号，且其中所述振幅确定器适于接收以谱域表示的所述单声道侧信号， 其中所述振幅确定器(912)适于确定所述单声道侧信号的振幅值作为振幅侧值且其中所述振幅确定器(912)适于确定所述单声道中信号的振幅值作为振幅中值， 其中所述振幅确定器(912)适于将所述振幅侧值和所述振幅中值馈送到所述谱权重生成器(116、615、715、815、915)中，且 其中所述谱权重生成器(116、615、715、815、915)适于基于第一数量相对第二数量的比率生成所述第一谱加权因子，其中所述第一数量取决于所述振幅侧值，且其中所述第二数量取决于所述振幅中值和所述振幅侧值。
5.根据前述权利要求中的一项所述的装置， 其中所述修改信息生成器(110、610、710、810、910、1310)包括所述谱权重生成器(116、615、715、815、915),其用于通过基于所述立体声输入信号的所述单声道中信号和所述单声道侧信号生成所述第一谱加权因子生成所述修改信息，其中所述谱权重生成器(116、615、715、815、915)适于根据下式生成修改因子:
6.根据权利要求2至5中的一项所述的装置，其中所述修改信息生成器(110、610、710、810、910、1310)适于基于所述立体声输入信号的所述单声道中信号或所述立体声输入信号的所述单声道侧信号信息生成所述修改信息，其中所述单声道中信号取决于由所述第一和第二输入声道相加而产生的和信号，且其中所述单声道侧信号取决于从所述第一输入声道减去所述第二输入声道而产生的差信号。
7.根据权利要求2至6 中的一项所述的装置，其中所述装置还包括声道生成器(561、562)，其中所述声道生成器适于基于所述第一和第二输入声道生成所述单声道中信号或所述单声道侧信号。
8.根据权利要求2至7中的一项所述的装置，其中所述装置还包括: 变换单兀(1305),其用于将所述立体声输入信号的所述第一和第二输入声道从时域变换到谱域，和 逆变换单元(1325)， 其中所述信号操纵器(120、620、720、820、1320)适于操纵以所述谱域表示的所述第一输入声道和以所述谱域表示的所述第二输入声道以获得以所述谱域表示的所述立体声侧信号， 且其中所述逆变换单元(1325)适于将以所述谱域表示的所述立体声侧信号从所述谱域变换到所述时域。
9.一种上混合器,其包括: 装置，其用于根据前述权利要求中的一项生成具有第一侧声道和第二侧声道的立体声信号侧(1510)，其中所述装置适于生成所述第一侧声道作为第一上混合器声道，且其中所述装置适于生成所述第一侧声道作为第一上混合器声道， 第一中声道生成器(1520),其用于基于所述第一立体声输入声道和所述第一侧声道之间的差生成所述第一中声道作为第三上混合器声道， 第二中声道生成器(1530)，其用于基于所述第二立体声输入声道和所述第二侧声道之间的差生成所述第二中声道作为第四上混合器声道。
10.一种用于从具有第一输入声道和第二输入声道的立体声输入信号生成具有第一中声道和第二中声道的立体声中信号的装置，其包括: 修改信息生成器(1010),其用于基于所述立体声输入信号的中侧信息生成修改信息，和 信号操纵器(1020)，其适于基于所述修改信息操纵所述第一输入声道以获得所述第一中声道并适于基于所述修改信息操纵所述第二输入声道以获得所述第二中声道， 其中所述修改信息生成器(1020)包括: 谱权重生成器，其用于通过基于所述立体声输入信号的单声道中信号和单声道侧信号生成第一谱加权因子生成所述修改信息。
11.根据权利要求10所述的装置， 其中所述修改信息生成器还包括振幅确定器， 其中所述振幅确定器适于确定以谱域表示的所述单声道侧信号的振幅值作为振幅侧值且其中所述振幅确定器适于确定以谱域表示的所述单声道中信号的振幅值作为振幅中值， 其中所述振幅确定器适于将所述振幅侧值和所述振幅中值馈送到所述谱权重生成器中，且 其中所述谱权重生成器适于基于第一数量相对第二数量的比率生成所述第一谱加权因子，其中所述第一数量取决于所述振幅侧值，且其中所述第二数量取决于所述振幅中值和所述振幅侧值。`
12.—种用于从具有第一输入声道和第二输入声道的立体声输入信号生成具有第一侧声道和第二侧声道的立体声侧信号的方法，其包括: 基于所述立体声输入信号的中侧信息生成修改信息，和 基于所述修改信息操纵所述第一输入声道以获得所述第一侧声道，和 基于所述修改信息操纵所述第二输入声道以获得所述第二侧声道， 其中生成所述修改信息的步骤包括: 通过基于所述立体声输入信号的单声道中信号和单声道侧信号生成第一谱加权因子生成所述修改信息。
13.—种用于从具有第一输入声道和第二输入声道的立体声输入信号生成具有第一中声道和第二中声道的立体声中信号的方法，其包括: 基于所述立体声输入信号的中侧信息生成修改信息，和 基于所述修改信息操纵所述第一输入声道以获得所述第一中声道，和 基于所述修改信息操纵所述第二输入声道以获得所述第二中声道， 其中生成所述修改信息的步骤包括: 通过基于所述立体声输入信号的单声道中信号和单声道侧信号生成第一谱加权因子生成所述修改信息。
14.根据权利要求13所述的方法，其中生成修改信息的所述步骤包括: 通过生成第一谱加权因子生成所述修改信息，其中所述第一谱加权因子取决于所述立体声输入信号的单声道中信号和单声道侧信号，确定以谱域表示的所述单声道侧信号的振幅值作为振幅侧值， 确定以谱域表示的所述单声道中信号的振幅值作为振幅中值， 将所述振幅侧值和所述振幅值中值馈送到所述谱权重生成器中，和基于第一数量相对第二数量的比率生成所述第一谱加权因子，其中所述第一数量取决于所述振幅侧值，且其中所述第二数量取决于所述振幅中值和所述振幅侧值。
15.一种用于实施根据权利要求12至14中的一项所述的方法的计算机程序，其在计算机或处理器 上执行。
【文档编号】H04S3/00GK103650538SQ201280033585
【公开日】2014年3月19日 申请日期:2012年7月3日 优先权日:2011年7月5日
【发明者】克里斯蒂安·乌勒, 斯特凡·菲瑙尔, 帕特里克·甘普, 奥利弗·黑尔慕斯, 彼得·普罗克因, 克里斯蒂安·斯托克尔梅尔 申请人:弗兰霍菲尔运输应用研究公司