专利名称：用于控制音频信号的渲染的方法
技术领域：
本发明涉及控制多目标或多声道音频信号的渲染(rendering);并更具体地涉及ー种当解码多目标或多声道音频信号时基于空间线索(spatial cue)控制多目标或多声道音频信号的渲染的方法和装置。
背景技术：
图I图解说明了用于编码多目标或多声道音频信号的传统编码器的示例。參考该附图，空间音频编码(Spatial Audio Coding, SAC)编码器101被展示为传统的多目标或多声道音频信号编码器的示例，并且它从输入信号(即多目标或多声道音频信号)中提取空间线索(将在后面描述)，并且传送该空间线索，同时对该音频信号进行缩混(down-mixing)，并且以单声道(mono)信号或者立体声(stereo)信号的形式来传送该音频信号。SAC技术涉及一种将多目标或多声道音频信号表不为缩混的单声道或立体声信号和空间线索信息、并且传送和恢复它们的方法。SAC技术甚至能够以低位速率传送高质量多声道信号。SAC技术集中于根据每个子带分析多目标或多声道音频信号，并且根据每个子带的空间线索信息从缩混的信号中恢复原始信号。因此，空间线索信息包括用于在解码处理中恢复原始信号所需的重要信息，并且该信息变成确定在SAC解码设备中恢复的音频信号的声音质量的主要因素。基于SAC技术的运动图像专家组(MPEG)正在经受MPEG环绕名义的标准化，并且声道电平差(Channel Level Difference, CLD)被用作空间线索。本发明致力于ー种用于在多目标或多声道音频信号被缩混并且从编码器传送并被解码的同时、基于从编码器传送的空间线索来控制多目标或多声道音频信号的渲染的装置和方法。按照惯例，配备有频率分析器的图形均衡器通常被用来恢复单声道或立体声音频信号。多目标或多声道音频信号可以在空间内不同地定位。然而，从多目标或多声道音频信号生成的音频信号的位置对当前技术中的解码设备来说被唯一地识别和恢复。
发明内容
技术问题本发明的一个实施例致カ于提供一种当解码多目标或多声道音频信号时基于空间线索控制多目标或多声道音频信号的渲染的装置和方法。
本发明的其他方面和优点可以通过下列描述来理解，并且參考本发明的实施例而变得明显。而且，对于本发明领域的相关技术人员来说明显的是，本发明的方面和优点可以通过要求保护的部件及其组合来实现。技术方案根据本发明的一方面，提供了ー种用于控制音频信号的渲染的装置，包括解码器，用于使用空间音频编码(SAC)解码方法来解码输入音频信号，所述输入音频信号是按照SAC方法编码的缩混信号；和空间线索渲染器，用于接收空间线索信息和有关该输入音频信号的渲染的控制信息，并且基于该控制信息来控制空间线索域中的空间线索信息。这里，该解码器基于由空间线索渲染器控制的受控空间线索信息对输入音频信号进行渲染。根据本发明的另一方面，提供了ー 种用于控制音频信号的渲染的装置，包括解码器，用于使用SAC方法来解码输入音频信号，所述输入音频信号是按照SAC方法编码的缩混信号；和空间线索渲染器，用于接收空间线索信息和有关该输入音频信号的渲染的控制信息，并且基于该控制信息来控制空间线索域中的空间线索信息。这里，该解码器基于由空间线索渲染器控制的空间线索信息进行输入音频信号的渲染，和所述空间线索信息是表示输
入音频信号之间的电平差并表达为仏/，m)的声道电平差(CLD)值。该空间线索渲染
器包括CLD分析単元，用于从编码部件传送的CLD中提取CLD參数；增益因子转换单元，用于从自CLD分析単元中提取的CLD參数中提取每个音频信号的功率増益；和増益因子控制単元，用于通过基于有关输入音频信号的渲染的控制信息控制在増益因子转换单元中提取
的每个音频信号的功率増益，来计算受控功率増益，m表示子带的索引，I表示
中的參数组的索引。根据本发明的另一方面，提供了ー种用于控制音频信号的渲染的装置，包括解码器，用于使用空间音频编码(SAC)方法来解码输入音频信号，所述输入音频信号是按照SAC方法编码的缩混信号；和空间线索渲染器，用于接收空间线索信息和有关该输入音频信号的渲染的控制信息，并且基于该控制信息来控制空间线索域中的空间线索信息。这里，该解码器基于由空间线索渲染器控制的空间线索信息来进行输入音频信号的渲染，和从缩混的信号LO和RO中提取中央信号(C)、左半平面信号(Lf+Ls)和右半平面信号(Rf+Rs)，和所述空间线索信息是表示输入音频信号之间的电平差并表达为CU\K/afe，CLDl/e, CLDc/lfe, CLDLf/Ls和CLDKf/Ks的CLD值。该空间线索渲染器包括CLD分析単元，用于从编码器传送的CLD中提取CLD參数；增益因子转换单元，用于从自CLD分析単元中提取的CLD參数中提取每个音频信号的功率増益；和増益因子控制单元，用于通过基于有关输入音频信号的渲染的控制信息控制在増益因子转换单元中提取的每个音频信号的功率増益，来计算受控功率増益。根据本发明的另一方面，提供了ー种用于控制音频信号的渲染的装置，包括解码器，用于使用SAC方法来解码输入音频信号，所述输入音频信号是按照SAC方法编码的缩混信号；和空间线索渲染器，用于接收空间线索信息和有关该输入音频信号的渲染的控制信息，并且基于该控制信息来控制空间线索域中的空间线索信息。这里，该解码器基于由空间线索渲染器控制的空间线索信息进行输入音频信号的渲染，和所述空间线索信息是表示输入音频信号的缩混率的声道预测系数(CPC)和表示输入音频信号之间的电平差的声道电平差(CLD)值。该空间线索渲染器包括CPC/CLD分析単元，用于从编码器传送的CPC和CLD中提取CPC參数和CLD參数；增益因子转换单元，用于通过从在CPC/CLD分析单元中提取的CPC參数中提取中央信号、左半平面信号和右半平面信号并且从CLD參数中提取左信号分量和右信号分量的功率増益，而提取每个信号的功率増益；和増益因子控制单元，用于通过基于有关输入音频信号的渲染的控制信息控制在増益因子转换单元中提取的每个音频信号的功率増益，而计算受控功率増益。根据本发明的另一方面，提供了ー种用于控制音频信号的渲染的装置，包括解码器，用于使用SAC方法来解码输入音频信号，所述输入音频信号是按照SAC方法编码的缩混信号；和空间线索渲染器，用于接收空间线索信息和有关该输入音频信号的渲染的控制信息，并且基于该控制信息来控制空间线索域中的空间线索信息。这里，该解码器基于由空间线索渲染器控制的空间线索信息进行输入音频信号的渲染，和该空间线索信息是表示输入音频信号之间的相关性的声道间相关性(ICC)值，和该空间线索渲染器通过线性内插处理来控制ICC參数。根据本发明的另一方面，提供了ー种用于控制音频信号的渲染的方法，包括步骤a)使用SAC解码方法来解码输入音频信号，所述输入音频信号是按照SAC方法编码的缩混信号；和b)接收空间线索信息和有关该输入音频信号的渲染的控制信息，并且基于该控制 信息来控制空间线索域中的空间线索信息。这里，基于在空间线索渲染步骤b)中控制的受控空间线索信息，在解码步骤a)中对输入音频信号进行渲染。根据本发明的另一方面，提供了ー种用于控制音频信号的渲染的方法，包括步骤
a)使用SAC方法来解码输入音频信号，所述输入音频信号是按照SAC方法编码的缩混信号；和b)接收空间线索信息和有关该输入音频信号的渲染的控制信息，并且基于该控制信息来控制空间线索域中的空间线索信息。这里，在解码步骤a)中，基于在空间线索渲染步骤
b)中控制的空间线索信息进行输入音频信号的渲染，和所述空间线索信息是表示输入音频
信号之间的电平差并表达为的CLD值。这里，该空间线索渲染步骤b)包括步
骤bl)从编码器传送的CLD中提取CLD參数；b2)从自CLD分析步骤bl)中提取的CLD參数中提取每个音频信号的功率増益；和b3)通过基于有关输入音频信号的渲染的控制信息控制在増益因子转换步骤b2)中提取的每个音频信号的功率増益，来计算受控功率増益，m
表示子带的索引，而I表示も(紙しη)中的參数组的索引。根据本发明的另一方面，提供了ー种用于控制音频信号的渲染的方法，包括步骤a)使用SAC方法来解码输入音频信号，所述输入音频信号是按照SAC方法编码的缩混信号；和b)接收空间线索信息和有关该输入音频信号的渲染的控制信息，并且基于该控制信息来控制空间线索域中的空间线索信息。这里，在解码步骤a)中，基于在空间线索渲染步骤b)中控制的空间线索信息进行输入音频信号的渲染，和从缩混的信号LO和RO中提取中央イ目号(C)、左半平面/[目号(Lf+Ls)和右半平面/[目号(Rf+Rs),和所述空间线索/[目息是表不输入音频信号之间的电平差并表达为CU\K/afe，CLDl/e, CLDc7lfe, CLDLf/Ls和CLDKf/Ks的CLD值。该空间线索渲染步骤b)包括步骤bl)从编码器传送的CLD中提取CLD參数；b2)从在CLD分析步骤bl)中提取的CLD參数中提取每个音频信号的功率増益；和b3)通过基于有关输入音频信号的渲染的控制信息控制在増益因子转换步骤b2)中提取的每个音频信号的功率増益，来计算受控功率増益，根据本发明的另一方面，提供了ー种用于控制音频信号的渲染的方法，包括步骤
a)使用SAC方法来解码输入音频信号，所述输入音频信号是按照SAC方法编码的缩混信号；和b)接收空间线索信息和有关该输入音频信号的渲染的控制信息，并且基于该控制信息来控制空间线索域中的空间线索信息。这里，在解码步骤a)中，基于在空间线索渲染步骤b)中控制的空间线索信息，进行输入音频信号的渲染，和所述空间线索信息是表示输入音频信号的缩混率的CPC和表示输入音频信号之间的电平差的CLD。这里，该空间线索渲染步骤b)包括bl)从编码器传送的CPC和CLD中提取CPC參数和CLD參数；b2)通过从在CPC/CLD分析步骤bl)中提取的CPC參数中提取中央信号、左半平面信号和右半平面信号并且从CLD參数中提取左信号分量和右信号分量的功率増益，而提取每个信号的功率增益；和b3)通过基于有关输入音频信号的渲染的控制信息控制在増益因子转换步骤b2)中提取的每个音频信号的功率増益，来计算受控功率増益。根据本发明的另一方面，提供了ー种用于控制音频信号的渲染的方法，包括步骤
a)使用SAC方法来解码输入音频信号，所述输入音频信号是按照SAC方法编码的缩混信号；和b)接收空间线索信息和有关该输入音频信号的渲染的控制信息，并且基于该控制信息来控制空间线索域中的空间线索信息。这里，在解码步骤a)中，基于在空间线索渲染步骤
b)中控制的空间线索信息，进行输入音频信号的渲染，并且该空间线索信息是表示输入音频信号之间的相关性的声道间相关性(ICC)值，和在空间线索渲染步骤b)中，通过线性内插处理来控制ICC參数。根据本发明的另一方面，提供了ー种用于控制音频信号的渲染的方法，包括以下步骤a)使用空间音频编码(SAC)解码方法来解码输入音频信号，所述输入音频信号是以SAC方法编码的缩混信号；和b)接收空间线索信息和有关该输入音频信号的渲染的控制信息，并且基于该控制信息来控制空间线索域中的空间线索信息，其中基于在该空间线索渲染步骤b)中控制的受控空间线索信息，在该解码步骤a)中对输入音频信号执行渲染。根据本发明，一旦接收到来自用户或者通信的外部系统的请求，通过直接控制空间线索，可能灵活地控制多目标或多声道音频信号的位置。有利效果本发明提供了一种当解码多目标或多声道音频信号时、基于空间线索控制多目标或多声道音频信号的渲染的装置和方法。
图I是示出传统的多目标或多声道音频信号编码器的示例图。图2示出了根据本发明实施例的音频信号渲染控制器。图3是图解说明恢复的平移(panning)多声道信号的示例图。图4是描绘根据本发明实施例的当声道电平差(CLD)被用作空间线索时图2中示出的空间线索渲染器的方框图。图5图解说明了利用恒定功率平移(Constant Power Panning, CPP)将音频信号映射到期望位置的方法。图6示意性示出了包括信号之间的角度关系的布局。图7是描绘当SAC解码器处于MPEG环绕立体声模式时根据本发明实施例的空间线索渲染器的详细方框图。图8图解说明了用于解码多目标或多声道音频信号的空间解码器。
图9图解说明了作为空间解码器的三维(3D)立体声音频信号解码器。图10是示出应用到图8和图9的空间线索渲染器的实施例的视图。图11是图解说明采用双声道(binaural)立体声解码的运动图像专家组(MPEG)环绕解码器的视图。图12是描绘根据本发明另ー个实施例的音频信号渲染控制器的视图。图13是图解说明图12的声场定位器(spatializer)的详细方框图。图14是描绘本发明实施例所应用到的多声道音频解码器的视图。
具体实施例方式下面的描述仅例示了本发明的原理。即使它们在本说明书中未被清楚地描述或者图解说明，本领域的普通技术人员也可以在本发明的概念和范畴之内实施本发明的原理并且发明各种装置。本说明书中展示的条件性术语和实施例的使用仅g在使得本发明的概念容易理解，并且它们不限于说明书中提到的实施例和条件。另外，有关本发明的原理、观点和实施例以及特定实施例的所有详细描述应当被理解为包括结构性和功能性的等效物。所述等效物不仅包括当前已知的等效物，还包括将来要研发的那些等效物，即，被发明来执行相同功能的所有设备，而不管它们的结构如何。例如，本发明的方框图应当被理解为示出了体现本发明的原理的示例性电路的概念性观点。类似地，所有流程图、状态转换图、伪代码等能够基本上在计算机可读介质中表达，并且无论是否区别地描述了计算机或处理器，它们都应当被理解为表达由计算机或者处理器操作的各种处理。附图中图示的包括表达为处理器或者类似概念的功能块的各种设备的功能不仅可以使用专用于所述功能的硬件来提供，还可以使用能够运行所述功能的合适软件的硬件来提供。当通过处理器提供功能时，所述功能可以通过单个专用处理器、单个共享处理器、或者多个独立处理器来提供，它们中的一部分可被共享。术语“处理器”、“控制”或者类似概念的明显的使用不应当被理解为排他地表示能够运行软件的ー块硬件，而是应当被理解为含蓄地包括数字信号处理器(DSP)、硬件以及用于存储软件的ROM、RAM和非易失性存储器。这里也可以包括其他已知和公用的硬件。类似地，可以仅在概念上展示附图中描述的切換。所述切换的功能应当被理解为 手动执行，或者通过控制程序逻辑或者专用逻辑来执行，或者通过专用逻辑的交互作用来执行。设计者可以选择特定技术，用以更深入地理解本说明书。在本说明书的权利要求中，被表达为用于执行在详细描述中所描述的功能的部件的元件意欲包括用于执行包括所有格式的软件的功能的所有方法，例如，用于执行预期功能的电路、固件/微码等的组合。为了执行预期功能，所述元件与用于执行软件的合适电路协作。由权利要求限定的本发明包括用于执行特定功能的不同的部件，并且所述部件以权利要求中请求的方法相互连接。因此，能够提供所述功能的任何部件应当被理解为等效于从本说明书中概括的部件。參考附图，从下文所阐述的实施例的下列描述中，本发明的优点、特征和方面将变得明显。如果对相关现有技术的进一步详细描述被确定为模糊了本发明的发明点，则省略所述描述。下文中，将參考附图来详细描述本发明的优选实施例。图2示出了根据本发明的实施例的音频信号渲染控制器。參考该附图，音频信号渲染控制器采用空间音频编码(SAC)解码器203，该SAC解码器203是对应于图I的SAC编码器101的组成元件，并且音频信号渲染控制器另外包括空间线索渲染器201。输入到SAC解码器203的信号是从编码器(例如，图I的SAC编码器)传送的缩混的单声道或立体声信号。输入到空间线索渲染器201的信号是从编码器(例如，图I的SAC编码器)传送的空间线索。空间线索渲染器201控制空间线索域中的渲染。具体地，空间线索渲染器201不通过直接控制SAC解码器203的输出信号来进行渲染，而是通过从空间线索中提取音频信号信息来进行渲染。这里，空间线索域是其中从编码器传送的空间线索作为參数被识别并且被控制的參数域。渲染是一种通过确定输入音频信号的位置和电平而生成输出音频信号的处理。SAC解码器203可以采用诸如MPEG环绕、双声道线索编码(BCC)和声源位置线索编码(Sound Source Location Cue Coding, SSLCC)之类的方法，但是本发明不限于此。根据本发明的实施例，可应用的空间线索被定义为
声道电平差(CLD):输入音频信号之间的电平差声道间相关性(ICC):输入音频信号之间的相关性声道预测系数(CPC):输入音频信号的缩混率换句话说，CDC是音频信号的功率増益信息，而ICC是音频信号之间的相关性信息。CTD是首频/[目号之间的时间差/[目息，而CPC是首频/[目号的缩混增益/[目息。空间线索的主要作用是维持空间图像(即声音场景(scene))。根据本发明，声音场景可以通过控制空间线索參数而不是直接操纵音频输出信号来控制。当考虑音频信号的再现环境时，最常使用的空间线索是CLD，该CLD単独一个就可以生成基本输出信号。下文中，将基于CLD来描述用于控制空间线索域中的信号的技术作为本发明的实施例。然而，本发明不限于该CLD，并且这对于本发明所属领域的普通技术人员是显而易见的。因此，应当理解，本发明不限于CLD的使用。根据使用CLD的实施例，可以通过将声音平移定律直接应用于功率増益系数，来平移多目标和多声道音频信号。根据该实施例，通过控制空间线索，基于整个波段中的平移位置，可以恢复多目标和多声道音频信号。CLD被操纵来估计对应于期望平移位置的每个音频信号的功率増益。该平移位置可以通过从外部输入的交互作用控制信号自由地输入。图3是图解说明所恢复的平移多声道信号的示意图。每个信号以给定角度Qpan旋转。然后，用户可以识别旋转的声音场景。在附图3中，Lf表示左前声道信号；Ls表示左后声道信号；Rf表示右前声道信号；Rs表不右后声道信号；C表不中央声道信号。因此[Lf+Ls]表不左半平面信号，以及[Rf+Rs]表不右半平面信号。尽管图3中未不出，但是Lfe表不低音扬声器(woofer)信号。图4是描绘根据本发明实施例的当CLD被用作空间线索时图2中示出的空间线索渲染器的方框图。參考该附图，使用CLD作为空间线索的空间线索渲染器201包括CLD分析单元401、增益因子转换单元403、增益因子控制单元405、和CLD转换单元407。
CLD分析单元401从接收到的空间线索(即CLD)中提取CLD參数。CLD包括音频信号的电平差信息，并且它被表达为C LDm = IOlog10 -J-公式 I
m其中Pk表示第m子带中的第k输入音频信号的子带功率。增益因子转换单元403从在CLD分析单元401中获得的CLD參数中提取每个音频信号的功率増益。參考公式1，当在第m子带中输入M个音频时，第m子带中可提取的CLD的数目是 M-Kl彡i彡M-1)。因此，基于如下表达的公式2，从CLD中获取每个音频信号的功率增益
IΓPigm=gm'10= 1..........7............................7公式 2
お+巧因此，从第m子带中的M-ICLD中可以获取M输入音频信号的功率増益。同吋，由于基于输入音频信号的子带而提取空间线索，因此也基于子带来提取功率増益。当提取第m子带中的所有输入音频信号的功率增益时，它们可被表达为如公式3中所示的矢量矩阵
Sm
IGn =公式 3
Sn,_其中m表示子带索引；‘表示第m子带中第k输入音频信号(I彡k彡M)的子带功率増益；和Gffl表示指明第m子带中所有输入音频信号的功率増益的矢量。在増益因子转换单元中提取的每个音频信号的功率増益(Gm)被输入到増益因子控制单元405并且被调节。所述调节控制输入音频信号的渲染，并且最終形成期望的音频场景。输入到増益因子控制单元405的渲染信息包括输入音频信号的数目(N)、包括突发(burst)和抑制(suppression)的姆个输入音频信号的虚拟位置和电平、输出音频信号的数目(M)、以及虚拟位置信息。増益因子控制单元405接收有关输入音频信号的渲染的控制信息，该控制信息是包括输入音频信号的输出位置和输出电平的音频场景信息。该音频场景信息是由外面的用户输入的交互作用控制信号。然后，増益因子控制单元405调节从増益因子转换单元403输出的每个输入音频信号的功率増益(Gm)，并且获取如公式4所示的受控功率增益^utGm)。
权利要求
1.ー种用于控制音频信号的渲染的方法，包括以下步骤 a)使用空间音频编码(SAC)解码方法来解码输入音频信号，所述输入音频信号是以SAC方法编码的缩混信号；和 b)接收空间线索信息和有关该输入音频信号的渲染的控制信息，并且基于该控制信息来控制空间线索域中的空间线索信息， 其中基于在该空间线索渲染步骤b)中控制的受控空间线索信息，在该解码步骤a)中对输入音频信号执行渲染。
2.如权利要求I所述的方法，其中所述空间线索信息是指明输入音频信号之间的电平差的ィ目息，和 该空间线索渲染步骤b)通过基于指明输入音频信号之间的电平差的信息和有关输入音频信号的渲染的控制信息，控制每个音频信号的功率増益，来计算受控功率増益。
全文摘要
本研究涉及一种用于控制音频信号的渲染的方法。所述方法包括以下步骤a)使用空间音频编码(SAC)解码方法来解码输入音频信号，所述输入音频信号是以SAC方法编码的缩混信号；和b)接收空间线索信息和有关该输入音频信号的渲染的控制信息，并且基于该控制信息来控制空间线索域中的空间线索信息，其中基于在该空间线索渲染步骤b)中控制的受控空间线索信息，在该解码步骤a)中对输入音频信号执行渲染。
文档编号G10L19/00GK102693727SQ201210139738
公开日2012年9月26日 申请日期2007年2月5日 优先权日2006年2月3日
发明者张大永, 徐廷一, 李泰辰, 李用主, 洪镇佑, 白承权, 金镇雄 申请人:韩国电子通信研究院