解码音频信号的方法和装置的制作方法

专利名称：解码音频信号的方法和装置的制作方法
技术领域：
本发明涉及一种用于对音频信号解码的方法和装置，并且更具体地，涉及一种用于对音频信号编码/解码的装置及其方法。尽管本发明适用于范围广泛的应用，但是其特别适用于实现多声道音频信号以具有声场效果。

背景技术：
近来，音频技术已建立了利用多声道的规范。然而，由于诸如大量的2声道的旧内容、新的多声道内容的生产成本、消费者的真实使用模式等原因，2声道立体声系统仍在全球使用。


发明内容
技术问题 然而，在使用该立体声系统的情况中，音频仅在用户前方再生。因此，在向用户提供足够生动的环境方面给用户带来了限制。此外，音频未能由支持多声道的多媒体系统利用。再生的横断面的音频未能向用户提供立体声效果。
技术方案 因此，本发明涉及一种用于对音频信号解码的装置及其方法，其基本上消除了因现有技术的限制和缺陷引起的一个或更多个问题。
本发明的目的在于提供一种对音频信号解码的装置及其方法，由此，可以通过从输入信号提取周围环境分量信号并且随后修改所提取的信号的方式，针对音频信号提供生动的环境。
本发明的另一目的在于提供一种对音频信号解码的装置及其方法，由此，可以通过经由不同的输出单元分别输出经修改的周围环境分量信号以及已将周围环境分量信号从其移除的源分量信号的方式，加强音频信号的立体声效果。
有利效果 因此，本发明提供了如下效果或优点。
首先，在根据本发明的用于对音频信号解码的装置及其方法中，基于相关性从输入的音频信号提取周围环境分量信号并且随后使用环绕效果信息进行修改。因此，本发明提供了增强音频信号的立体声效果的效果。
其次，在根据本发明的用于对音频信号解码的装置中，分别使用不同的信号输出单元输出经修改的周围环境分量信号和源分量信号。因此，本发明可以增强音频信号的立体声效果。
第三，在根据本发明的用于对音频信号解码的装置中，用于输出周围环境分量信号的信号输出单元被布置为具有与用于输出源分量信号的另一信号输出单元的输出方向不同的输出方向。因此，本发明能够向收听者提供强调周围环境声音的音频信号。



所包括的附图用于提供本发明的进一步的理解，并且被并入本说明书中并且构成本说明书的一部分，说明了本发明的实施例并且连同描述一起用于解释本发明的原理。
在附图中 图1和图2是通常的立体声记录环境的示意图； 图3是与用于输出通过图1或图2中示出的方法记录的立体声信号的通常的输出单元的布置相关的示意图； 图4是与根据本发明的一个实施例的输出音频信号的方法相关的示意图； 图5是根据本发明的一个实施例的用于分析立体声信号的时间-频率域的图； 图6是与增益因子A、源分量信号S和与增益因子和源分量信号的相乘对应的AS的归一化功率的图； 图7是根据本发明的一个实施例的与权重ω1、ω2、

相关的后缩放因子(post-scaling factor)的图； 图8是根据本发明的一个实施例的与权重ω3、ω4、

相关的后缩放因子的图； 图9是根据本发明的一个实施例的与权重ω5、ω6、

相关的后缩放因子的图； 图10是根据本发明的一个实施例的在中心收听的音频信号的周围环境分解的图； 图11是根据本发明的一个实施例的用于对音频信号解码的装置的示意性框图； 图12是与通常的5.1声道配置和引入到收听者的信号的路径相关的示图； 图13是与根据本发明的一个实施例的包括经修改的周围环境分量信号的立体声信号的输出相关的示图； 图14是根据本发明的一个实施例的具有源分量修改单元的音频信号解码装置的示意性框图； 图15是根据本发明的一个实施例的具有源分量信号扩展单元的音频信号解码装置的示意性部分框图； 图16是根据本发明的一个实施例的用于对音频信号解码的装置的示意性框图； 图17是与根据本发明的一个实施例的用于对音频信号解码的装置中包括的第一和第二信号输出单元的安置相关的图； 图18和图19是与根据本发明的一个实施例的用于对音频信号解码的装置的输出信号的传输路径相关的示图； 图20是根据本发明的一个实施例的用于对音频信号解码的装置的示意图； 图21是根据本发明的一个实施例的输出单元的示图； 图22是根据本发明的一个实施例的用于对音频信号解码的装置的示意图；以及 图23到25是根据本发明的一个实施例的用于对音频信号解码的装置的示意性框图。

具体实施例方式 本发明的其他特征和优点将在下面的描述中阐述，并且部分地将通过描述而是显而易见的，或者可以通过对本发明的实践而学习。通过所编写的描述及其权利要求以及附图中具体指出的结构，将实现和达到本发明的目的和其他优点。
为了实现这些和其他优点以及根据本发明的目的，如具体化和广泛描述的，根据本发明的对音频信号解码的方法包括以下步骤接收具有包括周围环境分量信号和源分量信号的多个声道信号的音频信号，基于声道信号之间的相关性来提取每个声道的周围环境分量信号和源分量信号，使用环绕效果信息修改周围环境分量信号，以及使用经修改的周围环境分量信号和源分量信号产生包括多个声道的音频信号。
根据本发明，以预定的时间和每个预定的频带估计相关性。
根据本发明，在每个声道中包括的分量信号之间周围环境分量信号具有低的相关性。
根据本发明，环绕效果信息是施加到周围环境分量信号的等级信息。
根据本发明，环绕效果信息是施加到周围环境分量信号的时间延迟、增益值、滤波器或相位信息。
根据本发明，该方法进一步包括步骤使用扩展效果信息修改源分量信号。
根据本发明，通过从接收到的音频信号消除所提取的周围环境分量信号来获得源分量信号。
为了进一步实现这些和其他优点，并且根据本发明的目的，一种用于对音频信号解码的装置包括音频信号接收单元，接收包括周围环境分量信号和源分量信号的多个声道信号；周围环境分量信号提取单元，基于声道信号之间的相关性来提取每个声道的周围环境分量信号和源分量信号；周围环境分量信号修改单元，使用环绕效果信息修改周围环境分量信号；源分量信号提取单元，基于声道信号之间的相关性来提取每个声道的源分量信号；以及信号输出单元，输出周围环境分量信号和源分量信号。
为了进一步实现这些和其他优点，并且根据本发明的目的，一种用于对音频信号解码的装置包括音频信号接收单元，接收具有包括周围环境分量信号和源分量信号的多个声道信号的音频信号；周围环境分量信号提取单元，基于声道信号之间的相关性来提取每个声道的周围环境分量信号；周围环境分量信号修改单元，使用环绕效果信息修改周围环境分量信号；源分量信号提取单元，基于声道信号之间的相关性来提取每个声道的源分量信号；第一信号输出单元，输出经修改的周围环境分量信号和源分量信号；以及第二信号输出单元，输出接收到的音频信号或源分量信号。
根据本发明，第一信号输出单元的输出方向不与第二信号输出单元的输出方向平行。
根据本发明，第一信号输出单元的输出方向与第二信号输出单元的输出方向位于同一平面中。
根据本发明，第一信号输出单元和第二信号输出单元可以构造单个输出单元。
根据本发明，第一和第二信号输出单元均分别包括多个输出不同频带的信号的单元。
根据本发明，第一信号输出单元的输出方向垂直于包括第二信号输出单元的输出方向的平面。
根据本发明，第一信号输出单元根据特性信息使输出方向移位。
根据本发明，该装置进一步包括环境信息产生单元，产生环境信息，其中，周围环境分量信号修改单元使用环绕效果信息和环境信息修改周围环境分量信号以具有规定的立体声效果。
根据本发明，环境信息产生单元基于第一和第二信号输出单元与收听位置之间的周围环境特性来产生环境信息。
根据本发明，环境信息生产生单元能够使用通过检测传感器估计的第一和第二输出单元的输出信号的反射位置和反射量来产生环境信息。
根据本发明，环境信息产生单元采用预先存储的环境信息中的一个。
根据本发明，第一信号输出单元进一步包括输出延迟单元，使周围环境分量信号的输出时间延迟。
根据本发明，第二信号输出单元进一步包括扩展效果施加单元，向源分量信号的输出施加扩展效果。
为了进一步实现这些和其他优点，并且根据本发明的目的，一种计算机可读介质包括记录在其中的用于执行以下步骤的程序接收具有包括周围环境分量信号和源分量信号的多个声道信号的音频信号，基于声道信号之间的相关性来提取每个声道的周围环境分量信号和源分量信号，使用环绕效果信息修改周围环境分量信号，以及分别经由不同的输出单元输出经修改的周围环境分量信号和源分量信号。
将理解，以上一般描述和下面的详细描述是示例性的和解释性的，并且用于提供如权利要求的本发明的进一步的解释。
本发明的方式 现将详细参照本发明的优选实施例，在附图中说明了其例子。
首先，本发明的中的“译码”应被理解为包括编码和解码的概念。
其次，本公开内容中的“信息”是涵盖值、参数、系数、元素等的术语并且在一些情况中可作不同的解释，本发明的例子不限于此。虽然在本公开内容中立体声信号用作关于音频信号的例子，但是音频信号可以具有至少三个或更多个声道。
通常，在使用具有用于立体声信号的立体声声道的输出单元的情况中，收听者从左和右声道接收到音频信号。音频信号可以主要分为左声道信号和右声道信号。每个声道信号可以包括具有方向性的源分量信号以及提供无方向性的立体声效果的周围环境分量信号。
例如，源分量信号可以是例如舞台上的演唱者的声音、舞台上的乐器的声音等。在电影的情况中，源分量信号可以是收听者前方进行的谈话、多种声音效果等，以使收听者能够感受声音的方向。相反地，周围环境分量信号可以包括归因于收听者所处的物理环境的回响声音、听众鼓掌的声音、噪声等。并且，周围环境分量信号承担使收听者能够感受关于当前所处空间的感觉、立体声效果等的任务。即，源分量信号是在特定方向上听到的信号并且通常在收听者前方产生。并且，周围环境分量信号是无方向性地在所有方向中听到的声音。
本公开内容中使用的术语“前方”指示前侧。例如，设备(或单元)的前方指示通过设备(或单元)的屏幕部分所看到的前侧。将输出设备(或单元)安置在横向后侧意指输出设备(或单元)被安置为具有相对于音频信号的解码设备的屏幕部分所处的平面成45°到135°的输出方向。并且，将输出单元安置在横向前侧意指输出设备(或单元)被安置为具有相对于音频信号的解码设备的屏幕部分所处的平面成0°到45°或135°到180°的输出方向。
图1和图2是通常的立体声记录环境的示意图。
参照图1，能够通过设定收听者所处的环境和位置来记录立体声声道的信号。参照图2，在已使用服务器麦克风从产生源分量信号的实体获取信号之后，能够通过使用混音器适当地使所获取的信号混音来产生立体声信号。
图3是与用于输出通过图1或图2中示出的方法记录的立体声信号的通常的输出单元的布置相关的示意图。
参照图3，当再生立体声信号时，由于立体声信号的输出单元(30a、30b)通常位于收听者前方，因此收听者将立体声信号辨认为如同所有声音来自前侧。在该情况中，虽然位于前方的源分量信号被无失真地传递到收听者，但是不能传递来自记录环境中的收听者横向和后侧的周围环境分量信号。当然，由于从输出单元(30a、30b)输出的立体声信号根据收听者所处的环境而被反射或吸收，因此可能听到回响声音。另外，这不同于记录环境的周围环境分量信号。因此，收听者不能收听记录中的周围环境分量信号。
在根据本发明的用于对音频信号解码的装置及其方法中，立体声信号中包括的周围环境分量信号被提取和使用。因此，能够获得具有增强的立体声效果的音频信号。
图4是关于根据本发明的一个实施例的输出音频信号的方法的示意图。
如以上描述所述，源分量信号具有方向性的特性，而周围环境分量信号不具有方向性。当具有等级差或时间差或者具有等级差和时间差的相同信号到达收听者的双耳时，收听者能够辨认方向性。因此，具有方向性的源分量信号具有包括源分量信号的两个声道之间的高的相关性，而周围环境分量信号使两个声道能够具有低的相关性。为了提取周围环境分量信号，根据本发明的一个实施例的对音频信号解码的方法从立体声声道中包括的分量信号提取具有低的声道间相关性的分量信号。
在图4中，源分量信号s指示了表示位于由增益因子a确定的方向上的直达声音的信号。周围环境分量信号n1和n2指示了记录环境中的周围环境声音。并且，“x1”和“x2”分别指示了立体声信号的左和右声道的输出信号。此外，立体声信号可以被输出到具有特定方向信息的立体声声道。并且，方向信息可以包括等级差信息、时间差信息等。相反，周围环境分量信号可由再生环境、听觉可感宽度等确定。使用源分量信号s，周围环境分量信号n1和n2以及用于确定源分量信号的方向的增益因子a，图4中示出的输出信号可被表示为式1。
[式1] x1(n)＝s(n)+n1(n) x2(n)＝as(n)+n2(n) 为了有效地分析包括多个同时激活的对象信号的非线性立体声信号，应使用被多个地划分的频带和时间域独立地分析式1。在该情况中，x1(n)和x2(n)可以如下表示。
[式2] X1(i，k)＝S(i，k)+N1(i，k) X2(i，k)＝A(i，k)S(i，k)+N2(i，k) “i”指示了频带索引并且“k”指示了时间带索引。
图5是用于分析立体声信号的时间-频率域的图。每个时间-频率域包括索引i和k。并且，可以独立地估计源分量信号S、周围环境分量信号N1和N2以及增益因子A。在下面的描述中，频带索引i和时间带索引k将被省略。
并且，能够使用诸如式3的信号模型。
[式3] 在该情况中，h_head_Li和h_head_Ri对应于指示了第i个实体被包括在声道L和R中的关系的传输函数的头部分。h_tail_Li和h_tail_Ri对应于传输函数的尾部分并且包括被引入各声道的s_i的回响分量。并且，“*”指示卷积。在该情况中，周围环境分量信号对应于式3中的右侧的
此外，通过多种信号模型，源分量信号和周围环境分量信号的数学建模是可能的。此外，在本发明的音频信号解码装置和方法中，使用被表示为式1和式2的信号模型估计和修改源分量信号和周围环境分量信号，但是其并未限制本发明的多个例子。
用于分析立体声信号的频带的带宽可被选择为等于特定频带的带宽并且可以根据立体声信号的特性被确定。在每个频带中，可以每t毫秒估计S、N1、N2和A。如果X1和X2被提供作为立体声信号，则可以根据每个时间-频率域的分析确定S、N1、N2和A的估计值。并且可以如式4估计X1的功率。
[式4] 在式4中，E{.}指示平均。
假设N1和N2的功率彼此相等。并且，假设具有外部影响的从属信号(dependent signal)在立体声信号的左和右声道中具有相同的功率(PN＝PN1＝PN2)。
除了PN＝PN1＝PN2之外，能够使用例如诸如A2PN1＝PN2这样的假设等。
此外，如果立体声信号被表示为时间-频率域，则能够估计增益信息(A)、源分量信号的功率(PS)、周围环境分量信号的功率(PN)和归一化互相关性(φ)。立体声声道之间的归一化互相关性(φ)可被表示为式5。
[式5] 能够使用PX1、PX2、φ确定A、PS、PN。并且关于PX1、PX2、φ的关系式可被表示为式6。
[式6] PX1＝PS+PN， PX2＝A2PS+PN， 对于A、PS、PN，式6被总结为式7。
[式7] 并且，B和C的值可以表示为式8 [式8] 源分量信号S和N1和N2的最小平方估值可被计算为A、PS和PN的函数。并且，对于每个i和k，可以如下估计源分量信号S。
[式9] 在式9中，ω1和ω2是实权重。在该情况中，估计误差可被表示为式10。
[式10] E＝(1-ω1-ω2A)S-ω1N1-ω2N2 当估计误差E与X1和X2正交时，权重ω1和ω2在最小均方上变为最优的。
[式11] E{EX1}＝0和E{EX2}＝0 即，当E{EX1}＝0和E{EX2}＝0时，能够从式10和式11获得式12的两个方程。
[式12] (1-ω1-ω2A)PS-ω1PN＝0 A(1-ω1-ω2A)PS-ω2PN＝0 从式12，可以将权重ω1和ω2计算为式13。
[式13] 相似地，可以估计N1和N2。N1的估计值被表示为式14。
[式14] 并且，可如下计算估计误差。
[式15] E＝(-ω3-ω4A)S-(1-ω3)N1-ω2N2 通过估计误差E与X1和X2正交的方式，权重ω1和ω2被计算为式16。
[式16] 此外，通过与N1相似的方式计算N2的估计值。N2被表示为式17并且N2的权重被计算为式18。
[式17] [式18] 因此，在已计算

和

的最小平方估计值之后，对它们进行后缩放，从而使估计值

的功率变得与PS相同并且PN＝PN1＝PN2。PS的功率可被表示为式19。
[式19] 为了获得具有式19中示出的功率

的S的估计值，

被估计为式20。
[式20] 通过与

相同的方式，

和

可被缩放为式21和式22。
[式21] [式22] 同时，图6到10是获得

和

之前计算的多种变量的关系的图。首先，增益因子A、S和AS的归一化功率可被表示为立体声信号的等级差和归一化互相关性Φ的函数。这在图6中示出。
在图7中，用于计算S的最小平方估计值的权重ω1和ω2被表示为立体声信号的等级差和归一化互相关性Φ的函数并且分别在两个上面的图上示出。并且，关于式19中的

的后缩放因子被表示为图7中的下面的图。
在图8中，用于计算N1的最小平方估计值的权重ω3和ω4被表示为立体声信号的等级差和归一化互相关性Φ的函数并且分别在两个上面的图上示出。并且，在式19中关于

的后缩放因子被表示为图8中的下面的图。
在图9中，用于计算N2的最小平方估计值的权重ω5和ω6被表示为立体声信号的等级差和归一化互相关性Φ的函数并且分别在两个上面的曲线上示出。并且，在式19中关于

的后缩放因子被表示为图9中的下面的图。
图10是当经由输出单元输出立体声信号时在中心处收听的包括语音(例如，嗓音、语音)的立体声信号(例如，民歌)的周围环境分解的图。并且，估计的s、A、n1和n2如图10中所示。源分量信号s(例如，嗓音)和周围环境分量信号n1和n2(例如，BGM)在时间域上描述。并且，增益因子A在所有时间-频率域上描述。
参照图10，较之周围环境分量信号n1和n2，估计的源分量信号s被观察为是相对强的。这与在记录中源分量信号主要在中心处这一事实匹配。因此，对于本领域的技术人员显而易见的是，通过根据本发明的音频信号解码方法，可以估计在记录立体声信号中所包括的源和周围环境分量信号。
如以上描述所述，根据本发明的用于对音频信号解码的装置估计周围环境分量信号和源分量信号，使用所估计的信号提取周围环境分量信号，以及随后修改所提取的周围环境分量信号。因此，能够获得立体声效果被进一步增强的音频信号。
图11是根据本发明的用于对音频信号解码的装置1100的示意性框图。
首先，音频信号接收单元1110接收从音频信号解码装置外部输入的音频信号。输入的音频信号包括多个声道，其可以对应于包括至少三个声道的立体声声道或多声道。并且，音频信号可以包括周围环境分量信号和源分量信号。并且，这些信号可以被包括以分别对应于声道。例如，在音频信号包括两个源分量信号(例如，嗓音1和嗓音2)的情况中，源分量信号的每个被包括在对应声道中，伴有时间差和/或等级差。
周围环境分量信号提取单元1120接收音频信号并且随后基于所包括的以彼此对应的信号之间的相关性而提取每个声道的周围环境分量信号。通过如此，周围环境分量信号提取单元1120能够使用式1到22估计周围环境分量信号，本发明的例子不限于此。可以每个预定的时间或者每个预定的频带估计在提取周围环境分量信号中使用的相关性。通常，在每个声道中包括的分量信号之间，周围环境分量信号具有低的相关性，而源分量信号具有高的相关性。
周围环境分量信号修改单元1130接收所提取的周围环境分量信号并且随后能够使用环绕效果信息修改周围环境分量信号以具有规定的立体声效果。在该情况中，环绕效果信息可以包括在指示输入到音频信号接收单元1110的音频信号的比特流中或者可以存储在本发明的音频信号解码装置的周围环境分量信号修改单元1130中。此外，收听者可经由收听者输入设备(图中未示出)输入环绕效果信息。
环绕效果信息可以包括施加到周围环境分量信号的等级信息或者延迟效果、滤波器和增益值至少之一。通过修改周围环境分量信号，能够改进如图3中示出的当仅在前侧再生立体声信号时产生的立体声效果的劣化。等级信息实现了周围环境分量信号的产生，该周围环境分量信号的等级是低的或者通过施加所提取的周围环境分量信号的等级尺寸而被修改为大的。环绕效果信息可以是施加到周围环境分量信号的相位信息。并且，相位信息可以通过调节周围环境分量信号的相位来增强周围环境分量信号的立体声效果。特别地，以通过向周围环境分量信号施加延迟效果使周围环境分量信号的输出延迟的方式增加回响，能够增强音频信号的立体声效果，该延迟效果是环绕效果信息的例子。在下面的描述中将参照图12和图13解释周围环境分量信号修改单元1130的对应的详细功能和任务。
源分量信号提取单元1140接收输入到音频信号接收单元1110的音频信号和周围环境分量信号提取单元1120提取的周围环境分量信号，并且随后通过从音频信号移除周围环境分量信号来提取源分量信号。并且，能够使用估计的源分量信号(S)作为源分量信号提取单元1140所提取的源分量信号，该估计的源分量信号(S)是通过对输入到音频信号接收单元1110的音频信号执行式1到22的过程而估计的。
信号输出单元1150通过接收由源分量信号提取单元1140提取的源分量信号和由周围环境分量信号修改单元1130修改的周围环境分量信号并且将其组合在一起，向音频信号解码装置的外部环境输出立体声信号。信号输出单元1150能够输出由音频信号接收单元1110接收的音频信号，即声道信号，而非由源分量信号提取单元1140提取的源分量信号，并且还能够与周围环境分量信号一起输出源分量信号和接收的音频信号。并且，音频信号接收单元1110接收的音频信号可以包括指示信号输出单元1150是否输出源分量信号和音频信号至少之一的标志信息。信号输出单元1150可以包括单个输出单元或者可以包括至少两个输出单元。在信号输出单元1150包括至少两个输出单元的情况中，输出单元的功能和构造可以彼此不同并且可以安置在多种构造中。后面将参照图16到25解释关于信号输出单元1150的细节。
在根据本发明的另一实施例的用于对音频信号解码的装置中，周围环境信息信号修改单元1130向周围环境信息信号施加滤波器，这样能够修改信号输出单元1150输出的立体声信号，以与收听者收听的通常的5.1声道输出信号的信号(L0，R0)相似，该滤波器是环绕效果信息的例子。
图12是关于通常的5.1声道配置和引入到收听者的信号的路径的示图。如图12中所示，GX_Y指示用于将信号从扬声器X传输到耳朵Y的传输函数。例如，GL_R指示关于声道L的声音进入收听者的右耳的传输函数，并且GC_R指示关于声道C的声音进入收听者的右耳的传输函数。并且，GX_Y被称为头相关传输函数(在下文中被称为“HRTF”)。
参照图12，进入收听者的耳朵的信号(L0，R0)可以表示为式23。
[式23] L0＝L*GL_L+C*GC_L+R*GR_L+LS*GLS_L+RS*GRS_L R0＝L*GL_R+C*GC_R+R*GR_R+LS*GLS_R+RS*GRS_R 通过此式，从本发明的音频信号解码装置输出的立体声信号(L′，R′)可被表示为式24。
[式24] L′＝D(L)+G_L*A(L) R′＝D(R)+G_R*A(R) L′和R′分别指示声道的输出信号。D(L)和D(R)分别指示声道L和R输入信号的源分量信号。A(L)和

指示周围环境分量信号。G_L和G_R分别指示施加到声道的周围环境声音分量的滤波器。
因此，周围环境分量信号修改单元1130能够使用施加到对应的周围环境分量信号的滤波器来修改周围环境分量信号以具有规定的周围环境效果。滤波器可以包括在指示输入到音频信号接收单元1110的音频信号的比特流中。滤波器可以被存储在本发明的音频信号解码装置的周围环境分量信号修改单元1130中。收听者可以经由输入设备(图中未示出)输入滤波器。G_X可以是固定值或者根据收听者的请求而变化的可变值。G_X可以提供如下效果，即，周围环境分量信号在随机的虚拟位置再生，而非在传统的输出单元L或R的位置再生。因此，G_X可以使用HRTF或者可以通过考虑HRTF的串扰来配置，本发明的例子不限于此。
图13是关于包括使用式24的滤波器修改的周围环境分量信号的立体声信号的输出的示图。
参照图13，在根据本发明的一个实施例而被解码的音频信号由两个输出单元1310和1320输出的情况中，收听者能够从安置在收听者前方的输出单元1310和1320听到源分量信号。相反，收听者感受施加滤波器的周围环境分量信号，如同它们是分别从虚拟输出单元1330和1340的位置输出的。由于获得了额外地使用用于周围环境分量信号的横向/后方输出单元的效果以增强立体声效果，因此收听者能够有效地使用立体声信号和设备享受立体声声音。
根据本发明的另一实施例的音频信号解码装置能够通过修改所提取的源分量向音频信号提供立体声效果。并且，如下参照图14和图15解释对应的音频信号解码装置。
图14是根据本发明的另一实施例的具有源分量修改单元的音频信号解码装置1400的示意性框图。
首先，音频信号解码装置1400主要包括周围环境分量信号提取单元1420、周围环境分量信号修改单元1430、源分量信号提取单元1440、源分量信号修改单元1450和信号输出单元1460。由于周围环境分量信号提取单元1420、周围环境分量信号修改单元1430、源分量信号提取单元1440和信号输出单元1460承担与图11中示出的前述音频信号解码装置1100的具有相同名称的元件相同的功能和任务，因此在下面的描述中将省略它们的描述。
源分量信号修改单元1420接收源分量信号提取单元1440提取的源分量信号并且随后能够修改源分量信号以增强立体声效果。源分量信号修改单元1420能够使用滤波器，该滤波器能够向源分量信号提供环绕效果或扩展效果，本发明的例子不限于此。
图15是使用用于提供扩展效果的滤波器来修改源分量信号的音频信号解码装置的部分的示意性部分框图。在本发明中，扩展效果意指增加声道信号中包括的源分量信号在空间中的距离的效果。并且，包括所施加的扩展效果的源分量信号的输出信号可以提供立体声效果，如同正在收听诸如剧场、体育场等这样的广阔空间。源分量信号提取单元1540的功能和任务与前述源分量信号提取单元1140等效，从输入的音频信号提取源分量信号。同时，源分量信号扩展单元1550接收源分量信号，并且随后通过向接收的源分量信号施加提供扩展效果的滤波器来产生源分量之间的距离被扩展的源分量信号。
因此，在根据本发明的音频信号解码装置中，从音频信号提取周围环境分量信号和/或源分量信号并且随后对其进行修改。经修改的周围环境和/或源分量信号被混音并且随后被输出。因此，能够增加因记录环境中的周围环境或环境影响而产生的立体声效果。并且，能够仅使用立体声信号和设备获得具有增强的立体声效果的音频信号，如同使用多个声道。
不同于前述实施例，前述实施例用于通过使经修改的周围环境分量信号和经修改的源分量信号混音在一起并且随后经由单个输出单元输出混音信号的方式，进一步增强立体声信号的立体声效果，本发明的另一实施例提出了一种音频信号解码装置，其具有用于输出与包括源分量信号和/或声道信号的音频信号分离的周围环境分量信号的输出单元。
图16是根据本发明的另一实施例的用于对音频信号解码的装置1600的示意性框图。
参照图16，音频信号解码装置1600部分地具有与图11中示出的前述解码装置1100相同的功能和任务。因此，下面的描述中省略了音频信号接收单元1601、周围环境分量信号提取单元1620、周围环境分量信号修改单元1630和源分量信号提取单元1640的细节。并且，音频信号解码装置1600可以进一步包括源分量信号修改单元(图中未示出)，用于通过从源分量信号提取单元1640接收源分量信号并且随后施加用于提供扩展效果或环绕效果的滤波器来增强源分量信号的立体声效果。
经由第一信号输出单元1650输出经周围环境分量信号修改单元1630修改的周围环境分量信号并且经由第二信号输出单元1660输出由音频信号接收单元1610接收的源分量信号或音频信号。并且，可以经由第二信号输出单元1660输出源分量信号和音频信号。此外，音频信号接收单元1610接收的音频信号可以包括指示信号输出单元1650是否输出源分量信号和音频信号至少之一的标志信息。在下面的描述中，第二信号输出单元1660不限于输出源分量信号的功能，而是被理解为输出源分量信号和音频信号或者输出音频信号。并且，本发明的音频信号包括多个声道信号，该多个声道信号包括源分量信号和周围环境分量信号。
第一信号输出单元1650和第二信号输出单元1660均被构造为具有单个单元或者可被构造为具有至少两个单元。例如，在音频信号的输出系统是立体声系统的情况中，第一信号输出单元1650可以包括分别对应于左和右声道的两个第一信号输出单元。并且，第二信号输出单元1660可以包括分别对应于左和右声道的两个第二信号输出单元。
虽然本发明涉及音频信号的输出系统包括立体声系统的情况，但是其可以是通过如下方式构造的多声道系统，即，第一和第二信号输出单元1650和1660均包括至少三个单元。
根据本发明的一个实施例，音频信号解码装置进一步包括用于仅输出经修改的周围环境分量信号的第一信号输出单元以及用于输出音频信号或源分量信号的第二输出单元，由此增强音频信号的立体声效果。此外，通过将第一信号输出单元和第二信号输出单元安置为在输出方向上彼此不同，使收听者能够收听具有增强的立体声效果的音频信号。如下参照图17到22解释用于提供立体声效果增强音频信号的第一和第二信号输出单元。
首先，在诸如TV、音频系统等这样的音频信号解码装置中，只要使用与解码装置分离的单独的输出单元，则信号输出单元应被安置在有限的空间中。通常，用于输出音频信号或源分量信号的第二信号输出单元具有朝向收听者的输出方向(在下文中被称为“前侧”)。并且，如果用于输出周围环境分量信号的第一信号输出单元被安置在收听者的后方或横向侧，则有效地实现了立体声效果的传递。此外，由于在有限空间中的安置，第一信号输出单元被安置在第二信号输出单元周围。
图17是关于第一和第二信号输出单元的安置的图。第二信号输出单元1710具有x方向的输出方向。并且，第一信号输出单元1720a和1720b具有不同于第二信号输出单元1710的输出方向。
参照图17，输出周围环境分量信号的第一信号输出单元1720a可被安置为，其输出方向不与第二信号输出单元1710的输出方向平行，并且可以不离开第二信号输出单元1710所处的平面。此外，参照图17，第一信号输出单元1720b位于第二信号输出单元1710所处的x-y平面的同一位置并且其输出方向可以不与第二信号输出单元1710的输出方向平行。
第二信号输出单元1710负责再生音频信号或源分量信号，并且输出方向不与第二信号输出单元1710的输出方向平行的第一信号输出单元1720a和1720b负责再生周围环境分量信号。因此，较之仅使用第二信号输出单元1710再生立体声信号的情况，该情况可以向收听者提供具有增强的立体声效果的音频信号。
图18和图19示意性地示出了音频信号解码装置，其中用于输出周围环境分量信号的第一信号输出单元被安置为，其输出方向不同于用于输出音频信号或源分量信号的第二信号输出单元的输出方向，并且示出了使用该音频信号解码装置再生音频信号的方法。在图18和图19中，声道信号是输入到本发明的音频信号接收单元的音频信号的例子，包括周围环境分量信号和源分量信号，并且指示在每个声道上输出的信号。
参照图18，相对于第二信号输出单元1860a和1860b的输出方向，第一信号输出单元1850a和1850b分别具有朝向横向后侧的输出方向。周围环境分量信号从周围环境分量信号修改单元1830分别输入到第一信号输出单元1850a和1850b。来自源分量信号提取单元1840的源分量信号或者来自音频信号接收单元(图中未示出)的音频信号被输入到第二信号输出单元1860a和1860b。周围环境分量信号修改单元1830和源分量信号提取单元1840等效于图11中示出的前述周围环境分量信号修改单元1130和前述源分量信号提取单元1140，在下面的描述中将省略它们的细节。
由于第一信号输出单元1850a/1850b具有朝向横向后侧的输出方向，因此在横向后方方向上输出的周围环境分量信号可以具有被后方或横向侧的墙壁反射的增加的效果。此外，可以通过很多种方式提供用于向收听者传递周围环境分量信号的路径，由此音频信号的立体声效果可以因自然延迟效果等而被增加。
参照图19，相对于图18中示出的第一信号输出单元1850a和1850b的输出方向以及第二信号输出单元1960a和1960b的输出方向，第一信号输出单元1950a和1950b分别具有朝向横向前侧的输出方向。周围环境分量信号从周围环境分量信号修改单元1930分别输入到第一信号输出单元1950a和1950b。来自源分量信号提取单元1940的源分量信号或者来自音频信号接收单元(图中未示出)的音频信号被输入到第二信号输出单元1960a和1960b。在下面的描述中将省略周围环境分量信号修改单元1930和源分量信号提取单元1940的细节。
由于第一信号输出单元1950a/1950b具有朝向横向前侧的输出方向，因此在横向前方方向上输出的周围环境分量信号可以具有被横向侧的墙壁反射的进一步增加的效果。此外，较之图18中示出的前述音频信号解码装置，由于所需用于第一信号输出单元1950a和1950b以及第二信号输出单元1960a和1960b的空间是窄的，因此本发明对于具有用于输出单元的窄的空间的音频信号解码装置是更加有效的。
在根据本发明的音频信号解码装置中，用于输出周围环境分量信号和源分量信号的第一和第二信号输出单元可以连续地构造单个输出单元。图20示出了包括音频信号解码装置的TV，该音频信号解码装置具有构造在单个输出单元中的第一和第二信号输出单元。在本公开内容中，TV被取为例子。然而，本公开内容可以广泛地应用于包括音频信号解码器的设备。
参照图20，输出单元2010和2020包括被安置在垂直方向上的两个单元L和R。输出单元2010和2020包括用于输出周围环境分量信号的第一信号输出单元和用于输出音频信号或源分量信号的第二信号输出单元。并且，在图20的底部示出了关于位于屏幕部分左侧的输出单元2101的放大的内部示图。左输出单元2010包括第一信号输出单元2011和第二信号输出单元2012。并且，能够将第一和第二信号输出单元2011和2012安置为输出方向彼此不同。例如，第二信号输出单元2012的输出方向被安置为朝向前侧，而第一信号输出单元2011的输出方向被安置为朝向横向后侧或横向前侧。
此外，能够基于特性信息使第一和第二信号输出单元2011和2012的输出方向转向或移位。可以根据声源的特性或其操作模式来确定特性信息。声源的特性或操作模式可以包括在指示输入到音频信号解码装置的音频信号的比特流中或者可以存储在根据本发明的音频信号解码装置的周围环境分量信号修改单元1130中。此外，收听者可以经由收听者输入设备(图中未示出)输入声源的特性或操作模式。
例如，在收听者尝试仅再生不具有环绕效果的立体声信号的情况中，收听者使用遥控器等输入预设2声道模式。如果情况如此，则音频信号解码装置接收该模式并且随后能够使第一信号输出单元2011的安置方向转向，从而使第一信号输出单元2011的输出方向与第二信号输出单元2012的输出方向相同。该安置方向的转向可以通过机械旋转或者通过信号处理方法而获得。
根据本发明的另一实施例，包括第一和第二信号输出单元的输出单元可以具有多种构造。图21示出了输出单元的例子。输出单元可以包括多个单元。并且，多个单元中的每个单元可以包括第一信号输出单元或第二信号输出单元。参照图21，具有圆柱构造的输出单元是容易地可旋转的，通过向每个划分区域输出不同的信号增加了立体声效果，并且根据特性信息控制每个单元的输出方向。输出单元的圆柱构造并未使本发明的例子仅限于每个例子包括具有可旋转的构造的多个单元。
在根据本发明的音频信号解码装置中，第一信号输出单元或第二信号输出单元可以包括多个单元以及输出单元。在该情况中，多个单元可以输出不同频带的信号并且每个单元的输出方向可以根据单元特性信息来调节。单元特性信息可以根据声源的特征来确定。声源的特性可以包括在指示输入到音频信号解码装置的音频信号的比特流中或者可以存储在根据本发明的音频信号解码装置的周围环境分量信号修改单元1130中。此外，收听者可以经由收听者输入设备(图中未示出)输入声源的特性。
根据本发明的又一实施例，能够通过将用于输出周围环境分量信号的第一信号输出单元安置在屏幕部分上方的方式来增强音频信号的立体声效果。图22示出了作为音频信号解码装置的例子的TV，该音频信号解码装置具有在屏幕部分所处的前侧彼此垂直安置的第一和第二信号输出单元，其中第一信号输出单元被安置在屏幕部分上方。参照图22，输出单元包括用于输出周围环境分量信号的第一信号输出单元2210和用于输出源分量信号的第二信号输出单元2220和2230。并且，第二信号输出单元可以位于屏幕部分2240的左侧和右侧。第一信号输出单元2210位于第二信号输出单元2220和2230以及屏幕部分2240的同一平面中并且可被安置在屏幕部分2240上方以垂直于第二信号输出单元2220和2230。
参照图22，当TV的第一信号输出单元2210被安置在屏幕部分2240上方以垂直于第二信号输出单元2220和2230时，从第一信号输出单元2210输出周围环境分量信号并且随后使用天花板反射该周围环境分量信号。因此，较之第一信号输出单元位于第二信号输出单元的横向后方或前方的情况，第一信号输出单元2210位于顶部的情况进一步包括因与天花板的碰撞而反射的步骤，由此可以进一步增强音频信号的立体声效果。此外，第一信号输出单元2210不仅位于屏幕部分2240上方以与第二信号输出单元2220和2230垂直，而且通过构造多种角度被安置在屏幕部分2240上方。
在图22中，示出了第一信号输出单元2210位于屏幕部分2240上方的情况。第一信号输出单元2210可以位于音频解码装置上方以与包括屏幕部分和第二信号输出单元的前侧垂直，或者可以位于与前侧相反的背侧上方。并且，第一信号输出单元可被安置为使用物理或电学方法与平面形成特定的角度。
根据本发明的又一实施例，提出了一种解码装置和方法，用于以通过考虑其中使用音频信号解码装置的环境而重新修改周围环境分量信号的方式，来增强音频信号的立体声效果。如下参照图23对其进行详细解释。
参照图23，根据本发明的用于对音频信号解码的装置主要包括音频信号提取单元2310、周围环境分量信号提取单元2320、环境信息产生单元2330、周围环境分量信号修改单元2340、源分量信号提取单元2350、第一信号输出单元2360和第二信号输出单元2370。音频信号提取单元2310、周围环境分量信号提取单元2320、源分量信号提取单元2350、第一信号输出单元2360和第二信号输出单元2370具有与图11或图16中示出的音频信号提取单元1110、周围环境分量信号提取单元1120、源分量信号提取单元1140、第一信号输出单元1650和第二信号输出单元1660相同的功能和任务。并且，在下面的描述中将省略它们的细节。该音频信号解码装置进一步包括用于修改所提取的源分量信号的源分量信号修改单元(图中未示出)，由此可以增强音频信号的立体声效果。
环境信息产生单元2330向收听者输入设备(图中未示出)传输多种预设模式并且随后能够输出与收听者选择的模式对应的预设环境信息。作为预设模式的例子，在电视的情况中存在墙壁安装模式或直立模式。环境信息产生单元2330向周围环境信息信号修改单元2340输出与墙壁安装模式或直立模式对应的环境信息。不同于直立模式，与墙壁安装模式对应的环境信息可被设定为音频信号解码装置和反射平面之间的较窄的距离。同时，收听者能够向环境信息产生单元2330直接输入环境信息。例如，收听者能够使用输入设备输入音频信号解码装置的背侧和反射平面之间的距离、装置的顶侧和天花板之间的距离、装置的横向侧和反射平面之间的距离等。并且，环境信息产生单元2330随后能够产生环境信息。
此外，环境信息可以包括关于音频信号解码装置和收听位置之间的周围环境特性的信息。例如，关于周围环境特性的信息可以包括解码装置和收听位置之间的距离。用于使音频信号的立体声效果最大的最优收听位置可以因音频信号解码装置和收听位置之间的距离而变化。因此，环境信息产生单元2330经由收听者输入设备来接收距离，产生环境信息并且随后能够向周围环境分量信号修改单元2340输出所产生的环境信息。而且，环境信息产生单元2330能够使用分离的检测设备(图中未示出)估计收听者的位置。例如，环境信息产生单元2330能够使用诸如麦克风、遥控器等这样的分离的声音传感器来估计音频信号解码装置和收听者之间的距离。
根据本发明的音频信号解码装置和方法可以通过基于以上产生的环境信息修改周围环境分量信号的方式进一步增强音频信号的立体声效果。
根据本发明的又一实施例，通过输出比源分量信号延迟更多的周围环境分量信号或者通过向源分量信号提供扩展效果，能够增强音频信号的立体声效果。图24是进一步包括输出延迟单元2451的音频信号解码装置的示意图。参照图24，用于输出周围环境分量信号的第一信号输出单元2450包括输出延迟单元2451和输出单元2452，并且能够以比第二信号输出单元2460输出的源分量信号延迟更多的时间输出周围环境分量信号。因此，通过使音频信号的回响效果最大，获得了提供立体声效果的效果。
图25是进一步包括扩展效果施加单元2561的音频信号解码装置的示意图。参照图25，用于输出源分量信号的第二信号输出单元2560包括扩展效果施加单元2561和输出单元2562。扩展效果施加单元2561带来了使从第二信号输出单元2560输出的每个源分量信号的距离扩展的效果，由此可以收听在更广阔的空间中的音频信号。
此外，根据本发明的音频信号解码装置包括第一信号输出单元中的输出延迟单元和第二信号输出单元中的扩展效果施加单元，由此增强音频信号的立体声效果。
根据本发明，上述解码/编码方法可以作为计算机可读代码在程序记录介质中实现。计算机可读介质包括其中存储计算机系统可读的数据的所有类别的记录设备。计算机可读介质包括例如ROM、RAM、CD-ROM、磁带、软盘、光学数据存储设备等并且还包括载波类型实现方案(例如，经由互联网传送)。并且，编码方法产生的比特流被存储在计算机可读记录介质中或者可以经由有线/无线通信网络传送。
虽然此处参照本发明的优选实施例已描述和说明了本发明，但是对于本领域的技术人员将显而易见的是，在不偏离本发明的精神和范围的前提下，可以进行多种修改和变化。因此，本发明应涵盖所附权利要求及其等效物的范围内的本发明的修改和变化。
工业应用 因此，本发明可应用于音频信号的编码和解码。
权利要求
1.一种解码音频信号的方法，包括
接收音频信号，所述音频信号具有包括周围环境分量信号和源分量信号的多个声道信号；
基于所述声道信号之间的相关性来提取每个声道的所述周围环境分量信号和所述源分量信号；
使用环绕效果信息修改所述周围环境分量信号；以及
使用所述修改的周围环境分量信号和所述源分量信号产生包括多个声道的所述音频信号。
2.如权利要求1所述的方法，其中，每个预定的时间和每个预定的频带地估计所述相关性。
3.如权利要求1所述的方法，其中，在每个所述声道中包括的分量信号之间，所述周围环境分量信号具有低的相关性。
4.如权利要求1所述的方法，其中，所述环绕效果信息是施加到所述周围环境分量信号的等级信息。
5.如权利要求1所述的方法，其中，所述环绕效果信息是施加到所述周围环境分量信号的时间延迟、滤波器或相位信息。
6.如权利要求1所述的方法，进一步包括
使用扩展效果信息修改所述源分量信号。
7.如权利要求1所述的方法，其中，通过从所述音频信号消除所提取的周围环境分量信号来获得所述源分量信号。
8.如权利要求1所述的方法，其中，经由广播信号接收所述音频信号。
9.如权利要求1所述的方法，其中，经由数字介质接收所述音频信号。
10.一种解码音频信号的装置，包括
音频信号接收单元，接收包括周围环境分量信号和源分量信号的多个声道信号；
周围环境分量信号提取单元，基于所述声道信号之间的相关性来提取每个声道的所述周围环境分量信号和所述源分量信号；
周围环境分量信号修改单元，使用环绕效果信息修改所述周围环境分量信号；
源分量信号提取单元，基于所述声道信号之间的相关性来提取所述声道的每个的所述源分量信号；以及
信号输出单元，输出所述周围环境分量信号和所述源分量信号。
11.如权利要求10所述的装置，其中，所述周围环境分量信号提取单元基于每个预定时间和每个预定频带地估计的相关性而提取所述周围环境分量信号。
12.如权利要求10所述的装置，其中，所述环绕效果信息包括等级信息、时间延迟、滤波器和相位信息的至少之一。
13.如权利要求10所述的装置，进一步包括源分量信号修改单元，所述源分量信号修改单元通过向所提取的源分量信号施加扩展效果来扩展所述源分量信号之间的距离。
14.一种解码音频信号的装置，包括
音频信号接收单元，接收所述音频信号，所述音频信号具有包括周围环境分量信号和源分量信号的多个声道信号；
周围环境分量信号提取单元，其基于所述声道信号之间的相关性来提取每个声道的所述周围环境分量信号和所述源分量信号；
周围环境分量信号修改单元，使用环绕效果信息修改所述周围环境分量信号；
源分量信号提取单元，从输入到所述音频信号接收单元的信号中消除所提取的周围环境分量信号；以及
信号输出单元，输出所述周围环境分量信号和所述源分量信号。
15.一种计算机可读记录介质，包括记录在其中的用于执行如权利要求1所述的步骤的程序。
全文摘要
公开了一种对音频信号解码的方法。本发明包括以下步骤接收具有包括周围环境分量信号和源分量信号的多个声道信号的音频信号，基于声道信号之间的相关性来提取每个声道的周围环境分量信号和源分量信号，使用环绕效果信息修改周围环境分量信号，以及使用经修改的周围环境分量信号和源分量信号产生包括多个声道的音频信号。因此，在根据本发明的用于对音频信号解码的装置及其方法中，基于相关性提取周围环境分量信号并且对其进行修改，并且分别使用不同的信号输出单元输出经修改的周围环境和源分量信号。因此，本发明增强了音频信号的立体声效果。并且，用于输出周围环境分量信号的信号输出单元被布置为，其输出方向不同于用于输出源分量信号的另一信号输出单元的输出方向，由此可以向收听者提供周围环境声音被增强的音频信号。
文档编号G10L19/00GK101836249SQ200880112498
公开日2010年9月15日 申请日期2008年9月8日 优先权日2007年9月6日
发明者吴贤午, 李铭勋, 郑亮源, 克里斯托夫·法勒 申请人:Lg电子株式会社