处理音频信号的方法和装置的制作方法

专利名称：处理音频信号的方法和装置的制作方法
技术领域：
本发明涉及音频信号处理，并且更具体地，涉及用于处理音频信号的装置及其方 法。尽管本发明适用于大范围的应用，但是它特别适合于处理经由数字介质、广播信号等接 收的音频信号。
背景技术：
通常，在用于通过将包括多个对象的音频信号下混合成单声道或立体声信号来生 成下混合信号的过程中，从该对象中提取参数(或信息)。这些参数(或信息)在对下混合 信号解码中进行使用。而且，对象的位置和增益可以通过由用户进行的选择以及参数来控 制。

发明内容
技术问题然而，包括在下混合信号中的对象应当通过用户的选择来控制。在用户控制对象 的情况下，用户不便于直接控制所有对象信号。而且，重现包括多个对象的音频信号的最佳 状态可能比专家控制对象的情况更加困难。技术方案因此，本发明针对一种用于处理音频信号的装置及其方法，该装置和方法基本上 消除了由于现有技术的限制和缺点而引起的一个或多个问题。本发明的目的在于提供一种用于处理音频信号的装置及其方法，通过该装置和方 法可以使用包括预设渲染参数和预设元数据的预设信息来控制对象的电平和位置。本发明的另一目的在于提供一种用于处理音频信号的装置及其方法，通过该装置 和方法可以使用包括在独立于下混合信号输入的比特流中的外部预设信息来控制对象的 电平和位置。本发明的另一目的在于提供一种用于处理音频信号的装置及其方法，通过该装置 和方法可以通过根据音频源的特性，使用指示与下混合信号一起输入的预设信息的属性的 预设属性信息，将在独立于下混合信号输入的比特流上承载的外部预设信息应用于整个下 混合或者下混合信号的数据区域，来控制包括在下混合信号中的对象。本发明的另一目的在于提供一种用于处理音频信号的装置及其方法，通过该装置 和方法可以基于用户进行的选择，使用与从在屏幕上显示的多个外部预设元数据中选择的 一个相对应外部预设渲染参数来控制对象的电平和位置。本发明的又一目的在于提供一种用于处理音频信号的装置及其方法，通过该装置 和方法可以以在屏幕上显示对象的方式来从用户接收反馈信息，该对象通过使外部预设渲 染参数应用于该对象以及选择的外部预设元数据来控制。有益效果因此，本发明提供了如下效果或优点。
首先，本发明单独地选择通过数据区域(或帧单元)应用预设信息，或者选择将同 一预设信息应用于整个下混合信号，由此高效地重建音频信号。第二，本发明在没有每个对象的用户设定的情况下，使用外部预设元数据以及预 先设定的预设信息来选择多个外部预设渲染参数中的一个，由此便于调整对象的输出声道 的电平。第三，本发明通过检查对象来选择更适当的外部预设信息，由此调整对象的输出 声道的电平或位置，该对象通过使外部预设信息应用于该对象以及选择的预设元数据来控 制。


附图被包括进来以提供本发明的进一步的理解并且被并入本说明书且构成本说 明书的一部分，附示了本发明的实施例并且连同描述一起用于解释本发明的原理。在附图中图IA和图IB是根据本发明的一个实施例的根据预设属性信息通过应用预设信息 来调整包括在下混合信号中的对象的概念的示图；图2是根据本发明的一个实施例的根据预设属性信息使用外部预设信息来调整 包括在下混合信号中的对象的概念的示图；图3是应用于包括在下混合信号中的对象的外部预设信息的概念的示图；图4是根据本发明的一个实施例的音频信号处理装置的框图；图5A和图5B是根据本发明的一个实施例的静态预设信息接收单元、动态预设信 息接收单元和渲染单元的示意性配置的框图；图6是根据本发明的一个实施例的外部预设信息接收单元和渲染单元的示意性 配置的框图；图7是图5A至图6的一个中示出的预设渲染参数接收单元的示意性配置的框图；图8是根据本发明的一个实施例的音频信号处理装置的框图；图9是外部预设信息的比特流结构的示图；图10至图12是根据本发明的另一实施例的与本发明相关的语法的各种示图；图13是根据本发明的另一实施例的音频信号处理装置的框图；图14是根据本发明的另一实施例的音频信号处理装置的显示单元的示图；图15是根据本发明的另一实施例的显示对其应用外部预设信息的对象的至少一 个图示对象的示图；图16是根据本发明的另一实施例的包括外部预设信息接收单元、外部预设信息 应用确定单元、静态预设信息接收单元、动态预设信息接收单元和渲染单元的产品的示意 图；图17A和图17B是根据本发明的另一实施例的产品的关系的示意图，这些产品中 的每一个包括外部预设信息接收单元、外部预设信息应用确定单元、静态预设信息接收单 元、动态预设信息接收单元和渲染单元；以及图18是根据本发明的又一实施例的包括外部预设信息接收单元、外部预设信息 应用确定单元、静态预设信息接收单元、动态预设信息接收单元和渲染单元的广播信号解码装置的示意性框图。最佳模式本发明的另外的特征和优点将在下面的描述中进行阐述，并且部分地从描述中而 明显，或者可以通过实践本发明来习得。本发明的目的和其他优点将通过所撰写的说明书 及其权利要求以及附图中具体指出的结构来实现和获得。为了实现这些和其他优点并且根据本发明的目的，如所实施和广泛描述的，根据 本发明的一种处理音频信号的方法包括用于处理音频信号的装置，包括信息接收单元， 该信息接收单元接收包括至少一个对象的下混合信号以及用于渲染包括在下混合信号中 的至少一个对象的多个预设信息；外部预设信息接收单元，该外部预设信息接收单元接收 从外部输入的多个外部预设信息以及指示应用了外部预设信息的对象数目的应用的对象 数目信息；外部预设应用确定单元，该外部预设应用确定单元基于应用的对象数目信息来 确定是否将多个外部预设信息应用于下混合信号；外部预设信息选择单元，如果选择了多 个外部预设信息，则该外部预设信息选择单元在多个外部预设信息中选择一个外部预设信 息；以及渲染单元，该渲染单元通过将外部预设信息应用于所有数据区域来控制对象，其 中，外部预设信息包括用于渲染下混合信号的外部预设渲染参数和指示外部预设渲染参数 的属性的外部预设元数据。优选地，外部预设应用确定单元进一步使用指示是否将外部预设信息应用于下混 合信号的外部元数据信息。优选地，外部预设信息接收单元包括外部预设渲染参数接收单元，该外部预设渲 染参数接收单元接收作为从外部输入的渲染数据的外部预设渲染参数；以及外部预设元数 据接收单元，该外部预设元数据接收单元接收指示外部预设渲染参数的属性的外部预设元 数据。优选地，该装置进一步包括显示单元，该显示单元显示多个外部预设元数据，以在 多个外部预设信息中选择一个外部预设信息；以及预设信息输入单元，该预设信息输入单 元被输入在多个外部预设元数据中选择一个外部预设元数据的选择信号，其中，预设信息 选择单元基于选择信号来选择一个外部预设信息。更优选地，显示单元进一步显示基于选择信号进行选择的选择的外部预设元数 据。更优选地，显示单元包括指示对象的电平或位置的一个或多个图形元素。在该情况下，对图形元素进行修改以指示对象的电平或位置以及激活。更优选地，当显示单元操作地耦合到外部预设信息选择单元时，显示单元一次显 示多个外部预设元数据。优选地，该装置进一步包括输出单元，该输出单元输出修改的对象；以及存储单 元，该存储单元存储选择的外部预设信息。为了进一步实现这些和其他优点并且根据本发明的目的，一种处理音频信号的方 法包括接收包括至少一个对象的下混合信号、用于渲染包括了下混合信号的至少一个对 象的多个预设信息、从外部输入的多个外部预设信息以及指示应用了外部预设信息的对象 数目的应用的对象数目信息；基于应用的对象数目信息来确定是否将多个外部预设信息应 用于下混合信号；如果选择了多个外部预设信息，则在多个外部预设信息中选择一个外部预设信息；以及通过将外部预设信息应用于所有数据区域来控制对象，其中，外部预设信息 包括用于渲染下混合信号的外部预设渲染参数和指示外部预设渲染参数的属性的外部预 设元数据。优选地，该确定进一步使用指示是否将外部预设信息应用于下混合信号的外部元 数据信息。优选地，在渲染之后，该方法进一步包括显示对象的受控电平和选择的外部预设 元数据。优选地，在渲染之后，该方法进一步包括存储选择的外部预设信息。应当理解，前面的一般描述和后面的详细描述是示例性的和解释性的，并且旨在 提供要求保护的本发明的进一步的解释。
具体实施例方式现将详细参考本发明的优选实施例，在附图中图示了本发明的示例。首先，本发明 中的术语可以被解释为如下引用。而且，本说明书中没有公开的术语可以被解释为匹配本 发明的技术思想的如下意义和概念。因此，本公开的实施例和附图中实现的配置仅是本发 明的一个最优选的实施例，并且无法表示本发明的所有技术思想。因此，应当理解，在提交 本申请时，可能存在替代它们的各种修改/变化和等同物。在本公开中，‘信息’是通常包括值、参数、系数、元素等的术语，并且可以偶尔不同 地解释其意义，本发明不限于此。图IA和图IB是根据本发明的一个实施例的通过根据预设属性信息应用预设信息 来调整包括在下混合信号中的对象的概念的示图。本发明的音频信号由编码器编码成下混 合信号和对象信息。下混合信号或对象信息通过被承载在单个比特流或者独立比特流上来 被传输到解码器。预设信息被包括在对象信息中，并且指示预先设定为调整包括在下混合 信号中的对象的电平、平移等的信息。预设信息可以包括各种模式，并且能够包括用于实际 调整对象的渲染参数和指示相应模式的特性的元数据。这将在稍后参考图2和图3来详细 解释。参考图IA和图1B，包括在比特流中的对象信息具体地包括配置信息区域和多个 数据区域(数据区域1、数据区域2、…数据区域η)。配置信息区域是位于对象信息的比特 流的前面部分的区域，并且包含共同应用于对象信息的所有数据区域的信息。例如，配置区 域信息可以包含包括树结构等的配置信息、数据区域长度信息、对象数目信息等。相反，数据区域是通过基于包含在配置信息区域中的数据区域长度信息对整个音 频信号的时域进行划分而生成的单位，并且能够包括帧。对象信息的数据区域与下混合信 号的数据区域相对应，并且包含诸如基于相应的数据区域的对象的属性的对象电平信息、 对象增益信息等的对象数据信息。在根据本发明的一个实施例的音频信号处理方法中，从比特流的对象信息中读取 预设属性信息(presetjttributejnformation)。预设属性信息指示预设信息被包括在比 特流的哪个区域中。具体地，预设属性信息指示预设信息被包括在对象信息的配置信息区 域还是对象信息的数据区域中，并且在表1中示出了其详细意义。[表 1]
预设属性信息 (preset—attribute—information )冠、^Cr0预设信息被包括在配置信息区域 中。1预设信息被包括在数据区域中。参考图1A，如果预设属性信息被设定为0以指示预设信息被包括在配置信息区域 中，则以如下方式执行渲染从配置信息区域中提取的预设信息被等同地应用于下混合信 号的所有数据区域。相反，参考图1B，如果预设属性信息被设定为1以指示预设信息被包括在数据区 域中，则以如下方式执行渲染从数据区域中提取的预设信息被等同地应用于下混合信号 的相应的数据区域。例如，将从数据区域1中提取的预设信息应用于数据区域1的下混合 信号。而且，从数据区域η中提取的预设信息被应用于数据区域η的下混合信号。而且，预设属性信息能够指示预设信息是静态的还是动态的。当预设属性信息被 设定为0时，如果预设信息被包括在配置信息区域中，则能够称为预设信息是静态的。在该 情况下，预设信息被静态地和等同地应用于所有数据区域。相反，当预设属性信息被设定为1时，如果预设信息被包括在数据区域中，则能够 称预设信息是动态的。在该情况下，由于预设信息仅被应用于相应的数据区域以渲染该相 应的数据区域的下混合信号，因此预设信息对于每个数据区域是动态应用的。在该情况下， 如果预设信息是动态的，则优选的是，预设信息存在于数据区域的扩展区域中。如果预设信 息是静态的，则优选的是，预设信息存在于配置信息区域的扩展区域中。因此，根据本发明的一个实施例的音频信号处理方法能够以如下方式渲染下混合 信号通过预设属性信息根据音频源的特性来使用适用于每个数据区域的预设信息，或者 将同一预设信息应用于所有数据区域。图2是根据本发明的一个实施例的根据预设属性信息使用外部预设信息来调整 包括在下混合信号中的对象的概念的示图。首先，本发明的音频信号被编码为下混合信号和对象信息。如前面参考图IA和图 IB的描述中提到的，下混合信号和对象信息作为一个比特流或独立比特流被传输到解码 器。在该情况下，传输比特流的对象信息可以进一步包括指示包括在下混合信号中的对象 数目的对象数目信息以及预设属性信息和预设信息。同时，外部预设信息作为外部比特流(并非从编码器)被外部地输入到解码器，并 且包括在从编码器传输的对象信息中的预设信息也被输入到解码器，以渲染下混合信号。 作为预先设定为调整对象的信息集合，不是从编码器而是从外部环境输入的预设信息在本 公开中被称为外部预设信息。包括在外部比特流中的外部预设信息可以包括用于调整对象 的增益和/或平移的外部预设渲染参数以及指示外部预设渲染参数的属性的外部预设参 数。而且，外部比特流可以进一步包括指示将对其应用外部预设信息的包括在下混合信号 中的对象的数目的应用的对象数目信息以及指示是否使用外部预设信息的外部元数据信 肩、ο
能够使用对象数目信息和应用的对象数目信息来确定将使用外部预设信息还是 预设信息。这将在后面参考图4来详细解释。如果确定使用外部预设信息，则可以以如下 方式调整对象外部预设信息被等同地和静态地应用于下混合信号的所有数据区域。图3是应用于包括在下混合信号中的对象的外部预设信息的概念的示图。首先，可以以各种模式来表示外部预设信息，可以根据音频信号的特性或者收听 环境来选择的各种模式。而且，可能存在至少一个外部预设信息。而且，外部预设信息可以 包括适用于调整对象的外部预设渲染参数和用于表示外部预设渲染参数的属性的外部预 设元数据等。能够以文本形式表示外部预设元数据。外部预设元数据可以指示外部预设信 息的属性以及外部预设渲染参数的属性(例如，音乐厅模式、卡拉OK模式、新闻模式等)。外部预设元数据可以包括用于表示外部预设渲染参数的相关信息(诸如外部预 设渲染参数的作者、外部预设渲染参数的编写日期、对其应用外部预设渲染参数的对象的 名称等)、指示预设信息的文件格式的文件扩展信息等。同时，外部预设渲染参数是基本上 适用于对象的数据，并且可以以各种形式(例如，矩阵)来表示以与外部预设元数据相对 应。参考图3，外部预设信息1可以与用于提供声音舞台效果的音乐厅模式相对应，其 使得收听者能够收听音乐信号，如同收听者位于音乐厅中。外部预设信息2可以是用于减 少音频信号中的声乐对象的电平的卡拉OK模式。而且，外部预设信息η可以是用于提高话 音对象的电平的新闻模式。而且，外部预设信息包括外部预设元数据和外部预设渲染参数。 如果用户选择外部预设信息2，则与外部预设元数据2相对应的卡拉OK模式将被显示在显 示单元上。而且，能够通过将与外部预设元数据2相关的外部预设信息2应用于对象来调 整电平。在该情况下，外部预设渲染参数可以包括单声道外部预设渲染参数、立体声外部 预设渲染参数和多声道外部预设渲染参数。外部预设渲染参数根据对象的最终输出声道 (或者，包括对象的下混合信号的最终输出声道)来确定。单声道外部预设渲染参数是在对 象的输出声道是单声道的情况下应用的外部预设渲染参数。立体声外部预设渲染参数是在 对象的输出声道是立体声的情况下应用的外部预设渲染参数。而且，多声道外部预设渲染 参数是在对象的输出声道是多声道的情况下应用的外部预设渲染参数。一旦根据配置信息 确定了对象的输出声道，就使用确定的输出声道来确定外部预设渲染参数的类型。然后，能 够通过将外部预设渲染参数应用于所有数据区域来调整包括在下混合信号中的对象。图4是根据本发明的一个实施例的音频信号处理装置400的框图。参考图4，音频信号处理装置400可以包括下混合单元410、预设信息生成单元 420、外部预设信息接收单元430、外部预设信息应用确定单元440、静态预设信息接收单元 450、动态预设信息接收单元460和渲染单元470。下混合单元410接收至少一个或多个对象，对象1、对象2、对象3、…、对象η，并 且然后通过下混合接收到的至少一个或多个对象来生成下混合信号。在该情况下，对象指 源，并且可以包括声乐、吉他、钢琴等。下混合信号的声道数目小于输入信号的声道数目。而 且，下混合信号可以包括所有对象。预设信息生成单元420生成用于在渲染情况下调整包括在音频信号中的对象的 预设信息，并且能够生成预设渲染参数、预设信息和指示预设信息的属性的预设属性信息。预设信息生成单元420可以包括预设属性确定单元、预设渲染参数生成单元和预设元数据 生成单元。这将在后面参考图13来解释。根据本发明的一个实施例，外部预设信息接收单元430接收从音频信号处理装置 400的外部环境输入的外部预设信息。外部预设信息包括多个外部预设渲染参数和与该外 部预设渲染参数相对应的多个外部预设元数据，并且还能够包括指示对其应用外部预设渲 染参数的对象的数目的应用对象数目信息。根据本发明的一个实施例的外部预设信息的比 特流结构将在后面参考图9来解释。外部预设信息应用确定单元440接收从预设信息生成单元420输入的预设信息 和从外部预设信息接收单元430输入的外部预设信息，并且然后确定是否应用外部预设信 息。首先，外部预设信息应用确定单元440从包括在外部预设信息接收单元430中的应用 对象数目信息接收单元431接收指示将对其应用外部预设信息的对象的数目的应用对象 数目信息。如果通过比较，应用对象数目信息等同于包括在预设信息中的对象数目信息，则 能够确定优选地使用外部预设信息。如果应用对象数目信息不同于对象数目信息，则通过提取指示从预设信息生成单 元420输入的预设信息的属性的预设属性信息来确定预设信息被包括在比特流的配置信 息区域还是其数据区域中。优选地，预设属性信息用于确定预设信息被包括在比特流的配 置信息的扩展区域中还是数据区域的扩展区域[附图中未示出]中。在该情况下，如果确 定了预设信息被包括在比特流的配置信息区域中，则激活静态预设信息接收单元450。如果 确定预设信息被包括在比特流的数据区域中，则激活动态预设信息接收单元460。基于预设属性信息，如果静态预设信息接收单元450被激活(表1中的preSet_ attribute_information = 0的情况)，则预设信息被输入到激活的静态预设信息接收单元 450以进行操作。静态预设信息接收单元450可以包括接收与所有数据区域相对应的预设 元数据的静态预设元数据接收单元以及接收预设信息的静态预设信息接收单元。这将在后 面参考图13详细解释。如果预设属性信息指示预设信息被包括在数据区域中(表1中的preSet_ attribute_flag = 1的情况)，则动态预设信息接收单元460被激活。动态预设信息接收 单元460能够包括接收与相应的数据区域相对应的预设元数据的动态预设元数据接收单 元以及接收每个数据区域的预设信息的动态预设信息接收单元。动态预设元数据接收单元 接收并且输出选择的预设元数据，并且动态预设信息接收单元接收预设信息。这将在后面 参考图11来详细解释。渲染单元470接收从下混合包括多个对象的音频信号而生成的下混合信号以及 从静态预设信息接收单元450或动态预设信息接收单元460输出的预设渲染参数。同时， 如果外部预设信息应用确定单元440确定应用外部预设信息，则渲染单元470从外部预设 渲染参数接收单元432接收外部预设渲染参数的输入。预设信息或外部预设渲染参数适用 于包括在下混合信号中的对象，由此可以调整对象的电平或位置。如果音频信号处理装置400包括显示单元[附图中未示出]，则从动态预设元数据 接收单元输出的选择的预设元数据、从静态预设元数据接收单元输出的选择的预设元数据 或者从外部预设元数据接收单元433输出的选择的外部预设元数据可以被显示在显示单 元的屏幕上。
图5A和图5B是根据本发明的实施例的将预设信息应用于渲染单元的方法的框 图。首先，图5A示出了将从静态预设信息接收单元450输出的预设信息应用于渲染单元 570的方法。在该情况下，静态预设信息接收单元450与前面的图4中示出的静态预设信息 接收单元450相同，并且包括静态预设元数据接收单元451和静态预设渲染参数接收单元 452。静态预设渲染参数接收单元452接收用于通过应用于下混合信号的所有数据区 域来调整对象的预设渲染参数。在该情况下，预设渲染参数可以包括从多个预设信息中选 择的一个预设信息中包括的渲染参数。相反，静态预设元数据接收单元451接收通过与一 个预设渲染参数相对应而指示预设渲染参数的属性的预设元数据。静态预设信息接收单元450接收并且输出预设元数据和与所有数据区域相对应 的预设渲染参数。而且，渲染单元570接收预设渲染参数。渲染单元570通过接收下混合信号以及预设渲染参数来执行每个数据区域的渲 染。渲染单元570包括数据区域1渲染单元571、数据区域2渲染单元572、…和数据区域 η渲染单元57η。在该情况下，以渲染单元570的所有数据区域渲染单元54Χ将接收到的预 设渲染参数等同地应用于下混合信号的方式来执行渲染。例如，如果从静态预设渲染参数 接收单元452输出的预设渲染参数是指示卡拉OK模式的外部重置渲染参数2，则能够将卡 拉OK模式应用于范围从第一数据区域到第η数据区域的所有数据区域。图5Β示出了将从动态预设信息接收单元460输出的预设信息应用于渲染单元570 的方法。动态预设信息接收单元460与前面的图4中示出的动态预设信息接收单元460相 同，并且包括动态预设元数据接收单元461和动态预设渲染参数接收单元462。动态预设信息接收单元460从每个数据区域的动态预设渲染参数接收预设渲染 参数。动态预设信息接收单元460接收并且输出来自动态预设元数据接收单元461的预设 元数据。然后，预设渲染参数被输入到渲染单元570。渲染单元570通过接收下混合信号和预设渲染参数来执行每个数据区域的渲染。 渲染单元570包括数据区域1渲染单元571、数据区域2渲染单元572、…和数据区域η渲 染单元57η。在该情况下，渲染单元570的每个数据区域渲染单元MX通过接收与每个数据 区域相对应的预设渲染参数并且将其应用到下混合信号来执行渲染。例如，音乐厅模式的预设信息1被应用于第一数据区域。经典模式的预设信息3 适用于第二数据区域。卡拉OK模式的预设信息2可以适用于第六数据区域。在该情况下， 预设信息η中的‘η’指示外部预设模式的索引。而且，应当理解，每个数据区域地输出与每 个预设渲染参数相对应的预设元数据。图6是根据本发明的实施例的将外部预设信息应用于渲染单元的方法的框图。首 先，外部预设信息接收单元430与前面的图3中的外部预设信息接收单元430相同，并且包 括外部预设元数据接收单元433和外部预设渲染参数接收单元432。外部预设渲染参数接收单元432接收用于通过应用于下混合信号的所有数据区 域来调整对象的预设渲染参数。在该情况下，外部预设渲染参数可以包括从多个外部预设 信息中选择的一个外部预设信息中包括的渲染参数。相反，外部预设元数据接收单元433 接收通过与一个外部预设渲染参数相对应而指示外部预设渲染参数的属性的外部预设元 数据。
外部预设信息接收单元430接收并且输出外部预设元数据和与所有数据区域相 对应的外部预设渲染参数。而且，渲染单元670接收外部预设渲染参数。渲染单元670通过接收下混合信号以及外部预设渲染参数来执行每个数据区域 的渲染。渲染单元670包括数据区域1渲染单元671、数据区域2渲染单元672、…和数据 区域η渲染单元67η。在该情况下，以渲染单元670的所有数据区域渲染单元64Χ将接收到 的外部预设渲染参数等同地应用于下混合信号的方式来执行渲染。例如，如果从外部预设 渲染参数接收单元432输出的外部预设渲染参数是指示经典模式的外部重置渲染参数3， 则能够将卡拉OK模式应用于范围从第一数据区域到第η数据区域的所有数据区域。图7是包括在音频信号处理装置400的静态预设信息接收单元450中的静态预设 渲染参数接收单元452、包括在动态预设信息接收单元460中的动态预设渲染参数接收单 元462、或者包括在外部预设信息接收单元430中的外部预设渲染参数接收单元432的示意 性配置的框图。动态/静态/外部预设渲染参数接收单元452/462/432包括输出声道信息接收 单元45h/462a/43h和预设渲染参数确定单元452b/462b/432b。输出声道信息接收单元 45h/462a/43h接收并且输出指示将从其输出下混合信号中包括的对象的输出声道的数 目的输出声道数目信息。在该情况下，输出声道数目信息可以指示单声道、立体声声道或者 多声道(5.1声道)，本发明不限于此。预设渲染参数确定单元452b/462b/432b基于从输出声道信息接收单元 45h/462a/43h输入的输出声道数目信息来接收并且输出相应的预设渲染参数或者相应 的外部预设渲染参数。在该情况下，外部预设渲染参数可以包括单声道外部预设渲染参数、 立体声外部预设渲染参数和多声道外部预设渲染参数中的一个。而且，预设渲染参数可以 包括单声道预设渲染参数、立体声预设渲染参数和多声道预设渲染参数中的一个。在预设 渲染参数或者外部预设渲染参数是矩阵类型的情况下，其尺寸可以基于对象的数目和输出 声道的数目来确定。而且，预设矩阵或者外部预设矩阵可以具有(对象的数目)X (输出声 道的数目)的形式。例如，当下混合信号中包括η个对象时，如果来自输出声道信息接收单 元45^/4623/43 的输出声道与5. 1声道(即，6个声道)相对应，则预设渲染参数确定单 元452b/462b/432b可以输出以nX6的形式实现的多声道预设渲染参数或者多声道外部预 设渲染参数。在该情况下，矩阵的元素是指示包括在第i个声道中的第a个对象的程度的 增益值。图8是根据本发明的另一实施例的音频信号处理装置800的框图。参考图8，音 频信号处理装置800主要包括下混合单元810，对象信息生成单元820、预设信息生成单元 830、下混合信号处理单元840、信息处理单元850和多声道解码单元860。将多个对象(对象1、对象2、…对象η)输入到下混合单元810以生成单声道或 立体声下混合信号。而且，多个对象被输入到对象信息生成单元820以生成包括在下混合 信号中的指示对象电平的对象电平信息和对象的增益值。在立体声下混合信号的情况下， 对象信息生成单元820生成指示包括在下混合声道中的对象的程度的对象增益信息、指示 是否存在对象之间的相关的对象相关信息等。随后，下混合信号和对象信息被输入到预设 信息生成单元830。然后，预设信息生成单元830生成指示预设信息被包括在比特流的数据 区域还是比特流的配置信息区域中的预设属性信息以及包括预先设定为执行渲染以调整对象的电平或位置的预设渲染参数和用于表示预设渲染参数的预设元数据的预设信息。如 前面图1至4中示出的音频信号处理装置和方法的描述中提到的，用于生成预设属性信息、 预设渲染参数和预设元数据的过程遵循其相同的描述。而且，预设信息生成单元830能够进一步生成指示比特流中是否存在预设信息的 预设存在信息、指示预设信息的数目的预设数目信息和指示预设元数据的长度的预设元数 据长度信息。对象信息生成单元820生成的对象信息和预设信息生成单元830生成的预设 属性信息、预设信息、预设元数据、预设存在信息、预设数目信息和预设元数据长度信息可 以通过被包括在SAOC比特流中来被传输，或者可以以其中还包括下混合信号的一个比特 流的形式来被传输。在该情况下，包括下混合信号和预设相关信息的比特流可以被输入到 解码装置的信号接收单元(图中未示出)。信息处理单元850包括对象信息处理单元851、外部预设信息接收单元852、外部 预设信息应用确定单元853、静态预设信息接收单元852和动态预设信息接收单元853，并 且接收SAOC比特流。如前面参考图1至图7的描述中提到的，基于包括在SAOC比特流中 的预设属性信息来确定激活静态预设信息接收单元852还是动态预设信息接收单元853。根据本发明的一个实施例，外部预设信息接收单元852接收从音频信号处理装置 800的外部环境输入的外部预设信息。将接收到的外部预设信息输入到外部预设信息应用 确定单元853，以确定外部预设信息是否将用于调整对象。在使用外部预设信息的情况下，外部预设信息接收单元852接收到的外部预设信 息被直接输入到对象信息处理单元851。相反，在使用包括在SAOC比特流中的预设信息的 情况下，基于包括在SAOC比特流中的预设属性信息，将预设信息输入到静态预设信息接收 单元邪4或者动态预设信息接收单元855。静态预设信息接收单元邪4或者动态预设信息接收单元855经由SAOC比特流接 收上述预设属性信息。而且，外部预设信息接收单元852接收外部预设存在信息、外部预设 数目信息、外部预设元数据、输出声道信息和外部预设渲染参数(例如，外部预设矩阵)。而 且，使用根据图1至图7中示出的音频信号处理方法和装置中描述的各种实施例的方法。静态预设信息接收单元854、动态预设信息接收单元855或者外部预设信息接收 单元852输出经由SAOC比特流接收到的预设元数据和预设渲染数据，或者经由外部比特流 接收到的外部预设元数据和外部预设信息。然后，对象信息处理单元851接收输出的数据 和信息，以生成用于预处理下混合信号的下混合处理信息和用于使用下混合处理单元上混 合经预处理的下混合信号的多声道信息(以连同包括在SAOC比特流中的对象信息一起使 用输出的数据和信息的方式)。通过这样操作，从静态预设信息接收单元邪4输出的预设渲染数据和预设元数据 以及从外部预设信息接收单元852输出的外部预设渲染数据和外部预设元数据与所有数 据区域相对应。而且，从动态预设信息接收单元855输出的预设信息和预设元数据与数据 区域中的一个相对应。随后，下混合处理信息被输入到下混合信号处理单元840以变化其中包括下混合 信号中包含的对象的声道。因此，能够执行平移。因此，预处理的下混合信号与从信息处理 单元850输出的多声道信息一起被输入到多声道解码单元860。然后，能够通过一起上混合 输入的预处理的下混合信号和多声道信息来生成多声道音频信号。
在使用多声道信息将包括多个对象的下混合信号解码为多声道信号时，根据本发 明的另一实施例的音频信号处理装置便于使用从外部环境作为比特流独立输入的外部预 设渲染参数和外部预设元数据来调整对象的电平。图9是根据本发明的一个实施例的外部预设信息的比特流结构的示图。参考图9，为了与SAOC比特流兼容，外部预设信息包括文件ID910、外部预设渲染 参数920和外部预设元数据930。为了确定外部预设信息是否可以被应用于下混合信号，S卩，与SAOC比特流的同步 是否可能，文件ID 910可以包括指示对其应用外部预设信息的对象的数目的对象数目信 息。而且，文件ID 910可以包括针对同步单独定义的同步字，可以进一步包括指示外部预 设信息的数目的外部预设数目信息，并且可以包括被设定为使外部预设信息能够优选地与 应用的对象数目无关地使用的标识符。外部预设渲染参数920可以包含诸如包括在SAOC比特流中的预设渲染参数的内 容，并且能够包括参考图3描述的各种外部预设渲染参数。外部预设渲染参数920可以包 括用户设定类型的渲染数据以及矩阵类型渲染参数。而且，外部预设渲染参数920可以进 一步包括指示外部预设信息的数目和输出声道的数目的输出声道信息。同时，外部预设元数据930包括与外部预设渲染参数920相对应的元数据。图10至图12是根据本发明的另一实施例的与本发明相关的语法的各种示图。参考图10，能够配置要包括在配置信息的扩展区域中的预设信息。比特流的配置信息区域SAOCSpecificConfigO具有扩展区域 SAOCExtensionConfigO。如果接收到预设信息，则它可以由SAOCExtensionConfig (9)的 容器类型来指示，并且其意义在表2中公开。在图10中，SAOCExtensionConfigO)的扩展 区域包括预设信息I^resetConfigO。[表2]
权利要求
1.一种处理音频信号的方法，包括接收包括至少一个对象的下混合信号、指示所述对象的属性并且包括对象数目信息的 对象信息、用于渲染所述下混合信号的预设信息、从外部输入的并且包括外部预设渲染参 数和外部预设元数据的外部预设信息、以及指示应用了所述外部预设信息的对象的数目的 应用的对象数目信息；确定所述应用的对象数目信息是否与所述对象数目信息相同；以及 如果所述应用的对象数目信息与所述对象数目信息相同，则通过使用所述外部预设信 息来渲染所述下混合信号，其中，所述外部预设渲染参数渲染包括在所述下混合信号中的所述对象，并且所述外 部预设元数据指示所述外部预设渲染参数的属性。
2.根据权利要求1所述的方法，其中，所述确定进一步使用指示所述外部预设信息是 否应用于所述下混合信号的外部元数据信息。
3.根据权利要求1所述的方法，其中，所述外部预设渲染参数包括外部预设矩阵，所述 外部预设矩阵基于指示所述下混合信号的输出声道的数目的输出声道信息和所述应用的 对象数目信息。
4.根据权利要求3所述的方法，其中，所述渲染进一步包括通过使用所述外部预设矩 阵来修改所述对象的输出电平。
5.根据权利要求1所述的方法，其中，根据所述下混合信号的所述输出声道的数目，所 述外部预设渲染参数包括外部单声道预设渲染参数、外部立体声预设渲染参数和外部多声 道预设渲染参数。
6.根据权利要求1所述的方法，进一步包括通过使用所述对象信息和所述外部预设信息来生成控制所述下混合信号的平移或增 益的下混合处理信息以及用于上混合所述下混合信号的多声道信息；以及 通过使用所述下混合处理信息来修改所述下混合信号。
7.一种用于处理音频信号的装置。包括信号接收单元，所述信号接收单元接收包括至少一个对象的下混合信号、指示所述对 象的属性并且包括对象数目信息的对象信息以及渲染所述下混合信号的预设信息；外部预设信息接收单元，所述外部预设信息接收单元接收从外部输入的外部预设信息 以及指示应用了所述外部预设信息的对象的数目的应用的对象数目信息；外部预设应用确定单元，所述外部预设应用确定单元确定所述应用的对象数目信息是 否与所述对象数目信息相同；以及渲染单元，如果所述应用的对象数目信息与所述对象数目信息相同，则所述渲染单元 通过使用所述外部预设信息来渲染所述下混合信号，其中，所述外部预设信息包括渲染包括在所述下混合信号中的所述对象的外部预设渲 染参数以及指示所述外部预设渲染参数的属性的外部预设元数据。
8.根据权利要求7所述的装置，其中，所述外部预设应用确定单元进一步使用指示所 述外部预设信息是否应用于所述下混合信号的外部元数据信息。
9.根据权利要求7所述的装置，其中，所述外部预设渲染参数包括基于输出声道信息 和所述应用的对象数目信息的外部预设矩阵，所述输出声道信息指示所述下混合信号的输出声道的数目。
10.根据权利要求7所述的装置，其中，所述外部预设信息接收单元包括接收外部预设 渲染参数的外部预设渲染参数接收单元，以及接收外部预设元数据的外部预设元数据接收 单元。
11.根据权利要求7所述的装置，其中，所述渲染单元包括渲染所述下混合信号的数据 区域的数据区域的多个渲染单元。
12.根据权利要求11所述的装置，如果从所述外部预设信息接收单元接收所述外部预 设渲染参数，其中，所述外部预设渲染参数应用于所述数据区域的多个渲染单元。
13.—种处理音频信号的方法，包括 生成下混合至少一个对象的下混合信号；生成应用于所述下混合信号以控制所述对象的预设信息，所述预设信息包括渲染所述 对象的预设渲染参数；生成与所述预设渲染参数相对应的预设元数据；以及 确定指示所述预设信息的属性的预设属性信息。
14.一种处理音频信号的装置，包括下混合信号生成单元，所述下混合信号生成单元生成下混合至少一个对象的下混合信号；对象信息生成单元，所述对象信息生成单元生成指示所述对象的属性的对象信息； 预设信息生成单元，所述预设信息生成单元生成应用于所述下混合信号以控制所述对 象的预设信息，所述预设信息包括渲染所述对象的预设渲染参数；预设元数据生成单元，所述预设元数据生成单元生成与所述预设渲染参数相对应的预 设元数据；以及预设属性确定单元，所述预设属性确定单元确定指示所述预设信息的属性的预设属性 fn息ο
全文摘要
公开了一种用于处理音频信号的装置及其方法。该方法包括接收下混合信号、指示对象的属性并且包括对象数目信息的对象信息、用于渲染下混合信号的预设信息、从外部输入的外部预设信息、以及指示应用了外部预设信息的对象的数目的应用的对象数目信息；确定应用的对象数目信息是否与对象数目信息相同；以及如果应用的对象数目信息与对象数目信息相同，则通过使用外部预设信息来渲染下混合信号，其中，外部预设渲染参数渲染包括在下混合信号中的对象，并且外部预设元数据指示外部预设渲染参数的属性。因此，音频信号可以通过以数据区域为单位独立地选择和应用外部预设信息，或者通过选择相同的外部预设信息并且将相同的外部预设信息应用于整个下混合信号，来高效地重建音频信号。
文档编号G10L19/00GK102099854SQ200980127922
公开日2011年6月15日 申请日期2009年7月15日 优先权日2008年7月15日
发明者吴贤午, 郑亮源 申请人:Lg电子株式会社