消除信号路径中的时间延迟的制作方法

专利名称：消除信号路径中的时间延迟的制作方法
技术领域：
本发明 一般地涉及信号处理。
技术背景多声道音频译码(通常称为空间音频译码)将多声道音频信号的空间图像转义 记录成一个压縮的空间参数集，该空间参数集可用于从发送的声道縮减混音信号合 成高质量多声道呈现。在支持若干译码方案的多声道音频系统中， 一个声道縮减混音信号可能由于 信号处理(例如，时域至频域的变换)而相对于其它声道縮减混音信号和/或相应的空 间参数产生延迟。发明内容本发明的目的可通过提供一种生成编码音频信号的方法来实现，该方法包括 对多声道音频输入信号进行声道縮减混音处理；从所述多声道音频输入信号中提取 空间信息；以及从所述经声道縮减混音的信号和所述空间信息生成经编码的音频信 号，其中声道縮减混音译码标识符被包括在所述经编码的音频信号中作为关于经声 道縮减混音的信号的解码方案的信息。附图简述包括于此以提供对本发明的进一步理解、并被结合在本申请中且构成其一部 分的附图示出本发明的实施方式，其与说明书一起可用来解释本发明的原理。在附 图中

图1至3分别是根据本发明的实施例解码音频信号的装置的框图； 图4是用于解释信号处理方法的图1中所示的多声道解码单元的框图； 图5是用于解释信号处理方法的图2中所示的多声道解码单元的框图； 图6至10是根据本发明的另一个实施例用于解码音频信号的方法的框图。本发明的最佳实施方式下面将详细参考本发明的较佳实施方式，其具体示例图示于附图中。只要有 可能，即在所有附图中始终使用相同的附图标记表示相同或相似的部件。因为音频信号的信号处理在若干个域中一尤其是在时域中是可能的，所以需 要通过考虑时间对准来适当地处理音频信号。因此，在音频信号处理中，可变换音频信号的域。音频信号域的变换可包括时间/频率(T/F)域变换和复数域变换。T/F域变换包括时域信号至频域信号的变换和频域信号至时域信号的变换中的至少一种。复数域变换是指根据音频信号处理操 作的复数性进行的域变换。同样，复数域变换包括在实频域中的信号变换至在复频 域中的信号，在复频域中的信号变换至在实频域中的信号等。处理音频信号时如果 不考虑时间对准，则音频质量可能劣化。为了对准可进行延迟处理。延迟处理可包 括编码延迟和解码延迟中的至少一个。编码延迟是指将信号按由于信号编码所产生 的延迟进行延迟。解码延迟是指在信号解码期间引入的实时延迟。 在解释本发明之前，先将本发明的说明书中使用的术语定义如下。'声道縮减混音输入域'是指可在生成多声道音频信号的多声道解码单元中 接收的声道縮减混音信号的域。'残差输入域'是指可在多声道解码单元中接收的残差信号的域。'时序数据'是指需要与多声道音频信号时间同步或时间对准的数据。'时 序数据，的例子包括用于运动画面、静止图像、文本等的数据。'超前'是指使信号提前一特定时间的过程。'滞后'是指使信号延迟一特定时间的过程。'空间信息'是指用于合成多声道音频信号的信息。空间信息可以是空间参数，包括但不限于指示两声道之间的能量差的声道电平差(CLD)、指示两个不同 声道之间相关性的声道间相干性(ICC)、作为用于从两个声道生成三个声道的预测 系数的声道预测系数(CPC)等。本文所述的音频信号解码是可得益于本发明的信号处理的一个例子。本发明 还可应用于其它类型的信号处理(例如，视频信号处理)。可修改本文所述的实施例， 以包括任何数量的可用任何类型的域表示的信号，这些域包括但不限于时间、正交 镜像滤波器(QMF)、修正离散余弦变换(MDCT)、复数等。根据本发明的一个实施例处理音频信号的方法包括通过将声道縮减混音信号和空间信息组合生成多声道音频信号。可存在用于表示声道縮减混音信号的多个域(例如，时域、QMF、 MDCT)。因为域之间的变换可能会在声道缩减混音信号的信 号路径中引入时延，所以需要补偿声道縮减混音信号和对应于该声道縮减混音信号 的空间信息之间的时间同步差的步骤。补偿时间同步差的过程可包括延迟声道縮减 混音信号和空间信息中的至少一个。现在将参考附图描述补偿两个信号之间和/或 信号与参数之间的时间同步差的几个实施例。本文中对'装置'的引用不应理解为将所述的实施例局限于硬件。本文所述 的实施例可实现为硬件、软件、固件或其任意组合。本文所述的实施例可实现为计算机可读介质上的指令，所述指令在被处理器 (例如，计算机处理器)执行时使得处理器执行提供本文所述的本发明的各方面的操 作。术语H十算机可读介质'指的是参与将指令提供给处理器供其执行的任何介质， 包括但不限于非易失性介质(例如，光盘或磁盘)、易失性介质(例如，存储器)和传 输介质。传输介质包括但不限于同轴电缆、铜线、光纤。传输介质还可采用声、光 或射频波的形式。图1是根据本发明的一个实施例用于解码音频信号的装置的图示。参考图1，根据本发明的一个实施例用于解码音频信号的装置包括声道縮减混 音解码单元100和多声道解码单元200。声道縮减混音单元100包括域变换单元110。在所示的例子中，声道縮减混音 解码单元100将在QMF域中处理的声道縮减混音信号XQ1发送到多声道解码单 元200而不进一步处理。声道縮减混音解码单元100还将时域声道縮减混音信号 XT1发送到多声道解码单元200，时域声道縮减混音信号XT1是利用变换单元110 将声道縮减混音信号XQ1从QMF域变换到时域来生成的。将音频信号从QFM域 变换到时域的技术是公知的，并已被纳入公众可获得的音频信号处理标准(例如， MPEG)中。多声道解码单元200利用声道縮减混音信号XT1或XQ1以及空间信息SI1或 SI2生成多声道音频信号XM1 。图2是根据本发明的另一个实施例用于解码音频信号的装置的图示。参考图2，根据本发明的另一个实施例用于解码音频信号的装置包括声道縮减 混音解码单元100a、多声道解码单元200a和域变换单元300a。声道縮减混音解码单元100a包括域变换单元110a。在所示的例子中，声道縮 减混音解码单元100a输出在MDCT域中处理的声道縮减混音信号Xm。声道縮减7混音解码单元100a还输出在时域中的声道縮减混音信号XT2，声道縮减混音信号 XT2是利用变换单元110a将Xm从MDCT域变换到时域来生成的。在时域中的声道縮减混音信号XT2被发送到多声道解码单元200a。在MDCT 域中的声道縮减混音信号Xm穿过域变换单元300a，在其中它变换成在QMF域中 的声道縮减混音信号XQ2。经变换的声道縮减混音信号XQ2然后被发送到多声道 解码单元200a。多声道解码单元200a利用发送的声道縮减混音信号XT2或XQ2以及空间信 息SI3或SI4生成多声道音频信号XM2。图3是根据本发明的另一个实施例解码音频信号的装置的图示。参考图3，根据本发明的另一个实施例用于解码音频信号的装置包括声道縮减 混音解码单元100b、多声道解码单元200b、残差解码单元400b和域变换单元500b。声道縮减混音解码单元100b包括域变换单元110b。声道縮减混音解码单元 100b将在QMF域中处理的声道缩减混音信号XQ3发送到多声道解码单元200b而 不进一步处理。声道縮减混音解码单元100b还将声道縮减混音信号XT3发送到多 声道解码单元200b，声道縮减混音信号XT3是利用变换单元110b将声道縮减混 音信号XQ3从QMF域变换到时域来生成的。在某些实施例中，经编码的残差信号RB被输入到残差解码单元400b然后处 理。在这种情形中，经处理的残差信号RM是在MDCT域中的信号。残差信号可 以是例如音频译码应用(例如，MPEG)中普遍使用的预测误差信号。随后，在MDCT域中的残差信号RM通过域变换单元500b变换成在QMF域 中的残差信号RQ，然后发送到多声道解码单元200b。如果在残差解码单元400b中处理并输出的残差信号的域是残差输入域，则可 将处理的参数信号发送到多声道解码单元200b，而不经历域变换过程。图3示出在某些实施例中域变换单元500b将在MDCT域中的残差信号RM 变换成在QMF域中的残差信号RQ。具体地，域变换单元500b被构造成将从残差 解码单元400b输出的残差信号RM变换成在QMF域中的残差信号RQ。如上所述，可能存在可导致需要进行补偿的声道縮减混音信号和空间信息之 间的时间同步差的多个声道縮减混音信号域。以下描述用于补偿时间同步差的各种 实施例。根据本发明的一个实施例的音频信号处理过程通过将包括声道縮减混音信号 和空间信息的经解码的音频信号进行解码处理来生成多声道音频信号。在解码期间，声道缩减混音信号和空间信息经历不同的过程，这可导致不同 的时延。在编码期间，声道縮减混音信号和空间信息可被编码成时间同步。 在这一情况下，声道縮减混音信号和空间信息可通过考虑在其中声道縮减混音解码单元100、 100a或100b处理的声道縮减混音信号被发送到多声道解码单元 200、 200a或200b的域来进行时间同步。在某些实施例中，声道縮减混音译码标识符可被包括在经编码的音频信号中 用于识别声道縮减混音信号和空间信息之间的时间同步在其中匹配的域。在这一情 况下，声道縮减混音译码标识符可指示声道縮减混音信号的解码方案。例如，如果声道縮减混音译码标识符识别高级音频译码(AAC)解码方案，则经 编码的音频信号可由AAC解码器来解码。在某些实施例中，声道縮减混音译码标识符还可用于确定将声道縮减混音信 号和空间信息之间的时间同步进行匹配的域。在根据本发明的一个实施例处理音频信号的方法中，可在不同于时间同步在 其中匹配的域中处理声道縮减混音信号，然后将其发送到多声道解码单元200、 200a或200b。在这种情形中，解码单元200、 200a或200b补偿声道縮减混音信号 和空间信息之间的时间同步，以生成多声道音频信号。参考图1和图4解释补偿声道縮减混音信号和空间信息之间的时间同步差的 方法如下。图4是图1所示的多声道解码单元200的框图。参考图l和图4，在根据本发明的一个实施例处理音频信号的方法中，声道縮 减混音解码单元IOO(图l)中的声道縮减混音信号可以在两种类型的域之一中发送 到多声道解码单元200。在本发明中，假设声道縮减混音信号和空间信息利用在 QMF域中的时间同步匹配在一起。其它的域也是可能的。在图4所示的例子中，在QMF域中处理的声道縮减混音信号XQ1被发送到 多声道解码单元200用于信号处理。发送的声道縮减混音信号XQ1在多声道生成单元230中与空间信息SI1组合， 生成多声道音频信号XM1。在这种情形中，空间信息SI1在按对应于编码时的时间同步的时间进行延迟 之后与声道縮减混音信号XQ1进行组合。延迟可以是编码延迟。因为空间信息SI1 和声道縮减混音信号XQ1利用在编码时时间同步来匹配，所以可生成多声道音频信号而不用特殊的同步匹配过程。即，在这种情形中，空间信息ST1未按解码延迟而进行延迟。除XQ1夕卜，在时域中处理的声道縮减混音信号XT1被发送到多声道解码单元 200用于信号处理。如图1所示，在QMF域中的声道縮减混音信号XQ1通过域变 换单元110变换为在时域中的声道縮减混音信号XT1，并将在时域中的声道縮减 混音信号XT1发送到多声道解码单元200。再次参考图4，发送的声道縮减混音信号XT1通过域变换单元210变换成在 QMF域中的声道縮减混音信号Xql。在将在时域中的声道缩减混音信号XT1发送到多声道解码单元200时，声道 縮减混音信号Xql和空间信息SI2中的至少一个可在完成了时延补偿之后发送到 多声道生成单元230。多声道生成单元230可通过将发送的声道縮减混音信号Xql'和空间信息SI2' 组合生成多声道音频信号XM1。时延补偿可在声道縮减混音信号Xql和空间信息SI2中的至少一个上执行， 因为空间信息和声道縮减混音信号之间的时间同步在编码时在QMF域中匹配。域 变换声道縮减混音信号Xql可在补偿了在信号延迟处理单元220中失配的时间同 步差之后输入到多声道生成单元230。补偿时间同步差的方法是使声道縮减混音信号Xql按时间同步差超前。在这 种情形中，时间同步差可以是由域变换单元110生成的延迟时间和域变换单元210 的延迟时间的总和。还可通过补偿空间信息SI2的时延来补偿时间同步差。对于该情形，将空间 信息SI2按在空间信息延迟处理单元240中时间同步差滞后，然后发送到多声道生 成单元230。充分延迟了的空间信息的延迟值对应于失配的时间同步差和使时间同步匹配 的延迟时间的总和。S卩，延迟的空间信息被延迟的量是编码延迟和解码延迟。该总 和还对应于在声道縮减混音解码单元IOO(图l)中生成的声道縮减混音信号和空间 信息之间的时间同步差与在多声道解码单元200中生成的时间同步差的总和。充分延迟了的空间信息SI2的延迟值可通过考虑滤波器(例如，QMF、混合滤 波器组)的性能和延迟来确定。例如，考虑了滤波器性能和延迟的空间信息延迟值可以是961次时间采样。 在分析空间信息的延迟值的情形中，声道縮减混音解码单元100中生成的时间同步差是257次时间采样，而多声道解码单元200中生成的时间同步差是704次时间采 样。尽管延迟值由时间采样单位表示，但它也可由时隙单位表示。 图5是图2所示的多声道解码单元200a的框图。
参考图2和图5，在根据本发明的一个实施例处理音频信号的方法中，在声道 縮减混音解码单元100a中处理的声道縮减混音信号可在两种类型的域之一中发送 到多声道解码单元200a。在本实施例中，假设声道縮减混音信号和空间信息利用 在QMF域中的时间同步匹配在一起。其它的域也是可能的。可处理其声道縮减混 音信号和空间信息在不同于时域的域上匹配的音频信号。
在图2中，在时域中处理的声道縮减混音信号XT2被发送到多声道解码单元 200a用于信号处理。
在MDCT域中的声道縮减混音信号Xm通过域变换单元110a变换成在时域中 的声道縮减混音信号XT2。
然后将变换的声道縮减混音信号XT2发送到多声道解码单元200a。
发送的声道縮减混音信号XT2通过域变换单元210a变换成在QMF域中的声 道縮减混音信号Xq2，然后发送到多声道生成单元230a。
发送的声道縮减混音信号Xq2在多声道生成单元230a中与空间信息SI3组合， 生成多声道音频信号XM2。
在这种情形中，空间信息SI3在按对应于编码时的时间同步的时间量进行延 迟之后与声道縮减混音信号Xq2组合。延迟可以是编码延迟。因为空间信息SI3 和声道缩减混音信号Xq2利用在编码时的时间同步来匹配，所以可生成多声道音 频信号而不用特殊的同步匹配过程。S卩，在这种情形中，空间信息SI3未按解码延 迟而进行延迟。
在某些实施例中，在QMF域中处理的声道縮减混音信号XQ2被发送到多声 道解码单元200a用于信号处理。
在MDCT域中处理的声道縮减混音信号Xm是从声道縮减混音解码单元100a 输出的。输出的声道縮减混音信号Xm通过域变换单元300a变换成在QMF域中 的声道縮减混音信号XQ2。变换的声道縮减混音信号XQ2然后发送到多声道解码 单元200a。
当QMF域中的声道縮减混音信号XQ2发送到多声道解码单元200a后，声道 縮减混音信号XQ2或空间信息SI4中的至少一个在完成了时延补偿之后被发送到 多声道生成单元230a。多声道生成单元230a可通过将发送的声道縮减混音信号XQ2'和空间信息SI4' 组合起来生成多声道音频信号XM2。
之所以应当对声道縮减混音信号XQ2和空间信息SI4中的至少一个进行时延 补偿，是因为空间信息和声道縮减混音信号之间的时间同步是在编码时在时域中匹 配的。可将域变换声道縮减混音信号XQ2在信号延迟处理单元220a中补偿失配的 时间同步差之后输入到多声道生成单元230a。
一种补偿时间同步差的方法是将声道縮减混音信号XQ2滞后一个时间同步 差。在这种情形中，时间同步差可以是由域变换单元100a生成的延迟时间和由域 变换单元210a生成的延迟时间的总和与由域变换单元300a生成的延迟时间之差。
还可通过补偿空间信息SI4的时延来补偿时间同步差。对于这一情形，空间 信息SI4按在空间信息延迟处理单元240a中的时间同步差超前，然后被发送到多 声道生成单元230a。
充分延迟了的空间信息的延迟值对应于失配时间同步差和使时间同步匹配的 延迟时间的总和。即，延迟的空间信息SI4'是按编码延迟和解码延迟进行延迟的。
根据本发明的一个实施例处理音频信号的方法包括编码音频信号，其声道 縮减混音信号和空间信息之间的时间同步是通过假设一具体解码方案来匹配的；以 及解码所述经变换的音频信号。
有若干个基于质量(例如，高质量AAC)或基于功率(例如，低复杂度AAC)的 解码方案的例子。高质量解码方案输出一种音频质量比功率较低的解码方案的音频 质量更精准的多声道音频信号。较低功率的解码方案因其配置而具有相对低的功 耗，它不像高质量解码方案那么复杂。
在以下的描述中，高质量和低功率的解码方案被用作解释本发明的例子。其 它的解码方案同等地适用于本发明的实施例。
图6是根据本发明的另一个实施例解码音频信号的方法的框图。
参考图6，根据本发明的解码装置包括声道縮减混音解码单元100c和多声道 解码单元200c。
在某些实施例中，在声道縮减混音解码单元100c中处理后的声道縮减混音信 号XT4被发送到多声道解码单元200c，其中信号与空间信息SI7或SI8组合以生 成多声道音频信号M1或M2。在这种情形中，经处理的声道縮减混音信号XT4是 在时域中的声道縮减混音信号。
经编码的声道縮减混音信号DB被发送到声道縮减混音解码单元100c并加以处理。经处理的声道縮减混音信号XT4被发送到多声道解码单元200c，它根据以
下两种解码方案之一生成多声道音频信号高质量解码方案和低功率解码方案。
在经处理的声道縮减混音信号XT4由低功率解码方案解码的情形中，声道縮 减混音信号XT4沿路径P2发送并解码。经处理的声道縮减混音信号XT4通过域 变换单元240c变换成在实QMF域中的信号XRQ。
经变换的声道縮减混音信号XRQ通过域变换单元250c变换成在复QMF域 (complex domain)中的信号XQC2。 XRQ声道縮减混音信号至XQC2声道縮减混 音信号的变换是复数域(complexity domain)变换的一个例子。
随后，在复QMF域中的信号XQC2在多声道生成单元260c中与空间信息SI8 组合，生成多声道音频信号M2。
因此，在通过低功率解码方案解码声道缩减混音信号XT4时，不需要单独的 延迟处理过程。这是因为声道縮减混音信号和空间信息之间的时间同步在音频信号 编码时己经根据低功率解码方案匹配了。即，在这种情形中，声道縮减混音信号 XRQ未按解码延迟而进行延迟。
在经处理的声道缩减混音信号XT4是通过高质量解码方案解码的情形中，声 道縮减混音信号XT4沿路径Pl发送并解码。经处理的声道缩减混音信号XT4通 过域变换单元210c变换成在复QMF域中的信号XCQ1。
然后，变换的声道縮减混音信号XCQ1在信号延迟处理单元220c中按声道縮 减混音信号XCQ1和空间信息SI7之间的时延差进行延迟。
随后，延迟的声道縮减混音信号XCQ1'在多声道生成单元230c中与空间信息 SI7组合，这个多声道生成单元230c生成多声道音频信号Ml。
因此，声道縮减混音信号XCQ1穿过信号延迟处理单元220c。这是因为对音 频信号的编码是基于将要使用低功率解码方案的假设而进行的，故而生成了声道縮 减混音信号XCQ1和空间信息SI7之间的时间同步差。
时间同步差是一个取决于所使用的解码方案的时延差。例如，因为低功率解 码方案的解码过程不同于高质量解码方案的解码过程而发生时延差。在将声道縮减 混音信号和空间信息相组合的时间点之前都要考虑时延差，因为在组合了声道縮减 混音信号和空间信息的时间点之后可能就不需要同步声道縮减混音信号和空间信 息了。
在图6中，时间同步差是在将声道縮减混音信号XCQ2和空间信息SI8相组 合的时间点之前发生的第一延迟时间与在将声道縮减混音信号XCQ1'和空间信息SI7相组合的时间点之前发生第二延迟时间之差。在该情形中，时间釆样或时隙可 用作时延的单位。如果在域变换单元210c中发生的延迟时间等于域变换单元240c中发生的延 迟时间，信号延迟处理单元220c将声道縮减混音信号XCQ1按域变换单元250c 中发生的延迟时间进行延迟就足够了。根据图6所示的实施例，两个解码方案包括在多声道解码单元200c中。或者， 一种解码方案可包括在多声道解码单元200c中。在本发明的以上解释的实施例中，声道縮减混音信号和空间信息之间的时间 同步根据低功率解码方案来匹配。然而，本发明还包括声道縮减混音信号和空间信 息之间的时间同步根据高质量解码方案来匹配的情形。在该情形中，声道縮减混音 信号以与通过低功率解码方案匹配时间同步的情形相反的方式超前(is led)。图7是根据本发明的另一个实施例解释解码音频信号的方法的框图。参考图7，根据本发明的解码装置包括声道縮减混音解码单元100d和多声道 解码单元200d。在声道縮减混音解码单元100d中处理的声道縮减混音信号XT4被发送到多声 道解码单元200d，在其中声道縮减混音信号与空间信息SI7'或SI8组合，生成多声 道音频信号M3或M2。在这种情形中，经处理的声道縮减混音信号XT4是在时域 中的信号。经编码的声道縮减混音信号DB被发送到声道縮减混音解码单元100d并加以 处理。经处理的声道縮减混音信号XT4被发送到多声道解码单元200d，它根据以 下两种解码方案之一生成多声道音频信号高质量解码方案和低功率解码方案。在经处理的声道縮减混音信号XT4按低功率解码方案解码的情形中，声道縮 减混音信号XT4沿路径P4发送并解码。经处理的声道縮减混音信号XT4通过域 变换单元240c变换成在实QMF域中的(in real QMF domain)信号XRQ。经变换的声道缩减混音信号XRQ通过域变换单元250c变换成在复QMF域中 的信号XQC2。 XRQ声道縮减混音信号至XQC2声道縮减混音信号的变换是复数 域变换的一个例子。随后，在复QMF域中的信号XQC2在多声道生成单元260d中与空间信息SI8 组合，生成多声道音频信号M2。因此，在通过低功率解码方案解码声道縮减混音信号XT4时，不需要单独的 延迟处理过程。这是因为声道縮减混音信号和空间信息之间的时间同步在音频信号编码时已经根据低功率解码方案匹配了。 S卩，在这种情形中，空间信息SI8未按解 码延迟进行延迟。在经处理的声道縮减混音信号XT4按高质量解码方案解码的情形中，声道縮 减混音信号XT4沿路径P3发送并解码。经处理的声道縮减混音信号XT4通过域 变换单元210d变换成在复QMF域中的信号XCQ1。变换的声道縮减混音信号XCQ1被发送到多声道生成单元230d，在其中它与 空间信息SI7'组合，生成多声道音频信号M3。在这种情形中，空间信息SI7'是一 个其时延在空间信息S17穿过空间信息延迟处理单元220d时被补偿了的空间信息。因此，空间信息SI7穿过空间信息延迟处理单元220d。这是因为对音频信号 的编码是基于将要使用低功率解码方案的假设而进行的，故而生成了声道縮减混音 信号XCQ1和空间信息SI7之间的时间同步差。时间同步差是一个取决于所使用的解码方案的时延差。例如，因为低功率解 码方案的解码过程不同于高质量解码方案的解码过程而发生了时延差。在将声道縮 减混音信号和空间信息相组合的时间点之前都要考虑时延差，因为在将声道縮减混 音信号和空间信息相组合的时间点之后，可能就不需要同步声道縮减混音信号和空 间信息了。在图7中，时间同步差是一个在将声道縮减混音信号XCQ2和空间信息SI8 相组合的时间点之前发生的第一延迟时间与在将声道缩减混音信号XCQ1和空间 信息SI7'相组合的时间点之前发生第二延迟时间之差。在该情形中，时间采样或时 隙可用作时延的单位。如果在域变换单元210d中发生的延迟时间等于域变换单元240d中发生的延 迟时间，则空间信息延迟处理单元220d将空间信息SI7按域变换单元250d中所发 生的延迟时间进行超前就足够了。在所示的例子中，两个解码方案包括在多声道解码单元200d中。或者， 一个 解码方案可包括在多声道解码单元200d中。在本发明的以上解释的实施例中，声道縮减混音信号和空间信息之间的时间 同步是根据低功率解码方案匹配的。然而，本发明还包括声道縮减混音信号和空间 信息之间的时间同步根据高质量解码方案匹配的情形。在该情形中，声道縮减混音 信号以与通过低功率解码方案匹配时间同步的情形相反的方式滞后的(is lagged)。尽管图6和图7示例性地示出信号延迟处理单元220c和空间信息延迟单元 220d中的一个包括在多声道解码单元200c或200d中，但本发明包括其中空间信息延迟处理单元220d和信号延迟处理单元200c包括在多声道解码单元200c或 200d中的实施例。在这种情形中，空间信息延迟处理单元220d中的延迟补偿时间 和信号延迟处理单元220c中的延迟补偿时间的总和应当等于时间同步差。
以上描述中解释的是补偿由于存在多个声道縮减混音输入域的存在引起的时 间同步差的方法和补偿由于多个解码方案的存在引起的时间同步差的方法。
以下解释用于补偿由于多个声道縮减混音输入域的存在和多个解码方案的存 在引起的时间同步差的方法。
图8是根据本发明的一个实施例解释解码音频信号的方法的框图。
参考图8，根据本发明的解码装置包括声道縮减混音解码单元lOOe和多声道 解码单元200e。
在根据本发明的另一个实施例处理音频信号的方法中，在声道縮减混音解码 单元100e中处理的声道縮减混音信号在两种类型的域之一中发送到多声道解码单 元200e。在本发明的实施例中，假设声道縮减混音信号和空间信息之间的时间同 步参考低功率解码方案在QMF域上匹配。或者，可将各种修改应用于本发明。
以下解释在QMF域中处理的声道縮减混音信号XQ5通过发送到多声道解码 单元200e来处理的方法。在这种情形中，声道縮减混音信号XQ5可以是复QMF 信号XCQ5和实QMF信号XRQ5中的任一个。XCQ5在声道縮减混音解码单元100e 中通过高质量解码方案处理。XRQ5在声道縮减混音解码单元100e中通过低功率 解码方案处理。
在本实施例中，假设在声道縮减混音解码单元100e中通过高质量解码方案处 理的信号被连接到高质量解码方案的多声道解码单元200e，在声道縮减混音解码 单元100e中通过低功率解码方案处理的信号被连接到低功率解码方案的多声道解 码单元200e。或者，可将各种修改应用于本发明。
在处理的声道縮减混音信号XQ5通过低功率解码方案解码的情形中，声道縮 减混音信号XQ5沿路径P6发送并解码。在这种情形中，XQ5是实QMF域中的声 道縮减混音信号XRQ5。
声道縮减混音信号XRQ5在多声道生成单元231e中与空间信息SI10组合以 生成多声道音频信号M5。
因此，在通过低功率解码方案解码声道缩减混音信号XQ5时，不需要单独的 延迟处理程序。这是因为声道縮减混音信号和空间信息之间的时间同步在音频信号 译码时已经根据低功率解码方案匹配了。在处理的声道縮减混音信号XQ5通过高质量解码方案解码的情形中，声道縮减混音信号XQ5沿路径P5发送并解码。在这种情形中，XQ5是在复QMF域中的 声道縮减混音信号XCQ5。声道縮减混音信号XCQ5在多声道生成单元230e中与 空间信息SI9组合以生成多声道音频信号M4。以下解释的是在时域中处理的声道縮减混音信号XT5被发送到多声道解码单 元200e用于信号处理的情形。在声道缩减混音解码单元100e中处理的声道縮减混音信号XT5被发送到多声 道解码单元200e，在多声道解码单元200e中它与空间信息SIll或SI12组合，生 成多声道音频信号M6或M7。声道縮减混音信号XT5被发送到多声道解码单元200e，该多声道解码单元 200e根据以下两种解码方案之一生成多声道音频信号高质量解码方案和低功率 解码方案。在处理的声道縮减混音信号XT5通过低功率解码方案解码的情形中，声道縮 减混音信号XT5沿路径P8传输并解码。处理的声道縮减混音信号XT5通过域变 换单元241e变换成在实QMF域中的信号XR。经变换的声道縮减混音信号XR通过域变换单元250e变换成在复QMF域中 的信号XC2。 XR声道縮减混音信号至XC2声道縮减混音信号的变换是复数域变 换的一个例子。随后，在复QMF域中的信号XC2在多声道生成单元233e中与空间信息SI12' 组合，生成多声道音频信号M7。在这种情形中，空间信息SI12'是在空间信息SI12穿过空间信息延迟处理单元 240e时其时延被补偿了的空间信息。因此，空间信息SI12穿过空间信息延迟处理单元240e。这是因为由于通过低 功率解码方案执行的音频信号编码是基于声道縮减混音信号和空间信息之间的时 间同步匹配的域是QMF域的假设而进行的，在声道縮减混音信号XC2和空间信 息SI12之间生产了时间同步。这里延迟的空间信息SI12'按编码延迟和解码延迟进 行延迟。在处理的声道縮减混音信号XT5通过高质量解码方案解码的情形中，声道缩 减混音信号XT5沿路径P7发送并解码。处理的声道縮减混音信号XT5通过域变 换单元240e变换成在复QMF域中的信号XC1。变换的声道縮减混音信号XCl和空间信息SIll分别在信号延迟处理单元250e和空间信息延迟处理单元260e中按声道縮减混音信号XC1和空间信息Sill之间 的时间同步差补偿时延。
随后，时延补偿了的声道縮减混音信号XCl'在多声道生成单元232e中与时延 补偿了的空间信息SI1 l'组合，该多声道生成单元232e生成多声道音频信号M6。
因此，声道縮减混音信号XC1穿过信号延迟单元250e，而空间信息SIll穿
过空间信息延迟处理单元260e。这是因为对音频信号的编码是在假设低功率解码 方案条件下且基于声道縮减混音信号和空间信息之间的时间同步匹配的域是QMF
域的进一步假设下进行的，声道縮减混音信号XC1和空间信息Sill之间的时间同 步差由此生成。
图9是根据本发明的一个实施例解释解码音频信号的方法的框图。 参考图9，根据本发明的解码装置包括声道縮减混音解码单元100f和多声道 解码单元200f。
经编码的声道縮减混音信号被发送到声道縮减混音解码单元100f然后进行处 理。声道縮减混音信号DB1考虑两种声道縮减混音解码方案来编码，包括第一声 道縮减混音解码和第二声道縮减混音解码方案。
在声道縮减混音解码单元100f中根据一种声道缩减混音解码方案处理声道縮 减混音信号DB1。这一种声道縮减混音解码方案可以是第一声道縮减混音解码方 案。
经处理的声道縮减混音信号XT6被发送到多声道解码单元200f，其生成多声 道音频信号Mf。
经处理的声道縮减混音信号XT6'按信号处理单元210f中的解码延迟进行延 迟。声道縮减混音信号XT6'可因解码延迟而延迟。声道縮减混音信号XT6之所以 被延迟，是因为是在编码时使用的声道縮减混音解码方案与解码时使用的声道縮减 混音解码方案不同。
因此，有必要根据情况对声道縮减混音信号XT6'做升采样处理(upsample)。
延迟后的声道縮减混音信号XT6'在升采样(upsampling)单元200f中做升采 样处理。对声道縮减混音信号XT6'升采样的原因是声道縮减混音信号XT6'的 采样数与空间信息SI13的采样数不同。
声道縮减混音信号XT6的延迟处理和声道縮减混音信号XT6'的升采样处理 在顺序升是可互换的。
升采样后的声道縮减混音信号UXT6的域在域处理单元230f中变换。声道縮减混音信号UXT6的域的变换可包括F/T域变换和复数域变换。
随后，域变换后的声道缩减混音信号UXTD6在多声道生成单元260d中与空
间信息SI13组合，生成多声道音频信号Mf。
以下描述中解释的是补偿声道縮减混音信号和空间信息之间生成的时间同步
差的方法。
以下描述中解释的是补偿通过上述方法之一生成的时序数据和多声道音频信 号之间生成的时间同步差的方法。
图IO是根据本发明的一个实施例解码音频信号的装置的框图。
参考图10，根据本发明的一个实施例解码音频信号的装置包括时序数据解码 单元10和多声道音频信号处理单元20。
多声道音频信号处理单元20包括声道縮减混音解码单元21、多声道解码单元 22和时间延迟补偿单元23。
声道縮减混音比特流IN2是经编码的声道縮减混音信号的一个例子，其被输 入到声道縮减混音解码单元21中以待解码。
在该情形中，声道縮减混音比特流IN2可在两种域中解码和输出。可用的输 出域包括时域和QMF域。附图标记'50'指示在时域中解码和输出的声道縮减混 音信号，而附图标记'51'指示在QMF域中解码和输出的声道縮减混音信号。在 本发明的实施例中，描述了两种域。然而，本发明包括在其它类型的域中解码和输 出的声道縮减混音信号。
声道縮减混音信号50和51被发送到多声道解码单元20，然后分别根据两种 解码方案22H和22L解码。在这种情形中，附图标记'22H，指示高质量解码方 案，附图标记'221/指示低功率解码方案。
在本发明的这个实施例中，仅采用了两种解码方案。然而，本发明可采用更 多的解码方案。
在时域中解码和输出的声道縮减混音信号50根据对两个路径P9和P10中之 一的选择进行解码。在这种情形中，路径P9指示通过高质量解码方案22H解码的 路径，路径P10指示通过低功率解码方案22L解码的路径。
沿路径P9发送的声道縮减混音信号50根据高质量解码方案22H与空间信息 SI组合，生成多声道音频信号MHT。沿路径P10发送的声道縮减混音信号50根 据低功率解码方案22L与空间信息SI组合，生成多声道音频信号MLT。
在QMF域中解码和输出的另一声道縮减混音信号51根据对两个路径PU和P12中之一的选择进行解码。在这种情形中，路径Pll指示通过高质量解码方案22H解码的路径，路径P12指示通过低功率解码方案22L解码的路径。沿路径Pl 1发送的声道縮减混音信号51根据高质量解码方案22H与空间信息 SI组合，生成多声道音频信号MHQ。沿路径P12发送的声道縮减混音信号51根 据低功率解码方案22L与空间信息SI组合，生成多声道音频信号MLQ。通过以上解释的方法生成的多声道音频信号MHT、 MHQ、 MLT和MLQ中 的至少一个在时延补偿单元23中经历时延补偿过程，然后作为OUT2、 OUT3、 OUT4或OUT5输出。在本发明的实施例中，时延补偿过程采取基于时序解码单元10中解码和输出 的时序数据OUTl和上述多声道音频信号MHT之间的时间同步匹配的假设将时间 同步失配的多声道音频信号MHQ、 MLT或MKQ与多声道音频信号MHT进行比 较的方式防止时延发生。当然，如果时序数据OUTl与除上述多声道音频信号MHT 外的多声道音频信号MHQ、 MLT和MLQ之一之间的时间同步匹配，则与时序数 据OUT1的时间同步可通过补偿其余的时间同步失配的多声道音频信号之一的时 延来匹配。在时序数据OUT1和多声道音频信号MHT、 MHQ、 MLT或MLQ未被一起 处理的情形中，实施例也可进行时延补偿过程。例如，利用与多声道音频信号MLT 的比较结果可补偿多声道音频信号的时延并防止其发生。这可以以各种方式变化。本领域内技术人员可以理解，可对本发明作出各种修改和变化而不会脱离本 发明的精神或范围。因此，本发明旨在涵盖本发明的所有这些修改和变形，只要它 们落在所附权利要求书及其等价技术方案的范围中即可。工业适用性因此，本发明提供了以下的效果和优点。第一，如果生成声道縮减混音信号和空间信息之间的时间同步差，则本发明 通过补偿时间同步差来防止音频质量劣化。第二，本发明能补偿时序数据和将与运动画面、文本、静止图像等时序数据 一起处理的多声道音频信号之间的时间同步差。
权利要求
1.一种生成编码音频信号的方法，其包括对多声道音频输入信号进行声道缩减混音处理；从所述多声道音频输入信号中提取空间信息；以及从所述经声道缩减混音的信号和所述空间信息生成所述经编码的音频信号，其中声道缩减混音译码标识符被包括在所述经编码的音频信号中作为关于所述经声道缩减混音的信号的解码方案的信息。
2. 如权利要求1所述的方法，其特征在于，所述声道縮减混音译码标识符提 供指示所述经声道縮减混音的信号和所述空间信息之间的时间同步差在其中匹配 的域的信息。
3. —种处理音频信号的方法，其包括接收包括指示声道縮减混音信号的解码方案的声道縮减混音译码标识符的音频信号；根据对应于所述声道縮减混音译码标识符的解码方案处理所述声道縮减混音 信号；变换所述经处理的声道縮减混音信号的域；以及组合所述经变换的声道縮减混音信号和空间信息，其中所述组合的空间信息 被延迟一个包括所述变换的经历时间在内的时间量。
4. 如权利要求3所述的方法，其特征在于，所述声道縮减混音译码标识符提 供指示所述经声道縮减混音的信号和所述空间信息之间的时间同步差在其中匹配 的域的信息。
5. 如权利要求4所述的方法，其特征在于，所述空间信息按编码延迟和解码 延迟中的至少一个延迟。
6. 如权利要求5所述的方法，其特征在于，所述变换包括时域至频域的信号 变换。
7. 如权利要求6所述的方法，其特征在于，所述频域包括正交镜像滤波器 (QMF)域。
8. 如权利要求7所述的方法，其特征在于，还包括利用所述组合的声道縮减混音信号和组合的空间信息生成多声道信号；以及补偿所述多声道信号和时序数据之间的时间同步差。
9. 如权利要求8所述的方法，其特征在于，所述时序数据包括运动画面、静止图像、文本中的至少一个。
10. —种处理音频信号的系统，其包括解码器，所述解码器被配置成接收包括指示声道縮减混音信号的解码方案的 声道縮减混音译码标识符的音频信号、以及根据所述解码方案解码所述声道縮减混 音信号；变换器，所述变换器操作性地耦合到所述解码器、且被配置成将所述经解码的声道縮减混音信号从第一域变换到第二域以提供经变换的声道縮减混音信号；以 及多声道处理器，所述多声道处理器操作性地耦合到所述变换器、且被配置成 对所述经变换的声道縮减混音信号或所述空间信息中的至少一个补偿因所述变换 所产生的时延、以及组合所述变换的声道縮减混音信号和空间信息。
11. 如权利要求IO所述的系统，其特征在于，所述声道縮减混音译码标识符 提供指示所述经声道縮减混音的信号和所述空间信息之间的时间同步差在其中匹 配的域的信息。
12. 如权利要求11所述的系统，其特征在于，所述空间信息按编码延迟和解 码延迟中的至少一个延迟。
13. 如权利要求IO所述的系统，其特征在于，所述变换包括时域至频域的信 号变换。
14. 如权利要求13所述的系统，其特征在于，所述频域包括正交镜像滤波器 (QMF)域。
15. 如权利要求14所述的系统，其特征在于，还包括利用所述组合的声道縮减混音信号和组合的空间信息生成多声道信号；以及 补偿所述多声道信号和时序数据之间的时间同步差。
16. 如权利要求15所述的系统，其特征在于，所述时序数据包括运动画面、 静止图像、文本中的至少一个。
17. —种有指令存储于其上的计算机可读介质，所述指令在被处理器执行时使 得所述处理器执行以下操作接收包括指示声道縮减混音信号的解码方案的声道縮减混音译码标识符的音 频信号；根据对应于所述声道縮减混音译码标识符的解码方案处理所述声道缩减混音 信号；变换所述经处理的声道縮减混音信号的域；对所述经变换的声道縮减混音信号或空间信息中的至少一个补偿因所述变换 所产生的时延；以及组合所述经变换的声道縮减混音信号和所述空间信息。
18. —种处理音频信号的系统，其包括用于接收包括指示声道縮减混音信号的解码方案的声道縮减混音译码标识符 的音频信号的装置；用于根据对应于所述声道縮减混音译码标识符的解码方案处理所述声道縮减 混音信号的装置；用于变换所述经处理的声道縮减混音信号的域的装置；用于对所述经变换的声道縮减混音信号或所述空间信息中的至少一个补偿因 所述变换所产生的时延的装置；以及用于组合所述经变换的声道縮减混音信号和空间信息的装置。
19. 一种处理音频信号的方法，其包括接收包括指示声道縮减混音信号的解码方案的声道縮减混音译码标识符的音 频信号；根据对应于所述声道縮减混音译码标识符的解码方案处理所述声道縮减混音 信号；变换所述经处理的声道縮减混音信号的域；对所述经变换的声道縮减混音信号或空间信息中的至少一个补偿因所述变换 所产生的时延；以及组合所述经变换的声道縮减混音信号和所述空间信息。
全文摘要
本发明包括用于对一个或多个信号和/或一个或多个参数在一个或多个信号处理路径中的时延进行补偿的系统、方法、装置和计算机可读介质。
文档编号G10L19/02GK101297599SQ200680039579
公开日2008年10月29日 申请日期2006年10月2日 优先权日2005年10月24日
发明者吴贤午, 房熙锡, 林宰显, 郑亮源, 金东秀 申请人:Lg电子株式会社