基于qmf的处理数据的时间对齐的制作方法
【专利说明】
[0001] 相关申请的交叉引用
[0002] 本申请要求在2013年9月12日提交的美国临时专利申请第61/877,194号和在2013 年11月27日提交的美国临时专利申请第61 /909，593号的优先权，这些申请中的每一个通过 引用而被整体结合于此。
技术领域
[0003] 本文档涉及音频编码器的编码数据与诸如频带复制（SBR) -尤其是高效率(HE)高 级音频编码(AAC)-元数据之类的关联元数据的时间对齐。
【背景技术】
[0004] 音频编码背景下的技术问题是提供表现低延迟的音频编码和解码系统，例如以允 许诸如实况广播之类的实时应用。另外，希望提供交换可以被与其他比特流拼接的编码比 特流的音频编码和解码系统。此外，计算高效的音频编码和解码系统应当被提供以允许系 统的成本高效的实现。本文档解决了在为实况广播保持适当水平的等待时间的同时提供可 以被以高效方式拼接的编码比特流的技术问题。本文档描述了一种音频编码和解码系统， 其允许以合理的编码延迟拼接比特流，从而使能诸如实况广播之类的应用，在这些应用中 可以根据多个源比特流生成广播比特流。
【发明内容】
[0005] 根据一个方面，配置为根据接收到的数据流的存取单元来确定音频信号的重构帧 的音频解码器被描述。通常，数据流包括用于确定音频信号的相应一系列重构帧的一系列 存取单元。音频信号的帧通常包括音频信号的预定数目N个时域样本(其中N大于一）。因此， 一系列存取单元可以分别描述音频信号的一系列帧。
[0006] 存取单元包括波形数据和元数据，其中波形数据和元数据与音频信号的同一重构 帧相关联。换言之，用于确定音频信号的重构帧的波形数据和元数据被包括在同一存取单 元内。一系列存取单元中的存取单元可以各自包括用于生成音频信号的一系列重构帧中的 相应重构帧的波形数据和元数据。具体而言，特定帧的存取单元可以包括确定特定帧的重 构帧所必需的(例如所有)数据。
[0007] 在一个示例中，特定帧的存取单元可以包括执行用于基于(存取单元的波形数据 内包括的)特定帧的低波段信号并且基于解码后的元数据来生成特定帧的高波段信号的高 频重构(HFR)方案所必需的(例如所有)数据。
[0008] 可替代地或者除此之外，特定帧的存取单元可以包括执行特定帧的动态范围的扩 展所必需的（例如所有)数据。具体而言，特定帧的低波段信号的扩充或扩展可以基于解码 后的元数据来执行。为此，解码后的元数据可以包括一个或多个扩展参数。一个或多个扩展 参数可以指示以下各项中的一个或多个:压缩/扩展是否将被施加于特定帧;压缩/扩展是 否将被以同样方式施加于多声道音频信号的所有声道(即相同的一个或多个扩展增益是否 将被施加于多声道音频信号的所有声道或者不同的一个或多个扩展增益是否将被施加于 多声道音频信号的不同声道）；和/或扩展增益的时间分辨率。
[0009] 提供一系列存取单元，其中存取单元各自包括生成音频信号的对应重构帧所必需 的数据，独立于前一存取单元或者后一存取单元，对于拼接应用而言是有益的，这是因为其 允许数据流在两个相邻的存取单元之间被拼接，而不影响拼接点处(例如，直接在拼接点之 后）的音频信号的重构帧的感知质量。
[0010] 在一个示例中，音频信号的重构帧包括低波段信号和高波段信号，其中波形数据 指示低波段信号并且其中元数据指示高波段信号的频谱包络。低波段信号可以对应于音频 信号中覆盖相对低的频率范围（例如包括比预定交叉频率更小的频率)的分量。高波段信号 可以对应于音频信号中覆盖相对高的频率范围（例如包括比预定交叉频率更高的频率）的 分量。低波段信号和高波段信号对于低波段信号和高波段信号所覆盖的频率范围可以是互 补的。音频解码器可被配置为使用元数据和波形数据执行诸如高波段信号的频带复制 (SBR)之类的高频重构(HFR)。因此，元数据可以包括指示高波段信号的频谱包络的HFR元数 据或SBR元数据。
[0011] 音频解码器可以包括被配置为根据波形数据生成多个波形子带信号的波形处理 路径。多个波形子带信号可以对应于子带域中（例如QMF域中）的时域波形信号的表示。时域 波形信号可以对应于上面提到的低波段信号，并且多个波形子带信号可以对应于多个低波 段子带信号。另外，音频解码器可以包括被配置为根据元数据生成解码后的元数据的元数 据处理路径。
[0012] 此外，音频解码器可以包括被配置为根据多个波形子带信号并且根据解码后的元 数据生成音频信号的重构帧的元数据施加和合成单元。具体而言，元数据施加和合成单元 可被配置为执行用于根据多个波形子带信号（即，在这种情况下，根据多个低波段子带信 号)并且根据解码后的元数据生成多个(例如，缩放后的）高波段子带信号的HFR和/或SBR方 案。然后可以基于多个(例如缩放后的）高波段子带信号并且基于多个低波段信号来确定音 频信号的重构帧。
[0013] 可替代地或者除此之外，音频解码器可以包括被配置为使用解码后的元数据中的 至少一些尤其是使用解码后的元数据内包括的一个或多个扩展参数来执行对多个波形子 带信号的扩展或者被配置为使用解码后的元数据中的至少一些尤其是使用解码后的元数 据内包括的一个或多个扩展参数来扩展多个波形子带信号的扩展单元。为此，扩展单元可 被配置为将一个或多个扩展增益施加于多个波形子带信号。扩展单元可被配置为基于多个 波形子带信号、基于一个或多个预定压缩/扩展规则或函数并且/或者基于一个或多个扩展 参数来确定一个或多个扩展增益。
[0014] 波形处理路径和/或元数据处理路径可以包括被配置为使多个波形子带信号和解 码后的元数据时间对齐的至少一个延迟单元。具体而言，至少一个延迟单元可被配置为使 多个波形子带信号和解码后的元数据对齐，并且/或者将至少一个延迟插入到波形处理路 径和/或插入到元数据处理路径，以使得波形处理路径的总体延迟对应于元数据处理路径 的总体延迟。可替代地或者除此之外，至少一个延迟单元可被配置为使多个波形子带信号 和解码后的元数据时间对齐以使得多个波形子带信号和解码后的元数据被及时提供给元 数据施加和合成单元以供元数据施加和合成单元执行处理。具体而言，多个波形子带信号 和解码后的元数据可被提供给元数据施加和合成单元以使得元数据施加和合成单元在对 多个波形子带信号和/或对解码后的元数据执行处理(例如，HFR或SBR处理)之前不需要缓 冲多个波形子带信号和/或解码后的元数据。
[0015] 换言之，音频解码器可被配置为延迟向可被配置为执行HFR方案的元数据施加和 合成单元提供解码后的元数据和/或多个波形子带信号，以使得解码后的元数据和/或多个 波形子带信号按照处理的需要而被提供。插入的延迟可被选择为在使得能够对包括一系列 存取单元的比特流进行拼接的同时使(包括音频解码器和对应的音频编码器的）音频编解 码器的总体延迟降低（例如使之最小化）。因此，音频解码器可被配置为以对音频编解码器 的总体延迟的最小影响来处理包括用于确定音频信号的特定重构帧的波形数据和元数据 的时间对齐后的存取单元。另外，音频解码器可被配置为在无需对元数据进行重新采样的 情况下处理时间对齐后的存取单元。通过这样做，音频解码器被配置为以计算高效的方式 并且在不使音频质量劣化的情况下确定音频信号的特定重构帧。因此，音频解码器可被配 置为允许以计算高效的方式拼接应用，同时保持高音频质量和低总体延迟。
[0016] 另外，被配置为使多个波形子带信号和解码后的元数据时间对齐的至少一个延迟 单元的使用可以保证多个波形子带信号和解码后的元数据在子带域(多个波形子带信号和 解码后的元数据的处理通常被执行之处）中的精确且一致的对齐。
[0017] 元数据处理路径可以包括元数据延迟单元，该元数据延迟单元被配置为使解码后 的元数据延迟音频信号的重构帧的帧长度N的大于零的整数倍。由元数据延迟单元引入的 附加延迟可被称作元数据延迟。帧长度N可以对应于音频信号的重构帧内包括的时域样本 的数据N。整数倍可以是使得元数据延迟单元所引入的延迟比波形处理路径的处理所引入 的延迟(例如在不考虑引入到波形处理路径中的附加波形延迟的情况下)更大。元数据延迟 可以取决于音频信号的重构帧的帧长度N。这可以是因为由波形处理路径内的处理引起的 延迟取决于帧长度N的事实。具体而言，整数倍对于大于960的帧长度N可以是一并且/或者 整数倍对于小于或者等于960的帧长度N可以是二。
[0018] 如在上面指示，元数据施加和合成单元可被配置为在子带域中（例如在QMF域中） 处理解码后的元数据和多个波形子带信号。另外，解码后的元数据可以指示子带域中的元 数据(例如指示描述高波段信号的频谱包络的频谱系数）。此外，元数据延迟单元可被配置 为使解码后的元数据延迟。作为帧长度N的大于零的整数倍的元数据延迟的使用可以是有 益的，因为这保证了多个波形子带信号和解码后的元数据在子带域中的一致对齐(例如用 于元数据施加和合成单元内的处理）。具体而言，这保证了解码后的元数据可以被施加到波 形信号的正确帧（即施加到多个波形子带信号的正确帧），而无需对元数据进行重新采样。
[0019] 波形处理路径可以包括波形延迟单元，该波形延迟单元被配置为使多个波形子带 信号延迟以使得波形处理路径的总体延迟对应于音频信号的重构帧的帧长度N的大于零的 整数倍。由波形延迟单元引入的附加延迟可被称作波形延迟。波形处理路径的整数倍可以 对应于元数据处理路径的整数倍。
[0020] 波形延迟单元和/或元数据延迟单元可被实现为缓冲器，这些缓冲器被配置为在 对应于波形延迟的时间量内和/或在对应于元数据延迟的时间量内存储所述多个波形子带 信号和/或解码后的元数据。波形延迟单元可被放置在波形处理路径内在元数据施加和合 成单元上游的任何位置处。因此，波形延迟单元可被配置为使波形数据和/或多个波形子带 信号（和/或波形处理路径内的任何中间数据或信号)延迟。在一个示例中，波形延迟单元可 被沿着波形处理路径分布，其中分布的延迟单元各自提供总波形延迟的一部分。波形延迟 单元的分布对于波形延迟单元的成本高效的实施方式可以是有益的。以类似于波形延迟单 元的方式，元数据延迟单元可被放置在元数据处理路径内在元数据施加和合成单元上游的 任何位置处。另外，波形延迟单元可被沿着元数据处理路径分布。
[0021] 波形处理路径可以包括解码和解量化单元，该解码和解量化单元被配置为对波形 数据进行解码和解量化以提供指示波形信号的多个频率系数。因此，波形数据可以包括多 个频率系数或者可以指示多个频率系数，这允许生成音频信号的重构帧的波形信号。另外， 波形处理路径可以包括波形合成单元，该波形合成单元被配置为根据多个频率系数生成波 形信号。波形合成单元可被配置为执行频域到时域的变换。具体而言，波形合成单元可被配 置为执行反修正离散余弦变换(MDCT)。波形合成单元或者波形合成单元的处理可以引入取 决于音频信号的重构帧的帧长度N的延迟。具体而言，波形合成单元所引入的延迟可以对应 于半个帧长度N。
[0022] 在根据波形数据重构波形信号之后，可以结合解码后的元数据来处理波形信号。 在一个示例中，波形信号可以在用于使用解码后的元数据确定高波段信号的HFR方案或SBR 方案的情况下使用。为此，波形处理路径可以包括被配置为根据波形信号生成多个波形子 带信号的分析单元。该分析单元可被配置为例如通过施加正交镜像滤波器(QMF)组来执行 时域到子带域的变换。通常，由波形合成单元执行的变换的频率分辨率比由分析单元执行 的变换的频率分辨率更高(例如高至少5或10倍）。这可以通过术语"频域"和"子带域"来指 示，其中频域可以与比子带域更高的频率分辨率相关联。分析单元可以引入独立于音频信 号的重构帧的帧长度N的固定延迟。由分析单元引入的固定延迟可以