用于参数化多声道编码的方法

用于参数化多声道编码的方法
【专利说明】
[0001] 相关申请的交叉引用
[0002] 本申请要求2013年2月21日提交的美国临时专利申请No. 61/767, 673的优先权， 该申请的全部内容特此通过引用并入。
技术领域
[0003] 本文档涉及音频编码系统。具体地说，本文档涉及用于参数化多声道音频编码的 高效方法和系统。
【背景技术】
[0004] 参数化多声道音频编码系统可以用于以特别低的数据速率提供提高的收听质量。 尽管如此，仍需要进一步改进这样的参数化多声道音频编码系统，尤其是针对带宽效率、计 算效率和/或鲁棒性。

【发明内容】

[0005] 根据一方面，描述了一种被配置为产生指示下混信号和空间元数据的比特流的音 频编码系统。空间元数据可以被相应的解码系统用于从下混信号产生多声道上混信号。下 混信号可以包括m个声道，多声道上混信号可以包括n个声道，其中，n、m是整数，并且m <n。在示例中，n= 6,m= 2。空间元数据可以使得相应的解码系统可以从下混信号的m 个声道产生多声道上混信号的n个声道。
[0006] 音频编码系统可以被配置为对下混信号和空间元数据进行量化和/或编码并且 将量化的/编码的数据插入到比特流中。具体地说，下混信号可以使用DolbyDigitalPlus 编码器进行编码，比特流可以对应于DolbyDigitalPlus比特流。量化的/编码的空间元 数据可以被插入到DolbyDigitalPlus比特流的数据字段中。
[0007] 音频编码系统可以包括被配置为从多声道输入信号产生下混信号的下混处理单 元。下混处理单元在本文中也被称为下混编码单元。多声道输入信号可以包括n个声道， 比如基于下混信号重新产生的多声道上混信号。具体地说，多声道上混信号可以提供多声 道输入信号的逼近。下混单元可以包括以上提及的DolbyDigitalPlus编码器。多声道 上混信号和多声道输入信号可以是5. 1或7. 1信号，下混信号可以是立体声信号。
[0008] 音频编码系统可以包括被配置为从多声道输入信号确定空间元数据的参数处理 单元。具体地说，参数处理单元（其在本文档中也被称为参数编码单元）可以被配置为确 定一个或多个空间参数，例如，空间参数集合，这些空间参数可以基于多声道输入信号的声 道的不同组合来确定。空间参数集合的空间参数可以指示多声道输入信号的不同声道之间 的互相关。参数处理单元可以被配置为确定称为空间元数据帧的多声道输入信号的帧的空 间元数据。多声道输入信号的帧通常包括多声道输入信号的预定数量的（例如，1536个） 采样。每个空间元数据帧可以包括一个或多个空间参数集合。
[0009] 音频编码系统还可以包括配置单元，其被配置为基于一个或多个外部设置来确定 对于参数处理单元的一个或多个控制设置。所述一个或多个外部设置可以包括比特流的目 标数据速率。可替代地或者另外地，所述一个或多个外部设置可以包括以下中的一个或多 个：多声道输入信号的采样速率、下混信号的声道的数量m、多声道输入信号的声道的数量 n、和/或指示相应的解码系统与比特流同步所需的时间段的更新时段。所述一个或多个控 制设置可以包括空间元数据的最大数据速率。在空间元数据帧的情况下，空间元数据的最 大数据速率可以指示空间元数据帧的元数据比特的最大数量。可替代地或者另外地，所述 一个或多个控制设置可以包括以下中的一个或多个：时间分辨率设置，其指示将被确定的 每一空间元数据帧的空间参数集合的数量；频率分辨率设置，其指示将对其确定空间参数 的频带的数量；量化器设置，其指示将用于对空间元数据进行量化的量化器的类型；以及 多声道输入信号的当前帧是否将作为独立帧被编码的指示。
[0010] 参数处理单元可以被配置为确定根据所述一个或多个控制设置确定的空间元数 据帧的比特的数量是否超过元数据比特的最大数量。此外，参数处理单元可以被配置为，如 果确定特定的空间元数据帧的比特的数量超过元数据比特的最大数量，则减少该特定空间 元数据帧的比特的数量。这个比特数量减少可以以资源（处理能力）高效的方式执行。具 体地说，这个比特数量减少可以在不需要重新计算整个空间元数据帧的情况下执行。
[0011] 如以上所指示的，空间元数据帧可以包括一个或多个空间参数集合。所述一个或 多个控制设置可以包括时间分辨率设置，其指示将由参数处理单元确定的每一空间元数据 帧的空间参数集合的数量。参数处理单元可以被配置为确定如时间分辨率设置所指示的、 用于当前空间元数据帧的许多空间参数集合。通常，时间分辨率设置取1或2的值。此外， 参数处理单元可以被配置为，如果当前空间元数据帧包括多个空间参数集合，以及如果确 定当前空间元数据帧的比特的数量超过元数据比特的最大数量，则从当前空间元数据帧丢 弃空间参数集合。参数处理单元可以被配置为对于每一空间元数据帧保留至少一个空间参 数集合。通过从空间元数据帧丢弃空间参数集合，可以以很少的计算工作量而且不会显著 地影响多声道上混信号的感知收听质量地减少空间元数据帧的比特的数量。
[0012] 所述一个或多个空间参数集合通常与相应的一个或多个采样点相关联。所述一个 或多个采样点可以指示相应的一个或多个时刻。具体地说，采样点可以指示解码系统应充 分地应用相应的空间参数集合的时刻。换句话说，采样点可以指示已经对其确定了相应的 空间参数集合的时刻。
[0013] 参数处理单元可以被配置为，如果当前元数据帧的多个采样点与多声道输入信号 的瞬变（transient)不相关联，则从当前空间元数据帧丢弃第一空间参数集合，其中，第一 空间参数集合与第二采样点之前的第一采样点相关联。另一方面，参数处理单元可以被配 置为，如果当前元数据帧的多个采样点与多声道输入信号的瞬变相关联，则从当前空间元 数据帧丢弃第二（通常是最后一个）空间参数集合。通过这样做，参数处理单元可以被配 置为减小丢弃空间参数集合对多声道上混信号的收听质量的影响。
[0014] 所述一个或多个控制设置可以包括量化器设置，其指示多个预定类型的量化器中 的第一类型的量化器。所述多个预定类型的量化器可以分别提供不同的量化器分辨率。具 体地说，所述多个预定类型的量化器可以包括细量化和粗量化。参数处理单元可以被配置 为根据第一类型的量化器对当前空间元数据帧的一个或多个空间参数集合进行量化。此 外，参数处理单元可以被配置为，如果确定当前空间元数据帧的比特的数量超过元数据比 特的最大数量，则根据具有低于第一类型的量化器的分辨率的第二类型的量化器重新对所 述一个或多个空间参数集合的空间参数中的一个、一些或全部进行量化。通过这样做，可以 减少当前空间元数据帧的比特的数量，同时仅有限程度地影响上混信号的质量，并且不显 著地提高音频编码系统的计算复杂度。
[0015] 参数处理单元可以被配置为基于当前空间参数集合相对于紧靠前的空间参数集 合的差来确定时间差参数集合。具体地说，可以通过确定当前空间参数集合的参数和紧靠 前的空间参数集合的相应参数的差来确定时间差参数。空间参数集合可以包括例如本文档 中所描述的参数a:、a2、a3、02、0 。通常，参数I^k2中只有一个可能需 要被发送，因为这些参数可以用关系ki2+k22= 1相关。仅举例来说，只有参数k1可以被发 送，参数k2可以在接收器处计算。时间差参数可以与以上提及的参数中的相应的参数的差 相关。
[0016] 参数处理单元可以被配置为使用熵编码（例如，使用哈夫曼码）来对时间差参数 集合进行编码。此外，参数处理单元可以被配置为将编码的时间差参数集合插入在当前空 间元数据帧中。另外，参数处理单元可以被配置为，如果确定当前空间元数据帧的比特的数 量超过元数据比特的最大数量，则减小时间差参数集合的熵。其结果是，可以减少对时间差 参数进行熵编码所需的比特的数量，从而减少用于当前空间元数据帧的比特的数量。举例 来说，参数处理单元可以被配置为将时间差参数集合的时间差参数中的一个、一些或全部 设置为等于时间差参数的可能值中的具有增大（例如，最高）概率的值，以便减小时间差参 数集合的熵。具体地说，与设置操作之前的时间差参数的概率相比，概率可以增大。通常， 时间差参数的可能值中的具有最高概率的值对应于零。
[0017] 应注意，空间参数集合的时间差编码通常不可以用于独立帧。这样，参数处理单元 可以被配置为验证当前空间元数据帧是否是独立帧，如果当前空间元数据帧不是独立帧， 才应用时间差编码。另一方面，下述频率差编码也可以用于独立帧。
[0018] 所述一个或多个控制设置可以包括频率分辨率设置，其中，频率分辨率设置指示 将对其确定各自的空间参数（被称为带参数）的不同频带的数量。参数处理单元可以被配 置为确定用于不同频带的不同的相应的空间参数（带参数）。具体地说，可以确定用于不同 频带的不同参数a p a 2、a 3、0 p 02、。空间参数集合因此可以包括用于不同 频带的相应的带参数。举例来说，空间参数集合可以包括用于T个频带的T个相应的带参 数，T是整数，例如，T= 7、9、12或15。
[0019] 参数处理单元可以被配置为基于第一频带中的一个或多个带参数相对于相邻的 第二频带中的相应的一个或多个带参数的差来确定频率差参数集合。此外，参数处理单元 可以被配置为使用熵编码（例如，基于哈夫曼码）来对频率差参数集合进行编码。另外，参 数处理单元可以被配置为将编码的频率差参数集合插入在当前空间元数据帧中。此外，参 数处理单元可以被配置为，如果确定当前空间元数据帧的比特的数量超过元数据比特的最 大数量，则减小频率差参数集合的熵。具体地说，参数处理单元可以被配置为将频率差参数 集合的频率差参数中的一个、一些或全部设置为等于频率差参数的可能值中的具有增大概 率的值（例如，零），以便减小频率差参数集合的熵。具体地说，与设置操作之前的频率差参 数的概率相比，概率可以增大。
[0020] 可替代地或者另外地，参数处理单元可以被配置为，如果确定当前空间元数据帧 的比特的数量超过元数据比特的最大数量，则减少频带的数量。另外，参数处理单元可以被 配置为使用减少的频带的数量来重新确定用于当前空间元数据帧的一个或多个空间参数 集合中的一些或全部。通常，频带数量的改变主要影响高频带。结果，多个频率之一的带参 数可能不受影响，使得参数处理单元可能不需要重新计算所有的带参数。
[0021] 如以上所指示的，所述一个或多个外部设置可以包括更新时段，其指示相应的解 码系统与比特流同步所需的时间段。此外，所述一个或多个控制设置可以包括当前空间元 数据帧是否将作为独立帧被编码的指示。参数处理单元可以被配置为确定用于多声道输入 信号的相应的帧序列的空间元数据帧序列。配置单元可以被配置为基于更新时段来从空间 元数据帧序列确定将作为独立帧被编码的一个或多个空间元数据帧。
[0022] 具体地说，所述一个或多个独立的空间元数据帧可以被确定为使得满足更新时段 (平均来说）。为了这个目的，配置单元可以被配置为确定多声道输入信号的帧序列的当前 帧是否包括作为更新时段的整数倍的时刻的采样（相对于多声道输入信号的起始点）。此 外，配置单元可以被配置为确定与当前帧对应的当前空间元数据帧是独立帧（因为它包括 作为更新时段的整数的时刻的采样）。参数处理单元可以被配置为，如果当前空间元数据帧 将作为独立帧被编码，则与前一（和/或未来的）空间元数据帧中所包括的数据相独立地 对当前空间元数据帧的一个或多个空间参数集合进行编码。通常，如果当前空间元数据帧 将作为独立帧被编码，则与前一（和/或未来的）空间元数据帧中所包括的数据相独立地 对当前空间元数据的所有的空间参数集合进行编码。
[0023] 根据另一方面，描述了一种参数处理单元，其被配置为确定用于从下混信号的相 应帧产生多声道上混信号的帧的空间元数据帧。下混信号可以包括m个声道，多声道上混 信号可以包括n个声道；n、m是整数，其中，m<n。如以上所概述的，空间元数据帧可以包 括一个或多个空间参数集合。
[0024] 参数处理单元可以包括变换单元，其被配置为从多声道输入信号的声道的当前帧 和紧跟帧（其被称为前视帧）确定多个频谱。变换单元可以使用滤波器组，例如，QMF滤波 器组。所述多个频谱中的频谱可以包括相应的预定数量的频率区间（bin)中的预定数量的 变换系数。所述多个频谱可以与相应的多个时间区间（或时刻）相关联。这样，变换单元 可以被配置为提供当前帧和前视帧的时间/频率表示。举例来说，当前帧和前视帧均可以 包括K个采样。变换单元可以被配置为确定2倍的K/Q个频谱，每个频谱包括Q个变换系 数。
[0025] 参数处理单元可以包括参数确定单元，其被配置为通过使用窗函数对所述多个频 谱进行加权来确定用于多声道输入信号的声道的当前帧的空间元数据帧。窗函数可以用于 调整所述多个频谱中的频谱对特定的空间参数或特定的空间参数集合的影响。举例来说， 窗函数可以取〇和1之间的值。
[0026] 窗函数可以取决于以下中的一个或多个：空间元数据帧内所包括的空间参数集合 的数量、多声道输入信号的当前帧中或紧跟帧中的一个或多个瞬变的存在、和/或瞬变的 时刻。换句话说，窗函数可以根据当前帧和/或前视帧的性质而改动。具体地说，用于确定 空间参数集合的窗函数（其被称为集合相关的窗函数）可以取决于当前帧和/或前视帧的 性质。
[0027] 这样，窗函数可以包括集合相关的窗函数。具体地说，用于确定空间元数据帧的 空间参数的窗函数可以包括分别用于一个或多个空间参数集合的一个或多个集合相关的 窗函数（或者可以由这些集合相关的窗函数构成）。参数确定单元可以被配置为通过使用 集合相关的窗函数对所述多个频谱进行加权来确定用于多声道输入信号的声道的当前帧 (即，用于当前空间元数据帧）的空间参数集合。如以上所概述的，集合相关的窗函数可以 取决于当前帧的一个或多个性质。具体地说，集合相关的窗函数可以取决于空间参数集合 是否与瞬变相关联。
[0028] 举例来说，如果空间参数集合与瞬变不相关联，则集合相关的窗函数可以被配置 为提供所述多个频谱从前一空间参数集合的采样点直至所述空间参数集合的采样点的渐 涨（phase-in)。渐涨可以由从0转变到1的窗函数提供。可替代地或者另外地，如果空间 参数集合与瞬变不相关联，则集合相关的窗函数可以包括从所述空间参数集合的采样点开 始、直至所述多个频谱中的在后一空间参数集合的采样点前面的频谱的多个频谱（或者可 以充分地考虑这些频谱，或者可以使这些频谱不受影响），如果所述后一空间参数集合与瞬 变相关联的话。这可以通过具有值1的窗函数来实现。可替代地或者另外地，如果空间参 数集合与瞬变不相关联，则集合相关的窗函数可以从后一空间参数集合的采样点开始消除 (cancelout)所述多个频谱（或者可以排除这些频谱，或者可以使这些频谱衰减），如果所 述后一空间参数集合与瞬变相关联的话。这可以通过具有值〇的窗函数来实现。可替代地 或者另外地，如果空间参数集合与瞬变不相关联，则集合相关的窗函数可以使所述多个频 谱从所述空间参数集合的采样点直至所述多个频谱中的在后一空间参数集合的采样点前 面的频谱渐消（phase-out)，如果所述后一空间参数集合与瞬变不相关联的话。渐涨可以由 从1转变到〇的窗函数提供。另一方面，如果空间参数集合与瞬变相关联，则集合相关的窗 函数可以消除所述多个频谱中的在所述空间参数集合的采样点前面的频谱（或者可以排 除这些频谱，或者可以使这些频谱衰减）。可替代地或者另外地，如果空间参数集合与瞬变 相关联，则集合相关的窗函数可以包括所述多个频谱中的从所述空间参数集合的采样点开 始直至所述多个频谱中的在后一空间参数集合的采样点前面的频谱的频谱（或者可以使 这些频谱不受影响），并且可以消除所述多个频谱中的从后一空间参数集合的采样点开始 的频谱（或者可以排除这些频谱，或者可以使这些频谱衰减），如果所述后一空间参数集合 的采样点与瞬变相关联的话。可替代地或者另外地，如果空间参数集合与瞬变相关联，则集 合相关的窗函数可以包括所述多个频谱中的从所述空间参数集合的采样点直至所述多个 频谱中的在当前帧的结束处的频谱的频谱（或者可以使这些频谱不受影响），并且可以提 供所述多个频谱中的从紧跟帧的起始直至后一空间参数集合的采样点的频谱的渐消（或 者可以使这些频谱逐渐衰减），如果所述后一空间参数集合与瞬变不相关联的话。
[0029] 根据另一方面，描述了一种参数处理单元，其被配置为确定用于从下混信号的相 应帧产生多声道上混信号的帧的空间元数据帧。下混信号可以包括m个声道，多声道上混 信号可以包括n个声道；n、m是整数，其中，m<n。如以上所讨论的，空间元数据帧可以包 括空间参数集合。
[0030] 如以上所概述的，参数处理单元可以包括变换单元。变换单元可以被配置为从多 声道输入信号的第一声道的帧确定第一多个变换系数。此外，变换单元可以被配置为从多 声道输入信号的第二声道的相应帧确定第二多个变换系数。第一声道和第二声道可以是不 同的。这样，第一多个变换系数和第二多个变换系数分别提供第一声道和第二声道的相应 帧的第一时间/频率表示和第二时间/频率表示。如以上所概述的，第一时间/频率表示 和第二时间/频率表示包括多个频率区间和多个时间区间。
[0031] 此外，参数处理单元可以包括参数确定单元，其被配置为使用定点算术，基于第一 多个变换系数和第二多个变换系数来确定空间参数集合。如以上所指示的，空间参数集合 通常包括用于不同频带的相应的带参数，其中，所述不同频带可以包括不同数量的频率区 间。可以基于特定频带的第一多个变换系数和第二多个变换系数中的变换系数来确定用于 该特定频带的特定带参数（通常，不考虑其它频带的变换系数）。参数确定单元可以被配置 为确定定点算术使用的用于确定依赖于特定频带的特定带参数的移位。尤其是，定点算术 使用的用于确定用于特定频带的特定带参数的移位可以取决于该特定频带内所包括的频 率区间的数量。可替代地或者另外地，定点算术使用的用于确定用于特定频带的特定带参 数的移位可以取决于确定特定带参数将考虑的时间区间的数量。
[0032] 参数确定单元可以被配置为确定用于特定频带的移位以使得特定带参数的精度 最大化。这可以通过确定特定带参数的确定处理的每个乘法和加法运算所需的移位来实 现。
[0033] 参数确定单元可以被配置为通过基于第一多个变换系数中的落入特定频带p中 的变换系数确定第一能量（或能量估计）Ehl (p)来确定用于特定频带p的特定带参数。此 外，可以基于第二多个变换系数中的落入特定频带P中的变换系数来确定第二能量（或能 量估计）E2,2(p)。另外，可以基于第一多个变换系数和第二多个变换系数中的落入特定频带 P中的变换系数来确定叉积或协方差E h2(P)。参数确定单元可以被配置为基于第一能量估 计Ehl (p)、第二能量估计E2,2 (p)和协方差Eh2(P)的绝对值中的最大值来确定用于特定频 带参数P的移位Zp。
[0034] 根据另一方面，描述了一种音频编码系统，其被配置为产生比特流，该比特流指示 下混信号的帧序列和相应的空间元数据帧序列，所述相应的空间元数据帧序列用于从下混 信号的帧序列产生多声道上混信号的相应的帧序列。所述系统可以包括下混处理单元，其 被配置为从多声道输入信号的相应的帧序列产生下混信号的帧序列。如以上所指示的，下 混信号可以包括m个声道，多声道输入信号可以包括n个声道；n、m是整数，其中，m<n。 此外，音频编码系统可以包括参数处理单元，其被配置为从多声道输入信号的帧序列确定 空间元数据帧序列。
[0035] 另外，音频编码系统可以包括比特流产生单元，其被配置为产生包括比特流帧序 列的比特流，其中，比特流帧指示下混信号的与多声道输入信号的第一帧对应的帧以及与 多声道输入信号的第二帧对应的空间元数据帧。第二帧可以不同于第一帧。具体地说，第 一帧可以在第二帧的前面。通过这样做，用于当前帧的空间元数据帧可以与后一帧的帧一 起发送。这确保空间元数据帧仅在它被需要时才到达相应的解码系统。解码系统通常对下 混信号的当前帧进行解码，并且基于下混信号的当前帧来产生解相关的帧。该处理引入了 算法延迟，并且通过使用于当前帧的空间元数据帧延迟，确保一旦解码的当前帧和解相关 的帧被提供，空间元数据帧才到达解码系统。结果，可以降低解码系统的处理能力和存储器 要求。
[0036] 换句话说，描述了一种音频编码系统，其被配置为基于多声道输入信号来产生比 特流。如以上所概述的，所述系统可以包括下混处理单元，其被配置为从多声道输入信号的 相应的第一帧序列产生下混信号的帧序列。下混信号可以包括m个声道，多声道输入信号 可以包括n个声道；n、m是整数，其中，m<n。此外，音频编码系统可以包括参数处理单元， 其被配置为从多声道输入信号的第二帧序列产生空间元数据帧序列。下混信号的帧序列和 空间元数据帧序列可以被相应的解码系统用于产生包括n个声道的多声道上混信号。
[0037] 音频编码系统还可以包括比特流产生单元，其被配置为产生包括比特流帧序列的 比特流，其中，比特流帧可以指示下混信号的与多声道输入信号的第一帧序列的第一帧对 应的帧以及与多声道输入信号的第二帧序列的第二帧对应的空间元数据帧。第二帧可以不 同于第一帧。换句话说，用于确定空间元数据帧的组帧（framing)和用于确定下混信号的 帧的组帧可以是不同的。如以上所概述的，不同组帧可以用于确保数据在相应的解码系统 处对齐。
[0038] 第一帧和第二帧通常包括相同数量的采样（例如，1536个采样）。第一帧的采样中 的一些可以领先第二帧的采样。具体地说，第一帧可以领先于第二帧预定数量的采样。所 述预定数量的采样可以例如对应于帧的采样数量的一小部分。举例来说，所述预定数量的 采样可以对应于帧的采样数量的50%或更多。在特定示例中，所述预定数量的采样对应于 9