声音或声场的压缩HOA表示的解码方法和装置与流程

本公开涉及用于分层音频编码的方法和装置。具体地说，本公开涉及用于压缩高阶高保真度立体声响复制(hoa)声音(或声场)表示的帧的分层音频编码的方法和装置。本公开进一步涉及用于表示压缩hoa声音(或声场)表示的帧的数据结构(例如，位流)。

背景技术：

1、在hoa分层编码的目前定义中，创建用于hoa解码工具空间信号预测、子带方向信号合成和参数化环境复制(par)解码器的辅助信息(side information)来增强特定的hoa表示。也就是，在分层hoa编码的目前定义中，所提供的数据仅适当地扩展最高层(例如，最高增强层)的hoa表示。对于包括基本层的较低层，这些工具没有适当地增强部分重构的hoa表示。

2、工具“子带方向信号合成和参数化环境复制解码器”是专门为低数据速率设计的，在低数据速率中，只有几个传输信号是可用的。但是，在hoa分层编码中，(部分)重构的hoa表示的适当增强尤其对于低位速率层(诸如基本层)是不可能的。从低位速率时的声音质量的观点来看，很清楚这是不期望的。

3、另外，已经发现，如果在hoadecoderconfig()中标示(signal)了等于1的codedvveclength(即，如果矢量编码模式是作用的(active))，则处理基于矢量的信号的编码的v矢量元素的常规方式不导致适当的解码。在该矢量编码模式下，对于contaddhoacoeff集合中包括的hoa系数索引，不发送v矢量元素。该集合包括所有的hoa系数索引ambcoeffidx[i]，该hoa系数索引具有等于零的ambcoefftransitionstate。按照常规，不需要还添加加权的v矢量信号，因为用于这些索引的原始的hoa系数序列被显式地发送(被标示)。因此，对于这些索引，v矢量元素被设置为零。

4、但是，在分层编码模式下，连续hoa系数索引集合依赖于传输信道，这些传输信道是当前作用的层的一部分。在较高层中发送的附加的hoa系数索引在较低层中可能缺失。那么，矢量信号不应该对hoa系数序列做出贡献的假定对于属于被包括在较高层中的hoa系数序列的hoa系数索引是错误的。

5、因此，分层hoa编码中的v矢量可能不适合于最高层下面的任何层的解码。

6、因此，需要适于声音或声场的压缩hoa表示的分层编码的编码方案和位流。

7、本公开解决以上问题。具体地说，描述了用于压缩hoa声音或声场表示的帧的分层编码的方法和编码器/解码器以及用于表示压缩hoa声音或声场表示的帧的数据结构。

技术实现思路

1、根据一方面，描述了一种声音或声场的压缩高阶高保真度立体声响复制(hoa)表示的帧的分层编码方法。压缩hoa表示符合草案mpeg-h 3d音频标准和任何其他的未来采用的或草案标准。压缩hoa表示可以包括多个传输信号。传输信号可以与单耳(monaural)信号有关，单耳信号例如表示hoa表示的系数序列或主导声音信号。该方法可以包括将多个传输信号分配给多个分级层。例如，传输信号可以被分布到多个层。该多个层可以包括基本层和一个或多个分级增强层。多个分级层可以按从基本层至第一增强层、第二增强层等、一直到总体最高增强层(总体最高层)的次序排序。该方法可以进一步包括对每个层生成相应的hoa扩展有效载荷，该hoa扩展有效载荷包括辅助信息(例如，增强辅助信息)，该辅助信息用于参数化地增强从分配给相应层和低于该相应层的任何层的传输信号可获得的重构的hoa表示。用于较低层的重构的hoa表示可以被称为部分重构的hoa表示。该方法可以进一步包括将生成的hoa扩展有效载荷分配给它们的相应层。该方法还可以进一步包括在输出位流中标示生成的hoa扩展有效载荷。可以在hoaenhframe()有效载荷中标示hoa扩展有效载荷。因此，可以将辅助信息从hoaframe()移动到hoaenhframe()。

2、如上面所配置的，所提出的方法对压缩hoa表示(的帧)应用分层编码以便使得即使在低位速率时也能够对其进行高质量解码。具体地说，所提出的方法确保每个层包括合适的hoa扩展有效载荷(例如，增强辅助信息)，该hoa扩展有效载荷用于增强从一直到当前层的任何层中的传输信号获得的(部分)重构的声音表示。其中，一直到当前层的层被理解为包括例如基本层、第一增强层、第二增强层等、一直到当前层。其中，一直到当前层的层被理解为包括例如基本层、第一增强层、第二增强层等、一直到当前层。例如，将启用解码器来参考分配给基本层的hoa扩展有效载荷增强从基本层获得的(部分)重构的声音表示。在常规的方法中，只有最高增强层的重构的hoa表示才可以通过hoa扩展有效载荷被增强。因此，不管实际的最高可用层如何(例如，是低于尚未被有效地接收到的最低层的层，使得低于最高可用层的所有层和最高可用层本身已经被有效地接收到)，即使(部分)重构的声音表示可能不同于完整的(例如，整个的)声音表示，都将启用解码器来改进或增强重构的声音表示。具体地说，不管实际的最高可用层如何，对于解码器来说只对单个层(即，对最高可用层)解码hoa扩展有效载荷以改进或增强(部分)重构的声音表示就足够了，该(部分)重构的声音表示可以基于被包括在一直到实际的最高可用层的层中的所有的传输信号而获得。解码较高或较低层的hoa扩展有效载荷不是必需的。另一方面，所提出的方法允许充分地利用当应用分层编码时可以实现的所需带宽的减小。

3、在实施例中，该方法可以进一步包括发送用于多个层的具有相应的错误保护水平的数据有效载荷。数据有效载荷可以包括相应的hoa扩展有效载荷。基本层可以具有最高的错误保护，一个或多个增强层可以具有依次降低的错误保护。从而，可以确保至少数个较低层被可靠地发送，同时另一方面通过对较高层不应用过大的错误保护来减小总体所需带宽。

4、在实施例中，hoa扩展有效载荷可以包括用于hoa空间信号预测解码工具的位流元素。另外地或可替代地，hoa扩展有效载荷可以包括用于hoa子带方向信号合成解码工具的位流元素。另外地或可替代地，hoa扩展有效载荷可以包括用于hoa参数化环境复制解码工具的位流元素。

5、在实施例中，hoa扩展有效载荷可以具有为id_ext_ele_hoa_enh_layer的usacextelementtype。

6、在实施例中，该方法可以进一步包括生成hoa配置扩展有效载荷，该hoa配置扩展有效载荷包括用于配置hoa空间信号预测解码工具、hoa子带方向信号合成解码工具和/或hoa参数化环境复制解码工具的位流元素。hoa配置扩展有效载荷可以被包括在hoadecoderenhconfig()中。该方法可以进一步包括在输出的位流中标示hoa配置扩展有效载荷。

7、在实施例中，该方法可以进一步包括生成hoa解码器配置有效载荷，该hoa解码器配置有效载荷包括指示hoa扩展有效载荷对于多个层的分配的信息。该方法可以进一步包括在输出位流中标示hoa解码器配置有效载荷。

8、在实施例中，该方法可以进一步包括确定矢量编码模式是否作用。该方法可以进一步包括如果矢量编码模式作用，则对于每个层基于分配给相应层的传输信号来确定连续hoa系数索引集合。连续hoa系数索引集合中的hoa系数索引可以是被包括在集合contaddhoacoeff中的hoa系数索引。该方法可以进一步包括对于每个传输信号基于对被分配了相应的传输信号的层确定的连续hoa系数索引集合来生成v矢量，以使得生成的v矢量包括用于分配给比被分配了相应的传输信号的层高的层的任何传输信号的元素。该方法可以进一步包括在输出位流中标示生成的v矢量。

9、根据另一方面，描述了一种声音或声场的压缩高阶高保真度立体声响复制(hoa)表示的帧的分层编码方法。压缩hoa表示可以包括多个传输信号。传输信号可以与单耳信号有关，单耳信号例如表示hoa表示的系数序列或主导声音信号。该方法可以包括将多个传输信号分配给多个分级层。例如，传输信号可以被分布到多个层。该多个层可以包括基本层和一个或多个分级增强层。该方法可以进一步包括确定矢量编码模式是否作用。该方法可以进一步包括如果矢量编码模式作用，则对于每个层基于分配给相应层的传输信号来确定连续hoa系数索引集合。连续hoa系数索引集合中的hoa系数索引可以是被包括在集合contaddhoacoeff中的hoa系数索引。该方法可以进一步包括对于每个传输信号基于对被分配了相应的传输信号的层确定的连续hoa系数索引集合来生成v矢量，以使得生成的v矢量包括用于分配给比被分配了相应的传输信号的层高的层的任何传输信号的元素。该方法可以进一步包括在输出位流中标示生成的v矢量。

10、照此配置，所提出的方法确保在矢量编码模式下，合适的v矢量对属于一直到最高可用层的层的每一个传输信号是可用的。具体地说，所提出的方法排除了与较高层中的传输信号相对应的v矢量的元素没有被显式地标示的情况。因此，一直到最高可用层的层中所包括的信息对于对属于一直到最高可用层的层的任何传输信号进行解码是足够的。从而，即使较高层可能还未被解码器有效地接收，用于较低层(低位速率层)的相应的重构的hoa表示也被适当地解压缩。另一方面，所提出的方法允许充分地利用当应用分层编码时可以实现的所需带宽的减小。

11、根据另一方面，描述了一种声音或声场的压缩高阶高保真度立体声响复制(hoa)表示的帧的解码方法。压缩hoa表示可以被编码在多个分级层中。该多个分级层可以包括基本层和一个或多个分级增强层。该方法可以包括接收与压缩hoa表示的帧相关的位流。该方法可以进一步包括提取用于该多个层的有效载荷。每个有效载荷可以包括分配给相应层的传输信号。该方法可以进一步包括在该多个层中确定用于解码的最高可用层。该方法可以进一步包括提取分配给最高可用层的hoa扩展有效载荷。该hoa扩展有效载荷可以包括用于参数化地增强与最高可用层相对应的(部分)重构的hoa表示的辅助信息。与最高可用层相对应的(部分)重构的hoa表示可以基于分配给最高可用层和低于最高可用层的任何层的传输信号获得。该方法可以进一步包括基于分配给最高可用层和低于最高可用层的任何层的传输信号来生成与最高可用层相对应的(部分)重构的hoa表示。该方法还可以进一步包括使用分配给最高可用层的hoa扩展有效载荷中所包括的辅助信息来增强(例如，参数化地增强)(部分)重构的hoa表示。结果，可以获得增强的重构的hoa表示。

12、照此配置，通过尽最大可能程度地使用可用的(例如，有效地接收的)信息，所提出的方法确保最终的(例如，增强的)重构的hoa表示具有最佳的质量。

13、在实施例中，hoa扩展有效载荷可以包括用于hoa空间信号预测解码工具的位流元素。另外地或可替代地，hoa扩展有效载荷可以包括用于hoa子带方向信号合成解码工具的位流元素。另外地或可替代地，hoa扩展有效载荷可以包括用于hoa参数化环境复制解码工具的位流元素。

14、在实施例中，hoa扩展有效载荷可以具有为id_ext_ele_hoa_enh_layer的usacextelementtype。

15、在实施例中，该方法可以进一步包括通过对位流进行解析来提取hoa配置扩展有效载荷。hoa配置扩展有效载荷可以包括用于配置hoa空间信号预测解码工具、hoa子带方向信号合成解码工具和/或hoa参数化环境复制解码工具的位流元素。

16、在实施例中，该方法可以进一步包括提取分别分配给多个层的hoa扩展有效载荷。每个hoa扩展有效载荷可以包括用于参数化地增强与其相应的被分配的层相对应的(部分)重构的hoa表示的辅助信息。与其相应的被分配的层相对应的(部分)重构的hoa表示可以从分配给该层和低于该层的任何层的传输信号获得。hoa扩展有效载荷对于相应层的分配可以从位流中所包括的配置信息知道。

17、在实施例中，确定最高可用层可以涉及确定指示尚未被有效地接收的层的无效层索引集合。它可以进一步涉及将最高可用层确定为是低于由无效层索引集合中的最小(最低)索引指示的层的一层。基本层可以具有最低层索引(例如，层索引1)，分级增强层可以具有依次提高的层索引。从而，所提出的方法确保最高可用层是以对来自最高可用层和低于最高可用层的任何层的(部分)重构的hoa表示进行解码所需的所有信息都可用的方式来选择的。

18、在实施例中，确定最高可用层可以涉及确定指示尚未被有效地接收的层的无效层索引集合。它可以进一步涉及确定当前帧前面的先前(previous)帧的最高可用层。它还可以进一步涉及将最高可用层确定为以下层中的较低的一个：先前帧的最高可用层、以及作为低于由无效层索引集合中的最小索引指示的层的一层的层。从而，即使当前帧已经被相对于前一(preceding)帧不同地编码，用于当前帧的最高可用层也是以对来自最高可用层和低于最高可用层的任何层的(部分)重构的hoa表示进行解码所需的所有信息都可用的方式来选择的。

19、在实施例中，该方法可以进一步包括：如果当前帧的最高可用层低于先前帧的最高可用层，并且如果当前帧已经被相对于先前帧不同地编码，则决定不使用分配给最高可用层的hoa扩展有效载荷中所包括的辅助信息来执行(部分)重构的hoa表示的参数化增强。从而，在当前帧(包括分配给最高可用层的hoa扩展有效载荷中所包含的辅助信息)已经被相对于前一帧不同地编码的情况下，可以对重构的hoa表示进行无错误地解码。

20、在实施例中，可以通过评估对应的hoa扩展有效载荷的有效性标志来确定无效层索引集合。如果用于分配给相应层的hoa扩展有效载荷的有效性标志没有被设置，则可以将给定层的层索引添加到无效层索引集合。从而，可以以高效的方式确定无效层索引集合。

21、根据另一方面，描述了一种表示声音或声场的压缩高阶高保真度立体声响复制(hoa)表示的帧的数据结构(例如，位流)。压缩hoa表示可以包括多个传输信号。数据结构可以包括与多个分级层中的相应的分级层相对应的多个hoa帧有效载荷。hoa帧有效载荷可以包括相应的传输信号。多个传输信号可以被分配给(例如，被分布到)多个层。该多个层可以包括基本层和一个或多个分级增强层。数据结构可以进一步包括用于每个层的相应的hoa扩展有效载荷，该hoa扩展有效载荷包括用于参数化地增强从分配给相应层和低于相应层的任何层的传输信号可获得的(部分)重构的hoa表示的辅助信息。

22、在实施例中，用于多个层的hoa帧有效载荷和hoa扩展有效载荷可以设有相应的错误保护水平。基本层可以具有最高的错误保护，一个或多个增强层可以具有依次降低的错误保护。

23、在实施例中，hoa扩展有效载荷可以包括用于hoa空间信号预测解码工具的位流元素。另外地或可替代地，hoa扩展有效载荷可以包括用于hoa子带方向信号合成解码工具的位流元素。另外地或可替代地，hoa扩展有效载荷可以包括用于hoa参数化环境复制解码工具的位流元素。

24、在实施例中，hoa扩展有效载荷可以具有为id_ext_ele_hoa_enh_layer的usacextelementtype。

25、在实施例中，数据结构可以进一步包括hoa配置扩展有效载荷，该hoa配置扩展有效载荷包括用于配置hoa空间信号预测解码工具、hoa子带方向信号合成解码工具和/或hoa参数化环境复制解码工具的位流元素。

26、在实施例中，数据结构可以进一步包括hoa解码器配置有效载荷，该hoa解码器配置有效载荷包括指示hoa扩展有效载荷对于多个层的分配的信息。

27、在实施例中，方法和装置涉及对声音或声场的压缩高阶高保真度立体声响复制(hoa)表示进行解码。该装置可以被配置为或者该方法可以包括：接收位流，该位流包含与多个分级层相对应的压缩hoa表示，该多个分级层包括基本层和一个或多个分级增强层，其中，多个层被分配有声音或声场的基本压缩声音表示的分量，这些分量在相应的分量组中被分配给相应层，在该多个层中确定用于解码的最高可用层；提取分配给最高可用层的hoa扩展有效载荷，其中，hoa扩展有效载荷包括用于参数化地增强与最高可用层相对应的重构的hoa表示的辅助信息，其中，与最高可用层相对应的重构的hoa表示可以基于分配给最高可用层和低于最高可用层的任何层的传输信号获得；基于层信息、分配给最高可用层和低于最高可用层的任何层的传输信号来对与最高可用层相对应的压缩hoa表示进行解码；并且使用分配给最高可用层的hoa扩展有效载荷中所包括的辅助信息来参数化地增强解码的hoa表示。

28、hoa扩展有效载荷可以包括用于hoa空间信号预测解码工具的位流元素。层信息可以指示增强层的当前帧中的作用方向信号的数量。

29、层信息可以指示用于增强层的附加环境hoa系数的总数量。层信息可以包括用于增强层的每个附加环境hoa系数的hoa系数索引。层信息可以包括增强信息，该增强信息包括空间信号预测、子带方向信号合成和参数化环境复制解码器中的至少一个。如果在hoadecoderconfig()中标示了等于1的codedvvechlength，则使得压缩hoa表示适于基于hoa的内容的分层编码模式。此外，对于与contaddhoacoeff集合中所包括的附加hoa系数的索引相等的索引，可以不发送v矢量元素。可以对多个分级层中的每个单独地定义contaddhoacoeff集合。层信息包括numlayers元素，其中，每个元素指示一直到第i层的所有层中包括的传输信号的数量。层信息可以包括对第k帧的所有实际使用的层的指示符。层信息还可以指示用于主导矢量的所有系数被指定。层信息可以指示与大于minnumofcoeffsforambhoa的数值相对应的主导矢量的系数被指定。层信息可以指示minnumofcoeffsforambhoa和contaddhoacoeff[lay]中定义的所有元素不被发送，其中，lay是包含与矢量相对应的基于矢量的信号的层的索引。

30、根据另一方面，描述了一种用于声音或声场的压缩高阶高保真度立体声响复制(hoa)表示的帧的分层编码的编码器。压缩hoa表示可以包括多个传输信号。该编码器可以包括处理器，该处理器被配置为执行根据第一上述方面和第二上述方面的方法的方法步骤中的一些或全部。

31、根据另一方面，描述了一种用于对声音或声场的压缩高阶高保真度立体声响复制(hoa)表示的帧进行解码的解码器。压缩hoa表示可以被编码在多个分级层中，该多个分级层包括基本层和一个或多个分级增强层。该解码器可以包括处理器，该处理器被配置为执行根据第三上述方面的方法的方法步骤中的一些或全部。

32、根据另一方面，描述了一种软件程序。该软件程序可以适于在处理器上执行并且适于当在计算设备上被执行时执行本公开中概述的方法步骤中的一些或全部。

33、根据又一方面，描述了一种存储介质。该存储介质可以包括软件程序，该软件程序适于在处理器上执行并且适于当在计算设备上被执行时执行本公开中概述的方法步骤中的一些或全部。

34、如技术人员将意识到的，要意识到关于上面任何方面或其实施例所做的陈述也适用于相应的其他方面或它们的实施例。由于简洁的原因，省略了对每一个方面或实施例重复这些陈述。

35、应注意，如本公开所概述的包括其优选实施例的方法和装置可以独立地使用，或者与本公开所公开的其他方法和系统组合使用。此外，本公开中所概述的方法和装置的所有方面可以被任意地组合。具体地说，权利要求的特征可以以任意的方式相互组合。

36、应进一步注意，方法步骤和装置特征可以以许多方式互换。具体地说，如技术人员将意识到的，所公开的方法的细节可以实现为适于执行该方法的步骤中的一些或全部的装置，反之亦然。