将隐藏对象用于信号混合操作的空间音频对象编码的设备和方法
【技术领域】
[0001] 本发明涉及音频信号处理，并且尤其涉及一种解码器、一种编码器、一种系统、一 种方法以及一种计算机程序，用于将隐藏对象用于信号混合操作的空间音频对象编码。
【背景技术】
[0002] 音频信号处理变得越来越重要。近年来，在音频编码领域[BCC，JSC，S A O C，SAOC l，SA0C2]中并且在消息源分离领域[ISS1，ISS2，ISS3，ISS4，ISS5，ISS6]中，提出了用于 包含多个音频对象的音频场景的比特率有效传输和/或储存的参数技术。这些技术旨在根 据描述所传输的和/或储存的视频场景和/或在视频场景内的视频源对象的附加边信息， 重构期望的输出音频场景或期望的音频源对象。
[0003] 图11描述了示出MPEG SAOC (MPEG =运动图像专家组；SAOC =空间音频对象编 码）的实例的根据现有技术水平的系统。尤其地，图11示出了 MPEG SAOC系统概述。
[0004] 根据现有技术水平，通常通过频率选择的方式执行一般处理，并且例如，可以在每 个频带内，如下描述该一般处理：
[0005] N个输入音频对象信号S1. .. sN向下混合成P个信道X1. .. xP，作为最先进的A O C 解码器910的混频器912的处理的一部分。可以使用下混合矩阵，包括元素 Cllil,...，dNiP。 此外，A O C解码器910的边信息估计器914提取描述输入音频对象的特征的边信息。对 于MPEG SA0C，对象功率彼此之间的关系是这种边信息的基本形式。
[0006] 随后，可以传输和/或储存下混合信号和边信息。为此，最先进的感知音频编码器 920 (例如，MPEG-I层II或III (也称为mp3)音频编码器或MPEG高级音频编码（AAC)音频 编码器等）可以编码（例如，压缩）下混合音频信号。
[0007] 在接收端，编码彳目号首先由最先进的感知首频解码器940 (例如，MPEG-I层II或 III音频解码器或MPEG高级音频编码（AAC)音频解码器等）解码。
[0008] 然后，解码器SAOC解码器950在概念上试图使用传输侧信息从（解码的）下混合 信号中恢复原始对象信号，例如，通过进行"对象分离"，如上所述，可以由SAOC编码器910 的边信息估计器914生成该传输侧信息。为了通过进行对象分离来恢复原始对象，SAOC解 码器950包括对象分离器952,例如，虚拟对象分离器。
[0009] 然后，对象分离器952可以将接近的对象信号t.. 提供给SAOC解码器950的 渲染器954,其中，然后，渲染器954将接近的对象信号％:…，混合到由M个音频输出信道 丸,...，夂,表示的目标场景内，例如，通过使用渲染矩阵。在图11中的系数rM...可以 (例如）表示渲染矩阵的一些系数。在特殊的情况下，期望目标场景可以是来自混合物（源 分离场景）的仅仅一个源信号的渲染，也可以是任何其他任意的声音场景。
[0010] 然而，根据现有技术水平的处理具有几个缺点。
[0011] 最先进的系统限于仅仅处理音频源信号。假设不将进一步的信号处理应用于混合 物信号中或原始源对象信号中，执行在编码器和解码器内的信号处理。如果这种假设不再 适用，那么这种系统的性能减小。
[0012] 违反这种假设的显著实例是在处理链中使用音频编码器，以减少要储存和/或传 输的数据量，用于有效地传送下混合信号。信号压缩在感知上改变下混合信号。这具有以 下效应：在解码系统内的对象分离器的性能降低，因此，渲染的目标场景的感知质量也降低 [ISS5, ISS6]〇
【发明内容】
[0013] 本发明的目标在于，提供用于音频编码和解码的改进的概念。由根据权利要求1 所述的设备、根据权利要求9所述的设备、根据权利要求16所述的系统、根据权利要求17 所述的方法、根据权利要求18所述的方法以及根据权利要求19所述的计算机程序解决本 发明的目标。
[0014] 提供了一种设备，用于编码一个或多个音频对象，以获得编码信号。所述设备包括 下混频器，用于向下混合所述一个或多个音频对象，以获得一个或多个未处理的下混合信 号，而且，所述设备包括处理模块，用于处理所述一个或多个未处理的下混合信号，以获得 一个或多个经处理的下混合信号。而且，所述设备包括信号计算器，用于计算一个或多个附 加信号，其中，所述信号计算器被配置为根据在所述一个或多个经处理的下混合信号中的 一个与所述一个或多个未处理的下混合信号中的一个之间的差值，计算所述一个或多个附 加信号中的每个。而且，所述设备包括对象信息发生器，用于生成用于所述一个或多个音频 对象的参数音频对象信息以及用于所述一个或多个附加信号的附加参数信息。而且，所述 设备包括输出接口，用于输出编码信号，所述编码信号包括用于所述一个或多个音频对象 的参数音频对象信息以及用于所述一个或多个附加信号的附加参数信息。
[0015] 根据一个实施方式，所述处理模块可以被配置为通过将所述一个或多个未处理的 下混合信号编码，以获得所述一个或多个经处理的下混合信号，来处理所述一个或多个未 处理的下混合信号。
[0016] 在一个实施方式中，所述信号计算器可以包括解码单元和组合器。所述解码单元 可以被配置为将所述一个或多个经处理的下混合信号解码，以获得一个或多个解码信号。 而且，所述组合器可以被配置为通过生成在所述一个或多个解码信号中的一个与所述一个 或多个未处理的下混合信号中的一个之间的差值信号，生成所述一个或多个附加信号中的 每个。
[0017] 根据一个实施方式，所述一个或多个未处理的下混合信号中的每个可以包括多个 第一信号采样，将所述第一信号采样中的每个分配给多个时间点中的一个。所述一个或多 个解码信号中的每个可以包括多个第二信号采样，将所述第二信号采样中的每个分配给所 述多个时间点中的一个。而且，所述信号计算器可以进一步包括时间校准单元，其被配置为 使所述一个或多个解码信号中的一个与所述一个或多个未处理的下混合信号中的一个在 时间上对准，以便将所述未处理的下混合信号的第一信号采样中的一个分配给所述解码信 号的第二信号采样中的一个，将所述未处理的下混合信号的所述第一信号采样和所述解码 信号的所述第二信号采样分配给所述多个时间点的同一个时间点。
[0018] 在一个实施方式中，所述处理模块可以被配置为通过在所述一个或多个未处理的 下混合信号的至少一个上应用音响效果，以获得所述一个或多个经处理的下混合信号，来 处理所述一个或多个未处理的下混合信号。
[0019] 根据一个实施方式，可以将音频对象能量值分配给所述一个或多个音频对象中的 每个，并且可以将附加能量值分配给所述一个或多个附加信号中的每个。所述对象信息发 生器可以被配置为确定参考能量值，以便所述参考能量值大于或等于所述一个或多个音频 对象中的每个的所述音频对象能量值，并且以便所述参考能量值大于或等于所述一个或多 个附加信号中的每个的所述附加能量值。而且，所述对象信息发生器可以被配置为通过确 定所述一个或多个音频对象的每个音频对象的音频对象水平差值，来确定所述参数音频对 象信息，以便所述音频对象水平差值表示所述音频对象的所述音频对象能量值与所述参考 能量值的比值，或者以便所述音频对象水平差值表示在所述参考能量值与所述音频对象的 所述音频对象能量值之间的差值。而且，所述对象信息发生器可以被配置为通过确定所述 一个或多个附加信号的每个附加信号的附加对象水平差值，来确定所述附加对象信息，以 便所述附加对象水平差值表示所述附加信号的所述附加能量值与所述参考能量值的比值， 或者以便所述附加对象水平差值表示在所述参考能量值与所述附加信号的所述附加对象 能量值之间的差值。
[0020] 在一个实施方式中，所述处理模块可以包括音响效果模块和编码模块。所述音响 效果模块可以被配置为在所述一个或多个未处理的下混合信号的至少一个上应用音响效 果，以获得一个或多个在听觉上调整的下混合信号。而且，所述编码模块可以被配置为将所 述一个或多个在听觉上调整的下混合信号编码，以获得所述一个或多个经处理的下混合信 号。
[0021] 而且，提供了一种用于将编码信号解码的设备，其中，所述编码信号包括关于一个 或多个音频对象的参数音频对象信息以及附加参数信息。所述设备包括接口，用于接收一 个或多个经处理的下混合信号，并且用于接收所述编码信号，其中，所述附加参数信息反应 在一个或多个未处理的下混合信号上执行的处理，以获得所述一个或多个经处理的下混合 信号。而且，所述设备包括音频场景发生器，用于根据所述一个或多个经处理的下混合信 号、所述参数音频对象信息、所述附加参数信息、以及表示所述一个或多个音频对象在所述 音频场景内的位置的渲染信息，生成包括多个空间音频信号的音频场景，其中，所述音频场 景发生器被配置为在所述音频场景内衰减或消除由所述附加参数信息表示的输出信号。
[0022] 根据一个实施方式，所述附加参数信息可以取决于一个或多个附加信号，其中，所 述附加信号表示在所述一个或多个经处理的下混合信号中的一个与所述一个或多个未处 理的下混合信号中的一个之间的差值，其中，所述一个或多个未处理的下混合信号表示所 述一个或多个音频对象的下混合，并且其中，所述一个或多个经处理的下混合信号由所述 一个或多个未处理的下混合信号的处理造成。
[0023] 在一个实施方式中，所述音频场景发生器可以包括音频对象发生器和渲染器。所 述音频对象发生器可以被配置为根据所述一个或多个经处理的下混合信号、所述参数音频 对象信息以及所述附加参数信息，生成所述一个或多个音频对象。所述渲染器可以被配置 为根据所述一个或多个音频对象、所述参数音频对象信息以及渲染信息，生成所述多个空 间音频信号。
[0024] 根据一个实施方式，所述渲染器可以被配置为根据所述一个或多个音频对象、所 述附加参数信息以及所述渲染信息，生成所述音频场景的多个空间音频信号，其中，所述渲 染器可以被配置为根据由所述渲染信息包括的一个或多个渲染系数，在所述音频场景内衰 减或消除由所述附加参数信息表示的所述输出信号。
[0025] 在一个实施方式中，所述设备进一步包括用户接口，用于设置所述一个或多个渲 染系数，用于控制是否在所述音频场景内衰减或消除由所述附加参数信息表示的所述输出 信号。
[0026] 根据一个实施方式，所述音频场景发生器可以被配置为根据所述一个或多个经处 理的下混合信号、所述参数音频对象信息、所述附加参数信息、以及表示所述一个或多个音 频对象在所述音频场景内的位置的渲染信息，生成包括多个空间音频信号的音频场景，其 中，所述音频场景发生器可以被配置为不生成所述一个或多个音频对象，以生成所述音频 场景。
[0027] 在一个实施方式中，所述设备可以进一步包括音频解码器，用于将所述一个或多 个经处理的下混合信号解码，以获得一个