相对于球面谐波系数执行空间掩蔽的制作方法
【专利说明】
[0001] 本申请案主张2013年5月28日申请的第61/828, 132号美国临时申请案的权益。
技术领域
[0002] 所述技术涉及音频数据，并且更具体来说涉及音频数据的编码。
【背景技术】
[0003] 高阶立体混响（Η0Α)信号（常由多个球面谐波系数（SHC)或其它层级要素表示） 是声场的三维表示。此Η0Α或SHC表示可以独立于用以重放从此SHC信号渲染的多声道音 频信号的局部扬声器几何结构的方式表示此声场。此SHC信号还可促进向后相容性，因为 可将此SHC信号渲染为众所周知的且被广泛采用的多通道格式（例如，5. 1音频声道格式或 7. 1音频声道格式）。SHC表示因此可实现对声场的更好表示，其也适应向后兼容性。
【发明内容】
[0004] -般来说描述相对于球面谐波系数（其也可被称作高价态立体混响（Η0Α)系数） 执行空间掩蔽的技术。空间掩蔽可利用当相对较响的声音在空间上接近较安静的声音的位 置处发生时，人听觉系统无法检测所述较安静的声音的事实。本发明中描述的技术可使音 频译码装置能够评估球面谐波系数所表达的声场，以识别可能被相对较响（或能量较大） 声音掩蔽的这些较安静（或能量较小）声音。所述音频译码装置可接着为译码较安静声音 指派较多的位，同时为译码较响声音指派较多的位（或维持若干位）。在这方面中，本发明 中描述的技术可促进球面谐波系数的译码。
[0005] 在一个方面中，一种方法包括：解码位流来产生具有对应于布置成限定扬声器几 何结构的扬声器的多个声道的第一多声道音频数据；；相对于所产生的多声道音频数据执 行逆渲染过程，以产生多个球面谐波系数；以及基于所述多个球面谐波系数来渲染具有对 应于布置成局部扬声器几何结构的扬声器的多个声道的第二多声道音频数据。
[0006] 在另一方面，一种音频解码装置包括一或多个处理器，其经配置以：解码位流以产 生具有对应于布置成第一扬声器几何结构的扬声器的多个声道的以产生多声道音频数据； 相对于所产生的多声道音频数据执行逆渲染过程，以产生多个球面谐波系数；以及基于所 述多个球面谐波系数渲染具有对应于布置成局部扬声器几何结构的扬声器的多个声道的 第二多声道音频数据。
[0007] 在另一方面，一种音频解码装置包括：用于解码位流以产生的装置具有对应于布 置成第一扬声器几何结构的扬声器的多个声道的第一多声道音频数据；用于相对于所产生 的多声道音频数据执行逆渲染过程以产生多个球面谐波系数的装置；以及用于基于所述多 个球面谐波系数渲染具有对应于布置成局部扬声器几何结构的扬声器的多个声道的第二 多声道音频数据的装置。
[0008] 在另一方面，一种非暂时性计算机可读存储媒体上面存储有指令，所述指令当经 执行时，致使音频解码装置的一或多个处理器：解码位流以产生具有对应于布置成第一扬 声器几何结构的扬声器的多个声道的第一多声道音频数据；相对于所产生的多声道音频数 据执行逆渲染过程以产生多个球面谐波系数；且基于所述多个球面谐波系数渲染具有对应 于布置成局部扬声器几何结构的扬声器的多个声道的第二多声道音频数据。
[0009] 在另一方面，一种压缩音频数据的方法包括：基于描述三维声场的多个球面谐波 系数执行空间分析以识别空间掩蔽阈值；以及基于所识别的空间掩蔽阈值来压缩所述音频 数据以产生位流。
[0010] 在另一方面，一种装置包括一或多个处理器，其经配置以基于描述三维声场的多 个球面谐波系数执行空间分析以识别空间掩蔽阈值，且基于所识别的空间掩蔽阈值来压缩 所述音频数据以产生位流。
[0011] 在另一方面，一种装置包括：用于基于描述三维声场的多个球面谐波系数执行空 间分析以识别空间掩蔽阈值的装置；以及用于基于所识别的空间掩蔽阈值来压缩所述音频 数据以产生位流的装置。
[0012] 在另一方面，一种非暂时性计算机可读存储媒体上面存储有指令，所述指令当经 执行时，致使一或多个处理器基于描述三维声场的多个球面谐波系数执行空间分析以识别 空间掩蔽阈值，且基于所识别的空间掩蔽阈值来压缩所述音频数据以产生位流。
[0013] 在另一方面，一种压缩音频的方法包括：渲染以三维形式描述音频的声场的多个 球面谐波系数以产生多声道音频数据；相对于所述多声道音频数据执行空间分析以识别空 间掩蔽阈值；以及基于所识别的空间掩蔽阈值来压缩所述多声道音频数据以产生位流。
[0014] 在另一方面，一种装置包括一或多个处理器，其经配置来渲染以三维形式描述音 频的声场的多个球面谐波系数以产生多声道音频数据；相对于所述多声道音频数据执行空 间分析以识别空间掩蔽阈值；且基于所述所识别的空间掩蔽阈值来压缩所述多声道音频数 据以产生位流。
[0015] 在另一方面，一种装置包括：用于渲染以三维形式描述音频的声场的多个球面谐 波系数以产生多声道音频数据的装置；相对于所述多声道音频数据执行空间分析以识别空 间掩蔽阈值的装置；以及基于所识别的空间掩蔽阈值来压缩所述多声道音频数据以产生位 流的装置。
[0016] 在另一方面，一种非暂时性计算机可读存储媒体上面存储有指令，所述指令当经 执行时，致使一或多个处理器：渲染以三维形式描述音频的声场的多个球面谐波系数以产 生多声道音频数据；相对于所述多声道音频数据执行空间分析以识别空间掩蔽阈值；且基 于所述所识别的空间掩蔽阈值来压缩多声道音频数据以产生位流。
[0017] 在另一方面，一种压缩音频数据的方法包括：为表示经压缩音频数据的位流确定 目标位速率；基于以三维形式描述音频数据的声场的多个球面谐波系数来执行空间分析以 识别空间掩蔽阈值；以及基于所述目标位速率，执行i)参数声道间音频编码以及所述空间 掩蔽阈值的空间掩蔽，或ii)使用空间掩蔽阈值的空间掩蔽。而不执行参数声道间音频编 码，以产生表示经压缩音频数据的位流。
[0018] 在另一方面，一种装置包括一或多个处理器，其经配置以：为表示经压缩音频数据 的位流确定目标位速率；基于以三维形式描述音频数据的声场的多个球面谐波系数执行空 间分析，以识别空间掩蔽阈值；以及基于所述目标位速率，执行i)参数声道间音频编码和 使用空间掩蔽阈值的空间掩蔽；或ii)使用空间掩蔽阈值的空间掩蔽，而不执行参数声道 间音频编码，以产生表示经压缩音频数据的位流。
[0019] 在另一方面，一种装置包括：用于为表示经压缩音频数据的位流确定目标位速率 的装置；用于基于以三维形式描述音频数据的声场的多个球面谐波系数来执行空间分析以 识别空间掩蔽阈值的装置；以及用于基于所述目标位速率，执行i)参数声道间音频编码和 使用空间掩蔽阈值的空间掩蔽或ii)使用空间掩蔽阈值的空间掩蔽而不执行参数声道间 音频编码以产生表示经压缩音频数据的位流的装置。
[0020] 在另一方面，一种非暂时性计算机可读存储媒体上面存储有指令，所述指令当经 执行时，致使一或多个处理器：为表示经压缩音频数据的位流确定目标位速率，基于以三维 形式描述音频数据的声场的多个球面谐波系数执行空间分析，以识别空间掩蔽阈值，基于 所述目标位速率，执行i)参数声道间音频编码和使用空间掩蔽阈值的空间掩蔽，或ii)使 用空间掩蔽阈值的空间掩蔽，而不执行参数声道间音频编码，以产生表示经压缩音频数据 的位流。
[0021] 在另一方面，一种压缩多声道音频数据的方法，所述方法包括：基于以三维形式描 述多声道音频数据的声场的多个球面谐波系数来执行空间分析，以识别空间掩蔽阈值；渲 染所述球面谐波系数，以产生多声道音频数据；使用所述空间掩蔽阈值，相对于所述多声道 音频数据的一或多个基础声道执行空间掩蔽；相对于所述多声道音频数据（包含所述多声 道音频数据的经空间掩蔽的一或多个基础声道）执行参数声道间音频编码，以产生位流。
[0022] 在另一方面，一种装置包括一或多个处理器以：基于以三维形式描述多声道音频 数据的声场的多个球面谐波系数来执行空间分析，以识别空间掩蔽阈值；渲染所述球面谐 波系数，以产生多声道音频数据；使用所述空间掩蔽阈值，相对于所述多声道音频数据的一 或多个基础声道，执行空间掩蔽；且相对于所述多声道音频数据（包含所述多声道音频数 据的经空间掩蔽的一或多个基础声道）执行参数声道间音频编码，以产生位流。
[0023] 在另一方面，一种装置包括：用于基于以三维形式描述多声道音频数据的声场的 多个球面谐波系数来执行空间分析以识别空间掩蔽阈值的装置；用于渲染所述球面谐波系 数以产生多声道音频数据的装置；用于使用所述空间掩蔽阈值相对于所述多声道音频数据 的一或多个基础声道执行空间掩蔽的装置；用于相对于所述多声道音频数据（包含所述多 声道音频数据的经空间掩蔽的一或多个基础声道）执行参数声道间音频编码以产生位流 的装置。
[0024] 在另一方面，一种非暂时性计算机可读存储媒体上面存储有指令，所述指令当经 执行时，致使一或多个处理器：基于以三维形式描述多声道音频数据的声场的多个球面谐 波系数来执行空间分析以识别空间掩蔽阈值；渲染所述球面谐波系数以产生多声道音频数 据；使用所述空间掩蔽阈值，相对于所述多声道音频数据的一或多个基础声道来执行空间 掩蔽；且相对于所述多声道音频数据（包含所述多声道音频数据的经空间掩蔽的一或多个 基础声道）执行参数声道间音频编码，以产生位流。
[0025] 在另一方面，一种压缩音频数据的方法，所述方法包括：基于以三维形式描述音频 数据的声场的多个球面谐波系数来执行空间分析，以识别空间掩蔽阈值；使用所述空间掩 蔽阈值，相对于所述多个球面谐波系数执行空间掩蔽；以及产生包含所述多个经空间掩蔽 的球面谐波系数的位流。
[0026] 在另一方面，一种装置包括一或多个处理器，其用以：基于以三维形式描述音频数 据的声场的多个球面谐波系数来执行空间分析，以识别空间掩蔽阈值；使用所述空间掩蔽 阈值，相对于所述多个球面谐波系数执行空间掩蔽；以及产生包含所述多个经空间掩蔽的 球面谐波系数的位流。
[0027] 在另一方面，一种装置包括：用于基于以三维形式描述音频数据的声场的多个球 面谐波系数来执行空间分析以识别空间掩蔽阈值的装置；用于使用所述空间掩蔽阈值，相 对于所述多个球面谐波系数执行空间掩蔽的装置；以及用于产生包含所述多个经空间掩蔽 的球面谐波系数的位流的装置。
[0028] 在另一方面，一种非暂时性计算机可读存储媒体上面存储有指令，所述指令当经 执行时，致使一或多个处理器：基于以三维形式描述音频数据的声场的多个球面谐波系数 来执行空间分析，以识别空间掩蔽阈值；使用所述空间掩蔽阈值，相对于所述多个球面谐波 系数执行空间掩蔽；且产生包含所述多个经空间掩蔽的球面谐波系数的位流。
[0029] 在附图和以下描述中陈述所述技术的一或多个方面的细节。这些技术的其它特 征、目标和优点将从所述描述和图式以及所附权利要求书中显而易见。
【附图说明】
[0030] 图1到3是说明具有各种阶和子阶的球面谐波基底函数的图。
[0031]图4A和4B各自为说明可执行本发明中描述的技术的各个方面以译码描述二维或 三维声场的球面谐波系数的实例音频编码装置的框图。
[0032]图5是说明可执行本发明中描述的技术的各个方面以解码描述二维或三维声场 的球面谐波系数的实例音频解码装置的框图。
[0033] 图6A到6C是更详细地说明图4A的实例中所示的音频编码单元的实例变化的框 图。
[0034] 图7是更详细地说明图2的音频解码单元的实例的框图。
[0035] 图8是更详细地说明图5的实例中所示的音频渲染单元的框图。
[0036]图9是说明音频编码装置在执行本发明中描述的技术的各种方面中的示范性操 作的流程图。
[0037]图10是说明音频解码装置在执行本发明中描述的技术的各种方面中的示范性操 作的流程图。
[0038]图11是说明本发明中描述的空间掩蔽技术的各个方面的图。
[0039] 图12是说明其中可根据本发明中描述的技术的各个方面执行产生位流的不同形 式的图4A的实例中所示的音频编码装置的变化的框图。
[0040]图13是说明可执行本发明中描述的技术的各种方面的示范性音频编码装置的框 图。
【具体实施方式】
[0041] 环绕声的演进现今已使得许多输出格式可用于娱乐。此类环绕声格式的实例包含 流行的5. 1格式（其包含以下六个声道：左前（FL)、右前（FR)、中央或前方中央、左后或环 绕左、右后或环绕右以及低频效果（LFE))，发展的7. 1格式和即将到来的22. 2格式（例如， 用于与超高清电视标准一起使用）。进一步的实例包含用于球面谐波阵列的格式。
[0042] 到将来MPEG编