用于各种回放环境的动态范围控制的制作方法
【专利说明】
[0001] (对相关申请的交叉引用）
[0002] 本申请要求在2013年9月12日提交的美国临时专利申请No.61/877230、在2013年 10月15日提交的美国临时专利申请No.61/891324和在2014年2月10日提交的美国临时专利 申请No. 61 /938043作为优先权，在运里通过引用并入其全部内容。
技术领域
[0003] 本发明总体设及处理音频信号，更特别地，设及可被用于在各种回放环境中的任 一种中向音频信号施加动态范围控制和其它类型的音频处理动作的技术。
【背景技术】
[0004] 媒体消费者装置的日益普及对用于在运些装置处回放的媒体内容的创建者和分 配者W及装置的设计人员和制造商提出新的机会和挑战。许多消费者装置能够回放广泛的 媒体内容类型和格式，包括常常与用于HDTV、Blu-ray或DVD的高质量、宽带宽和宽动态范围 音频内容相关的那些。媒体处理装置可被用于任意地在它们自身的内部声学换能器或诸如 耳机的外部换能器上回放运种类型的音频内容;但是，它们一般不能跨着各种媒体格式和 内容类型用一致的响度和清晰度(intelligibility)再现该内容。
[000引在本部分中描述的方法是可追寻的方法，但未必是W前构想或追寻的方法。因此， 除非另外指示，否则，不应仅通过包含于本部分中而假定在本部分中描述的方法中的任一 个为现有技术。类似地，除非另外指示，否则，关于一个或更多个方法识别的问题不应基于 本部分而假定在任何现有技术中已被识别。
【附图说明】
[0006] 在附图中作为例子而不是限制示出本发明，并且，在运些附图中，类似的附图标记 指的是类似的要素，其中，
[0007] 图IA和图IB分别示出示例性音频解码器和示例性音频编码器；
[000引图2A和图2B示出示例性动态范围压缩曲线；
[0009] 图3示出组合DRC和限制增益的确定/计算的示例性处理逻辑；
[0010] 图4示出增益的示例性差分编码；
[0011] 图5示出包含音频编码器和音频解码器的示例性编解码器系统；
[001引图5A示出示例性音频解码器；
[001引图6A~抓示出示例性处理流程；从及
[0014] 图7示出可在上面实现运里描述的计算机或计算装置的示例性硬件平台。
【具体实施方式】
[0015] 运里描述设及在各种回放环境中的任一种向音频信号施加动态范围控制处理和 其它类型的音频处理动作的示例性实施例。在W下的描述中，出于解释的目的，为了使得能 够彻底地理解本发明，阐述了大量的详细细节。但是，显然可W在没有运些特定细节的情况 下实现本发明。在其它情况下，为了避免不必要地混淆、掩盖本发明或者使其变模糊，不W 详尽的细节描述公知的结构和装置。
[0016] 运里根据从下的提纲描述示例性实施例：
[0017] 1. -般概要 [001引 2.动态范围控制
[0019] 3.音频解码器
[0020] 4.音频编码器
[0021] 5.动态范围压缩曲线
[0022] 6.DRC增益、增益限制和增益平滑化
[0023] 7 .输入平滑化和增益平滑化
[0024] 8.多个频带上的DRC
[0025] 9.响度域中的音量调整
[0026] 10.具有差分增益的增益简档
[0027] 11.与增益有关的附加动作
[0028] 12.特定和广带(或宽带)响度水平
[0029] 13.用于信道的各单个子集的各单个增益
[0030] 14.听觉场景分析
[0031 ] 15.响度水平过渡
[003引 16.复位
[0033] 17.编码器提供的增益
[0034] 18.示例性系统和处理流程 [00巧]19.实现机构一硬件概要
[0036] 20.等同物、扩展、替代和杂项
[0037] 1. -般概要
[0038] 本概要给出本发明的实施例的一些方面的基本描述。应当注意，本概要不是实施 例的各方面的广延或详尽的总结。并且，应当注意，本概要不应被理解为识别实施例的任何 特别重要的方面或要素，也不应被理解为特别界定实施例的任何范围，也不应被理解为一 般地界定本发明。本概要仅W概括或简化的形式给出与示例性实施例有关的一些概念，并 且应被理解为W下给出的示例性实施例的更详细描述的概念性序言。注意，虽然运里讨论 各单独的实施例，但是运里讨论的实施例和/或部分实施例的任意组合可被组合W形成其 它的实施例。
[0039] 在一些方法中，编码器假定音频内容是出于动态范围控制的目的对特定环境编码 的，并且对特定环境确定诸如用于动态范围控制等的增益的音频处理参数。根据运些方法 由编码器确定的增益一般在一些时间间隔等上通过一些时间常数(例如，在指数衰减的函 数等中）被平滑化。另外，对确保信号不大于假定环境的修剪水平的增益限制，可能已加入 根据运些方法由编码器确定的增益。因此，根据运些方法通过编码器用音频信息编码成音 频信号的增益是许多不同影响的结果并且是不可逆的。根据运些方法接收增益的解码器可 能不能区分增益的哪个部分用于动态范围控制、增益的哪个部分用于增益平滑化、增益的 哪个部分用于增益限制，等等。
[0040] 根据运里描述的技术，音频编码器不假定只需要支持音频解码器处的特定回放环 境。在实施例中，音频编码器传送具有音频内容的编码音频信号，从该编码音频信号可确定 正确的响度水平(例如，没有修剪等）。音频编码器也向音频解码器传送一个或更多个动态 范围压缩曲线。一个或更多个动态范围压缩曲线中的任一个可W是基于标准的、专有的、定 制的、内容提供商特有的，等等。基准响度水平、起音时间（attack time )、释音时间 (release time)等可作为一个或更多个动态范围压缩曲线的一部分或者与其结合被音频 编码器传送。基准响度水平、起音时间、释音时间等中的任一个可W是基于标准的、专有的、 定制的、内容提供商特有的，等等。
[0041] 在一些实施例中，音频编码器实现听觉场景分析(ASA)技术，并且使用ASA技术W 检测音频内容中的听觉事件，并且，向音频解码器传送描述检测的听觉事件的一个或更多 个ASA参数。
[0042] 在一些实施例中，音频编码器可也被配置为检测音频内容中的复位事件，并且W 与音频内容时间同步的方式向诸如音频解码器等的下游装置传送复位事件的指示。
[0043] 在一些实施例中，音频编码器可被配置为计算音频内容的各单个部分(例如，音频 数据块、音频数据帖等）的一组或更多组增益(例如，DRC增益等），并且，用音频内容的各单 个部分将多组增益编码到编码的音频信号中。在一些实施例中，由音频编码器生成的多组 增益与一个或更多个不同增益简档（例如，在表1等中示出的那些)对应。在一些实施例中， 可W使用化ffman编码、差分编码等W将多组增益编码成音频数据帖的成分、分支等或者从 中读取多组增益。运些成分、分支等可被称为音频数据帖中的子帖。不同组的增益可与不同 组的子帖对应。各组增益或者各组子帖可包含两个或更多个时间成分(例如，子帖等）。在一 些实施例中，运里描述的音频编码器中的位流格式化器(formatter)可用一个或更多个for 循环将一组或更多组增益一起作为差分数据代码写入到音频数据帖中的一组或更多组子 帖中；相应地，运里描述的音频解码器中的位流剖析器可从音频数据帖中的一组或更多组 子帖读取被编码为差分数据代码的一组或更多组增益中的任一个。
[0044] 在一些实施例中，音频编码器确定要被编码成编码音频信号的音频内容中的对话 响度水平，并且，用音频内容向音频编码器传送对话响度水平。
[004引在一些实施例中，音频编码器向下游受体音频解码器发送用于回放环境或情形中 的缺省增益简档的缺省动态压缩曲线。在一些实施例中，音频编码器假定下游受体音频解 码器要使用用于回放环境或情形中的缺省增益简档的缺省动态压缩曲线。在一些实施例 中，音频编码器向下游受体音频解码器发送在下游受体音频解码器处定义的一个或更多个 动态压缩曲线(或增益简档）中的哪一个要被用于回放环境或情形中的指示。在一些实施例 中，对于一个或更多个非缺省增益简档中的每一个，音频编码器发送与该非缺省简档对应 的（例如，非缺省等)动态压缩曲线作为由编码音频信号承载的元数据的一部分。运里描述 的技术允许通过上游编码器生成与缺省压缩曲线有关的多组差分增益并将其发送到下游 解码器。运允许解码器中的DRC压缩器(例如，基于压缩曲线和平滑化动作等计算增益的处 理)设计有大量的自由度，同时，与传送所有增益值相比，使需要的位率保持相对地低。仅出 于解释的目的，提到了缺省简档或缺省DRC曲线为与可特别计算非缺省简档或非缺省DRC曲 线的差分增益相关的一个。但是，运仅是出于解释的目的；如各种实施例那样，不需要严格 区分缺省简档与非缺省简档(例如，在媒体数据流等中），所有其它简档可W是相对于同一 特定(例如，"缺省"等)压缩曲线的差分增益。如运里使用的那样，"增益简档"可指的是作为 执行DR惊力作的压缩器的动作模式的DR对莫式。在一些实施例中，DR对莫式设及特定类型的回 放装置(AVR对TV对平板)和/或环境(噪声对安静对后夜）。各DR对莫式可与增益简档相关。增 益简档可由压缩器执行DRC动作所基于的定义数据代表。在一些实施例中，增益简档可W是 DRC曲线(可能被参数化)和在DR惊力作中使用的时间常数。在一些实施例中，增益简档可W 是作为响应音频信号的DRC动作的输出的一组DRC增益。不同DRC模式的简档可与不同的压 缩量对应。
[0046] 在一些实施例中，音频编码器基于与缺省增益简档对应的缺省动态范围压缩曲线 确定音频内容的一组缺省(例如，全DRC和非DRC、全DRC等)增益，并且，对于一个或更多个非 缺省增益简档中的每一个，确定同一音频内容的一组非缺省（例如，全DRC和非DRC、全DRC 等)增益。音频编码器可然后确定缺省增益简档的一组缺省(例如，全DRC和非DRC、全DRC等） 增益与非缺省增益简档的一组非缺省（例如，全DRC和非DRC、全DRC等）增益之间的增益差， 在一组差分增益中包含增益差，等等。作为发送与非缺省回放环境或情形相关的非缺省简 档的（例如，非缺省等)动态压缩曲线的替代，作为作为由编码音频信号承载的元数据的一 部分的非缺省动态压缩曲线的替代或者除其W外，音频编码器可发送一组差分增益。
[0047] -组差分增益可能在尺寸上小于一组非缺省（例如，全DRC和非DRC、全DRC等）增 益。因此，与直接传送非差分(例如，全DRC和非DRC、全DRC等）增益相比，传送差分增益而不 是非差分(例如，全DRC和非DRC、全DRC等)增益可能需要更低的位率。
[0048] 接收运里描述的编码音频信号的音频解码器可能由不同的制造商提供，并且通过 不同的部件和设计被实现。音频解码器可在不同的时间释放给最终用户，或者可通过不同 版本的硬件、软件、固件被更新。作为结果，音频解码器可具有不同的音频处理能力。在一些 实施例中，大量的音频解码器可配有支持诸如由标准、私有要求等规定的缺省增益简档的 有限的一组增益简档的能力。大量的音频解码器可配有执行相关的增益生成动作的能力， W基于代表缺省增益简档的缺省动态范围压缩曲线生成缺省增益简档的增益。与传送对音 频信号中的缺省增益简档生成/计算的增益相比，传送音频信号中的缺省增益简档的缺省 动态范围压缩曲线可能更有效。
[0049] 另一方面，对于非缺省增益简档，音频编码器可参照与特定缺省增益简档对应的 特定缺省动态范围压缩曲线重新生成差分增益。响应在由音频编码器生成的音频信号中接 收差分增益，音频解码器可基于在音频信号中接收的缺省动态范围压缩曲线生成缺省增 益、将接收的差分增益和生成的缺省增益组合成用于非缺省增益简档的非缺省增益、向从 音频信号等解码的音频内容施加非缺省增益，同时呈现接收的音频内容。在一些实施例中， 非缺省增益简档可被用于补偿缺省动态范围压缩曲线的限制。
[0050] 运里描述的技术可被用于对新的增益简档、特征或增强提供灵活的支持。在一些 实施例中，至少一个增益简档不能容易地被缺省或非缺省的动态范围压缩曲线代表。在一 些实施例中，至少一个增益简档可能是特定音频内容(例如，特定电影等)特有的。与编码的 音频信号所可承载的相比，非缺省增益简档的代表(例如，参数化DRC曲线、平滑化常数等） 还可能在编码音频信号中需要传送更多的参数、平滑化常数等。在一些实施例中，至少一个 增益简档可能是特定的音频内容提供方(例如，特定的工作室等)特有的。
[0051] 因此，运里描述的音频编码器能够通过实现用于新增益简档的增益生成动作W及 用于与新增益简档相关的缺省增益简档的增益生成动作来带头支持新增益简档。下游受体 音频解码器不必执行用于新增益简档的增益生成动作。而是，音频解码器可通过利用由音 频编码器生成的非缺省差分增益来支持新增益简档，使得音频解码器不执行新增益简档的 增益生成动作。
[0052] 在一些实施例中，在在编码音频信号中编码的简档有关元数据中，根据与一个或 更多个(例如，缺省等)动态范围压缩曲线和一组或更多组(例如，非缺省等)差分增益对应 的各增益简档，一个或更多个(例如，缺省等)动态范围压缩曲线和一组或更多组(例如，非 缺省等)差分增益可被构建、索引等。在一些实施例中，一组非缺省差分增益与缺省动态范 围压缩曲线之间的关系可在简档相关元数据中被指示。当在元数据中存在两个或更多个缺 省动态范围压缩曲线时，运是特别有用的；或者，不在元数据中而在下游解码器中被限定， 基于在简档相关元数据中指示的关系，受体音频解码器可确定哪个缺省动态范围压缩曲线 要被用于生成一组缺省增益，运些缺省增益可然后出于生成非缺省增益的目的与接收的一 组非缺省差分增益组合，W例如补偿缺省动态范围压缩曲线的限制。
[0053] 当假定在假设的音频解码器处的假设的回放环境、情形等时，运里描述的技术不 要求音频解码器锁定(例如，不可逆等)可通过诸如音频编码器等的上游装置执行的音频处 理中。例如，为了区分存在于音频内容中的不同响度水平、最小化边界响度水平(例如，最小 或最大响度水平等)处或附近的音频感觉质量的损失、保持信道或信道的子集之间的空间 平衡等，运里描述的解码器可被配置为基于特定的回放情形定制音频处理动作。
[0054] 接收具有动态范围压缩曲线、基准响度水平、起音时间、释放时间等的编码音频信 号的音频解码器可确定在解码器处使用的特定回放环境，并且选择具有与特定回放环境对 应的相应基准响度水平的特定压缩曲线。
[0055] 解码器可计算/确定从编码音频信号提取的音频内容的各单个部分(例如，音频数 据块、音频数据帖等）中的响度水平，或者如果音频编码器计算和提供了编码音频信号中的 响度水平则获得音频内容的各单个部分中的响度水平。基于音频内容的各单个部分中的响 度水平、音频内容的前面部分中的响度水平、可用的情况下的音频内容的随后部分中的响 度水平、特定压缩曲线、与特定回放环境或情形相关的特定简档等中的一个或更多个，解码 器确定音频处理参数，诸如用于动态范围控制的增益(或DRC增益）、起音时间、释放时间等。 音频处理参数还可包含用于对准对话响度水平与特定回放环境的特定基准响度水平(可W 是用户可调整的）的调整。
[0056] 解码器根据音频处理参数施加包含(例如，多信道、多带等)动态范围控制、对话水 平调整等的音频处理动作。由解码器执行的音频处理动作还可包含但不仅限于:基于作为 选择的动态范围压缩曲线的一部分或者与其结合提供的起音和释放时间的增益平滑化、用 于防止修剪的增益限制等。可通过不同（例如，可调整、阔值依赖、可控等)时间常数执行不 同的音频处理动作。例如，通过相对短的时间常数(例如，瞬时、约5.3毫秒等），用于防止修 剪的增益限制可被应用于各单个音频数据块、各单个音频数据帖等。
[0057] 在一些实施例中，解码器可被配置为从编码音频信号中的元数据提取ASA参数(例 如，听觉事件边界的时间位置、事件确信性测量的时间依赖值等)并且基于提取的ASA参数 控制听觉事件中的增益平滑化的速度(例如，使用用于在听觉事件边界处起音的短时间常 数、使用长时间常数W在听觉事件内减慢增益平滑化等）。
[0058] 在一些实施例中，解码器还保持用于某个时间间隔或窗口的瞬时响度水平的直方 图，并且，例如，通过修改时常常数，使用直方图W控制程序之间、程序与商业等之间的响度 水平过渡的增益变化速度。
[0059] 在一些实施例中，解码器支持多于一个的扬声器配置(例如，具有扬声器的便携式 模式、具有耳机的便携式模式、立体声模式、多信道模式等）。解码器可被配置为，例如，当回 放同一音频内容时，在两个不同扬声器配置之间（例如，在立体声模式与多信道模式等之 间)保持相同的响度水平。音频解码器可使用一个或更多个下混式，W对多信道音频内容被 编码为音频解码器处的特定扬声器配置的基准扬声器配置下混从编码音频信号接收的多 信道音频内容。
[0060] 在一些实施例中，自动增益控制(AGC)可在运里描述的音频解码器中被禁用。
[0061] 在一些实施例中，在运里描述的机制形成媒体处理系统的一部分，包含但不限于： 视听装置、平板TV、手持装置、游戏机、电视、家庭剧院系统、平板、移动装置、膝上型计算机、 笔记本计算机、蜂窝无线电电话、电子书阅读器、销售终端、台式计算机、计算机工作站、计 算机亭、各种其它类型的终端和媒体处理单元等。
[0062] 对于本领域技术人员来说，运里描述的优选实施例和一般原理