临以下挑战：基于通常降低的装置 (电视扬声器、条形箱扬声器等）的质量和在空间分辨率方面受限（即，无环绕扬声器或后 扬声器）的扬声器位置/配置来创建沉浸式消费者体验。图13的系统1300包括标准电视 机左侧位置和右侧位置（TV-L和TV-R)中的扬声器以及左上射式驱动器和右上射式驱动器 (TV-LH和TV-RH)。电视1302也可以包括条形箱1304或某个种类的高度阵列中的扬声器。 通常，由于成本约束和设计选择，与独立扬声器或家庭影院扬声器相比，电视扬声器的大小 和品质有所降低。然而，动态虚拟化的使用可以帮助克服这些缺点。在图13中，针对TV-L 和TV-R扬声器示出了动态虚拟化效果，使得特定听音位置1308处的人将听到与在水平平 面中单独呈现的适当的音频对象相关联的水平元素。另外，通过由LH驱动器和RH驱动器发 送的反射音频对与合适的音频对象相关联的高度元素正确地进行呈现。电视左扬声器和右 扬声器中的立体声虚拟化的使用类似于左家庭影院扬声器和右家庭影院扬声器的使用，其 中通过基于由自适应音频内容提供的对象空间信息对扬声器虚拟化算法参数的动态控制， 可以实现潜在的沉浸式动态扬声器虚拟化用户体验。该动态虚拟化可以用来创建对沿着房 间上的侧面移动的对象的感知。
[0108] 电视环境也可以包括如条形箱1304中所示的HRC扬声器。这样的HRC扬声器可 以是允许通过HRC阵列进行声像调节的可操纵单元。具有前射式中心通道阵列可以有各种 益处（尤其针对较大的屏幕），该队列具有能够单独寻址的扬声器，所述能够单独寻址的扬 声器通过与屏幕上视频对象的移动相匹配的阵列来允许音频对象的离散声像调节。该扬声 器还被示出为具有侧射式扬声器。由于缺少环绕扬声器或后置扬声器，如果扬声器被用作 条形箱，则这些可以被激活并且被使用，使得侧射式驱动器提供更多沉浸感。还示出了针对 HRC/条形箱扬声器的动态虚拟化概念。针对前射式扬声器阵列的最远侧的左扬声器和右扬 声器示出动态虚拟化。这也可以被用来创建沿着房间的侧面移动的对象的感知。该修改的 中心扬声器也可以包括更多扬声器，并且使用单独控制的声区来实现可操纵声束。此外，在 图13的示例实现中还示出了位于主听音位置1308前方的NFE扬声器1306。NFE扬声器的 包括可以提供更强的环绕，该环绕由自适应音频系统通过移动声音使其远离房间的前方并 且更靠近听者来提供。
[0109] 关于耳机呈现，自适应音频系统通过使HRTF与空间位置相匹配来保持创作者的 原始意图。当通过耳机再现音频时，可以通过应用头相关传递函数（HRTF)来实现双耳空间 虚拟化。该头相关传递函数处理音频并且添加感知线索，感知线索创建对在三维空间并且 不通过标准的立体声耳机播放的音频的感知。空间再现的准确性取决于选择合适的HRTF， 所述合适的HRTF可以基于包括被呈现的音频通道或对象的空间位置的若干因素而变化。 使用由自适应音频系统提供的空间信息可以导致对表示3D空间的一个或连续变化数目的 HRTF的选择，以极大地改进再现体验。
[0110] 系统也利于添加有引导的、三维双耳呈现和虚拟化。与用于空间呈现的情况类似， 使用新的且修改的扬声器类型和位置，可以通过使用三维HRTF来创建线索以模拟来自水 平面和竖直轴的声音。仅提供通道和固定扬声器位置信息呈现的先前的音频格式具有更多 的限制性。有了自适应音频格式信息，双耳三维呈现耳机系统具有详细的且有用的信息，该 信息可以用来指示哪些音频元素适合于在水平平面和竖直平面中被呈现。一些内容会依赖 于头顶扬声器的使用来提供更强的环绕感。这些音频对象和信息可以用于双耳呈现，当使 用耳机时，在听者的头的上方感知到双耳呈现。图14示出了根据一个实施方式的用在自适 应音频系统中的三维双耳耳机虚拟化体验的简化表示。如图14中所示，用来再现来自自适 应音频系统的音频的耳机1402包括标准X平面、y平面和z平面中的音频信号1404,以播 放与某些音频对象或声音相关联的高度，使得它们听起来像是源于x、y起源的声音的上方 或下方。
[0111] 元数据宙义
[0112] 在一个实施方式中，自适应音频系统包括根据原始空间音频格式生成元数据的部 件。系统300的方法和部件包括被配置成对包括常规的基于通道的音频元素和音频对象编 码元素两者的一个或更多个比特流进行处理的音频呈现系统。包括音频对象编码元素的新 扩展层被定义并且被添加至基于通道的音频编解码器比特流或者音频对象比特流中的任 一个。该方案使得包括扩展层的比特流能够被呈现器处理以用于现有的扬声器和驱动器设 计，或利用能够独立寻址的驱动器和驱动器定义的下一代扬声器。来自空间音频处理器的 空间音频内容包括音频对象、通道和位置元数据。当对象被呈现时，根据位置元数据和播放 扬声器的位置来将对象分配给一个或更多个扬声器。另外的元数据可与对象相关联，以改 变播放位置，或限制要被用于播放的扬声器。响应于工程师的混合输入在音频工作站中生 成元数据以提供呈现队列，其控制空间参数（例如，位置、速率、强度、音质等），以及指定在 展现期间听音环境中哪个（些）驱动器或扬声器播放相应的声音。在工作站中元数据与相 应的音频数据相关联以便由空间音频处理器进行封装和传输。
[0113] 图15是示出根据一个实施方式的用于针对消费者环境的自适应音频系统的某些 元数据定义的表格。如表格1500中所示，元数据定义包括：音频内容类型、驱动器定义（数 量、特性、位置、投射角度）、用于主动操纵/调整的控制信号和包括空间和扬声器信息的校 准信息。
[0114] 特征和件能
[0115] 如上所述，自适应音频生态系统允许内容创建者经由元数据在比特流中嵌入混合 的空间意图（位置、大小、速率等）。这允许音频的空间再现中有难以置信的灵活量。从空 间呈现的角度看，自适应音频格式使得内容创建者能够使混合适应空间中扬声器的确切位 置，以避免由与创作系统不同的扬声器系统的几何结构引起的空间失真。在仅发送针对扬 声器通道的音频的当前消费者音频再现中，针对空间中除固定扬声器位置以外的位置，内 容创建者的意图是未知的。在当前通道/扬声器范例下，已知的唯一信息是特定的音频通 道应当被发送至空间中具有预先定义的位置的特定扬声器。在自适应音频系统中，使用通 过创建和分配流水线传送的元数据，再现系统可以以与内容创建者的原始意图相匹配的方 式使用该信息来再现内容。例如，对于不同的音频对象而言，扬声器之间的关系是已知的。 通过提供音频对象的空间位置，内容创建者的意图是已知的并且这可以被"映射"到包括其 位置的消费者的扬声器配置上。对于动态呈现音频呈现系统，可以通过添加另外的扬声器 来更新和改进该呈现。
[0116] 系统也使得能够添加受引导的三维空间呈现。已经存在通过使用新的扬声器设计 和配置来创建更沉浸式的音频呈现体验的很多尝试。这些包括双极扬声器和单极扬声器、 侧射式扬声器、后射式扬声器和上射式扬声器的使用。对于先前的通道和固定扬声器位置 系统，确定哪些音频元素应当被发送至这些经修改的扬声器已经成为最佳情况下的猜测。 使用自适应音频格式，呈现系统具有有关音频的哪些元素（对象或其它）适合于被发送至 新的扬声器配置的详细且有用的信息。也就是说，系统允许对哪些音频信号被发送至前射 式驱动器以及哪些音频信号被发送至上射式驱动器进行控制。例如，自适应音频电影内容 严重地依赖于头顶扬声器的使用，以提供更强的环绕感。这些音频对象和信息可以被发送 至上射式驱动器，以在消费者空间中提供反射音频来创建类似的效果。
[0117] 系统也允许使混合适应于再现系统的确切硬件配置。在诸如电视、家庭影院、条 形箱、便携式音乐播放器底座等的消费者呈现装置中存在很多不同的可能扬声器类型和配 置。当向这些系统发送通道特定音频信息（即，左通道音频和右通道音频或标准多通道音 频）时，系统必须对音频进行处理以与呈现装备的能力恰当地匹配。典型示例是当标准立 体声（左、右）音频被发送至具有多于两个的扬声器的条形箱时。在仅发送针对扬声器通 道的音频的当前消费者系统中，内容创建者的意图是未知的，并且由增强设备使得成为可 能的更加沉浸式的音频体验必须通过对如何修改音频以在硬件上再现做出假设的算法来 创建。这样的示例是：使用PLII、PLII-Z或下一代环绕来使基于通道的音频"上混合"至 比原通道馈送数量更多的扬声器。对于自适应音频系统，使用通过创建和分配流水线传送 的元数据，再现系统可以以更密切匹配内容创建者的原始意图的方式使用该信息来再现内 容。例如，一些条形箱具有侧射式扬声器以创建环绕感。对于自适应音频，当由诸如电视或 音频/视频接收器的呈现系统控制时，条形箱可以使用空间信息和内容类型信息（即，会 话、音乐、环境效果等），以仅将合适的音频发送至这些侧射式扬声器。
[0118] 由自适应音频传送的空间信息允许在知道出现的扬声器的位置和类型的情况下 进行内容的动态呈现。另外，关于听者与音频再现装置的关系的信息现在是潜在可得到的， 并且可以用于呈现。大多数游戏控制台包括能够确定房间中人的位置和身份的摄像机配件 和智能图像处理。自适应音频系统可以使用该信息来基于听者的位置来改变呈现，以更准 确地传送内容创建者的创作意图。例如，在几乎所有的情况下，针对消费者播放而呈现的音 频假定听者位于理想的"甜点"，"甜点"通常与每个扬声器等距，并且是内容创建期间声音 混合器所处的同一位置。然而，很多时候人们并不位于该理想位置，并且他们的体验与混 合器的创作意图不匹配。典型示例是：当听者在房间的左侧坐在起居室中的椅子或沙发上 时。对于这种情况，从左边的较近的扬声器再现的声音将被感知得更响亮，并且使对音频混 合的空间感知斜向左边。通过理解听者的位置，系统可以调整音频的呈现以降低左边扬声 器的声音的水平并且提高右边扬声器的水平，以重新平衡音频混合，并且使其感知正确。也 可以对音频进行延迟以补偿听者距甜点的距离。可以通过使用摄像机或者具有将听者的位 置通知给呈现系统的某种内置信令的经修改的远程控制，来检测听者的位置。
[0119] 除了使用标准扬声器和扬声器位置来确定听音位置以外，还可以使用波束控制技 术来创建根据听者位置和内容而变化的声场"区域"。音频波束成形使用扬声器阵列（通常 8至16个水平间隔开的扬声器），并且使用相操纵和处理来创建可控制的声束。波束成形 扬声器阵列允许创建音频基本可听的音频区域，所述音频区域可以用于使用选择性处理来 将特定的声音或对象指向特定的空间位置。一个显见的用例是使用会话增强后处理算法来 处理音轨中的会话，以及将该音频对象直接定向发送给有听力障碍的用户。
[0120] 矩阵编码
[0121] 在一些情况下，音频对象可以是自适应音频内容的期望分量；然而，基于带宽限 制，可能不可以发送通道/扬声器音频和音频对象两者。在过去，矩阵编码用于传送比给定 分配系统可以传送的音频信息更多的音频信息。例如，在早期的电影中便是如此，其中通过 声音混合器来创建多通道音频，但是电影格式仅提供立体声音频。矩阵编码用来智能地将 多通道音频下混合至两个立体声通道，然后用某些算法来处理这两个立体声通道以根据立 体声音频来重新创建对多通道混合的紧密近似。类似地，可以智能地将音频对象下混合成 基本扬声器通道，并且通过使用自适应音频元数据和完善的时间和频率敏感下一代环绕算 法来提取对象，并且使用基于消费者的自适应音频呈现系统对它们准确地进行空间呈现。
[0122] 另外，当对于音频（例如，3G和4G无线应用）存在传输系统的带宽限制时，还存在 由于传输空间上多样的多通道床（bed)而带来的益处，其中连同单独的音频对象对多通道 床进行矩阵编码。这样的传输方法的一个用例是用于具有两个不同的音频床和多个音频对 象的体育广播的传输。音频床可以表示在两个不同队的露天看台部分捕获的多通道音频， 并且音频对象可以表示可能赞同一个队或其它队的不同的解说员。使用标准编码，每个床 的5. 1表示连同两个或更多个对象会超过传输系统的带宽限制。在这种情况下，如果每个 5. 1床被矩阵编码为立体声信号，那么被原始捕获为5. 1通道的两个床会被传输为两通道 床1、两通道床2、对象1和对象2,以作为音频的仅仅四个通道，而不是5. 1+5. 1+2或12. 1 通道。
[0123] 位詈和内容相关处理
[0124] 自适应音频生态系统允许内容创建者创建单独的音频对象，并且添加能够被传送 至再现系统的关于内容的信息。这允许在再现之前的音频处理中有大的灵活量。可以通过 基于对象的位置和大小的扬声器虚拟化的动态控制来使处理适应对象的位置和类型。扬声 器虚拟化是指对音频进行处理以使得虚拟扬声器被听者感知的方法。当源音频是包括环绕 扬声器通道馈送的多通道音频时，该方法通常用于立体声扬声器再现。虚拟扬声器处理修 改环绕扬声器通道音频，使得当在立体声扬声器上播放环绕扬声器通道音频时，环绕音频 元素被虚拟化至听者的侧面和后边，好像存在位于听者的侧面和后边的虚拟扬声器。目前， 因为环绕扬声器的预期位置是固定的，所以虚拟扬声器位置的位置属性是静态的。然而，对 于自适应音频内容，不同音频对象的空间位置是动态的且不同的（即，对每个对象而言是 独特的）。以下是可能的：现在可以通过动态控制诸如每个对象的扬声器位置角度的参数 并且然后混合若干虚拟化对象的呈现输出以创建更加接近地表示声音混合器的意图的更 加沉浸式的音频体验，以更知情的方式来控制诸如虚拟扬声器虚拟化的后处理。
[0125] 除了音频对象的标准水平虚拟化以外，可以使用对固定通道和动态对象音频进行 处理的感知高度线索，并且根据法线、水平平面、位置上的标准立体声扬声器对来获得对音 频的高度再现的感知。
[0126] 可以将某些效果或增强处理明智地应用于合适类型的音频内容。例如，可以将会 话增强仅应用于会话对象。会话增强是指对包括会话的音频进行处理以使得会话的可听度 和/或可理解性增强和/或提高。在很多情况下，应用于会话的音频处理不适合于非会话 音频内容（即，音乐、环境效果等），并且可以产生令人反感的听觉伪声。对于自适应音频， 音频对象可以在内容块中仅包括会话，并且可以相应地被标记，使得呈现解决方案选择性 地仅对会话内容应用会话增强。另外，如果音频对象仅为会话（而不是会话和其它内容的 混合，通常情况是会话和其它内容的混合），那么会话增强处理可以专门处理会话（由此限 制对任何其它内容执行任何处理）。
[0127] 类似地，还可以针于特定的音频特性定制音频响应或均衡管理。例如，低音管理 (滤波、衰减、增益）基于特定对象的类型而针对特定对象。低音管理是指仅选择性隔离并 且处理特定内容块中的低音（或更低的）频率。对于当前的音频系统和传送机制，这是应 用于所有音频的"盲"处理。关于自适应音频，可以通过元数据和被适当应用的呈现处理来 识别适合于低音管理的特定的音频对象。
[0128] 自适应音频系统还利于基于对象的动态范围压缩。传统音轨具有与内容自身相同 的持续时间，而音频对象可能在内容中出现有限量的时间。与对象相关联的元数据可以包 括关于其平均信号幅度和峰值信号幅度的水平相关信息，以及其开始时间或上升时间（尤 其针对瞬时材料）。该信息允许压缩器更好地调整其压缩和时间常数（上升、释放等）以更 好地与内容相配。
[0129] 系统还利于自动扬声器空间均衡。扬声器和空间音响效果在将音染（audible coloration)引入声音从而影响所再现的声音的音质中发挥重要作用。此外，由于空间反射 和扬声器方向性变化，音响效果是位置相关的，并且由于该变化，所感知的音质将针对不同 的听音位置而显著变化。系统中提供的AutoEQ均衡（自动空间均衡）功能通过以下措施来 帮助减轻这些问题中的一些：自动扬声器空间谱测量