用于在各种收听环境中渲染并且回放基于对象的音频的系统的制作方法
【专利说明】用于在各种收听环境中渲染并且回放基于对象的音频的系 统
[0001] 相关申请的交叉引用
[0002] 本申请要求2012年8月31日提交的美国临时专利申请No. 61/696, 056的优先权， 该申请的全部内容特此通过引用并入。
技术领域
[0003] 一种或多种实现总体涉及音频信号处理，更具体地，涉及用于通过可单独寻址驱 动器渲染自适应音频内容的系统。
【背景技术】
[0004] 背景部分中所讨论的主题不应仅由于其在背景部分中被提及而被假定为现有技 术。类似地，在背景部分中提及的或者与背景部分的主题相关联的问题不应被假定为以前 已经在现有技术中被认识到。背景部分中的主题仅表示不同方法，这些方法本身也可以是 发明。
[0005] 电影原声带通常包括许多不同的声音元素，这些声音元素对应于屏幕上的图像、 对话、噪声和音效，它们是从屏幕上的不同地方发出的并且与背景音乐和环境效果组合以 创建总体观众体验。精确的回放要求声音以就声源位置、强度、移动和深度而言尽可能接近 地对应于屏幕上所示的方式被再现。传统的基于声道的音频系统将音频内容以扬声器馈送 的形式发送到回放环境中的单独的扬声器。
[0006] 数字电影的引入对于电影声音创建了新标准，诸如合并音频的多个声道以使得可 以使内容创建者有更大的创造力并且听众的听觉体验更具环绕感和真实感。作为用于分发 空间音频的手段的、扩展超出传统的扬声器馈送和基于声道的音频是关键的，并且对于基 于模型的音频描述已有着相当大的兴趣，所述基于模型的音频描述使得收听者可以选择期 望的回放配置，而且音频专门针对他们所选的配置进行渲染。为了进一步改进收听者体验， 真实的三维（"3D"）或虚拟3D环境中的声音回放已经变为了增加研宄和开发的领域。声 音的空间呈现利用音频对象，这些音频对象是具有视在源位置（例如，3D坐标）、视在源宽 度和其他参数的相关联的参数化源描述的音频信号。基于对象的音频可以用于许多多媒体 应用，诸如数字电影、视频游戏、模拟器，并且在家庭环境中是特别重要的，在家庭环境中， 扬声器的数量及其放置通常受到相对小的收听环境的界限的限制或约束。
[0007] 已经开发了改进影院环境中的音响系统并且更精确地捕捉和再现创建者对于电 影声带的艺术意图的各种技术。例如，已经开发了下一代空间音频（也被称为"自适应音 频"）格式，该格式包括音频对象和传统的基于声道的扬声器馈送、连同关于音频对象的位 置元数据的混合。在空间音频解码器中，声道被直接发送到它们的相关联的扬声器（如果 适当的扬声器存在的话），或者被下混到已有的扬声器集合，并且音频对象被解码器以灵活 的方式渲染。与每个对象相关联的参数化源描述（诸如在3D空间中的位置轨迹）连同连接 到解码器的扬声器的数量和位置被取作输入。渲染器然后利用某些算法（诸如平移定律） 来在附连的一组扬声器之间分发与每个对象相关联的音频。这样，通过收听房间里存在的 特定扬声器配置最佳地呈现每个对象的所创作的空间意图。
[0008] 目前的空间音频系统一般是针对影院使用开发的，因此涉及在大房间里进行部署 以及使用相对昂贵的设备，包括围绕房间分布的多个扬声器的阵列。目前所制作的越来越 多的电影内容是通过流传输技术和先进媒体技术（诸如蓝光等）而使得可以在家庭环境中 回放的。另外，诸如3D电视和先进计算机游戏和模拟器的新兴技术鼓励使用相对复杂的设 备，诸如家庭环境和其他消费者（非影院/剧场）环境中的大屏幕监视器、环绕声接收器和 扬声器阵列。然而，设备成本、安装复杂性和房间大小是阻止空间音频在大多数家庭环境中 得到充分利用的现实约束。例如，先进的基于对象的音频系统典型地利用头顶或高度扬声 器来回放意图来源于收听者的头部上方的声音。在许多情况下，尤其是在家庭环境中，这样 的高度扬声器可能是不可用的。在这种情况下，如果这样的声音对象仅通过落地扬声器或 壁挂扬声器播放，则高度信息丢失。
[0009] 因此所需要的是使得自适应音频系统的全空间信息可以在各种不同的收听环境 中再现的系统，所述各种不同的收听环境是诸如并置扬声器系统、耳机、以及可以仅包括意 图用于回放的整个扬声器阵列的一部分（诸如有限的扬声器或者没有头顶扬声器）的其他 收听环境。
【发明内容】
[0010] 描述关于如下的空间音频格式和系统以及新的空间描述格式的系统和方法：该空 间音频格式和系统包括基于包括新型扬声器和声道配置的自适应音频系统的更新内容创 建工具、分发方法和增强的用户体验；而该新的空间描述格式通过针对影院混音器创建的 一套先进内容创建工具而成为可能的。实施例包括将基于影院的自适应音频构思扩展到其 他音频回放生态系统的系统，所述其他回放生态系统包括家庭影院（例如，A/V接收器、条 形音箱和蓝光播放器）、电子媒体（例如，PC、平板、移动装置和耳机回放）、广播（例如，TV 和机顶盒）、音乐、游戏、现场声音、用户产生的内容（"UGC"）等。家庭环境系统包括提供与 剧场内容的兼容性的组件，并且表征元数据定义，这些元数据定义包括传递创造意图的内 容创建信息、关于音频对象的媒体情报信息、扬声器馈送、空间渲染信息、以及指示内容类 型（诸如对话、音乐、气氛（ambience)等）的内容相关元数据。自适应音频定义可以包括 经由音频声道的标准扬声器馈送、加上具有相关联的空间渲染信息（诸如在三维空间中的 大小、速率和位置）的音频对象。还描述了将支持多种渲染技术的新颖的扬声器布局（或 声道配置）和附随的新型空间描述格式。音频流（一般包括声道和对象）连同描述内容创 建者的或混音器的意图（包括音频流的期望位置）的元数据一起发送。该位置可以表达为 所命名的声道（来自预定义的声道配置）或3D空间位置信息。该声道加上对象格式提供 了基于声道的音频场景描述方法和基于模型的音频场景描述方法两者的最佳音频场景描 述方法。
[0011] 实施例具体针对用于渲染自适应音频内容的系统，所述自适应音频内容包括意在 于通过头顶或天花板安装的扬声器播放的头顶声音。在不具有可供使用的头顶扬声器的家 庭或其他小规模收听环境中，头顶声音是通过被配置为使声音由收听环境的天花板或者一 个或多个其他表面反射的扬声器驱动器再现的。
[0012] 通过引用并入
[0013] 本说明书中所提及的每个出版物、专利和/或专利申请的全部内容通过引用并入 本文，就如同分别明确地指示各个出版物和/或专利申请通过引用并入一样。
【附图说明】
[0014] 在下图中，相似的附图标记用于指示相似的元件。尽管下图描绘了各种例子，但是 一种或多种实现不限于这些图中所描绘的例子。
[0015] 图1例示提供用于回放高度声道的高度扬声器的环绕声系统（例如，9. 1环绕声） 中的示例扬声器放置。
[0016] 图2例示根据实施例的用于生成自适应音频混合的声道和基于对象的数据的组 合。
[0017] 图3是根据实施例的用于自适应音频系统中的回放架构的框图。
[0018] 图4A是例示根据实施例的用于调整基于影院的音频内容以用于收听环境中的功 能组件的框图。
[0019] 图4B是根据实施例的图3A的组件的详细框图。
[0020] 图4C是根据实施例的自适应音频环境的功能组件的框图。
[0021] 图4D例示根据实施例的分布式渲染系统，在该分布式渲染系统中，在扬声器单元 中执行渲染功能的一部分。
[0022] 图5例示自适应音频系统在示例家庭影院环境中的部署。
[0023] 图6例示家庭影院中的使用反射声音来模拟头顶扬声器的向上发射驱动器的使 用。
[0024] 图7A例示根据实施例的用于具有反射声音渲染器的自适应音频系统中的具有成 第一配置的多个驱动器的扬声器。
[0025] 图7B例示根据实施例的用于具有反射声音渲染器的自适应音频系统中的具有分 布在多个壳体中的驱动器的扬声器。
[0026] 图7C是根据实施例的用于使用反射声音渲染器的自适应音频系统中的条形音箱 的示例配置。
[0027] 图8例示具有可单独寻址驱动器（包括放置在收听房间内的向上发射驱动器）的 扬声器的不例放置。
[0028] 图9A例示根据实施例的用于对于反射音频利用多个可寻址驱动器的自适应音频 5. 1系统的扬声器配置。
[0029] 图9B例示根据实施例的用于对于反射音频利用多个可寻址驱动器的自适应音频 7. 1系统的扬声器配置。
[0030] 图10是例示根据实施例的双向互连的构成的示图。
[0031] 图11例示根据实施例的用于自适应音频系统中的自动配置和系统校准处理。
[0032] 图12是例示根据实施例的用于自适应音频系统中的校准方法的处理步骤的流程 图。
[0033] 图13例示自适应音频系统在示例电视和条形音箱使用情况中的使用。
[0034] 图14A例示根据实施例的自适应音频系统中的三维双耳耳机虚拟化的简化表示。
[0035] 图14B是根据实施例的耳机渲染系统的框图。
[0036] 图14C例示根据实施例的用于耳机渲染系统中的BRIR滤波器的构成。
[0037]图14D例示可以与耳机渲染系统的实施例一起使用的关于自由空间中的入射平 面波的基本头部和躯干模型。
[0038] 图14E例示根据实施例的与HRTF滤波器一起使用的耳廓特征的结构模型。
[0039] 图15是例示根据实施例的用于对于某些收听环境利用反射声音渲染器的自适应 音频系统中的某些元数据定义的表格。
[0040] 图16是例示根据实施例的对于组合滤波器的频率响应的曲线图。
[0041]图17是例示根据实施例的将输入声道划分为子声道的处理的流程图。
[0042] 图18例示根据实施例的将多个音频声道处理为多个反射子声道和直达子声道的 上混器系统。
[0043] 图19是例示根据实施例的将输入声道分解为子声道的处理的流程图。
[0044]图20例示根据实施例的用于使用反射高度扬声器虚拟地渲染基于对象的音频的 扬声器配置。
【具体实施方式】
[0045] 描述了关于对于缺乏头顶扬声器的自适应音频系统植染反射声音的自适应音频 系统的系统和方法，但是应用不如此受限。本文中所描述的一个或多个实施例的各方面可 以在音频或视听系统中实现，所述音频或视听系统对包括执行软件指令的一个或多个计算 机或处理装置的混合、渲染和回放系统中的源音频信息进行处理。所描述的任一实施例可 以单独使用，或者以任何组合相互一起使用。尽管各个实施例的动机可能是克服在本说明 书中的一个或多个地方中可能讨论的或暗指的现有技术的各种缺陷，但是实施例不必然解 决这些缺陷中的任何一个。换句话说，不同实施例可以解决在本说明书中可能讨论的不同 缺陷。一些实施例可以仅部分解决一些缺陷，或者仅解决在本说明书中可能讨论的一个缺 陷，并且一些实施例可以不解决这些缺陷中的任何一个。
[0046] 为了本描述的目的，以下术语具有相关联的意义：术语"声道"意指音频信号加上 其中位置被编译码为声道标识符（例如，左前或右上环绕）的元数据；"基于声道的音频" 是被格式化为通过具有相关联的标称位置的预定义的一组扬声器区域（例如，5. 1、7. 1等） 回放的音频；术语"对象"或"基于对象的音频"意指具有参数化源描述（诸如视在源位置 (例如，3D坐标）、视在源宽度等）的一个或多个音频声道；"自适应音频"意指基于声道的 音频信号和/或基于对象的音频信号加上如下元数据，所述元数据通过使用音频流加上其 中位置被编译码为空间中的3D位置的元数据基于回放环境来渲染音频信号；"收听环境" 意指任何开放的、部分封闭的或完全封闭的区域，诸如可以用于仅回放音频内容或者将音 频内容与视频或其他内容一起回放的房间，并且可以体现在家里、影院、剧场、观众席、工作 室、游戏控制台等中。这样的区域在其中可以设置有一个或多个表面，诸如可以直接反射或 漫反射声波的墙壁或挡板。
[0047] 自话应音频格式和系统
[0048] 实施例针对被配置为与可以被称为"空间音频系统"或"自适应音频系统"的声音 格式和处理系统一起工作的反射声音渲染系统，所述"空间音频系统"或"自适应音频系统" 基于允许提高的观众沉浸感、更大艺术控制、以及系统灵活性和可扩展性的音频格式和渲 染技术。整体自适应音频系统一般包括被配置为产生一个或多个比特流的音频编码、分发 和解码系统，所述比特流包含传统的基于声道的音频元素和音频对象译码元素两者。与单 独采用基于声道的方法或基于对象的方法相比，这样的组合方法提供更大的译码效率和渲 染灵活性。在2013年1月10日发布的未决的国际公布NO.W02013/006338中描述了可以 与目前的实施例结合使用的自适应音频系统的例子，该公布特此通过引用并入。
[0049] 自适应音频系统和相关联的音频格式的示例实现是Dolby⑧AtmosTM平台。这 样的系统合并有可以实现为9. 1环绕声系统或类似的环绕声配置的高度（上/下）维度。 图1例示了提供用于回放高度声道的高度扬声器的目前的环绕声系统（例如，9. 1环绕声） 中的扬声器放置。9. 1系统100的扬声器配置由在地面平面中的五个扬声器102和在高度 平面中的四个扬声器104组成。通常，这些扬声器可以用于生成被设计为在房间内或多或 少精确地从任何位置发出的声音。预定义的扬声器配置（诸如图1中所示的扬声器配置） 可以自然地限制精确地表示给定声源的位置的能力。例如，声源的平移不能比左扬声器本 身更靠左。这适用于每一个扬声器，因此形成一维（例如，左右）、二维（例如，前-后）、或 三维（例如，左-右、前-后、向下）几何形状，在该几何形状中，下混受到约束。各种不同 的扬声器配置和类型可以用于这样的扬声器配置中。例如，某些增强型音频系统可以使用 9. 1、11. 1、13. 1、19.4或其他配置的扬声器。扬声器类型可以包括全范围直达扬声器、扬声 器阵列、环绕扬声器、低音炮、高音扬声器以及其他类型的扬声器。
[0050] 音频对象可以被认为是可以被感知为从收听环境中的一个或多个特定物理位置 发出的声音元素组。这样的对象可以是静态的（即，静止的）或动态的（即，移动的）。音 频对象由元数据连同其他功能控制，所述元数据定义在给定时刻的声音的位置。当对象被 回放时，对象被使用存在的扬声器根据位置元数据来渲染，而不必输出到预定义的物理声 道。会话中的音轨可以是音频对象，并且标准的平移数据类似于位置元数据。这样，放置在 屏幕上的内容可以有效地以与基于声道的内容一样的方式平移，但是如果需要，放置在环 绕声中的内容可以被渲染到单独的扬声器。虽然音频对象的使用对于离散效果提供了期望 的控制，但是声带的其他方面可在基于声