针对任意扬声器布局渲染具有表观大小的音频对象的制作方法
【专利说明】
[0001] 相关申请的交叉引用
[0002] 本申请要求于2013年3月28日提交的西班牙专利申请No. P201330461以及于 2013年6月11日提交的美国临时专利申请No. 61/833, 581的优先权，这两个专利申请中的 每个专利申请在此通过引用以其全部内容合并到本文中。
技术领域
[0003] 本公开内容涉及音频再现数据的创作和渲染。具体地，本公开内容涉及针对再现 环境（如影院音响再现系统）来创作和渲染音频再现数据。
【背景技术】
[0004] 由于在1927年引入了有声电影，所以出现了用于捕获电影声轨的艺术意图并且 在影院环境中对其进行重放的技术的稳定发展。在二十世纪三十年代，唱片的同步声音由 电影的变积式（variable area)声音代替，在二十世纪四十年代使用剧场声学考虑和改进 的扬声器设计连同早期引入的多轨记录和可操纵的重放（使用控制音调来移动声音）一起 对此进行了进一步改进。在二十世纪五六十年代，电影的涂磁道（magnetic striping)允 许剧院中的多声道回放、将环绕声声道和高达五个屏幕声道引入高级剧院中。
[0005] 在二十世纪七十年代，杜比提出了在后期制作中和在胶片上降噪以及对与3个屏 幕声道和单声道环绕声道的混合（mixes)进行编码和分配的经济有效的方法。在二十世纪 八十年代，使用杜比频谱记录（SR)降噪和验证程序（如THX)进一步提高了影院音响的品 质。在二十世纪九十年代期间，杜比使用提供分离的左屏幕声道、中心屏幕声道、右屏幕声 道、左环绕阵列和右环绕阵列以及用于低频效果的超低音扬声器声道的5. 1声道格式将数 字声音引入电影。2010年提出的杜比环绕声7. 1通过将现有的左环绕声道和右环绕声道分 成四个"区"增加了环绕声道的数量。
[0006] 随着声道数量增加以及扬声器布局从平面二维（2D)阵列转变成包括高度的三维 (3D)阵列，创作和渲染声音的任务正变得越来越复杂。期待改进的方法和装置。
【发明内容】
[0007] 本公开内容中描述的主题的一些方面可以在用于渲染包括没有参照任何特定再 现环境创建的音频对象的音频再现数据的工具中来实现。如本文中所使用的，术语"音频对 象"可以指代音频信号和相关联的元数据的流。元数据可以至少表示音频对象的位置和音 频对象的表观大小。然而，元数据还可以表示渲染约束数据、内容类型数据（例如，会话、效 果等）、增益数据、轨迹数据等。一些音频对象可以是静止的，而其他音频对象可以具有随时 间变化的元数据：这样的音频对象可以移动，可以改变大小和/或可以具有随时间变化的 其他属性。
[0008] 当音频对象在再现环境中被回放或被监视时，可以至少根据位置元数据和大小元 数据来渲染音频对象。渲染步骤可以包括：计算一组输出声道中的每个声道的一组音频对 象增益值。每个输出声道可以与再现环境中的一个或更多个再现扬声器相对应。
[0009] 本文中描述的一些实现包括可以在渲染任何特定音频对象之前发生的"建立"步 骤。在本文中还可以被称为第一级或级1的建立步骤可以包括：在音频对象可以在其内移 动的空间中限定多个虚拟源位置。如本文中所使用的，"虚拟源位置"是静止点源的位置。根 据这样的实现，建立步骤可以包括：接收再现扬声器位置数据并且根据再现扬声器位置数 据和虚拟源位置预先计算每个虚拟源的虚拟源增益值。如本文中所使用的，术语"扬声器位 置数据"可以包括表示再现环境的一些或所有扬声器的位置的位置数据。位置数据可以被 设置为再现扬声器位置的绝对坐标，例如笛卡尔坐标、球面坐标等。可替代地或另外，位置 数据可以被设置为相对于其他再现环境位置（例如再现环境的声学"最佳听音位置（sweet spots)"）的坐标（例如，如笛卡尔坐标或角坐标）。
[0010] 在一些实现中，虚拟源增益值可以在"运行时"期间被存储和使用，在该"运行时" 期间，针对再现环境的扬声器渲染音频再现数据。在运行时期间，针对每个音频对象，可以 计算来自由音频对象位置数据和音频对象大小数据限定的区域或空间内的虚拟源位置的 贡献。计算来自虚拟源位置的贡献的步骤可以包括：计算在建立步骤期间针对由音频对象 的大小和音频对象的位置限定的音频对象区域或空间内的虚拟源位置确定的多个预先计 算出的虚拟源增益值的加权平均值。可以至少部分地基于所计算出的虚拟源贡献来计算再 现环境的每个输出声道的一组音频对象增益值。每个输出声道可以与再现环境的至少一个 再现扬声器相对应。
[0011] 因此，本文中描述的一些方法包括：接收包括一个或更多个音频对象的音频再现 数据。音频对象可以包括音频信号和相关联的元数据。元数据可以包括至少音频对象位置 数据和音频对象大小数据。所述方法可以包括：计算来自由音频对象位置数据和音频对象 大小数据限定的音频对象区域或空间内的虚拟源的贡献。所述方法可以包括：至少部分地 基于所计算出的贡献来计算多个输出声道中的每个输出声道的一组音频对象增益值。每个 输出声道可以与再现环境中的至少一个再现扬声器相对应。例如，再现环境可以是影院音 响系统环境。
[0012] 计算来自虚拟源的贡献的步骤可以包括：计算所述音频对象区域或空间内的虚拟 源的虚拟源增益值的加权平均值。所述加权平均值的权重可以取决于音频对象的位置、音 频对象的大小和/或所述音频对象区域或空间内的每个虚拟源位置。
[0013] 所述方法还可以包括：接收包括再现扬声器位置数据的再现环境数据。所述方法 还可以包括：根据再现环境数据限定多个虚拟源位置，并且针对每个虚拟源位置计算多个 输出声道中的每个输出声道的虚拟源增益值。在一些实现中，每个虚拟源位置可以与再现 环境内的位置相对应。然而，在一些实现中，至少一些虚拟源位置可以与再现环境外部的位 置相对应。
[0014] 在一些实现中，虚拟源位置可以沿X轴、y轴和z轴被均匀地间隔开。然而，在一些 实现中，在所有方向上，间距可以不同。例如，虚拟源位置可以具有沿X轴和y轴的第一均 匀间距和沿z轴的第二均匀间距。计算多个输出声道中的每个输出声道的一组音频对象增 益值的步骤可以包括：独立计算来自沿X轴、y轴和z轴的虚拟源的贡献。在替代实现中， 虚拟源位置可以被非均匀地间隔开。
[0015] 在一些实现中，计算多个输出声道中的每个输出声道的音频对象增益值的步骤可 以包括：确定要在位置x〇、y。、Z。处植染的各种大小的音频对象的增益值（g i (x。，y。，ZjS))。 例如，音频对象增益值（gi(x。，y。，Zc^s))可以被表达为：
[0016]
[0017] 其中，（xvs，yvs，zvs)表示虚拟源位置，y vs，zvs)表示虚拟源位置xvs，yvs，Zvi3 的声道1的增益值，并且w(xvs，yvs，zvs;x。，y。，zjs)表示至少部分地基于音频对象的位置 (X。，y。，z。)、音频对象的大小和虚拟源位置（x vs，yvs，zvs)确定的gjxw yvs，zvs)的一个或更 多个加权函数。
[0018] 根据一些这样的实现，S1(XvsJvi^zvs) = gi (XvJg1 GvJg1 (Zvs)，其中，gi (xvs) W1(Yvs) 和&(2」表示x、y和z的独立的增益函数。在一些这样的实现中，加权函数可以因式分解 为（factor as)：
[0019] w(xvs, yvs, zvs；x 0, yD, zD；s) = wx(xvs；x 0；s)wy(yvs；y D；s)w Z(zvs；z D；s),
[0020] 其中，wx(xvs;x ^s)，wy(yvs;y ^s)和 w Z(zvs;z ^s)表示 x vs、yvs和 z vs的独立的加权 函数。根据一些这样的实现，P可以是音频对象大小的函数。
[0021] -些这样的方法可以包括：将所计算出的虚拟源增益值存储在存储系统中。计算 来自音频对象区域或空间内的虚拟源的贡献的步骤可以包括：从存储系统检索所计算出 的、与音频对象位置和音频对象大小相对应的虚拟源增益值，并且在所计算出的虚拟源增 益值之间进行插值。在所计算出的虚拟源增益值之间进行插值的步骤可以包括：确定音频 对象位置附近的多个邻近虚拟源位置；确定所计算出的、每个邻近虚拟源位置的虚拟源增 益值；确定音频对象位置和每个邻近虚拟源位置之间的多个距离；以及根据多个距离在所 计算出的虚拟源增益值之间进行插值。
[0022] 在一些实现中，再现环境数据可以包括再现环境边界数据。所述方法可以包括：确 定音频对象区域或空间包括再现环境边界外部的外部区域或空间，并且至少部分地基于所 述外部区域或空间来施加衰落因子（fade-out factor)。一些方法可以包括：确定音频对 象可以在距再现环境边界的阈值距离内，并且不向在再现环境的相对边界上的再现扬声器 提供扬声器馈送信号。在一些实现中，音频对象区域或空间可以是矩形、矩形棱柱、圆形、球 形、椭圆形和/或椭圆体。
[0023] 一些方法可以包括对至少一些音频再现数据进行去相关。例如，所述方法可以包 括：对用于具有超过阈值的音频对象大小的音频对象的音频再现数据进行去相关。
[0024] 本文中描述了替代方法。一些这样的方法包括：接收包括再现扬声器位置数据和 再现环境边界数据的再现环境数据，并且接收包括一个或更多个音频对象和相关联的元数 据的音频再现数据。元数据可以包括音频对象位置数据和音频对象大小数据。所述方法 可以包括：确定由音频对象位置数据和音频对象大小数据限定的音频对象区域或空间包括 再现环境边界外部的外部区域或空间，并且至少部分地基于外部区域或空间来确定衰落因 子。所述方法可以包括：至少部分地基于相关联的元数据和衰落因子来计算多个输出声道 中的每个输出声道的一组增益值。每个输出声道可以与再现环境中的至少一个再现扬声器 相对应。衰落因子可以与外部区域成比例。
[0025] 所述方法还可以包括：确定音频对象可以在距再现环境边界的阈值距离内，并且 不向在再现环境的相对边界上的再现扬声器提供扬声器馈送信号。
[0026] 所述方法还可以包括：计算来自音频对象区域或空间内的虚拟源的贡献。所述方 法可以包括：根据再现环境数据限定多个虚拟源位置，以及针对每个虚拟源位置计算多个 输出声道中的每个输出声道的虚拟源增益。虚拟源位置可以被均匀地间隔开或者可以被非 均匀地间隔开，这取决于具体实现。
[0027] -些实现可以在存储有软件的一个或更多个非暂态介质中体现。软件可以包括用 于对用于接收包括一个或更多个音频对象的音频再现数据的一个或更多个装置进行控制 的指令。音频对象可以包括音频信号和相关联的元数据。元数据可以包括至少音频对象位 置数据和音频对象大小数据。软件可以包括用于下述操作的指令：针对一个或更多个音频 对象中的音频对象计算来自由音频对象位置数据和音频对象大小数据限定的区域或空间 内的虚拟源的贡献，并且至少部分地基于所计算出的贡献来计算多个输出声道中的每个输 出声道的一组音频对象增益值。每个输出声道可以与再现环境的至少一个再现扬声器相对 应。
[0028] 在一些实现中，计算来自虚拟源的贡献的步骤可以包括：计算来自音频对象区域 或空间内的虚拟源的虚拟源增益值的加权平均值。所述加权平均值的权重可以取决于音频 对象的位置、音频对象的大小和/或音频对象区域或空间内