空间音频处理系统和方法
【专利说明】
[0001] 相关申请的交叉引用
[0002] 本申请要求2013年10月7日提交的美国临时专利申请No. 61/887,905和2014年4月 28日提交的美国临时专利申请No. 61/985，244的优先权权益，上述每个临时专利申请全部 通过引用被并入于此。
技术领域
[0003] 本发明设及音频信号处理的领域，并且具体地公开了空间音频擅染(render)和分 发的有效形式。
【背景技术】
[0004] 在整个说明书中【背景技术】的任何讨论决不应该被认为是认可运种技术是广泛知 道的或形成该领域中的公知常识的一部分。
[0005] 音频和视觉的体验正变得越来越复杂。具体地，围绕收听者的音频材料的空间化 已经发展具有增大水平的复杂度。从历史的单声道、立体声和其它音频系统，技术近来已经 看到在制作系统中引入围绕收听者的音频源的几乎全空间化。
[0006] 图1示意性地示出了一般的视听呈现的创建和回放的简化结构1。初始，内容创建 系统被提供给创作者视听呈现2。创作通常包括围绕收听者的多个音频源的空间化和同步。 总呈现然后被初始'擅染'3到包含用于回放给收听者/观看者的音频和视觉信息的一个或 更多个文件形式4中。
[0007] 擅染的文件然后被分发用于在各种媒体擅染环境中回放。遗憾的是，回放环境的 基础设施会高度不同。擅染的文件然后通过对应的擅染引擎5被擅染，用于在特殊环境中回 放，擅染引擎5输出扬声器和显示器信号，用于通过一系列扬声器6和视觉显示元件7回放， 从而重新创建围绕观看者的预期的视听体验。
[0008] 一种特别的音频空间化系统是Do化y Atmos?系统，其允许视听体验的音频内容创 作者定位围绕收听者的音频源的过剩。通过信号处理单元和音频发射源的音频材料的擅染 引擎的后续的擅染允许在围绕收听者的位置中在空间化音频源中重现内容创作者的意图。
[0009] 收听环境中的围绕收听者放置的实际音频发射源(或扬声器)可W是可变的和依 位置而定的。例如，电影院可W包括在不同的相对位置中围绕收听者放置的扬声器的过剩。 在家庭环境中，扬声器布置可W是基本上不同的。理想地，创作的内容能够被擅染到可变扬 声器阵列使得再现原始内容创作者的意图。
[0010] 一系列音频源到(诸如Do化y Atmos系统提供的）扬声器阵列的擅染很可能显著地 使任何擅染系统的计算资源负重担。
[0011] 因此一般需要在传递的点处提供简化的音频擅染系统。
【发明内容】
[0012] 根据本发明的第一方面，提供有一种擅染围绕期望的收听者的至少一个空间化的 虚拟音频源到围绕收听者的一系列中间虚拟扬声器声道(虚拟扬声器)的方法，该方法包括 如下的步骤:擅染音频源到中间空间格式W供在布置在围绕收听者的一系列平面中的一系 列虚拟扬声器之上回放，其中到每个平面内的虚拟扬声器的擅染使用一系列平移(pan)曲 线，运一系列平移曲线空间平滑到满足奈奎斯特采样定理的程度。
[0013] -系列平面可至少包括基本上围绕收听者的水平面和空间上在收听者上方的天 花板平面。每个平面内的虚拟扬声器可围绕收听者W等距的角间隔布置。虚拟扬声器可与 期望的收听者距离相等地布置。
[0014] 根据本发明的又一方面，提供有一种擅染围绕期望的收听者放置的至少一个空间 化的虚拟音频源到围绕期望的收听者的一系列虚拟扬声器的方法，该方法包括如下的步 骤：（a)将一系列虚拟扬声器分成围绕期望的收听者的一系列水平面；（b)擅染音频源到中 间空间格式W供在布置在围绕收听者的一系列平面中的每一个中的一系列虚拟扬声器之 上回放，该擅染包括：（i)空间化的虚拟音频源到水平面中的每一个水平面的初始平移W便 产生平面擅染的音频发射；（ii)每个平面擅染的音频发射到每个平面内的一系列虚拟扬声 器位置的后续的平移，其中该后续的平移使用一系列平移曲线，运一系列平移曲线被空间 平滑成包括小于音频源的奈奎斯特采样率的空间频率分量。
[0015] 初始平移可包括一系列水平面之间的分立的平移。
[0016] 根据本发明的又一方面，提供有一种回放中间空间格式信号的方法，信号被分成 限定多个收听平面的第一系列声道，每个收听平面包括围绕平面间隔的一系列虚拟音频 源，该方法包括如下步骤:将每个平面内的扬声器音频源的位置重新映射W便映射扬声器 的期望输出布置。
[0017] 根据本发明的又一方面，提供有一种回放编码的音频比特流的方法，所述比特流 包括用于在围绕收听者在一系列平面中布置的一系列虚拟扬声器之上回放的中间空间格 式的编码，其中每个平面内的虚拟扬声器具有使用一系列平移曲线形成的虚拟扬声器比特 流，运一系列平移曲线已经空间平滑到满足奈奎斯特采样定理的程度，该方法包括如下步 骤：（a)将比特流解码成第一系列声道，其中每个声道限定多个收听平面;并且在每个平面 内，限定一系列对应虚拟扬声器信号；（b)利用虚拟扬声器信号的加权和混合虚拟扬声器信 号W便产生一组重新映射的扬声器信号，运一组重新映射的扬声器信号对应于一系列实际 扬声器的输出位置;W及(C)输出实际扬声器信号到对应的一系列实际扬声器。
【附图说明】
[0018] 现在将通过仅示例的方式参考附图描述本发明的实施例，在附图中：
[0019]图1示意性地示出了视听体验的创作和回放的过程；
[0020] 图2示意性地示出了音频对象平移器，其利用对象位置和扬声器位置；
[0021] 图3示意性地示出了空间平移器的操作，编码器给定关于扬声器高度的信息；
[0022] 图4示出了构成示例堆叠环格式平移空间的4个层；
[0023] 图5示出了沿逆时钟方向的顺序布置的标称扬声器的4个环；
[0024] 图6示出了扬声器的弧，音频对象平移到角度d);
[0025] 图7示出了用于对象的平移曲线，该对象具有穿过扬声器A、B和C的轨迹；
[0026] 图8示出了用于可重新利用的扬声器阵列的平移曲线；
[0027] 图9示出了用于将堆叠环格式作为分离的环解码的解码器；
[0028] 图10示出了用于解码其中不存在顶点扬声器的堆叠环格式的解码器；
[0029] 图11示出了用于解码其中顶点扬声器或天花板扬声器不可用的堆叠环格式的解 码器。
【具体实施方式】
[0030] 所描述的实施例提供将音频对象重新映射到虚拟扬声器阵列的方法。
[0031] 现在转到图2,示出了音频对象平移器20。音频对象平移器20将空间化的音频对象 平移到音频环境中的围绕收听者放置的一系列扬声器。W单个对象为例，对象数据信息是 输入21，其是在预定时变位置XYZi(t)处的单声道的对象(例如对象1)，其被平移到N个输出 扬声器，由此平移增益根据扬声器位置(xi,yi,zi),. . . , (XN，yN，ZN)和对象位置XYZi(t)被确 定。运些增益值可W随时间连续地改变，运是因为对象位置也可W是时变的。因此音频对象 平移器要求相当大的计算资源来执行其功能。
[0032] 所描述的实施例提供中间空间格式结构，其减少对象平移所需的计算资源而同时 仍然保留多个扬声器环境之上的回放能力。
[0033] 在图3中示出了所描述的实施例的操作方面30。实施例使用中间空间格式，其将平 移操