音频的空间共混的制作方法

本公开的一个方面涉及音频处理，具体地，涉及根据视觉对象的呈现的音频的空间呈现。

背景技术：

1、声音或声能可作为声波(例如，振动)通过传输介质，诸如气体、液体或固体传播。麦克风可感测环境中的声能。每个麦克风可包括换能器，该换能器将传输介质中的振动转换成可以是模拟或数字的电子信号。可被称为麦克风信号的电子信号表征并捕获存在于环境中的声音。

2、音频作品可包括声场的记录，其包括一定时间长度内的一个或多个麦克风信号。还可通过合成一个或多个声音来建立音频信号，以电子地生成(例如，没有麦克风捕获)音频作品。音频作品可与视觉对象诸如图形、视频、计算机应用程序，或其他视觉对象相关联。

3、处理设备诸如计算机、智能电话、平板计算机或可穿戴设备可运行向用户播放音频的应用程序。例如，计算机可启动应用程序诸如电影播放器、音乐播放器、会议应用程序、电话呼叫、警报、游戏、用户界面、网络浏览器，或其他应用程序。该应用程序可使得音频通过扬声器输出给用户，同时向用户显示与该音频相关联的一个或多个视觉对象。

技术实现思路

1、技术正在为用户提供越来越多的沉浸式体验。此类沉浸式体验可包括视觉感觉和音频感觉(诸如空间化音频和/或3d视觉分量)的沉浸。视觉显示的对象可与声音相关联并且与声音同时呈现。声音可通过环绕声扬声器(例如，5.1、6.1、7.1等)呈现。然而，在沉浸式体验中，用户或系统可具有增加的关于如何视觉地呈现对象的控制(例如，视觉对象将被定位于何处或者视觉对象将被呈现得多大)。因此，以与沉浸式环境中的视觉对象共存并且向用户提供可能与视觉对象的视觉状态有关的音频反馈提示的方式来呈现音频可能是有益的。

2、另外，存在多种音频格式，诸如5.1、6.1、7.1、立体声、基于对象的音频或其他音频格式。因此，在允许沉浸式音频格式的动态改变的情况下，以一致且不可知的方式将现有音频格式转换为沉浸式音频格式可能是有益的。

3、在一个方面，计算机实现的方法包括：获得视觉对象(例如，要呈现给显示器)的视觉特性诸如尺寸；至少基于该视觉对象的尺寸确定多个虚拟扬声器中的每个虚拟扬声器的虚拟放置；以及通过包括左音频声道和右音频声道的双耳音频在相应的虚拟放置处空间地渲染该多个虚拟扬声器中的每个虚拟扬声器，以用于通过头戴式扬声器回放。

4、在一些示例中，该方法包括：响应于视觉对象的尺寸变得更小而将多个虚拟扬声器移动得更靠近在一起；以及响应于视觉对象的尺寸变得更大而将多个虚拟扬声器移动分开。

5、在一些示例中，该方法可在一种或多种第一模式下进行操作。在一些示例中，在第一模式下，多个虚拟扬声器的虚拟中心声道相对于视觉对象在显示器上的位置取向。在一些示例中，在第一模式下，多个虚拟扬声器中的每个虚拟扬声器的虚拟放置可被约束于围绕收听位置或用户位置的球体。在一些示例中，该一种或多种第一模式中的每一者定义多个虚拟扬声器的唯一放置。

6、在该一种或多种第一模式中的第一种第一模式下，多个虚拟扬声器可分布在围绕收听位置(例如，用户)的球体上，具有多个虚拟扬声器之间的对应于视觉对象的第一尺寸的第一间距。在该一种或多种第一模式中的第二种第一模式下，多个虚拟扬声器可分布在球体上，具有多个虚拟扬声器之间的对应于视觉对象的较小第二尺寸的第二间距，其中该第二间距小于该第一间距。

7、在一些示例中，响应于用户头部的移动，使多个虚拟扬声器在球体上旋转以维持该多个虚拟扬声器在视觉对象处的方向。可基于对用户位置的跟踪更新收听位置。

8、在一些示例中，在第二模式下，多个虚拟扬声器中的每个虚拟扬声器被放置在视觉对象处。在第二模式下，多个虚拟扬声器的虚拟放置可不被约束于围绕收听位置的球体，而在第一模式下，多个虚拟扬声器的虚拟放置可被约束于球体。在一些示例中，响应于视觉对象的尺寸小于阈值而(从一种或多种第一模式中的任一者)进入第二模式。附加地或另选地，响应于选择和移动在沉浸式环境内的视觉对象的请求(例如，用户输入)，可(从一种或多种第一模式中的任一者)进入第二模式。

9、在一些示例中，(例如，从一种或多种第一模式中的任一者)转变到第二模式包括将多个虚拟扬声器从围绕收听位置的球体上的间隔位置到被放置在视觉对象处的移动动画化。类似地，转变出第二模式(例如，进入一种或多种第一模式中的任一者)可包括将多个虚拟扬声器从被放置在视觉对象处到被放置在被约束于围绕收听位置的球体的间隔位置处的移动动画化。转变到第二模式或转变出第二模式可包括保留多个虚拟扬声器的总声能。

10、在一些示例中，该方法包括获得具有基础音频格式的一个或多个音频声道并且基于与该一个或多个音频声道中的每个音频声道相关联的位置将该一个或多个音频声道中的每个音频声道分布到多个虚拟扬声器。基本音频格式的示例可包括多声道扬声器布局(例如，5.1、6.1、7.1)、单声道音频声道、立体声、球谐函数(例如，高保真度立体声响复制(ambisonics))或基于对象的音频。可使用矢量基幅度平移(vbap)将基础音频格式的一个或多个音频声道映射到多个虚拟扬声器。在一些示例中，该方法可包括在多个虚拟扬声器之间进行内插以将基础音频格式的一个或多个音频声道中的每个音频声道分布到多个虚拟扬声器。

11、在本公开的又一方面，用于连同视觉对象的音频一起呈现视觉对象的方法如下进行。首先，处理器根据第一视觉特性(例如，原始尺寸)在显示器上呈现视觉对象。同时(或甚至同时)，处理器根据第一音频特性呈现视觉对象的音频。在一个实例中，第一音频特性是渲染算法中两个或更多个虚拟扬声器的原始布置，其中这些虚拟扬声器之间具有原始间距。接下来，处理器接收用户输入以选择视觉对象(例如，抓取视觉对象)。作为响应，并且在维持用户输入的情况下，处理器将音频的呈现改变为根据第二音频特性，并且处理器将视觉对象的呈现改变为根据第二视觉特性。在一个实例中，第二视觉特性是视觉对象的较小尺寸或视觉对象的移动。关于第二音频特性，其可以是虚拟扬声器的不同布置，诸如其间的间距小于原始间距的布置。接下来，响应于用户输入不再被维持(例如，用户取消选择或取消抓取视觉对象，这也可发信号通知视觉对象停止移动)，处理器将音频的呈现改变回第一音频特性，同时(或甚至同时)将视觉对象的呈现改变回第一视觉特性(例如，视觉对象恢复其原始尺寸)。

12、在先前的段落中的方法的一个实例中，当根据第一视觉特性呈现视觉对象时，根据虚拟扬声器围绕收听位置分布的第一音频特性呈现空间音频。然后，当根据第二视觉特性呈现视觉对象时，根据虚拟扬声器位于视觉对象处的第二音频特性呈现空间音频。在一个实例中，虚拟扬声器布置折叠为位于视觉对象的虚拟位置处的单个源。在另一实例中，当根据第一音频特性和第二音频特性两者呈现空间音频时，虚拟扬声器保持分布在同一球体(例如，其中心在收听位置处的球体)上，不同的是，虚拟扬声器之间的间距改变(例如，第一音频特性中的间距大于第二音频特性中的间距)。

13、现在，如果用户输入将视觉对象移动到新位置，则当将呈现改变回第一音频特性时，处理器相对于该视觉对象的新位置呈现空间音频(根据如围绕收听位置分布的虚拟扬声器的布置)。换句话讲，视觉对象的声音将被空间化以被感知为来自视觉对象在其新位置处的方向。

14、以上概述不包括本公开的所有方面的详尽列表。可预期的是，本公开包括可由上文概述的各个方面以及在下文的具体实施方式中公开并且在权利要求书部分特别指出的各个方面的所有合适的组合来实践的所有系统和方法。此类组合可具有未在上述
技术实现要素：
中具体阐述的特定优点。