用于确定处于目标位置的目标声音场景的方法及装置与流程

本解决方案涉及一种根据两个或更多个源声音场景来确定处于目标位置的目标声音场景的方法。进一步地，该解决方案涉及一种计算机可读存储介质，其中具有存储的指令，其使得能够根据两个或更多个源声音场景来确定处于目标位置的目标声音场景。此外，该解决方案涉及一种装置，被配置为根据两个或更多个源声音场景来确定处于目标位置的目标声音场景。

背景技术：

3d声音场景，例如hoa记录(hoa：高阶环境立体声)，给虚拟声音应用的用户传递3d声场的现实声学体验。然而，在hoa表示内移动是个困难的任务，因为小阶的hoa表示仅在围绕空间中的一个点的非常小的区域内有效。

例如，考虑用户在虚拟现实场景中从一个声学场景移动到另一声学场景中，其中该场景由不相关的hoa表示来描述。新场景应当作为随着用户接近新场景而变宽的声音对象出现在用户前面，直到当他进入新场景时该场景最终包围用户。用户离开的场景的声音应当发生相反的情况。该声音应当越来越移动到用户的后面，并且最终当用户进入新场景时，转化为用户离开该场景时变窄的声音对象。

一种用于从一个场景移动到其他场景中的可能的实现方式是从一个hoa表示淡出(fade)到其他hoa表示。然而，这不包括移动到用户前面的新场景中的所描述的空间印象。

因此，需要一种用于从一个声音场景移动到另一声音场景的解决方案，其创建移动到新场景中的所描述的声学印象。

技术实现要素：

根据一个方面，一种根据两个或更多个源声音场景来确定处于目标位置的目标声音场景的方法包括：

-在虚拟场景中定位所述两个或更多个源声音场景的空域表示，所述表示由虚拟扬声器位置来表示；以及

-通过将所述两个或更多个源声音场景的虚拟扬声器位置投影到围绕所述目标位置的圆形或球形上，确定所述目标声音场景的空域表示的投影的虚拟扬声器位置。

类似地，一种计算机可读存储介质，其中具有存储的指令，所述指令使得能够根据两个或更多个源声音场景来确定处于目标位置的目标声音场景，其中所述指令当由计算机执行时使得计算机：

-在虚拟场景中定位所述两个或更多个源声音场景的空域表示，所述表示由虚拟扬声器位置来表示；以及

-通过将所述两个或更多个源声音场景的虚拟扬声器位置投影到围绕所述目标位置的圆形或球形上，获得所述目标声音场景的空域表示的投影的虚拟扬声器位置。

此外，在一个实施例中，一种被配置为根据两个或更多个源声音场景来确定处于目标位置的目标声音场景的装置包括：

-定位单元，被配置为在虚拟场景中定位所述两个或更多个源声音场景的空域表示，所述表示由虚拟扬声器位置来表示；以及

-投影单元，被配置为通过将所述两个或更多个源声音场景的虚拟扬声器位置投影到围绕所述目标位置的圆形或球形上，获得所述目标声音场景的空域表示的投影的虚拟扬声器位置。

在另一实施例中，一种被配置为根据两个或更多个源声音场景来确定处于目标位置的目标声音场景的装置包括处理设备和存储器设备，该存储器设备其中具有存储的指令，该指令当由处理设备执行时使得所述装置：

-在虚拟场景中定位所述两个或更多个源声音场景的空域表示，所述表示由虚拟扬声器位置来表示；以及

-通过将所述两个或更多个源声音场景的虚拟扬声器位置投影到围绕所述目标位置的圆形或球形上，获得所述目标声音场景的空域表示的投影的虚拟扬声器位置。

hoa表示或来自声场记录的其它类型的声音场景可以用于虚拟声音场景或虚拟现实应用，以创建现实3d声音。然而，hoa表示仅对空间中的一个点有效，因此从一个虚拟声音场景或虚拟现实场景移动到另一虚拟声音场景或虚拟现实场景是个困难的任务。作为解决方案，本申请根据多个hoa表示，为给定的目标位置，例如当前用户位置，计算新的hoa表示，其中每个描述不同场景的声场。以该方式，通过应用空间扭曲，关于hoa表示的用户位置的相对布置用于操纵所述表示。

在一个实施例中，确定所述目标位置与所获得的投影的虚拟扬声器位置之间的方向，以及根据所获得的方向计算模式矩阵。所述模式矩阵由用于所述方向的球谐函数的系数构成。通过将所述模式矩阵与对应的加权的虚拟扬声器信号的矩阵相乘，创建所述目标声音场景。优选地，虚拟扬声器信号的加权与所述目标位置和相应的虚拟扬声器或相应的源声音场景的空域表示的起点之间的距离成反比。换言之，hoa表示被混合到用于所述目标位置的新hoa表示中。在该处理期间，用于混合增益，其与所述目标位置到每个hoa表示的起点的距离成反比。

在一个实施例中，当确定投影的虚拟扬声器位置时，忽略超出所述目标位置一定距离的源声音场景的空域表示或虚拟扬声器。这允许减少计算复杂度，并消除远离目标位置的场景的声音。

附图说明

图1为图示根据两个或更多个源声音场景来确定处于目标位置的目标声音场景的方法的简化流程图；

图2示意性描绘了被配置为根据两个或更多个源声音场景来确定处于目标位置的目标声音场景的装置的第一实施例；

图3示意性示出了被配置为根据两个或更多个源声音场景来确定处于目标位置的目标声音场景的装置的第二实施例；

图4图示了虚拟现实场景中的示例性hoa表示；以及

图5描绘了计算处于目标位置的新hoa表示。

具体实施方式

为了更好地理解，现在将参考附图在下面的描述中更详细地解释本发明的实施例的原理。要理解本发明不限于这些示例性实施例，并且还可以得当地组合和/或修改指定的特征，而不脱离所附的权利要求所限定的本发明的范围。在附图中，相同或相似类型的元件或者分别对应的部分提供有相同的参考标号，以防止需要重新介绍项目。

图1描绘了图示根据两个或更多个源声音场景来确定处于目标位置的目标声音场景的简化流程图。接收10关于两个或更多个源声音场景及目标位置的第一信息。接着，在虚拟场景中定位11两个或更多个源声音场景的空域表示，其中这些表示由虚拟扬声器位置来表示。随后，通过将两个或更多个源声音场景的虚拟扬声器位置投影到围绕目标位置的圆形或球形，获得目标声音场景的空域表示的投影的虚拟扬声器位置。

图2示出了被配置为根据两个或更多个源声音场景来确定处于目标位置的目标声音场景的装置20的简化示意图。装置20具有用于接收关于两个或更多个源声音场景及目标位置的信息的输入端21。替选地，从存储单元22取回关于两个或更多个源声音场景的信息。装置20还具有用于在虚拟场景中定位11两个或更多个源声音场景的空域表示的定位单元23。这些表示由虚拟扬声器位置来表示。投影单元24通过将两个或更多个源声音场景的虚拟扬声器位置投影到围绕目标位置的圆形或球形，获得12目标声音场景的空域表示的投影的虚拟扬声器位置。使投影单元24生成的输出可经由输出端25获得，以用于进一步处理，例如用于向用户再现处于投影的目标位置的虚拟源的回放设备40。另外，它可以存储在存储单元22上。输出端25也可以与输入端21结合为单个双向接口。定位单元23和投影单元24可以实施为专用硬件，例如作为集成电路。当然，它们可以类似地组合为单个单元或实现为在合适的处理器上运行的软件。在图2中，使用无线或有线的连接将装置20耦合到回放设备40。然而，装置20也可以是回放设备40的组成部分。

在图3中，存在被配置为根据两个或更多个源声音场景来确定处于目标位置的目标声音场景的另一装置30。装置30包括处理设备32和存储器设备31。装置30例如为计算机或工作站。存储器设备31其中具有存储的指令，其由处理设备32执行时，使得装置30执行根据所描述的方法之一的步骤。如前，经由输入端33接收关于两个或更多个源声音场景及目标位置的信息。使由处理设备31生成的位置信息可经由输出端34获得。另外，它可以存储在存储器设备31上。输出端34也可以与输入端33合并为单个双向接口。

例如，处理设备32可以是适配于执行根据所描述的方法之一的步骤的处理器。在实施例中，该适配包括处理器被配置(例如编程)为执行根据所描述的方法之一的步骤。

在此使用的处理器可以包括一个或多个处理单元，诸如微处理器、数字信号处理器或其组合。

存储单元22和存储器设备31可以包括易失性和/或非易失性存储器区域和诸如硬盘驱动器、dvd驱动器和固态存储设备的存储设备。存储器的一部分为处理设备32可读的非临时性程序存储设备，有形地体现可由处理设备32执行以根据本发明的原理执行在此描述的程序步骤的指令的程序。

下面将描述更多实现细节及应用。作为示例，考虑用户可以从一个虚拟声学场景移动到另一虚拟声学场景的情景。经由耳机或者3d或2d扬声器布局回放给听者的声音由取决于用户位置的每个场景的hoa表示来构成。这些hoa表示具有有限的阶，并且表示对于场景的特定区域有效的2d或3d声场。假设hoa表示描述完全不同的场景。

以上情景可以用于虚拟现实应用，比如例如计算机游戏、如“第二人生”的虚拟现实世界或用于所有种类的展览的声音装置。在后面的示例中，展览的访问者可以佩戴包括位置跟踪器的耳机，使得音频可以适配于所示出的场景和听者的位置。一个示例可以是动物园，其中声音适配于每个动物的自然环境，以丰富访问者的声学体验。

为了技术实现，以等价的空域表示来表示hoa表示。该表示由虚拟扬声器信号构成，其中信号的数量等于hoa表示的hoa系数的数量。通过将hoa表示呈现到对应的hoa阶数和维度的最优扬声器布局来获得虚拟扬声器信号。虚拟扬声器的数量必须等于hoa系数的数量，并且扬声器均匀地分布在用于2d表示的圆形上和用于3d表示的球形上。对于呈现，可以忽略球形或圆形的半径。对于所提出的解决方案的以下描述，为了简单起见使用2d表示。然而，通过将圆形上的虚拟扬声器位置与球形上的对应位置交换，该解决方案也适用于3d表示。

在第一步骤中，hoa表示必须被定位在虚拟场景中。为此目的，每个hoa表示由其空域表示的虚拟扬声器来表示，其中圆形或球形的中心定义hoa表示的位置，并且半径定义hoa表示的局部扩展。图4给出了六个表示的2d示例。

通过围绕当前用户位置的圆形或球形上的所有hoa表示的虚拟扬声器位置的投影来计算目标hoa表示的虚拟扬声器位置，其中当前用户位置为新hoa表示的起点。在图5中，描绘了围绕目标位置的圆形上的三个虚拟扬声器的示例性投影。

参见图5，根据用户位置与投影的虚拟扬声器位置之间测量的方向，计算所谓的模式矩阵，其由用于这些方向的球谐函数的系数构成。模式矩阵与对应的加权的虚拟扬声器信号的矩阵的乘积为用户位置创建新hoa表示。扬声器信号的加权优选地选择为与用户位置和虚拟扬声器或对应的hoa表示的起点之间的距离成反比。接着，可以通过将新创建的hoa表示旋转到相反方向来考虑用户头部向某个方向的旋转。围绕目标位置的球形或圆形上的多个hoa表示的虚拟扬声器的投影也可以理解为hoa的空间扭曲。

为了克服不稳定的连续hoa表示的问题，有利地，应用根据先前和当前的模式矩阵以及使用当前虚拟扬声器信号的权重所计算的hoa表示之间的交叉淡化。

此外，在计算目标hoa表示时，可以忽略超出目标位置一定距离的hoa表示或虚拟扬声器。这允许减少计算复杂度，并消除远离目标位置的场景的声音。

由于扭曲效应可能损害hoa表示的准确性，所以可选地所提出的解决方案仅用于从一个场景到另一场景的转换。因此，定义由围绕hoa表示的中心的圆形或球形给定的仅hoa区域，其中新目标位置的扭曲或计算被禁能。在该区域中，仅根据最接近的hoa表示来再现声音，而不对虚拟扬声器位置进行任何修改，以确保稳定的声音印象。然而，在该情况下，当用户离开仅hoa区域时，hoa表示的回放不稳定。此时，虚拟扬声器的位置会突然跳到扭曲的位置，这可能听起来不稳定。因此，优选地应用目标位置、hoa表示的半径及位置的修正，以在仅hoa区域的边界稳定地开始扭曲，从而克服该问题。