空间音频捕获的制作方法

本技术涉及用于空间音频捕获的装置和方法，并且具体地，涉及用于针对在通过空间音频捕获所捕获的声场内的两个或更多个已识别声源确定到达方向和基于能量的比率的装置和方法。

背景技术：

1、在许多现代数字设备(诸如移动设备和相机)中使用麦克风阵列进行空间音频捕获，在许多情况下与视频捕获一起使用。可以用耳机或扬声器播放空间音频捕获，以向用户提供由麦克风阵列捕获的音频场景的体验。

2、参数化空间音频捕获方法能够实现采用不同麦克风配置和布置的空间音频捕获，因此，可用于诸如移动电话的消费类设备。参数化空间音频捕获方法基于用于利用来自多个麦克风的可用信息分析设备周围的空间音频场的信号处理解决方案。通常，这些方法在感知上分析麦克风音频信号以确定频带中的相关信息。该信息包括例如主要声源(或音频源或音频对象)的方向以及声源能量与总频带能量的关系。基于该确定的信息，可以例如使用耳机或扬声器再现空间音频。最终，用户或听众可以因此体验环境音频，就好像他们出现在捕获设备正在录制的音频场景中一样。

3、音频分析和合成性能越好，用户或听众所体验的结果就越真实。

技术实现思路

1、根据第一方面，提供了一种装置，其包括被配置为执行以下操作的部件：从两个或更多个麦克风获得相应的两个或更多个音频信号；基于对两个或更多个音频信号的处理，在两个或更多个音频信号的一个或多个频带中确定第一声源方向参数，其中，对两个或更多个音频信号的处理进一步被配置为基于两个或更多个音频信号，提供一个或多个经修改的音频信号；以及至少部分地基于一个或多个经修改的音频信号，在两个或更多个音频信号的一个或多个频带中确定至少第二声源方向参数。

2、被配置为基于两个或更多个音频信号提供一个或多个经修改的音频信号的部件可以进一步被配置为：基于用由第一声源方向参数定义的第一声源的投影来修改两个或更多个音频信号，生成经修改的两个或更多个音频信号；并且被配置为至少部分地基于一个或多个经修改的音频信号而在两个或更多个音频信号的一个或多个频带中确定至少第二声源方向参数的部件被配置为：通过处理经修改的两个或更多个音频信号，在两个或更多个音频信号的一个或多个频带中确定至少第二声源方向参数。

3、所述部件可以进一步被配置为：基于对两个或更多个音频信号的处理，在两个或更多个音频信号的一个或多个频带中确定第一声源能量参数；以及至少部分地基于一个或多个经修改的音频信号和第一声源能量参数，确定至少第二声源能量参数。

4、第一和第二声源能量参数可以是直接与总能量比，并且其中，被配置为至少部分地基于一个或多个经修改的音频信号确定至少第二声源能量参数的部件被配置为：基于对一个或多个经修改的音频信号的分析，确定临时第二声源能量参数直接与总能量比；以及基于以下中的一项生成第二声源能量参数直接与总能量比：选择临时第二声源能量参数直接与总能量比或者从值1减去第一声源能量参数直接与总能量比的值中的最小者；或者将临时第二声源能量参数直接与总能量比乘以从值1减去第一声源能量参数直接与总能量比的值。

5、被配置为至少部分地基于一个或多个经修改的音频信号和第一声源能量参数确定至少第二声源能量参数的部件可以进一步被配置为：进一步基于第一声源方向参数确定至少第二声源能量参数，以使得第二声源能量参数相对于第一声源方向参数与第二声源方向参数之差被缩放。

6、被配置为基于对两个或更多个音频信号的处理而在两个或更多个音频信号的一个或多个频带中确定第一声源方向参数的部件可以被配置为：选择两个或更多个麦克风中的第一对；选择来自两个或更多个麦克风中的所选择的对的第一对相应音频信号；确定使来自两个或更多个麦克风中的所选择的对的第一对相应音频信号之间的相关性最大化的延迟；以及确定与使来自两个或更多个麦克风中的所择的选对的第一对相应音频信号之间的相关性最大化的延迟相关联的方向对，第一声源方向参数选自所确定的方向对。

7、被配置为基于对两个或更多个音频信号的处理而在两个或更多个音频信号的一个或多个频带中确定第一声源方向参数的部件可以被配置为：基于进一步确定使来自两个或更多个麦克风中的所选择的另一对的另一对相应音频信号之间的另一相关性最大化的另一延迟，从所确定的方向对中选择第一声源方向参数。

8、被配置为基于对两个或更多个音频信号的处理而在两个或更多个音频信号的一个或多个频带中确定第一声源能量参数的部件可以被配置为：通过对相对于用于频带的第一对相应音频信号的能量的最大化的相关性进行归一化，确定与第一声源方向参数对应的第一声源能量比率。

9、被配置为基于两个或更多个音频信号提供一个或多个经修改的音频信号的部件可以被配置为：基于所确定的第一声源方向参数，确定第一对相应音频信号之间的延迟；基于将所确定的延迟应用于第一对相应音频信号中的一个音频信号，对齐第一对相应音频信号；从第一对相应音频信号中的每一个音频信号中识别公共分量；从第一对相应音频信号中的每一个音频信号减去公共分量；以及将延迟恢复到相应音频信号中的减去了分量的音频信号，以生成一个或多个经修改的音频信号。

10、被配置为基于两个或更多个音频信号提供一个或多个经修改的音频信号的部件可以被配置为：基于所确定的第一声源方向参数，确定第一对相应音频信号之间的延迟；基于将所确定的延迟应用于第一对相应音频信号中的一个音频信号，对齐第一对相应音频信号；从第一对相应音频信号中的每一个音频信号中识别公共分量；从第一对相应音频信号中的每一个音频信号减去经修改的公共分量，经修改的公共分量是公共分量乘以与和麦克风对相关联的麦克风相关联的增益值；以及将延迟恢复到相应音频信号中的减去了与增益相乘的分量的音频信号，以生成经修改的两个或更多个音频信号。

11、被配置为基于两个或更多个音频信号提供一个或多个经修改的音频信号的部件可以被配置为：基于所确定的第一声源方向参数，确定第一对相应音频信号之间的延迟，相应音频信号来自两个或更多个麦克风中的所选择的第一对；基于将所确定的延迟应用于第一对相应音频信号中的一个音频信号，对齐第一对相应音频信号；选择来自两个或更多个麦克风中的所选择的附加对的附加对相应音频信号；基于所确定的附加声源方向参数，确定附加对相应音频信号之间的附加延迟；基于将所确定的附加延迟应用于附加对相应音频信号中的一个音频信号，对齐附加对相应音频信号；从第一对和第二对相应音频信号中识别公共分量；从第一对相应音频信号中的每一个音频信号减去公共分量或经修改的公共分量，经修改的公共分量是公共分量乘以与和第一麦克风对相关联的麦克风相关联的增益值；以及将延迟恢复到相应音频信号中的减去了与增益相乘的分量的音频信号，以生成经修改的两个或更多个音频信号。

12、被配置为从两个或更多个麦克风获得相应的两个或更多个音频信号的部件可以进一步被配置为：选择两个或更多个麦克风中的第一对以获得两个或更多个音频信号，并且选择两个或更多个麦克风中的第二对以获得第二对两个或更多个音频信号，其中，两个或更多个麦克风中的第二对相对于第一声源方向参数处于音频阴影中，并且其中，被配置为基于两个或更多个音频信号提供一个或多个经修改的音频信号的部件被配置为：提供第二对两个或更多个音频信号，根据第二对两个或更多个音频信号，所述部件被配置为至少部分地基于一个或多个经修改的音频信号，在两个或更多个音频信号的一个或多个频带中确定至少第二声源方向参数。

13、一个或多个频带可以低于阈值频率。

14、根据第二方面，提供了一种用于装置的方法，该方法包括：从两个或更多个麦克风获得相应的两个或更多个音频信号；基于对两个或更多个音频信号的处理，在两个或更多个音频信号的一个或多个频带中确定第一声源方向参数，其中，对两个或更多个音频信号的处理进一步被配置为基于两个或更多个音频信号提供一个或多个经修改的音频信号；以及至少部分地基于一个或多个经修改的音频信号，在两个或更多个音频信号的一个或多个频带中确定至少第二声源方向参数。

15、基于两个或更多个音频信号提供一个或多个经修改的音频信号可以进一步包括：基于用由第一声源方向参数定义的第一声源的投影来修改两个或更多个音频信号，生成经修改的两个或更多个音频信号；并且至少部分地基于一个或多个经修改的音频信号，在两个或更多个音频信号的一个或多个频带中确定至少第二声源方向参数可以包括：通过处理经修改的两个或更多个音频信号，在两个或更多个音频信号的一个或多个频带中确定至少第二声源方向参数。

16、该方法可以进一步包括：基于对两个或更多个音频信号的处理，在两个或更多个音频信号的一个或多个频带中确定第一声源能量参数；以及至少部分地基于一个或多个经修改的音频信号和第一声源能量参数，确定至少第二声源能量参数。

17、第一和第二声源能量参数可以是直接与总能量比，并且其中，至少部分地基于一个或多个经修改的音频信号确定至少第二声源能量参数可以包括：基于对一个或多个经修改的音频信号的分析，确定临时第二声源能量参数直接与总能量比；以及基于以下中的一项生成第二声源能量参数直接与总能量比：选择临时第二声源能量参数直接与总能量比或者从值1减去第一声源能量参数直接与总能量比的值中的最小者；或者将临时第二声源能量参数直接与总能量比乘以从值1减去第一声源能量参数直接与总能量比的值。

18、至少部分地基于一个或多个经修改的音频信号和第一声源能量参数确定至少第二声源能量参数可以进一步包括：进一步基于第一声源方向参数确定至少第二声源能量参数，以使得第二声源能量参数相对于第一声源方向参数与第二声源方向参数之差被缩放。

19、基于对两个或更多个音频信号的处理，在两个或更多个音频信号的一个或多个频带中确定第一声源方向参数可以包括：选择两个或更多个麦克风中的第一对；选择来自两个或更多个麦克风中的所选择的对的第一对相应音频信号；确定使来自两个或更多个麦克风中的所选择的对的第一对相应音频信号之间的相关性最大化的延迟；以及确定与使来自两个或更多个麦克风中的所选择的对的第一对相应音频信号之间的相关性最大化的延迟相关联的方向对，第一声源方向参数选自所确定的方向对。

20、基于对两个或更多个音频信号的处理，在两个或更多个音频信号的一个或多个频带中确定第一声源方向参数可以包括：基于进一步确定使来自两个或更多个麦克风中的所选择的另一对的另一对相应音频信号之间的另一相关性最大化的另一延迟，从所确定的方向对中选择第一声源方向参数。

21、基于对两个或更多个音频信号的处理，在两个或更多个音频信号的一个或多个频带中确定第一声源能量参数可以包括：通过对相对于用于频带的第一对相应音频信号的能量的最大化的相关性进行归一化，确定与第一声源方向参数对应的第一声源能量比率。

22、基于两个或更多个音频信号提供一个或多个经修改的音频信号可以包括：基于所确定的第一声源方向参数，确定第一对相应音频信号之间的延迟；基于将所确定的延迟应用于第一对相应音频信号中的一个音频信号，对齐第一对相应的音频信号；从第一对相应音频信号中的每一个音频信号中识别公共分量；从第一对相应音频信号中的每一个音频信号减去公共分量；以及将延迟恢复到相应音频信号中的减去了分量的音频信号，以生成一个或多个经修改的音频信号。

23、基于两个或更多个音频信号提供一个或多个经修改的音频信号可以包括：基于所确定的第一声源方向参数确定第一对相应音频信号之间的延迟；基于将所确定的延迟应用于第一对相应音频信号中的一个音频信号，对齐第一对相应的音频信号；从第一对相应音频信号中的每一个音频信号中识别公共分量；从第一对相应音频信号中的每一个音频信号减去经修改的公共分量，经修改的公共分量是公共分量乘以与和麦克风对相关联的麦克风相关联的增益值；将延迟恢复到相应音频信号中的减去了与增益相乘的分量的音频信号，以生成经修改的两个或更多个音频信号。

24、基于两个或更多个音频信号提供一个或多个经修改的音频信号可以包括：基于所确定的第一声源方向参数，确定第一对相应音频信号之间的延迟，相应音频信号来自两个或更多个麦克风中的所选择的第一对；基于将所确定的延迟应用于第一对相应音频信号中的一个音频信号，对齐第一对相应音频信号；选择来自两个或更多个麦克风中的所选择的附加对的附加对相应音频信号；基于所确定的附加声源方向参数，确定附加对相应音频信号之间的附加延迟；基于将所确定的附加延迟应用于附加对相应音频信号中的一个音频信号，对齐附加对相应音频信号；从第一对和第二对相应音频信号中识别公共分量；从第一对相应音频信号中的每一个音频信号减去公共分量或经修改的公共分量，经修改的公共分量是公共分量乘以与和第一麦克风对相关联的麦克风相关联的增益值；以及将延迟恢复到相应音频信号中的减去了与增益相乘的分量的音频信号，以生成经修改的两个或更多个音频信号。

25、从两个或更多个麦克风中获得相应的两个或更多个音频信号包括：选择两个或更多个麦克风中的第一对以获得两个或更多个音频信号，并且选择两个或更多个麦克风中的第二对以获得第二对两个或更多个音频信号，其中，两个或更多个麦克风中的第二对相对于第一声源方向参数处于音频阴影中，并且其中，基于两个或更多个音频信号提供一个或多个经修改的音频信号包括：提供第二对两个或更多个音频信号，根据该第二对两个或更多个音频信号，至少部分地基于一个或多个经修改的音频信号，在两个或更多个音频信号的一个或多个频带中确定至少第二声源方向参数。

26、一个或多个频带可以低于阈值频率。

27、根据第三方面，提供了一种装置，其包括至少一个处理器和包括计算机程序代码的至少一个存储器，至少一个存储器和计算机程序代码被配置为与至少一个处理器一起使该装置至少：从两个或更多个麦克风获得相应的两个或更多个音频信号；基于对两个或更多个音频信号的处理，在两个或更多个音频信号的一个或多个频带中确定第一声源方向参数，其中，对两个或更多个音频信号的处理进一步被配置为基于两个或更多个音频信号提供一个或多个经修改的音频信号；以及至少部分地基于一个或多个经修改的音频信号，在两个或更多个音频信号的一个或多个频带中确定至少第二声源方向参数。

28、被使得基于两个或更多个音频信号提供一个或多个经修改的音频信号的装置可以进一步被使得：基于用由第一声源方向参数定义的第一声源的投影来修改两个或更多个音频信号，生成经修改的两个或更多个音频信号；并且被使得至少部分地基于一个或多个经修改的音频信号而在两个或更多个音频信号的一个或多个频带中确定至少第二声源方向参数的装置可以被使得：通过处理经修改的两个或更多个音频信号，在两个或更多个音频信号的一个或多个频带中确定至少第二声源方向参数。

29、该装置可以进一步被使得：基于对两个或更多个音频信号的处理，在两个或更多个音频信号的一个或多个频带中确定第一声源能量参数；以及至少部分地基于一个或多个经修改的音频信号和第一声源能量参数，确定至少第二声源能量参数。

30、第一和第二声源能量参数可以是直接与总能量比，并且其中，被使得至少部分地基于一个或多个经修改的音频信号确定至少第二声源能量参数的装置可以被使得：基于对一个或多个经修改的音频信号的分析，确定临时第二声源能量参数直接与总能量比；以及基于以下中的一项生成第二声源能量参数直接与总能量比：选择临时第二声源能量参数直接与总能量比或者从值1减去第一声源能量参数直接与总能量比的值中的最小者；或者将临时第二声源能量参数直接与总能量比乘以从值1减去第一声源能量参数直接与总能量比的值。

31、被使得至少部分地基于一个或多个经修改的音频信号和第一声源能量参数确定至少第二声源能量参数的装置可以进一步被使得：进一步基于第一声源方向参数确定至少第二声源能量参数，以使得第二声源能量参数相对于第一声源方向参数与第二声源方向参数之差被缩放。

32、被使得基于对两个或更多个音频信号的处理而在两个或更多个音频信号的一个或多个频带中确定第一声源方向参数的装置可以被使得：选择两个或更多个麦克风中的第一对；选择来自两个或更多个麦克风中的所选择的对的第一对相应音频信号；确定使来自两个或更多个麦克风中的所选择的对的第一对相应音频信号之间的相关性最大化的延迟；以及确定与使来自两个或更多个麦克风中的所选择的对的第一对相应音频信号之间的相关性最大化的延迟相关联的方向对，第一声源方向参数选自所确定的方向对。

33、被使得基于对两个或更多个音频信号的处理而在两个或更多个音频信号的一个或多个频带中确定第一声源方向参数的装置可以被使得：基于进一步确定使来自两个或更多个麦克风中的所选择的另一对的另一对相应音频信号之间的另一相关性最大化的另一延迟，从所确定的方向对中选择第一声源方向参数。

34、被使得基于对两个或更多个音频信号的处理而在两个或更多个音频信号的一个或多个频带中确定第一声源能量参数的装置可以被使得：通过对相对于用于频带的第一对相应音频信号的能量的最大化的相关性进行归一化，确定与第一声源方向参数对应的第一声源能量比率。

35、被使得基于两个或更多个音频信号提供一个或多个经修改的音频信号的装置可以被使得：基于所确定的第一声源方向参数，确定第一对相应音频信号之间的延迟；基于将所确定的延迟应用于第一对相应音频信号中的一个音频信号，对齐第一对相应音频信号；从第一对相应音频信号中的每一个音频信号中识别公共分量；从第一对相应音频信号中的每一个音频信号减去公共分量；以及将延迟恢复到相应音频信号中的减去了分量的音频信号，以生成一个或多个经修改的音频信号。

36、被使得基于两个或更多个音频信号提供一个或多个经修改的音频信号的装置可以被使得：基于所确定的第一声源方向参数，确定第一对相应音频信号之间的延迟；基于将所确定的延迟应用于第一对相应音频信号中的一个音频信号，对齐第一对相应音频信号；从第一对相应音频信号中的每一个音频信号中识别公共分量；从第一对相应音频信号中的每一个音频信号减去经修改的公共分量，经修改的公共分量是公共分量乘以与和麦克风对相关联的麦克风相关联的增益值；以及将延迟恢复到相应音频信号中的减去了与增益相乘的分量的音频信号，以生成经修改的两个或更多个音频信号。

37、被使得基于两个或更多个音频信号提供一个或多个经修改的音频信号的装置可以被使得：基于所确定的第一声源方向参数，确定第一对相应音频信号之间的延迟，相应音频信号来自两个或更多个麦克风中的所选择的第一对；基于将所确定的延迟应用于第一对相应音频信号中的一个音频信号，对齐第一对相应音频信号；选择来自两个或更多个麦克风中的所选择的附加对的附加对相应音频信号；基于所确定的附加声源方向参数，确定附加对相应音频信号之间的附加延迟；基于将所确定的附加延迟应用于附加对相应音频信号的中的一个音频信号，对齐附加对相应音频信号；从第一对和第二对相应音频信号中识别公共分量；从第一对相应音频信号中的每一个音频信号减去公共分量或经修改的公共分量，经修改的公共分量是公共分量乘以与和第一麦克风对相关联的麦克风相关联的增益值；以及将延迟恢复到相应音频信号中的减去了与增益相乘的分量的音频信号，以生成经修改的两个或更多个音频信号。

38、被使得从两个或更多个麦克风获得相应的两个或更多个音频信号的装置可以进一步被使得：选择两个或更多个麦克风中的第一对以获得两个或更多个音频信号，并且选择两个或更多个麦克风中的第二对以获得第二对两个或更多个音频信号，其中，两个或更多个麦克风中的第二对相对于第一声源方向参数处于音频阴影中，并且其中，被使得基于两个或更多个音频信号提供一个或多个经修改的音频信号的装置被使得：提供第二对两个或更多个音频信号，根据该第二对两个或更多个音频信号，该装置被使得至少部分地基于一个或多个经修改的音频信号，在两个或更多个音频信号的一个或多个频带中确定至少第二声源方向参数。

39、一个或多个频带可以低于阈值频率。

40、根据第四方面，提供了一种装置，其包括用于执行以下操作的部件：从两个或更多个麦克风获得相应的两个或更多个音频信号的部件；基于对两个或更多个音频信号的处理，在两个或更多个音频信号的一个或多个频带中确定第一声源方向参数，其中，对两个或更多个音频信号的处理进一步被配置为基于两个或更多个音频信号提供一个或多个经修改的音频信号；以及至少部分地基于一个或多个经修改的音频信号，在两个或更多个音频信号的一个或多个频带中确定至少第二声源方向参数。

41、根据第五方面，提供了一种包括指令的计算机程序[或者包括程序指令的计算机可读介质]，所述指令用于使装置至少执行以下操作：从两个或更多个麦克风获得相应的两个或更多个音频信号；基于对两个或更多个音频信号的处理，在两个或更多个音频信号的一个或多个频带中确定第一声源方向参数，其中，对两个或更多个音频信号的处理进一步被配置为基于两个或更多个音频信号提供一个或多个经修改的音频信号；以及至少部分地基于一个或多个经修改的音频信号，在两个或更多个音频信号的一个或多个频带中确定至少第二声源方向参数。

42、根据第六方面，提供了一种非暂时性计算机可读介质，其包括用于使装置执行至少以下操作的程序指令：从两个或更多个麦克风获得相应的两个或更多个音频信号；基于对两个或更多个音频信号的处理，在两个或更多个音频信号的一个或多个频带中确定第一声源方向参数，其中，对两个或更多个音频信号的处理进一步被配置为基于两个或更多个音频信号提供一个或多个经修改的音频信号；以及至少部分地基于一个或多个经修改的音频信号，在两个或更多个音频信号的一个或多个频带中确定至少第二声源方向参数。

43、根据第七方面，提供了一种装置，其包括：获得电路，被配置为从两个或更多个麦克风获得相应的两个或更多个音频信号；确定电路，被配置为基于对两个或更多个音频信号的处理，在两个或更多个音频信号的一个或多个频带中确定第一声源方向参数，其中，对两个或更多个音频信号的处理进一步被配置为基于两个或更多个音频信号提供一个或多个经修改的音频信号；以及用于至少部分地基于一个或多个经修改的音频信号而在两个或更多个音频信号的一个或多个频带中确定至少第二声源方向参数的部件。

44、根据第八方面，提供了一种计算机可读介质，其包括用于使装置执行至少以下操作的程序指令：从两个或更多个麦克风获得相应的两个或更多个音频信号；基于对两个或更多个音频信号的处理，在两个或更多个音频信号的一个或多个频带中确定第一声源方向参数，其中，对两个或更多个音频信号的处理进一步被配置为基于两个或更多个音频信号提供一个或多个经修改的音频信号；以及至少部分地基于一个或多个经修改的音频信号，在两个或更多个音频信号的一个或多个频带中确定至少第二声源方向参数。

45、一种装置，包括用于执行上述方法的动作的部件。

46、一种装置，被配置为执行上述方法的动作。

47、一种计算机程序，包括用于使计算机执行上述方法的程序指令。

48、一种在介质上存储的计算机程序产品可以使装置执行如本文所述的方法。

49、一种电子设备可以包括如本文所述的装置。

50、一种芯片集可以包括如本文所述的装置。

51、本技术的实施例旨在解决与现有技术相关联的问题。