用于实现音频渲染的装置、方法和计算机程序与流程

本公开的示例涉及用于实现空间音频渲染的装置、方法和计算机程序。一些示例涉及用于实现可以适应用户的移动的空间音频渲染的装置、方法和计算机程序。

背景技术：

1、当渲染设备被用于针对介导现实提供声学时，它渲染声学效果以便为用户提供空间音频。在一些示例中，渲染设备可以渲染空间音频，以使得用户可以在介导现实环境内的不同位置处感知不同的空间音频效果。如果用户正在环境中移动，则渲染设备可以更新用于渲染音频效果的数字信号处理操作，以使能向用户提供正确的声学效果。如果数字信号处理操作的更新太慢，则可能会降低空间音频效果的准确性。

技术实现思路

1、根据本公开的各种但并非所有示例，可以提供一种装置，其包括用于执行以下操作的部件：获得表示至少一个音频空间的音频内容；使得至少一个数字信号处理操作能够渲染音频内容，以使得经渲染的音频内容包括针对至少一个音频空间的至少一个目标响应，其中，基于以下操作来控制使得至少一个数字信号处理操作能够渲染音频内容：获得针对至少一个音频空间的至少一个目标响应；以及当所获得的目标响应已知时，获得用于至少一个数字信号处理操作的至少一个参数，并且使用所获得的至少一个参数使得至少一个数字信号处理操作能够针对至少一个音频空间内的用户位置再现具有该目标响应的声学效果；或者当所获得的目标响应未知时，获得用于神经网络的至少一个参数，使用神经网络以确定用于至少一个数字信号处理操作的至少一个参数，并且使用至少一个所确定的参数使得至少一个数字信号处理操作能够针对至少一个音频空间内的用户位置再现具有该目标响应的声学效果。

2、数字信号处理操作可以包括一个或多个滤波器组，并且至少一个所获得的参数包括一个或多个滤波器组增益。

3、滤波器组可以包括用于执行以下中的任何一项或多项的部件：混响器衰减滤波，混响器扩散对直接比率控制，方向性滤波，材料衰减，介质吸收滤波。

4、滤波器组可以包括图形均衡器滤波器组。

5、目标响应可以包括用于输出音频信号的目标控制增益，以使得音频场景能够基于至少一个音频空间内的用户位置而向用户渲染。

6、所述部件可以用于使得所述装置能够接收一个或多个声学效果参数，以及用于使得声学效果参数和神经网络能够被用以获得用于数字信号处理操作的参数。

7、一个或多个声学效果参数可以包括指示针对音频信号的至少一个目标响应的信息。

8、所述部件可以用于接收用于神经网络的一个或多个参数，以及使用用于神经网络的参数以生成神经网络并获得用于数字信号处理操作的参数。

9、可以从编码设备接收用于神经网络的一个或多个参数。

10、所述部件可以用于接收指示用于神经网络的一个或多个权重的信息，使用指示用于神经网络的一个或多个权重的信息来调整神经网络，以及使用经调整的神经网络以获得用于数字信号处理操作的参数。

11、指示用于神经网络的一个或多个权重的信息可以包括以下中的至少一项：用于神经网络的一个或多个权重的一个或多个值；以及对用于神经网络的一组所存储的权重的一个或多个引用。

12、所述部件可以用于更新用于神经网络的一个或多个权重，使用所更新的权重来调整神经网络，以及使用经调整的神经网络以获得用于数字信号处理操作的参数。

13、所述部件可以用于确定在至少一个音频空间内的用户的位置。

14、所述部件可以提供双耳音频输出。

15、根据本公开的各种但并非所有示例，可以提供一种包括如本文所描述的装置的音频渲染设备。

16、根据本公开的各种但并非所有示例，可以提供一种包括如本文所描述的装置的编码设备。

17、根据本公开的各种但并非所有示例，可以提供一种装置，其包括：至少一个处理器；包括计算机程序代码的至少一个存储器，该至少一个存储器和计算机程序代码被配置为与该至少一个处理器一起使该装置至少执行：获得表示至少一个音频空间的音频内容；使得至少一个数字信号处理操作能够渲染音频内容，以使得经渲染的音频内容包括针对至少一个音频空间的至少一个目标响应，其中，基于以下操作来控制使得至少一个数字信号处理操作能够渲染音频内容：获得针对至少一个音频空间的至少一个目标响应；以及当所获得的目标响应已知时，获得用于至少一个数字信号处理操作的至少一个参数，并且使用所获得的至少一个参数使得至少一个数字信号处理操作能够针对至少一个音频空间内的用户位置再现具有该目标响应的声学效果；或者当所获得的目标响应未知时，获得用于神经网络的至少一个参数，使用神经网络以确定用于至少一个数字信号处理操作的至少一个参数，并且使用至少一个所确定的参数使得至少一个数字信号处理操作能够针对至少一个音频空间内的用户位置再现具有该目标响应的声学效果。

18、根据本公开的各种但并非所有示例，可以提供一种方法，其包括：获得表示至少一个音频空间的音频内容；使得至少一个数字信号处理操作能够渲染音频内容，以使得经渲染的音频内容包括针对至少一个音频空间的至少一个目标响应，其中，基于以下操作来控制使得至少一个数字信号处理操作能够渲染音频内容：获得针对至少一个音频空间的至少一个目标响应；以及当所获得的目标响应已知时，获得用于至少一个数字信号处理操作的至少一个参数，并且使用所获得的至少一个参数使得至少一个数字信号处理操作能够针对至少一个音频空间内的用户位置再现具有该目标响应的声学效果；或者当所获得的目标响应未知时，获得用于神经网络的至少一个参数，使用神经网络以确定用于至少一个数字信号处理操作的至少一个参数，并且使用至少一个所确定的参数使得至少一个数字信号处理操作能够针对至少一个音频空间内的用户位置再现具有该目标响应的声学效果。

19、数字信号处理操作可以包括一个或多个滤波器组，并且至少一个所获得的参数包括一个或多个滤波器组增益。

20、根据本公开的各种但并非所有示例，可以提供一种包括计算机程序指令的计算机程序，这些计算机程序指令在由处理电路执行时导致：获得表示至少一个音频空间的音频内容；使得至少一个数字信号处理操作能够渲染音频内容，以使得经渲染的音频内容包括针对至少一个音频空间的至少一个目标响应，其中，基于以下操作来控制使得至少一个数字信号处理操作能够渲染音频内容：获得针对至少一个音频空间的至少一个目标响应；以及当所获得的目标响应已知时，获得用于至少一个数字信号处理操作的至少一个参数，并且使用所获得的至少一个参数使得至少一个数字信号处理操作能够针对至少一个音频空间内的用户位置再现具有该目标响应的声学效果；或者当所获得的目标响应未知时，获得用于神经网络的至少一个参数，使用神经网络以确定用于至少一个数字信号处理操作的至少一个参数，并且使用至少一个所确定的参数使得至少一个数字信号处理操作能够针对至少一个音频空间内的用户位置再现具有该目标响应的声学效果。

21、数字信号处理操作可以包括一个或多个滤波器组，并且至少一个所获得的参数包括一个或多个滤波器组增益。

22、根据本公开的各种但并非所有示例，可以提供一种装置，其包括用于执行以下操作的部件：获得表示至少一个音频空间的音频内容；使得至少一个数字信号处理操作能够渲染音频内容，以使得经渲染的音频内容包括针对至少一个音频空间的至少一个目标响应，其中，基于以下操作来控制使得至少一个数字信号处理操作能够渲染音频内容：获得针对至少一个音频空间的至少一个目标响应；以及当所获得的目标响应已知时，获得用于至少一个数字信号处理操作的至少一个参数，并且使用所获得的至少一个参数使得至少一个数字信号处理操作能够针对至少一个音频空间内的用户位置再现具有该目标响应的声学效果；或者当所获得的目标响应未知时，获得用于神经网络的至少一个参数，使用神经网络以确定用于至少一个数字信号处理操作的至少一个参数，并且使用至少一个所确定的参数使得至少一个数字信号处理操作能够针对至少一个音频空间内的用户位置再现具有该目标响应的声学效果。

23、定义

24、本文档中的“介导现实”是指用户例如在视觉上体验完全或部分人工环境(虚拟空间)，作为由装置至少部分地向用户渲染的虚拟场景。虚拟场景由虚拟空间内的视点(虚拟位置)确定。显示虚拟场景意味着以可以由用户感知的形式提供虚拟视觉场景。

25、本文档中的“增强现实”是指一种形式的介导现实，其中，用户体验作为虚拟场景的部分人工环境(虚拟空间)，该虚拟场景包括物理真实环境(真实空间)的真实场景，补充以由装置向用户渲染的一个或多个视觉或音频元素。术语增强现实意味着混合现实(mixedreality)或混合现实(hybrid reality)，并且未必暗示虚拟程度(相对于现实)或介导程度。

26、本文档中的“虚拟现实”是指一种形式的介导现实，其中，用户体验作为由装置向用户显示的虚拟场景的完全人工环境(虚拟视觉空间)。

27、三自由度(3dof)描述了介导现实，其中，虚拟位置仅由定向(例如，三维定向的三个度)确定。就第一人称视角介导现实而言，仅用户的定向确定虚拟位置。

28、六自由度(6dof)描述了介导现实，其中，虚拟位置由定向(例如，三维定向的三个度)和位置(例如，三维位置的三个度)两者确定。就第一人称视角介导现实而言，用户的定向和在真实空间中的用户的位置两者都确定虚拟位置。

29、“音频空间”(或“音频声音空间”)是指在三维空间中声音的布置。音频空间可以相对于记录声音(经记录的声音空间)并相对于渲染声音(经渲染的声音空间)来定义。

30、“音频场景”(或“虚拟声音场景”)是指从音频空间内的特定视点(位置)收听的音频空间的表示。

31、“虚拟空间”可以指虚拟视觉空间，意味着音频空间或者意味着虚拟视觉空间和对应的音频空间的组合。在一些示例中，虚拟空间可以在水平上延伸达360°并且可以在垂直上延伸达180°。

32、“虚拟场景”可以指虚拟视觉场景，意味着音频场景或者意味着虚拟视觉场景和对应的音频场景的组合。

33、“虚拟位置”是虚拟空间内的位置。它可以使用虚拟位置和/或虚拟定向来定义。它可以被认为是可移动“视点”。