动态改变音频特性的制作方法

本公开的一个方面涉及动态地改变与应用程序相关联的音频特性。

背景技术：

1、包括移动设备或其他电子系统的计算机系统可运行向用户播放音频的一个或多个应用程序。例如，计算机可启动在运行时间期间向用户播放来自电影的声音的电影播放器应用程序。诸如视频呼叫、电话呼叫、警报等的其他应用程序可与音频回放相关联。

2、操作系统可向用户呈现向用户示出一个或多个对象的用户接口或显示器，其中该对象(例如，图标、窗口、图片、动画图形等)表示应用程序。例如，电影播放器应用程序可在允许用户观看和控制回放的“窗口”中播放。操作系统可在给定时间管理多个应用程序。

技术实现思路

1、可实施系统级规则以基于对象的大小来调整应用程序的音频参数。该对象(例如，图标、窗口、图片、动画图形等)可表示底层应用程序。该对象可呈现在2d显示器上，或者作为虚拟对象呈现在扩展现实(xr)环境中。

2、此外，与该应用程序相关联的音频可进行空间渲染，使得该对象表示一个或多个声源。例如，如果示出电影的媒体播放器窗口被呈现给用户，并且该媒体播放器窗口被示出为小窗口，那么这些音频参数可被确定成使得与该媒体播放器窗口相关联的音频(例如，电影音轨)被渲染以便被感知为源自小源。如果用户将该媒体播放器窗口的大小调整为更大，那么动态地调整音频参数以反映该窗口的大小。在这种情况下，该电影音频可听起来像它源自更大、更复杂或雄伟的声源。基于对象大小来确定的音频参数可包括例如动态范围、指向性图案、频率响应、声音功率和/或其他音频参数。

3、在一些方面，描述了一种方法、执行该方法的系统或计算设备。该方法包括保持与一个或多个应用程序相关联的元数据。该元数据指定与该应用程序相关联的对象(例如，图标、窗口、图片、计算机生成的图形、动画和/或其他对象)的大小。该对象例如在显示器上被呈现给用户。基于该对象的大小，确定或修改一个或多个音频参数。音频参数可包括以下项中的至少一项：动态范围、指向性图案、频率响应、声音功率、频率范围、音高、音色、输出音频通道的数目和回响。

4、该音频参数可应用于渲染和/或混合与该应用程序相关联的音频。以此方式，向用户示出的看似大的对象也可听起来好像它们是大的(例如，多个声源、大动态范围、低音等)。相反，向用户示出的微小的对象可听起来微小(例如，单点源、小动态范围等)。通过实施这些规则，模仿对象的真实世界声学行为来保持似真性。用户还可重新设定对象的大小以使它们听起来“更大”或“更小”。这些系统级规则可在操作系统级实施。在一些方面，这些规则可同时在多个应用程序上实施。

5、以上概述不包括本公开的所有方面的详尽列表。可预期的是，本公开包括可由上文概述的各个方面以及在下文的具体实施方式中公开并且在权利要求书部分特别指出的各个方面的所有合适的组合来实践的所有系统和方法。此类组合可具有未在上述
技术实现要素：
中具体阐述的特定优点。

技术特征：

1.一种由计算设备执行的方法，包括：

2.根据权利要求1所述的方法，还包括：在所述对象的所述大小增大的情况下增大所述动态范围，以及在所述对象的所述大小减小的情况下减小所述动态范围。

3.根据权利要求1-2中任一项所述的方法，其中确定所述动态范围包括：基于与所述对象相关联的声源的模型来生成音频滤波器。

4.根据权利要求3所述的方法，其中所述模型的大小或几何形状基于所述对象的大小或几何形状来确定。

5.根据权利要求3-4中任一项所述的方法，还包括：响应于所述对象的所述大小或所述几何形状的变化来修改所述模型的所述大小或所述几何形状。

6.根据权利要求3-5中任一项所述的方法，其中所述模型的一个或多个部分在确定所述动态范围的模拟中辐射声学能量，所述音频滤波器是从所述声学能量生成的。

7.根据权利要求3-6中任一项所述的方法，其中所述音频滤波器包括与直接声音相关联的第一滤波器、与早期反射相关联的第二滤波器和与回响相关联的第三滤波器，所述第一滤波器、所述第二滤波器和所述第三滤波器应用于所述音频以渲染所述音频。

8.根据权利要求3-7中任一项所述的方法，包括：基于用户输入来修改所述模型的几何属性，从而导致基于所述模型的所修改的几何属性来生成第二音频滤波器。

9.根据权利要求1-8中任一项所述的方法，其中所述一个或多个音频参数还包括以下项中的至少一项：指向性图案、频率响应、声音功率、频率范围、音高、音色、输出音频通道的数目和回响。

10.根据权利要求9所述的方法，还包括：在所述对象的所述大小被修改的情况下修改所述一个或多个音频参数中的至少一个音频参数。

11.根据权利要求1-10中任一项所述的方法，其中所述对象通过增强现实、混合现实或虚拟现实显示器来呈现。

12.根据权利要求1-10中任一项所述的方法，其中所述对象通过二维显示器来呈现。

13.根据权利要求1-12中任一项所述的方法，其中所述动态范围的应用与用于渲染与所述应用程序相关联的音频的用户控制的音频设置无关。

14.根据权利要求1-13中任一项所述的方法，其中所述方法由所述计算设备的操作系统(os)执行，并且所述应用程序是由所述os管理的多个应用程序中的一个应用程序，所述多个应用程序中的每个应用程序与包括对应对象的对应大小的对应元数据相关联。

15.根据权利要求14所述的方法，其中基于所述对应对象的所述对应大小，与所述多个应用程序中的对应应用程序相关联的音频参数被确定并且应用于渲染与所述多个应用程序中的所述对应应用程序相关联的音频。

16.根据权利要求1-15中任一项所述的方法，其中基于所述对象的所述大小来确定或修改所述动态范围或其他音频参数视所述应用程序的分类而定，所述分类包括以下项中的至少一项：媒体、通信和实用。

17.一种由计算设备执行的方法，包括：

18.根据权利要求17所述的方法，还包括：在所述对象的所述大小被修改的情况下改变所述指向性图案的形状，包括在所述对象的所述大小增大的情况下增大所述指向性图案的指向性，以及在所述对象的所述大小减小的情况下减小所述指向性图案的所述指向性。

19.根据权利要求17-18中任一项所述的方法，其中确定所述指向性图案包括：基于与所述对象相关联的声源的模型来生成音频滤波器。

20.根据权利要求19所述的方法，其中所述模型的大小或几何形状基于所述对象的大小或几何形状来确定。

21.根据权利要求19-20中任一项所述的方法，还包括：响应于所述对象的所述大小或所述几何形状的变化来修改所述模型的所述大小或所述几何形状。

22.根据权利要求19-21中任一项所述的方法，其中所述模型的一个或多个部分辐射声学能量以形成所述指向性图案，所述音频滤波器是从所述指向性图案生成的。

23.根据权利要求19-22中任一项所述的方法，其中所述音频滤波器包括与直接声音相关联的第一滤波器、与早期反射相关联的第二滤波器和与回响相关联的第三滤波器，所述第一滤波器、所述第二滤波器和所述第三滤波器应用于所述音频以渲染所述音频。

24.根据权利要求19-23中任一项所述的方法，包括：基于用户输入来修改所述模型的几何属性，从而导致基于所述模型的所修改的几何属性来生成第二音频滤波器。

25.根据权利要求17-24中任一项所述的方法，其中所述一个或多个音频参数还包括以下项中的至少一项：动态范围、频率响应、声音功率、频率范围、音高、音色、输出音频通道的数目和回响。

26.根据权利要求25所述的方法，还包括：在所述对象的所述大小被修改的情况下修改所述一个或多个音频参数中的至少一个音频参数。

27.根据权利要求17-26中任一项所述的方法，其中所述对象通过增强现实、混合现实或虚拟现实显示器来呈现。

28.根据权利要求17-26中任一项所述的方法，其中所述对象通过二维显示器来呈现。

29.根据权利要求17-28中任一项所述的方法，其中所述指向性图案的应用与用于渲染与所述应用程序相关联的音频的用户控制的音频设置无关。

30.根据权利要求17-29中任一项所述的方法，其中所述方法由所述计算设备的操作系统(os)执行，并且所述应用程序是由所述os管理的多个应用程序中的一个应用程序，所述多个应用程序中的每个应用程序与包括对应对象的对应大小的对应元数据相关联。

31.根据权利要求30所述的方法，其中基于所述对应对象的所述对应大小，与所述多个应用程序中的对应应用程序相关联的音频参数被确定并且应用于渲染与所述多个应用程序中的所述对应应用程序相关联的音频。

32.根据权利要求17-31中任一项所述的方法，其中基于所述对象的所述大小来确定或修改所述指向性图案或其他音频参数视所述应用程序的分类而定，所述分类包括以下项中的至少一项：媒体、通信和实用。

33.一种由计算设备执行的方法，包括：

34.根据权利要求33所述的方法，还包括：在所述对象的所述大小被修改的情况下改变所述频率响应，使得在所述对象的所述大小减小的情况下升高所述音频的低频截止值，并且在所述对象的所述大小增大的情况下降低所述音频的所述低频截止值。

35.根据权利要求33-34中任一项所述的方法，其中确定所述频率响应包括基于与所述对象相关联的声源的模型来生成音频滤波器。

36.根据权利要求35所述的方法，其中所述模型的大小或几何形状基于所述对象的大小或几何形状来确定。

37.根据权利要求35-36中任一项所述的方法，还包括：响应于所述对象的所述大小或所述几何形状的变化来修改所述模型的所述大小或所述几何形状。

38.根据权利要求35-37中任一项所述的方法，其中所述模型的一个或多个部分在确定所述频率响应的模拟中辐射声学能量，所述音频滤波器是从所述声学能量生成的。

39.根据权利要求35-38中任一项所述的方法，其中所述音频滤波器包括与直接声音相关联的第一滤波器、与早期反射相关联的第二滤波器和与回响相关联的第三滤波器，所述第一滤波器、所述第二滤波器和所述第三滤波器应用于所述音频以渲染所述音频。

40.根据权利要求35-39中任一项所述的方法，包括：基于用户输入来修改所述模型的几何属性，从而导致基于所述模型的所修改的几何属性来生成第二音频滤波器。

41.根据权利要求33-40所述的方法，其中所述多个音频参数还包括以下项中的至少一项：动态范围、指向性图案、声音功率、频率范围、音高、音色、输出音频通道的数目和回响。

42.根据权利要求41所述的方法，还包括：在所述对象的所述大小被修改的情况下修改所述多个音频参数中的一个或多个音频参数。

43.根据权利要求33-42中任一项所述的方法，其中所述对象通过增强现实、混合现实或虚拟现实显示器来呈现。

44.根据权利要求33-42中任一项所述的方法，其中所述对象通过二维显示器来呈现。

45.根据权利要求33-44中任一项所述的方法，其中所述频率响应的应用与用于渲染与所述应用程序相关联的音频的用户控制的音频设置无关。

46.根据权利要求33-45中任一项所述的方法，其中所述方法由所述计算设备的操作系统(os)执行，并且所述应用程序是由所述os管理的多个应用程序中的一个应用程序，所述多个应用程序中的每个应用程序与包括对应对象的对应大小的对应元数据相关联。

47.根据权利要求46所述的方法，其中基于所述对应对象的所述对应大小，与所述多个应用程序中的对应应用程序相关联的音频参数被确定并且应用于渲染与所述多个应用程序中的所述对应应用程序相关联的音频。

48.根据权利要求33-47中任一项所述的方法，其中基于所述对象的所述大小来确定或修改所述频率响应或其他音频参数视所述应用程序的分类而定，所述分类包括以下项中的至少一项：媒体、通信和实用。

49.一种由计算设备执行的方法，包括：

50.根据权利要求49所述的方法，还包括：在所述对象的所述大小增大的情况下增大所述声音功率，以及在所述对象的所述大小减小的情况下减小所述声音功率。

51.根据权利要求49-50中任一项所述的方法，其中确定所述声音功率包括基于与所述对象相关联的声源的模型来生成音频滤波器。

52.根据权利要求51所述的方法，其中所述模型的大小或几何形状基于所述对象的大小或几何形状来确定。

53.根据权利要求51-52中任一项所述的方法，还包括：响应于所述对象的所述大小或所述几何形状的变化来修改所述模型的所述大小或所述几何形状。

54.根据权利要求51-53中任一项所述的方法，其中所述模型的一个或多个部分在确定所述声音功率的模拟中辐射声学能量，所述音频滤波器是从所述声学能量生成的。

55.根据权利要求51-54中任一项所述的方法，其中所述音频滤波器包括与直接声音相关联的第一滤波器、与早期反射相关联的第二滤波器和与回响相关联的第三滤波器，所述第一滤波器、所述第二滤波器和所述第三滤波器应用于所述音频以渲染所述音频。

56.根据权利要求51-55中任一项所述的方法，包括：基于用户输入来修改所述模型的几何属性，从而导致基于所述模型的所修改的几何属性来生成第二音频滤波器。

57.根据权利要求49-56所述的方法，其中所述多个音频参数还包括以下项中的至少一项：动态范围、指向性图案、频率响应、频率范围、音高、音色、输出音频通道的数目和回响。

58.根据权利要求57所述的方法，还包括：在所述对象的所述大小被修改的情况下修改所述多个音频参数中的一个或多个音频参数。

59.根据权利要求49-58中任一项所述的方法，其中所述对象通过增强现实、混合现实或虚拟现实显示器来呈现。

60.根据权利要求49-58中任一项所述的方法，其中所述对象通过二维显示器来呈现。

61.根据权利要求49-60中任一项所述的方法，其中所述声音功率的应用与用于渲染与所述应用程序相关联的音频的用户控制的音频设置无关。

62.根据权利要求49-61中任一项所述的方法，其中所述方法由所述计算设备的操作系统(os)执行，并且所述应用程序是由所述os管理的多个应用程序中的一个应用程序，所述多个应用程序中的每个应用程序与包括对应对象的对应大小的对应元数据相关联。

63.根据权利要求62所述的方法，其中基于所述对应对象的所述对应大小，与所述多个应用程序中的对应应用程序相关联的音频参数被确定并且应用于渲染与所述多个应用程序中的所述对应应用程序相关联的音频。

64.根据权利要求49-63中任一项所述的方法，其中基于所述对象的所述大小来确定或修改所述声音功率或其他音频参数视所述应用程序的分类而定，所述分类包括以下项中的至少一项：媒体、通信和实用。

65.一种由计算设备执行的方法，包括：

66.根据权利要求65所述的方法，其中所述音频滤波器包括与直接声音相关联的第一滤波器、与早期反射相关联的第二滤波器和与回响相关联的第三滤波器。

67.根据权利要求65-66中任一项所述的方法，包括：基于用户输入来修改所述模型的所述大小或所述几何形状，从而导致基于所述模型的所修改的几何属性来生成第二音频滤波器。

68.根据权利要求65-67中任一项所述的方法，其中所述模型的大小或几何形状基于所述对象的大小或几何形状来确定。

69.根据权利要求65-68中任一项所述的方法，还包括：响应于所述对象的大小或几何形状的变化来修改所述模型的大小或几何形状，从而导致生成应用于渲染与所述声源相关联的所述音频的第二音频滤波器。

70.根据权利要求65-69中任一项所述的方法，其中所述对象通过增强现实、混合现实或虚拟现实显示器来呈现。

71.根据权利要求65-69中任一项所述的方法，其中所述对象通过二维显示器来呈现。

72.根据权利要求65-71中任一项所述的方法，其中所述音频参数包括以下项中的至少一项：动态范围、指向性图案、频率响应、频率范围、声音功率、音高、音色、输出音频通道的数目和回响。

73.根据权利要求65-71中任一项所述的方法，其中所述方法由所述计算设备的操作系统(os)执行，并且所述声源与作为由所述os管理的多个应用程序中的一个应用程序的应用程序相关联。

74.一种计算设备，包括：处理器和存储指令的计算机可读存储器，所述指令在由所述处理器执行时致使所述计算设备执行权利要求1-72中的任一项。

75.一种存储指令的计算机可读介质，所述指令在由处理器执行时致使执行权利要求1-72中的任一项。

技术总结
对象可表示播放音频的计算机应用程序。与该音频相关联的音频参数可基于该对象的大小来确定，使得当该对象大时，该音频听起来像它源自一个或多个大声源。当该对象小时，这些音频参数被确定成使得该音频听起来像它源自小声源。也描述了其他方面。

技术研发人员：S·梅辛格·朗,S·E·平托,K·科斯科夫斯基,M·S·康诺利,C·T·尤班克,J·比安,D·E·朗布隆
受保护的技术使用者：苹果公司
技术研发日：
技术公布日：2024/1/13