混合现实虚拟混响的制作方法

本公开大体涉及用于呈现音频信号的系统和方法，并且特别地涉及用于向混合现实环境的用户呈现反射的音频信号的系统和方法。

背景技术：

1、虚拟环境在计算环境中是普遍存在的，发现用于视频游戏(其中，虚拟环境可表示游戏世界)；地图(其中，虚拟环境可表示待导航的地形)；模拟(其中，虚拟环境可模拟真实环境)；数字讲故事(其中，虚拟角色可在虚拟环境中彼此交互)；和许多其他应用。现代计算机用户通常舒适感知虚拟环境并且与虚拟环境交互。然而，关于虚拟环境的用户体验可能受限于用于呈现虚拟环境的技术。例如，常规显示器(例如，2d显示屏)和音频系统(例如，固定扬声器)可能不能够以产生令人信服、现实并且沉浸式体验的方式实现虚拟环境。

2、虚拟现实(“vr”)、增强现实(“ar”)、混合现实(“mr”)、和相关技术(统称为“xr”)共享向xr系统的用户呈现对应于由计算机系统中的数据表示的虚拟环境的感觉信息的能力。本公开预期了vr、ar和mr系统之间的区别(尽管在一方面中(例如，视觉方面)一些系统可被分类为vr，并且同时在另一方面中(例如，音频方面)被分类为ar或mr))。如本文所使用的，vr系统呈现了在至少一个方面中替换用户的真实环境的虚拟环境；例如，vr系统可以向用户呈现虚拟环境的视图，而同时模糊他或她的真实环境的视图，诸如利用光阻头戴式显示器。类似地，vr系统可以向用户呈现对应于虚拟环境的音频，而同时阻挡(衰减)来自真实环境的音频。

3、vr系统可能经历由用虚拟环境替换用户的真实环境导致的各种缺点。一个缺点是当用户在虚拟环境中的视场不再对应于他或她的内耳的状态时可能出现的晕动病的感觉，他或她的内耳的状态检测真实环境(非虚拟环境)中的个人的平衡和取向。类似地，用户可能经历他们自己的身体和四肢(用户依赖于其身体和四肢的视图来在真实环境中感觉“触地(grounded)”)不直接可见的vr环境中的混乱取向。另一个缺点是置于vr系统上的计算负担(例如，存储、处理能力)，该vr系统必须呈现全3d虚拟环境，特别地在试图使用户沉浸在虚拟环境中的实时应用中。类似地，这样的环境可能需要达到非常高标准的真实性以被认为是沉浸式的，因为用户倾向于对虚拟环境中的甚至较小的不完美敏感—其中的任何一个可能破坏虚拟环境中的用户的沉浸感。进一步地，vr系统的另一个缺点在于，系统的这样的应用不能利用真实环境中的广泛的感觉数据，诸如人们在真实世界中体验的各种视觉和声音。相关缺点在于，vr系统可能努力创建多个用户可以交互的共享环境，因为共享真实环境中的物理空间的用户可能不能够在虚拟环境中直接看到彼此或彼此交互。

4、如本文所使用的，在至少一个方面中，ar系统呈现重叠或覆盖真实环境的虚拟环境。例如，ar系统可以向用户呈现覆盖在用户的真实环境的视图上的虚拟环境的视图，诸如利用呈现显示的图像同时允许光穿过显示器到用户的眼睛中的透射式头戴式显示器。类似地，ar系统可以向用户呈现对应于虚拟环境的音频，而同时在来自真实环境的音频中混合。类似地，如本文所使用的，如ar系统那样，mr系统在至少一个方面中呈现重叠或覆盖真实环境的虚拟环境，并且可以附加地在至少一个方面中允许mr系统中的虚拟环境可以与真实环境交互。例如，虚拟环境中的虚拟角色可以切换真实环境中的灯开关，使得真实环境中的对应的灯泡接通或关断。作为另一个示例，虚拟角色可以对真实环境中的音频信号作出反应(诸如用面部表情)。通过维持真实环境的呈现，ar和mr系统可以避免vr系统的前述缺点中的一些缺点；例如，用户的晕动病减少，因为来自真实环境(包括用户自己的身体)的视觉线索可以保持可见，并且这样的系统不需要向用户呈现完全实现3d环境以便是沉浸式的。进一步地，ar和mr系统可以利用真实世界感觉输入(例如，场景、对象和其他用户的视图和声音)来创建增强该输入的新应用。

5、xr系统可向用户提供与虚拟环境交互的各种方式；例如，xr系统可包括用于检测用户的位置和取向、面部表情、语音和其他特性的各种传感器(例如，相机、麦克风等)；并将该信息作为输入呈现给虚拟环境。一些xr系统可包含配备传感器的输入设备，诸如虚拟“木槌”，并且可以被配置为检测输入设备的位置、取向或其他特性。

6、xr系统可通过将虚拟视觉和音频线索与真实视觉和声音组合来提供独特强化的沉浸感和真实性。例如，以模拟我们自己的感觉体验的各方面(特别地细微方面)的方式将音频线索呈现给xr系统的用户可能是期望的。本发明涉及向用户呈现模拟混合现实环境中的虚拟对象上的真实声波(例如，用户的自己的语音)的反射的反射的音频信号。通过考虑用户相对于虚拟对象的位置和取向，以及虚拟对象的属性(诸如其材料特性)，如果虚拟对象是用户环境中的真实对象，则反射的音频信号可以模拟将由用户听到的反射。通过使用虚拟对象呈现忠实于声波在现实世界中表现的方式的音频线索，用户可以体验混合现实环境中的这样的虚拟对象的强化意识。

7、在一个使用的示例中，来自附近虚拟对象(例如，保持距用户的脸20厘米的虚拟书)的用户自己语音的早到达反射被合成。以这种方式，可以增强混合现实环境中的虚拟内容的真实性。由于是虚拟的，所以书不能将用户的语音物理反射回到用户的耳朵；但是如果书真实，则将产生的反射的音频波可以被计算，并且经由例如耦合到混合现实可穿戴头部设备的一个或多个扬声器输出。

技术实现思路

1、本公开的示例描述了用于将音频信号呈现给混合现实环境的用户的系统和方法。在一个示例中，一种方法包括以下步骤：检测混合现实环境中的第一音频信号，其中，第一音频信号是真实音频信号；识别由混合现实环境中的第一音频信号相交的虚拟对象；识别与用户相关联的听者坐标；使用虚拟对象和听者坐标确定传递函数；将传递函数应用到第一音频信号以产生第二音频信号；以及向用户呈现第二音频信号。

技术特征：

1.一种将音频信号呈现给混合现实环境的用户的方法，所述方法包括：

2.根据权利要求1所述的方法，还包括确定从所述虚拟对象返回到所述用户的反射波，其中，衍射和漫射的波长相关性或频率相关性可以用在确定所述反射波中。

3.根据权利要求1所述的方法，其中，检测所述第一音频信号包括检测由所述用户生成的语音信号。

4.根据权利要求1所述的方法，其中，所述虚拟对象的参数包括所述虚拟对象的位置、取向、形状、边界、材料、密度、厚度、或共振中的至少一种。

5.根据权利要求1所述的方法，其中，所述第一音频信号的源位于所述用户的确定的位置处，所述第一音频信号的方向对应于所述用户的确定的取向。

6.根据权利要求1所述的方法，其中：

7.根据权利要求1所述的方法，其中，所述传递函数包括衰减、滤波、时间延迟、相移中的一个或多个的函数。

8.根据权利要求1所述的方法，其中，频率或波长相关散射图案用于确定频率特定传递函数。

9.根据权利要求1所述的方法，其中，所述传递函数包括头部相关传递函数。

10.根据权利要求1所述的方法，其中，所述第一音频信号使用与由所述用户穿戴的可穿戴头部设备相关联的麦克风检测。

11.根据权利要求1所述的方法，还包括：经由显示器向所述用户呈现所述虚拟对象。

12.一种系统，包括：

13.根据权利要求12所述的系统，其中，所述一个或多个处理器还被配置为执行：确定从所述虚拟对象返回到所述用户的反射波，其中，衍射和漫射的波长相关性或频率相关性可以用在确定所述反射波中。

14.根据权利要求12所述的系统，其中，检测所述第一音频信号包括检测由所述用户生成的语音信号。

15.根据权利要求12所述的系统，其中，其中，所述虚拟对象的参数包括所述虚拟对象的位置、取向、形状、边界、材料、密度、厚度、或共振中的至少一种。

16.根据权利要求12所述的系统，其中，所述第一音频信号的源位于所述用户的确定的位置处，所述第一音频信号的方向对应于所述用户的确定的取向。

17.根据权利要求12所述的系统，其中：

18.根据权利要求12所述的系统，其中，所述传递函数包括衰减、滤波、时间延迟、相移中的一个或多个的函数。

19.根据权利要求12所述的系统，其中，频率或波长相关散射图案用于确定频率特定传递函数。

20.根据权利要求12所述的系统，其中，所述传递函数包括头部相关传递函数。

技术总结
公开了一种将音频信号呈现给混合现实环境的用户的方法，所述方法包括以下步骤：检测混合现实环境中的第一音频信号，其中，第一音频信号是真实音频信号；识别由混合现实环境中的第一音频信号相交的虚拟对象；识别与用户相关联的听者坐标；使用虚拟对象和听者坐标确定传递函数；将传递函数应用到第一音频信号以产生第二音频信号；以及向用户呈现第二音频信号。

技术研发人员：A·A·塔吉克,J-M·约特
受保护的技术使用者：奇跃公司
技术研发日：
技术公布日：2024/1/15