用于将真实世界声音添加到虚拟现实场景的方法和系统与流程

1.本公开总体上涉及将媒体提示集成到虚拟现实场景中以传达真实世界环境对象和声音。

背景技术：

1、2.相关技术描述

2、多年来，视频游戏行业发生了许多变化，包括头戴式显示器(hmd)技术的许多进步。hmd的使用通常包括头戴式设备和耳机，所述头戴式设备和耳机允许用户完全沉浸在显示在hmd屏幕上的虚拟现实内容中。在一些情况下，虚拟现实内容可能非常激烈，并且可能导致用户在心理上将自己与真实世界隔离开来。

3、虽然推动越来越多的现实内容是一件好事，但也存在用户无法与真实世界环境联系的潜在问题。例如，完全沉浸在虚拟现实内容中的用户可能无法对出现在他们空间中的人或物做出反应。

4、正是在这个背景下产生了本公开的实施方式。

技术实现思路

1、本公开的实施方式包括用于将媒体提示集成到虚拟现实场景中以传达真实世界环境对象和声音的方法、系统和装置。

2、在一个实施方案中，公开了一种用于将媒体提示集成到头戴式显示器(hmd)上呈现的虚拟现实场景中的方法。所述方法包括在hmd的显示器上呈现虚拟现实场景。所述方法还包括从hmd所在的真实世界空间中的一个或多个传感器接收传感器数据。然后，识别真实世界空间中产生声音的对象的对象位置。所述方法包括在hmd中呈现的虚拟现实场景中生成媒体提示。媒体提示呈现在与真实世界空间中的对象的对象位置相关的虚拟位置中。

3、在一些实施方案中，媒体提示的虚拟位置是相对于hmd用户的hmd的视点(pov)呈现的。

4、在一些实施方案中，媒体提示是用于传达声音的图像数据，并且图像数据提供声音相对于hmd的pov的方向的指示符。

5、在一些实施方案中，媒体提示是用于传送声音的音频数据，并且音频数据提供声音相对于hmd的pov的方向的指示符。

6、在一些实施方案中，媒体提示是以图形形式传达对象身份的图像数据。

7、在一些实施方案中，媒体提示是从真实世界空间捕获并与来自虚拟现实场景的原生音频集成的音频数据。

8、在一些实施方案中，媒体提示是音频数据和图像数据的组合，用于传达对象的身份和声音的背景。

9、在一些实施方案中，媒体提示的虚拟位置基于真实世界空间中对象的变化或移动而动态变化。

10、在一些实施方案中，媒体提示的虚拟位置基于真实世界空间中对象的移动而移动，并且媒体提示包括音频数据和图像数据以用于更新对象在真实世界空间中相对于hmd的pov的对象位置的相关性。

11、在一些实施方案中，hmd包括呈现与虚拟现实空间相关的音频的耳机，并且耳机包括用于减少来自真实世界空间的声音的噪声消除过程。

12、在一些实施方案中，媒体提示是音频数据，音频数据是从真实世界空间捕获的声音并且所述声音与和虚拟现实空间相关的音频混合以经由所述耳机输出。

13、在一些实施方案中，媒体提示是音频数据，音频数据是表示从真实世界空间捕获的声音的计算机生成的声音，并且所述计算机生成的音频与和虚拟现实空间相关的音频混合以经由所述耳机输出。

14、从结合附图进行的以示例方式示出本公开的原理的以下详细描述中，本公开的其他方面和优点将变得显而易见。

技术特征：

1.一种用于将媒体提示集成到头戴式显示器(hmd)上呈现的虚拟现实场景中的方法，其包括：

2.如权利要求1所述的方法，其中所述媒体提示的所述虚拟位置相对于hmd用户的hmd的视点(pov)而呈现。

3.如权利要求1所述的方法，其中所述媒体提示是用于传达所述声音的图像数据，所述图像数据提供所述声音相对于所述hmd的pov的方向的指示符。

4.如权利要求1所述的方法，其中所述媒体提示是用于传达所述声音的音频数据，所述音频数据提供所述声音相对于所述hmd的pov的方向的指示符。

5.如权利要求1所述的方法，其中所述媒体提示是以图形形式传达所述对象的身份的图像数据。

6.如权利要求1所述的方法，其中所述媒体提示是从所述真实世界空间捕获并与来自所述虚拟现实场景的原生音频集成的音频数据。

7.如权利要求1所述的方法，其中所述媒体提示是音频数据和图像数据的组合，用于传达所述对象的身份和所述声音的背景。

8.如权利要求1所述的方法，其中所述媒体提示的所述虚拟位置基于所述真实世界空间中所述对象的变化或移动而动态变化。

9.如权利要求1所述的方法，其中所述媒体提示的所述虚拟位置基于所述真实世界空间中所述对象的移动而移动，并且所述媒体提示包括音频数据和图像数据以用于更新所述对象在所述真实世界空间中相对于所述hmd的pov的所述对象位置的相关性。

10.如权利要求1所述的方法，其中所述hmd包括呈现与虚拟现实空间相关的音频的耳机，并且所述耳机包括用于减少来自所述真实世界空间的所述声音的噪声消除过程。

11.如权利要求10所述的方法，其中所述媒体提示是音频数据，所述音频数据是从所述真实世界空间捕获的所述声音，并且所述声音与和所述虚拟现实空间相关的所述音频混合以经由所述耳机输出。

12.如权利要求10所述的方法，其中所述媒体提示是音频数据，所述音频数据是表示从所述真实世界空间捕获的所述声音的计算机生成的声音，并且所述计算机生成的声音与和所述虚拟现实空间相关的所述音频混合以经由所述耳机输出。

13.一种计算机可读介质，其具有用于将媒体提示集成到头戴式显示器(hmd)上呈现的虚拟现实场景中的程序指令，所述程序指令包括：

14.如权利要求13所述的计算机可读介质，其中所述媒体提示的所述虚拟位置相对于hmd用户的hmd的视点(pov)而呈现。

15.如权利要求13所述的计算机可读介质，其中所述媒体提示是用于传达所述声音的图像数据，所述图像数据提供所述声音相对于所述hmd的pov的方向的指示符。

16.如权利要求13所述的计算机可读介质，其中所述媒体提示是用于传达所述声音的音频数据，所述音频数据提供所述声音相对于所述hmd的pov的方向的指示符。

17.如权利要求13所述的计算机可读介质，其中所述媒体提示的所述虚拟位置基于所述真实世界空间中所述对象的移动而移动，并且所述媒体提示包括音频数据和图像数据以用于更新所述对象在所述真实世界空间中相对于所述hmd的pov的所述对象位置的相关性。

18.如权利要求13所述的计算机可读介质，其中所述hmd包括呈现与虚拟现实空间相关的音频的耳机，并且所述耳机包括用于减少来自所述真实世界空间的所述声音的噪声消除过程。

19.如权利要求18所述的计算机可读介质，其中所述媒体提示是音频数据，所述音频数据是从所述真实世界空间捕获的所述声音，并且所述声音与和所述虚拟现实空间相关的所述音频混合以经由所述耳机输出。

20.如权利要求18所述的计算机可读介质，其中所述媒体提示是音频数据，所述音频数据是表示从所述真实世界空间捕获的所述声音的计算机生成的声音，并且所述计算机生成的声音与和所述虚拟现实空间相关的所述音频混合以经由所述耳机输出。

技术总结
公开了用于将媒体提示集成到头戴式显示器(HMD)上呈现的虚拟现实场景中的方法和系统。所述方法包括在HMD的显示器上呈现虚拟现实场景。所述方法还包括从HMD所在的真实世界空间中的一个或多个传感器接收传感器数据。然后，识别真实世界空间中产生声音的对象的对象位置。所述方法包括在HMD中呈现的虚拟现实场景中生成媒体提示。媒体提示呈现在与真实世界空间中的对象的对象位置相关的虚拟位置中。

技术研发人员：V·多恩,C·比恩,T·曼松-古兹曼,S·卡普
受保护的技术使用者：索尼互动娱乐有限责任公司
技术研发日：
技术公布日：2024/1/16