虚拟效果指示器的基于注视的协调的制作方法

1.本技术涉及检测注视以生成与定向声音相关的虚拟效果指示器。更具体地，本技术可提供基于检测到的注视来在游戏玩法期间动态地生成虚拟效果指示器。2.相关技术描述目前可用的交互式媒体标题(包括虚拟现实媒体标题)仍面临与感官障碍(诸如失明和低视力、听力损失、耳聋、聋盲和其他感官处理障碍)有关的广泛范围的可访问性问题。例如受改善失能玩家的游戏玩法体验促成的技术进步带来了更包容性的环境，但是仍有很大的改进空间。在许多交互式媒体标题中，使用定向声音传达即将到来的角色或动作并且定向声音是故事情节的关键。因感官障碍而错过这种定向声音可能导致一些玩家的体验不完整。因此，需要提供基于玩家未听到各种定向声音的特定提示而使用基于注视的检测来提供虚拟效果指示器的服务。

背景技术：

技术实现思路

1、本公开的方面包括用于检测注视以生成与定向声音相关的虚拟效果指示器的系统和方法。可将关于与一个或多个交互式内容标题相关联的多种定向声音类型的信息存储在存储器中。每种定向声音类型可与相应交互式内容标题中的一个或多个虚拟效果指示器相关联。可监视通过通信网络从参与当前游戏玩法会话内的交互式内容标题中的一者的当前活动的玩家的客户端装置发送的游戏玩法数据。游戏玩法数据可指示与交互式内容标题的三维虚拟环境内的源位置相关联的定向声音。

2、可在当前游戏玩法会话期间经由与客户端装置相关联的相机来跟踪注视数据以识别三维虚拟环境内玩家的一只或两只眼睛聚焦于的焦点。当在接收到指示定向声音的游戏玩法数据时由注视数据指示的焦点未向三维虚拟环境内的源位置移动时，可生成与指示的定向声音的定向声音类型相关联的虚拟效果指示器以呈现在客户端装置的显示器内。虚拟效果指示器指示所指示的定向声音的源位置。

3、虚拟效果指示器可包括以下至少一种：以在显示器上的定向声音的源位置为中心的视觉多普勒效应、指示看向源位置的方向的书面提示、指向定向声音的源位置或定向声音的方向的视觉指示器，以及向玩家提醒定向声音的源位置的通知。可在焦点向三维虚拟环境中的多个位置移动时映射注视数据。基于映射的注视数据，可将由注视数据指示的焦点识别为未向三维虚拟环境内的源位置移动。

4、识别出由注视数据指示的焦点未向三维虚拟环境内的源位置移动还可包括将与定向声音的源位置相关联的一个或多个三维坐标和与所确定的焦点相关联的一个或多个三维坐标进行比较。替代地或另外地，识别出由注视数据指示的焦点未向三维虚拟环境内的源位置移动可包括确定玩家在三维虚拟环境内的取向以及基于确定的取向来确定包括三维虚拟环境的一个或多个三维坐标的玩家视野。与三维虚拟环境相关联的其他三维坐标可被排除在玩家视野之外。

5、本公开的各个方面可包括与定向声音相关的虚拟效果指示器的基于注视的生成的方法。这种方法可包括将关于与一个或多个交互式内容标题相关联的多种定向声音类型的信息存储在存储器中，每种定向声音类型与相应交互式内容标题中的一个或多个虚拟效果指示器相关联。这种方法可包括监视通过通信网络从参与当前游戏玩法会话内的交互式内容标题中的一者的当前活动的玩家的客户端装置发送的游戏玩法数据，其中游戏玩法数据指示与交互式内容标题的三维虚拟环境内的源位置相关联的定向声音。

6、这种方法可包括在当前游戏玩法会话期间经由与客户端装置相关联的相机来跟踪注视数据以识别三维虚拟环境内玩家的一只或两只眼睛聚焦于的焦点。这种方法可包括识别出当接收到指示定向声音的游戏玩法数据时，由注视数据指示的焦点未向三维虚拟环境内的源位置移动。这种方法可包括生成与所指示的定向声音的定向声音类型相关联的虚拟效果指示器以呈现在客户端装置的显示器内，其中虚拟效果指示器指示所指示的定向声音的源位置。

7、本公开的附加方面可包括用于与定向声音相关的虚拟效果指示器的基于注视的生成的系统。这种系统可包括存储器，该存储器将关于与一个或多个交互式内容标题相关联的多种定向声音类型的信息存储在存储器中，每种定向声音类型与相应交互式内容标题中的一个或多个虚拟效果指示器相关联。这种系统可包括一个或多个处理器，该一个或多个处理器执行存储在存储器中的指令。由一个或多个处理器执行指令可监视通过通信网络从参与当前游戏玩法会话内的交互式内容标题中的一者的当前活动的玩家的客户端装置发送的游戏玩法数据，其中游戏玩法数据指示与交互式内容标题的三维虚拟环境内的源位置相关联的定向声音。由一个或多个处理器执行指令可在当前游戏玩法会话期间经由与客户端装置相关联的相机来跟踪注视数据以识别三维虚拟环境内玩家的一只或两只眼睛聚焦于的焦点。

8、由一个或多个处理器执行指令可识别出当接收到指示定向声音的游戏玩法数据时，由注视数据指示的焦点未向三维虚拟环境内的源位置移动。一个或多个对象-对象关联可基于一个或多个对象-对象关联来动态地生成玩法数据以与媒体一起显示。由一个或多个处理器执行指令可生成与所指示的定向声音的定向声音类型相关联的虚拟效果指示器以呈现在客户端装置的显示器内，其中虚拟效果指示器指示所指示的定向声音的源位置。

9、本公开的其他方面包括非暂时性计算机可读介质或存储介质，该非暂时性计算机可读介质或存储介质上体现有程序，该程序可由处理器执行以提供用于针对媒体动态地生成和显示玩法数据的方法。

技术特征：

1.一种用于与定向声音相关的虚拟效果指示器的基于注视的生成的方法，所述方法包括：

2.如权利要求1所述的方法，其中所述虚拟效果指示器包括以在所述显示器上的所述定向声音的所述源位置为中心的视觉多普勒效应、指示看向所述源位置的方向的书面提示、指向所述定向声音的所述源位置或所述定向声音的方向的视觉指示，以及向所述玩家提醒所述定向声音的所述源位置的通知。

3.如权利要求1所述的方法，所述方法还包括在所述焦点移动到所述三维虚拟环境中的多个位置时映射所述注视数据，其中识别出由所述注视数据指示的所述焦点未向所述三维虚拟环境内的所述源位置移动是基于所述映射的注视数据。

4.如权利要求1所述的方法，其中识别出由所述注视数据指示的所述焦点未向所述三维虚拟环境内的所述源位置移动还包括将与所述定向声音的所述源位置相关联的一个或多个三维坐标和与所述确定的焦点相关联的一个或多个三维坐标进行比较。

5.如权利要求1所述的方法，其中识别出由所述注视数据指示的所述焦点未向所述三维虚拟环境内的所述源位置移动还包括：

6.如权利要求1所述的方法，所述方法还包括为所述焦点与所述定向声音的源的所述源位置之间的失配程度设置阈值，其中还基于满足所述阈值来生成所述虚拟效果指示器。

7.如权利要求1所述的方法，所述方法还包括：

8.如权利要求1所述的方法，其中所述识别还包括识别出与识别的触发点共享同一组时间戳的所述注视数据的一部分不匹配在所述显示器上所述定向声音来自的位置。

9.一种用于与定向声音相关的虚拟效果指示器的基于注视的生成的系统，所述系统包括：

10.如权利要求9所述的系统，其中所述虚拟效果指示器包括以在所述显示器上的所述定向声音的所述源位置为中心的视觉多普勒效应、指示看向所述源位置的方向的书面提示、指向所述定向声音的所述源位置或所述定向声音的方向的视觉指示，或向所述玩家提醒所述定向声音的所述源位置的通知。

11.如权利要求9所述的系统，其中所述处理器执行另外的指令以在所述焦点移动到所述三维虚拟环境中的多个位置时映射所述注视数据，其中识别出由所述注视数据指示的所述焦点未向所述三维虚拟环境内的所述源位置移动是基于所述映射的注视数据。

12.如权利要求9所述的系统，其中识别出由所述注视数据指示的所述焦点未向所述三维虚拟环境内的所述源位置移动还包括：

13.如权利要求9所述的系统，其中识别出由所述注视数据指示的所述焦点未向所述三维虚拟环境内的所述源位置移动还包括：

14.如权利要求9所述的系统，其中所述处理器执行另外的指令以为所述焦点与所述定向声音的源的所述源位置之间的失配程度设置阈值，其中还基于满足所述阈值来生成所述虚拟效果指示器。

15.如权利要求9所述的系统，其中所述处理器执行另外的指令以：

16.一种非暂时性计算机可读存储介质，所述非暂时性计算机可读存储介质上体现有指令，所述指令能够由计算系统执行以执行用于与定向声音相关的虚拟效果指示器的基于注视的生成的方法，所述方法包括：

17.如权利要求16所述的非暂时性计算机可读介质，其中所述虚拟效果指示器包括以在所述显示器上的所述定向声音的所述源位置为中心的视觉多普勒效应、指示看向所述源位置的方向的书面提示、指向所述定向声音的所述源位置或所述定向声音的方向的视觉指示，或向所述玩家提醒所述定向声音的所述源位置的通知。

18.如权利要求16所述的非暂时性计算机可读介质，所述非暂时性计算机可读介质还包括指令，所述指令可执行以在所述焦点移动到所述三维虚拟环境中的多个位置时映射所述注视数据，其中识别出由所述注视数据指示的所述焦点未向所述三维虚拟环境内的所述源位置移动是基于所述映射的注视数据。

19.如权利要求17所述的非暂时性计算机可读介质，其中识别出由所述注视数据指示的所述焦点未向所述三维虚拟环境内的所述源位置移动还包括将与所述定向声音的所述源位置相关联的一个或多个三维坐标和与所述确定的焦点相关联的一个或多个三维坐标进行比较。

20.如权利要求17所述的非暂时性计算机可读介质，其中识别出由所述注视数据指示的所述焦点未向所述三维虚拟环境内的所述源位置移动还包括：

技术总结
公开了一种用于提供与定向声音相关的虚拟效果指示器的基于注视的生成的方法和系统。经由与客户端装置相关联的相机来跟踪注视数据以识别三维虚拟环境内玩家的一只或两只眼睛聚焦于的焦点。当在接收到所述定向声音时由在所述焦点时的所述注视数据指示的所述焦点未向所述三维虚拟环境内的源位置移动时，指示应当生成与指示的定向声音的定向声音类型相关联的虚拟效果指示器。

技术研发人员：K·拉米瑞兹,E·朱恩格尔,K·埃格兰德,S·卡利米,L·辛格,O·鲁迪
受保护的技术使用者：索尼互动娱乐有限责任公司
技术研发日：
技术公布日：2024/1/15