在虚拟环境中用于多用户群组意图处理的跨模态输入融合的制作方法

本公开涉及虚拟、增强和混合现实成像和可视化系统，并且更特别地，涉及使用跨模态(transmodal)输入融合来确定共享虚拟空间中的一组用户的意图并对其采取行动。

背景技术：

1、现代计算和显示技术已经利于用于所谓的“虚拟现实”、“增强现实”或“混合现实”体验的系统的发展，其中，数字再现图像或其部分以其似乎真实或者可以被感知为真实的方式被呈现给用户。虚拟现实或“vr”场景通常涉及数字或虚拟图像信息的呈现而对其它实际的真实世界视觉输入不透明；增强现实或“ar”场景通常涉及将数字或虚拟图像信息呈现为对用户周围的实际世界的可视化的增强；混合现实或者“mr”涉及合并真实和虚拟世界以产生物理和虚拟对象共存并且实时相互作用的新环境。

技术实现思路

1、本说明书一般地描述了其中确定共享空间中的一组用户的意图并对其采取行动的成像和可视化系统。共享空间可以包括真实空间或环境，例如，使用增强现实，或者使用化身、游戏玩家或表示真实人物的其他图标或图形的虚拟空间。

2、该系统可以基于多个输入来确定用户的意图，包括用户的注视、用户的手的运动、和/或用户正在移动的方向。例如，该输入的组合可用于确定用户正在伸手去取对象、向另一用户做手势、专注于特定用户或对象、或将与另一用户或对象交互。然后，系统可以根据用户的意图采取行动，例如，通过向一个或多个其他用户显示用户的意图，基于多个用户的意图生成群组度量或其他聚合(aggregate)群组信息，向用户或另一用户发出警报或提供推荐，或将用户重新分配到不同的任务。

3、通常，本说明书中所描述的主题的一个创新方面可以实现在方法中，该方法包括以下动作：对于共享虚拟空间中的一组用户，识别一组用户中的两个或多个用户中的每一个的相应的目标。对于两个或多个用户中的每一个，基于来自具有不同输入模态的多个传感器的输入来确定用户的相应的意图。多个传感器中的至少一部分传感器是使得用户能够参与共享虚拟空间的用户的设备的传感器。基于相应的意图，做出用户是否正在执行用户的相应的目标的确定。对应于一组用户，基于两个或多个用户中的每一个的相应的目标以及两个或多个用户中的每一个的相应的意图来生成输出数据。向一组用户中的一个或多个用户中的每一个的相应设备提供输出数据，以用于在一个或多个用户中的每一个的相应设备处呈现。

4、该方面的其他实施例包括对应的计算机系统、装置和记录在一个或多个计算机存储设备上的计算机程序，其各自被配置为执行方法的动作。一个或多个计算机的系统可以被配置为通过使软件、固件、硬件或其组合安装在系统上来执行特定的操作或动作，该系统在操作中使得或使得系统执行动作。一个或多个计算机程序可以被配置为通过包括指令来执行特定的操作或动作，该指令在由数据处理装置执行时使得装置执行动作。

5、前述和其他实施例可以各自可选地单独或组合地包括以下特征中的一个或多个。在一些方面中，两个或多个用户中的至少一个用户的相应的目标包括以下中的至少一个：(i)要由至少一个用户执行的任务或(ii)至少一个用户应当观看的主题对象。识别两个或多个用户中的每一个的相应的目标包括将一组用户中的至少阈值数量的用户正在观看的目标确定为主题对象。

6、在一些方面中，每个用户的相应设备包括可穿戴设备。确定用户的相应的意图可以包括：从用户的可穿戴设备接收指定用户的注视的注视数据、指定用户的手部姿势的姿势数据、和指定用户正在移动的方向的方向数据；以及基于注视数据、姿势数据和方向数据，将用户相对于目标对象的意图确定为用户的相应的意图。

7、在一些方面中，基于两个或多个用户中的每一个的相应的目标以及两个或多个用户中的每一个的相应的意图来生成输出数据包括：确定特定用户没有执行特定用户的相应的目标，以及向一组用户中的一个或多个用户中的每一个的设备提供输出数据用于在一个或多个用户中的每一个的设备处呈现包括：向领导者用户的设备提供指示特定用户的数据和指示特定用户没有执行特定用户的相应的目标的数据。

8、在一些方面中，输出数据包括指示一组用户中的执行用户的相应的目标的用户数量的热图。一些方面可以包括基于输出数据执行动作。动作可以基于输出数据将一个或多个用户重新分配到不同的目标。

9、可以在特定实施例中实现本说明书中所描述的主题并且可以产生以下优点中的一个或多个。使用多模态输入融合来确定共享空间中的一组用户或该组中的一个或多个用户的意图使得可视化系统能够向用户提供反馈，确定并改进与用户相关的度量，调节用户的动作，将用户重新分配到不同的角色(例如，作为负载的实时再平衡的一部分)，并且示出隐藏的群组动态。通过确定用户的意图，系统可以预测用户的未来动作，并且在动作发生之前调节动作。这可以增加完成任务的效率，并且通过防止用户执行不安全的动作来改进安全性。诸如注视方向和姿势的多个输入的使用使得可视化系统能够相对于其他技术(诸如用户或表示用户的化身的头顶监控)更准确地确定用户相对于对象和/或其他用户的意图。

10、本说明书中描述的主题的一种或多种实施方式的细节在附图和以下描述中阐述。主题的其他特征、方面和优点将从描述、附图和权利要求变得显而易见。

技术特征：

1.一种由一个或多个数据处理装置执行的方法，所述方法包括：

2.根据权利要求1所述的方法，其中，所述两个或多个用户中的至少一个用户的相应的目标包括以下中的至少一个：(i)要由所述至少一个用户执行的任务，或(ii)所述至少一个用户应当观看的主题对象。

3.根据权利要求2所述的方法，其中，识别所述两个或多个用户中的每个用户的相应的目标包括：将所述一组用户中的至少阈值数量的用户正在观看的目标确定为所述主题对象。

4.根据权利要求1所述的方法，其中：

5.根据权利要求1所述的方法，其中：

6.根据权利要求1所述的方法，其中，所述输出数据包括指示所述一组用户组中的执行所述用户的相应的目标的用户的数量的热图。

7.根据权利要求1所述的方法，还包括：基于所述输出数据，执行动作。

8.根据权利要求7所述的方法，其中，所述动作包括：基于所述输出数据，将一个或多个用户重新分配给不同的目标。

9.一种计算机实现的系统，包括：

10.根据权利要求9所述的计算机实现的系统，其中，所述两个或多个用户中的至少一个用户的相应的目标包括以下中的至少一个：(i)要由所述至少一个用户执行的任务，或(ii)所述至少一个用户应当观看的主题对象。

11.根据权利要求10所述的计算机实现的系统，其中，识别所述两个或多个用户中的每个用户的相应的目标包括：将所述一组用户中的至少阈值数量的用户正在观看的目标确定为所述主题对象。

12.根据权利要求9所述的计算机实现的系统，其中：

13.根据权利要求9所述的计算机实现的系统，其中：

14.根据权利要求9所述的计算机实现的系统，其中，所述输出数据包括指示所述一组用户组中的执行所述用户的相应的目标的用户的数量的热图。

15.根据权利要求9所述的计算机实现的系统，其中，所述操作包括：基于所述输出数据，执行动作。

16.根据权利要求15所述的计算机实现的系统，其中，所述动作包括：基于所述输出数据，将一个或多个用户重新分配给不同的目标。

17.一种非暂态计算机可读介质，其存储可由计算机系统执行的一个或多个指令以执行包括以下的操作：

18.根据权利要求17所述的非暂态计算机可读介质，其中，所述两个或多个用户中的至少一个用户的相应的目标包括以下中的至少一个：(i)要由所述至少一个用户执行的任务，或(ii)所述至少一个用户应当观看的主题对象。

19.根据权利要求18所述的非暂态计算机可读介质，其中，识别所述两个或多个用户中的每个用户的相应的目标包括：将所述一组用户中的至少阈值数量的用户正在观看的目标确定为所述主题对象。

20.根据权利要求17所述的非暂态计算机可读介质，其中：

技术总结
本文档描述了其中确定共享空间中的一组用户的意图并对其采取行动的成像和可视化系统。在一个方面中，一种方法包括：对于共享虚拟空间中的一组用户，识别一组用户中的两个或多个用户中的每一个的相应的目标。对于两个或多个用户中的每一个，基于来自具有不同输入模态的多个传感器的输入来确定用户的相应的意图。多个传感器的至少一部分是使得用户能够参与共享虚拟空间的用户的设备的传感器。基于相应的意图，做出用户是否正在执行用户的相应的目标的确定。基于相应目标的相应意图生成并提供输出数据。

技术研发人员：P·莱西,B·D·施瓦布,S·A·米勒,J·A·桑兹,C·T·布赖恩特
受保护的技术使用者：奇跃公司
技术研发日：
技术公布日：2024/1/15