用于预测肘关节姿势的系统和方法与流程

本公开总体上涉及预测用户的肘关节的姿势。

背景技术：

1、人工现实是在呈现给用户之前已经以某种方式进行了调整的现实形式，该人工现实例如可以包括虚拟现实(virtual reality，vr)、增强现实(augmented reality，ar)、混合现实(mixed reality，mr)、混合现实(hybrid reality)或它们的某种组合和/或衍生物。人工现实内容可以包括完全生成内容或与采集到的内容(例如，真实世界照片)相结合的生成内容。人工现实内容可以包括视频、音频、触觉反馈或它们的某种组合，以上任何一种都可以以单通道或多通道(例如，为观看者带来三维效果的立体视频)呈现。人工现实可以与应用程序、产品、附件、服务、或它们的某种组合相关联，这些应用程序、产品、附件、服务、或它们的某种组合例如用于在人工现实中创建内容，和/或在人工现实中使用(例如，执行活动)。提供人工现实内容的人工现实系统可以在各种平台上实现，这些平台包括连接到主控计算机系统的头戴式显示器(head-mounted display，hmd)、独立hmd、移动设备或计算系统、或能够向一个或多个观看者提供人工现实内容的任何其它硬件平台。

技术实现思路

1、本文中所描述的实施例涉及对用户的一个或多个关节姿势进行预测的方法，该用户与人工现实系统的一个或多个部件相关联。为了使计算系统能够生成一个或多个关节的准确姿势，计算系统可以接收来自人工现实系统的一个或多个部件的一个或多个传感器数据或图像数据，例如，来自运动追踪传感器的传感器数据或接收自一个或多个摄像头的图像数据。使用本文中所描述的各种技术，图像数据和传感器数据允许计算系统准确地追踪或预测与用户相关联的一个或多个关节的姿势，例如，头部姿势或手腕姿势。特定实施例还提供一种通过非线性运动学求解器推断一个或多个关节姿势的方法。例如，非线性求解器可以接收来自人工现实系统的一个或多个部件的传感器数据。这对于无法使用接收到的传感器数据来准确追踪的一个或多个关节是特别有益的。

2、此外，本文中所描述的特定实施例允许计算系统利用从与人工现实系统相关联的一个或多个摄像头接收到的一幅或多幅图像，生成用于非线性求解器的附加约束。例如，计算系统可以利用一幅或多幅包含用户的至少一部分的图像，在图像平面中生成标识了一个或多个区域的分割掩模，该分割掩模的一个或多个区域包含用户的至少一部分。使用本文中所描述的技术，计算系统可以将该分割掩模放置到三维场景中。计算系统可以通过将来自一个或多个摄像头的光线投射到分割掩模中的包含用户的至少一部分的区域，来生成用户的身体所在的三维体积约束。该三维体积约束提供了另一约束，该另一约束可以由非线性求解器利用以输出一个或多个关节姿势的更准确预测。如本文中所描述的，这对于传感器数据或图像数据可能存在局限的关节姿势(例如肘关节姿势)是特别有益的。

3、本发明的实施例可以包括人工现实系统或者结合人工现实系统而被实现。人工现实是在呈现给用户之前已经以某种方式进行了调整的现实形式，该人工现实例如可以包括虚拟现实(vr)、增强现实(ar)、混合现实(mr)、混合现实(hybrid reality)或它们的某种组合和/或衍生物。人工现实内容可以包括完全生成内容或与采集到的内容(例如，真实世界照片)相结合的生成内容。人工现实内容可以包括视频、音频、触觉反馈或它们的某种组合，以上任何一种都可以以单通道或多通道(例如，为观看者带来三维效果的立体视频)呈现。另外，在特定实施例中，人工现实可以与应用程序、产品、附件、服务、或它们的某种组合相关联，这些应用程序、产品、附件、服务、或它们的某种组合例如用于在人工现实中创建内容，和/或在人工现实中使用(例如，执行活动)。提供人工现实内容的人工现实系统可以在各种平台上实现，这些平台包括连接到主控计算机系统的头戴式显示器(hmd)、独立hmd、移动设备或计算系统、或能够向一个或多个观看者提供人工现实内容的任何其它硬件平台。

4、根据本公开的一个方面，提供了一种方法，该方法包括：由计算设备：基于用户所佩戴的头戴式设备所采集到的传感器数据，确定与该用户相关联的头部姿势和手腕姿势；接收头戴式设备的摄像头所采集到的图像，该图像包括用户的身体的一部分；确定该图像中与用户的身体的该一部分对应的一个或多个区域；基于该图像中的一个或多个区域以及摄像头的摄像头位姿，确定在采集到该图像时用户的肘部可能处于的三维体积约束；以及至少基于头部姿势、手腕姿势和三维体积约束，推断用户的身体姿势，该身体姿势至少包括所推断的与用户相关联的肘部姿势。

5、在一些实施例中，传感器数据可以包括头戴式设备的摄像头所采集到的图像或头戴式设备的第二摄像头所采集到的第二图像，该图像或该第二图像包括用户所握持或佩戴的控制器的一部分；该方法还包括：使用该图像或该第二图像计算控制器的位姿；基于控制器的位姿以及控制器与用户的手腕之间的估计关系，确定用户的手腕姿势。

6、在一些实施例中，可以通过非线性求解器来推断用户的身体姿势，该身体姿势至少包括所推断的与用户相关联的肘部姿势。

7、在一些实施例中，头戴式设备的摄像头可以指向向下的方向，以采集用户的身体的该一部分。

8、在一些实施例中，头部姿势、手腕姿势和由头戴式设备的摄像头采集到的图像可以与相同的时间戳相关联。

9、在一些实施例中，可以使用机器学习模型来检测图像中与用户的身体的该一部分对应的一个或多个区域。

10、在一些实施例中，可以使用分割掩模来表示图像中与用户的身体的该一部分对应的一个或多个区域。

11、在一些实施例中，可以由三维边界限定三维体积约束，当一个或多个区域被放置在摄像头的图像平面中时，该三维边界源于摄像头位姿，且朝向图像中的一个或多个区域的一个或多个二维边界。

12、在一些实施例中，所推断的与用户相关联的肘部姿势可以位于三维体积约束内。

13、根据本公开的另一方面，提供了一种或多种计算机可读非暂态存储介质，该一种或多种计算机可读非暂态存储介质包括软件，该软件在由服务器执行时可操作以：基于用户所佩戴的头戴式设备所采集到的传感器数据，确定与该用户相关联的头部姿势和手腕姿势；接收头戴式设备的摄像头所采集到的图像，该图像包括用户的身体的一部分；确定该图像中与用户的身体的该一部分对应的一个或多个区域；基于该图像中的一个或多个区域以及摄像头的摄像头位姿，确定在采集到该图像时用户的肘部可能处于的三维体积约束；以及至少基于头部姿势、手腕姿势和三维体积约束，推断用户的身体姿势，该身体姿势至少包括所推断的与用户相关联的肘部姿势。

14、在一些实施例中，传感器数据可以包括头戴式设备的摄像头所采集到的图像或头戴式设备的第二摄像头所采集到的第二图像，该图像或该第二图像包括用户所握持或佩戴的控制器的一部分；该软件在被服务器执行时进一步可操作以：使用该图像或该第二图像计算控制器的位姿；基于控制器的位姿以及控制器与用户的手腕之间的估计关系，确定用户的手腕姿势。

15、在一些实施例中，可以通过非线性求解器来推断用户的身体姿势，该身体姿势至少包括所推断的与用户相关联的肘部姿势。

16、在一些实施例中，头戴式设备的摄像头可以指向向下的方向，以采集用户的身体的该一部分。

17、在一些实施例中，可以使用分割掩模来表示图像中与用户的身体的该一部分对应的一个或多个区域。

18、在一些实施例中，头部姿势、手腕姿势和头戴式设备的摄像头所采集到的图像可以与相同的时间戳相关联。

19、根据本公开的另一方面，提供了一种系统，该系统包括：一个或多个处理器；以及耦接到上述处理器中的一个或多个处理器的一个或多个计算机可读非暂态存储介质，该一个或多个计算机可读非暂态存储介质包括指令，这些指令在由上述处理器中的一个或多个处理器执行时可操作以使得该系统：基于用户所佩戴的头戴式设备所采集到的传感器数据，确定与该用户相关联的头部姿势和手腕姿势；接收头戴式设备的摄像头所采集到的图像，该图像包括用户的身体的一部分；确定该图像中与用户的身体的该一部分对应的一个或多个区域；基于该图像中的一个或多个区域以及摄像头的摄像头位姿，确定在采集到该图像时用户的肘部可能处于的三维体积约束；以及至少基于头部姿势、手腕姿势和三维体积约束，推断用户的身体姿势，该身体姿势至少包括所推断的与用户相关联的肘部姿势。

20、在一些实施例中，传感器数据可以包括头戴式设备的摄像头所采集到的图像或头戴式设备的第二摄像头所采集到的第二图像，该图像或该第二图像包括用户所握持或佩戴的控制器的一部分；这些指令进一步可操作以：使用该图像或该第二图像计算控制器的位姿；基于控制器的位姿以及控制器与用户的手腕之间的估计关系，确定用户的手腕姿势。

21、在一些实施例中，可以通过非线性求解器来推断用户的身体姿势，该身体姿势至少包括所推断的与用户相关联的肘部姿势。

22、在一些实施例中，头戴式设备的摄像头可以指向向下的方向，以采集用户的身体的该一部分。

23、在一些实施例中，可以使用分割掩模来表示图像中与用户的身体的该一部分对应的一个或多个区域。

24、本文中所公开的各个实施例仅是示例，并且本公开的范围不限于这些实施例。特定实施例可以包括本文中所公开的这些实施例中的所有或一些部件、元件、特征、功能、操作或步骤，或者不包括这些部件、元件、特征、功能、操作或步骤。针对方法、存储介质和系统的所附权利要求中特别地披露了根据本发明的实施例，其中，在一个权利要求类别(例如，方法)中提到的任何特征也可以主张在另一个权利要求类别(例如，系统)中得到保护。所附权利要求中的从属关系或引用关系仅仅是出于形式上的原因而选择的。然而，也可以主张保护通过对任何多项先前权利要求的有意引用(特别是多个从属关系)而产生的任何主题，从而披露了多项权利要求及其特征的任何组合，并且不管所附权利要求中选择的从属关系如何，都可以主张保护该多项权利要求及其特征的任何组合。可主张保护的主题不仅包括所附多项权利要求中阐述的多个特征的多种组合，还包括该多项权利要求中的多个特征的任何其他组合，其中，该多项权利要求中提到的每个特征可以与该多项权利要求中的任何其他特征相组合、或者与多个其他特征的组合相组合。此外，可以在单个权利要求中主张保护本文中所描述或描绘的多个实施例和多个特征中的任何实施例和特征，和/或可以主张保护本文所描述或描绘的多个实施例和多个特征中的任何实施例和特征与本文所描述或描绘的任何实施例或特征的任何组合、或可以主张保护本文所描述或描绘的多个实施例和多个特征中的任何实施例和特征与所附权利要求的任何特征的任何组合。