基于人类视觉范围的以自我为中心的姿态估计的制作方法

本公开总体涉及人机交互技术，具体涉及追踪用户身体姿态。

背景技术：

1、人工现实是在呈现给用户之前已经以某种方式进行了调整的现实形式，该人工现实例如可以包括虚拟现实(virtual reality，vr)、增强现实(augmented reality，ar)、混合现实(mixed reality，mr)、混合现实(hybrid reality)、或它们的某种组合和/或衍生物。人工现实内容可以包括完全生成的内容或与捕获的内容(例如，真实世界的照片)相结合的生成的内容。人工现实内容可以包括视频、音频、触觉反馈、或它们的某种组合，并且以上中的任何均可以在单个通道或多个通道中呈现(例如，为观看者带来三维效果的立体视频)。人工现实可以与应用、产品、附件、服务、或它们的某种组合相关联，这些应用、产品、附件、服务、或它们的某种组合例如用于在人工现实中创建内容，和/或在人工现实中使用(例如，在人工现实中执行活动)。提供人工现实内容的人工现实系统可以在各种平台上实现，这些平台包括连接到主计算机系统的头戴式显示器(head-mounted display，hmd)、独立hmd、移动设备或计算系统、或能够向一位或多位观看者提供人工现实内容的任何其他硬件平台。

2、目前的ar/vr系统可以使用非光学传感器(例如，磁传感器和惯性传感器)来确定用户的身体姿态。然而，这些传感器可能需要附接到用户的身体，并且可能是侵入性的且不便于用户佩戴。替代地，现有的系统可以使用头戴式自上而下的摄像头(top-down camera)来估计佩戴者的身体姿态。然而，这种自上而下的摄像头可能会突出，并给佩戴着摄像头的用户带来不便。

3、本公开试图至少部分地解决上述缺点和劣势中的任何或全部。

技术实现思路

1、根据本公开的第一方面，提供了一种方法，该方法包括：由计算系统：通过用户佩戴的头戴式设备(headset)上的摄像头捕获一幅或多幅图像，该一幅或多幅图像捕获佩戴着该摄像头的用户的身体部位的至少一部分；基于由该摄像头捕获的该一幅或多幅图像，确定对该用户的身体的运动历史进行编码的多个运动特征；在该一幅或多幅图像中检测与该用户的身体部位的该部分相对应的前景像素；基于该前景像素，确定对由该摄像头捕获的该用户的身体部位的该部分进行编码的多个形状特征；基于该多个运动特征和该多个形状特征，确定该用户的三维身体姿态和三维头部姿态；基于前景像素和该用户的三维头部姿态，生成姿态体积表示；以及基于该姿态体积表示和该三维身体姿态，确定该用户的细化三维身体姿态。

2、在一些实施例中，该用户的细化三维身体姿态可以是基于对该用户的身体的运动历史进行编码的该多个运动特征来确定的。

3、在一些实施例中，该摄像头的视场角可以是面向前的，其中，由该摄像头捕获的该一幅或多幅图像可以是鱼眼图像，并且其中，该用户的身体部位的该部分可以包括该用户的手、手臂、脚或腿。

4、在一些实施例中，该头戴式设备可以佩戴在该用户的头部上，该方法还包括：使用与该头戴式设备相关联的一个或多个imu来收集imu数据，其中，该多个运动特征可以是基于该imu数据和由该摄像头捕获的该一幅或多幅图像来确定的。

5、在一些实施例中，该方法还可以包括：将该imu数据和该一幅或多幅图像馈送到即时定位与地图构建(slam)模块；以及使用该即时定位与地图构建模块、基于该imu数据和该一幅或多幅图像，确定一个或多个运动历史表示，其中，该多个运动特征可以是基于该一个或多个运动历史表示来确定的。

6、在一些实施例中，每个运动历史表示可以包括在预定持续时间内的多个向量，并且其中，该多个向量中的每个向量可以包括与该用户的三维转动、三维平移或高度相关联的参数。

7、在一些实施例中，该多个运动特征可以是使用运动特征模型来确定的，其中，该运动特征模型可以包括被训练为从运动历史表示中提取运动特征的神经网络模型。

8、在一些实施例中，该方法还可以包括：将该一幅或多幅图像馈送到前景背景分割模块；以及使用该前景背景分割模块为该一幅或多幅图像的每幅图像确定前景掩模，其中，该前景掩模可以包括与该用户的身体部位的该部分相关联的前景像素，并且其中，该多个形状特征可以是基于该前景像素来确定的。

9、在一些实施例中，该多个形状特征可以是使用形状特征模型来确定的，其中，该形状特征模型可以包括被训练为从图像的前景掩模中提取形状特征的神经网络模型。

10、在一些实施例中，该方法还可以包括：平衡该多个运动特征和该多个形状特征的权重；以及基于所平衡的权重，将该多个运动特征和该多个形状特征馈送到融合模块，其中，该用户的三维身体姿态和三维头部姿态是由该融合模块确定的。

11、在一些实施例中，该姿态体积表示可以与该用户的该三维身体姿态和该三维头部姿态的三维身体形状包络相对应。

12、在一些实施例中，该姿态体积表示可以是通过将该用户的该前景像素反投影到三维立方体空间中生成的。

13、在一些实施例中，该前景像素是在保持该三维身体姿态和该三维头部姿态彼此一致的约束下而被反投影到该三维立方体空间的。

14、在一些实施例中，该方法还可以包括：将该姿态体积表示、该多个运动特征和该一幅或多幅图像的前景像素馈送到三维姿态细化模型，其中，该用户的细化三维身体姿态可以是由该三维姿态细化模型确定的。

15、在一些实施例中，该三维姿态细化模型可以包括用于从该姿态体积表示中提取特征的三维神经网络，并且其中，从该姿态体积表示中提取的特征可以与该多个运动特征和该三维身体姿态结合。

16、在一些实施例中，该三维姿态细化模型可以包括细化回归网络，该方法还可以包括：将从该姿态体积表示中提取的、与该多个运动特征和该三维人体姿态结合的特征馈送到该细化回归网络，其中，该用户的细化三维人体姿态可以是由该细化回归网络输出的。

17、在一些实施例中，该细化三维身体姿态可以是实时确定的，该方法还可以包括：基于该用户的细化三维身体姿态，为该用户生成化身；以及在显示器上显示该化身。

18、在一些实施例中，该方法还可以包括：基于该用户的细化三维身体姿态生成立体声信号；以及向该用户播放基于该立体声信号的立体声。

19、根据本公开的第二方面，提供了一种或多种计算机可读非暂态存储介质，该一种或多种计算机可读非暂态存储介质包含软件，该软件在被执行时能够操作以：通过用户佩戴的头戴式设备上的摄像头捕获一幅或多幅图像，该一幅或多幅图像捕获佩戴着该摄像头的用户的身体部位的至少一部分；基于由该摄像头捕获的该一幅或多幅图像，确定对该用户的身体的运动历史进行编码的多个运动特征；在该一幅或多幅图像中检测与该用户的身体部位的该部分相对应的前景像素；基于前景像素确定对由该摄像头捕获的该用户的身体部位的该部分进行编码的多个形状特征；基于该多个运动特征和该多个形状特征，确定该用户的三维身体姿态和三维头部姿态；基于前景像素和该用户的三维头部姿态，生成姿态体积表示；以及基于该姿态体积表示和该三维身体姿态，确定该用户的细化三维身体姿态。

20、根据本公开的第三方面，提供了一种系统，该系统包括：一种或多种非暂态计算机可读存储介质，该一种或多种非暂态计算机可读存储介质包含指令；以及一个或多个处理器，该一个或多个处理器耦接到该存储介质，并且能够操作地执行该指令以：通过用户佩戴的头戴式设备上的摄像头捕获一幅或多幅图像，该一幅或多幅图像捕获佩戴着该摄像头的用户的身体部位的至少一部分；基于由该摄像头捕获的该一幅或多幅图像，确定对该用户的身体的运动历史进行编码的多个运动特征；在该一幅或多幅图像中检测与该用户的身体部位的该部分相对应的前景像素；基于该前景像素确定对由该摄像头捕获的该用户的身体部位的该部分进行编码的多个形状特征；基于该多个运动特征和该多个形状特征，确定该用户的三维身体姿态和三维头部姿态；基于前景像素和该用户的三维头部姿态，生成姿态体积表示；以及基于该姿态体积表示和该三维身体姿态，确定该用户的细化三维身体姿态。

21、本文所公开的各个实施例仅是示例，并且本公开的范围不限于这些实施例。特定实施例包括上面公开的实施例中的部件、元件、特征、功能、操作或步骤中的全部、一些，或不包括这些部件、元件、特征、功能、操作或步骤。针对方法、存储介质、系统和计算机程序产品的所附权利要求中特别地披露了根据本发明的实施例，其中，在一个权利要求类别(例如方法)中提到的任何特征也可以主张在另一个权利要求类别(例如系统)中得到保护。所附权利要求书中的从属关系或回引是仅出于形式原因而选择的。但是，由于故意引用任何先前权利要求(特别是多项从属关系)而产生的任何主题也可以被要求保护，使得权利要求及其特征的任何组合被公开，并且可以被要求保护，而不管所附权利要求中所选择的从属关系如何。可以被要求保护的主题不仅包括所附权利要求中阐述的特征的组合，还包括权利要求中的特征的任何其他组合，其中，权利要求中提及的每个特征可以与权利要求中的任何其他特征或其他特征的组合相结合。此外，本文中所描述或所描绘的实施例和特征中的任何实施例和特征可以在单独的权利要求中被要求保护，以及/或者以与本文中所描述或描绘的任何实施例或特征的任何组合方式或以与所附权利要求中的任何特征的任何组合方式被要求保护。

22、应理解的是，本文被描述为适合于结合到本公开的一个或多个方面或实施例中的任何特征旨在在本公开的任何和所有的方面和实施例具有普遍性。本领域技术人员可以根据本公开的说明书、权利要求书和附图理解本公开的其他方面。上述总体描述和以下具体实施方式仅是示例性和说明性的，而不对权利要求进行限制。