使用稀疏传感器采集的对象追踪的制作方法

本公开总体上涉及对象追踪，并且具体地，涉及基于图像采集的对象追踪。

背景技术：

1、传统上，对象追踪需要采集完整的图像来追踪图像中的可检测特征。使用采集的图像来追踪对象的传统方法由于需要大量的功率来处理从图像传感器的缓冲器传输到存储器且随后从存储器中读取的待处理的大量像素数据，因此在计算上是昂贵的。此外，需要采集完整图像的对象追踪由于会增加读出完整图像所需的时间，因此会引入时延。由于该过程会是功率密集型的，因此这可能会显著限制诸如移动装置或ar/vr(增强现实/虚拟现实)装置等功率受限装置使用图像采集来追踪对象的能力。

技术实现思路

1、根据本公开的第一方面，提供了一种方法，该方法包括：由一个或多个计算系统在第一时间指示具有多个像素传感器的摄像头来采集环境的第一图像，以确定对象的第一对象姿势，该环境包括该对象。该计算系统可以基于第一对象姿势，确定对象在第二时间的预测对象姿势。该计算系统可以确定摄像头在第二时间的预测摄像头姿态。然后，该计算系统可以基于具有预测对象姿势的对象的3d模型在与预测摄像头姿态相关联的虚拟图像平面上的投影，来生成像素激活指令。该计算系统可以在第二时间，指示摄像头根据像素激活指令使用该多个像素传感器的子集来采集环境的第二图像。然后，该计算系统可以基于第二图像确定对象的第二对象姿势。

2、根据本公开的第一方面，提供了一种方法，该方法包括由一个或多个计算系统：在第一时间指示具有多个像素传感器的摄像头使用该多个像素传感器来采集环境的第一图像，该环境包括对象；基于第一图像确定对象的第一对象姿势；基于第一对象姿势确定对象在第二时间的预测对象姿势；确定摄像头在第二时间的预测摄像头姿态；基于具有预测对象姿势的对象的三维模型在与预测摄像头姿态相关联的虚拟图像平面上的投影，来生成像素激活指令；在第二时间，指示摄像头根据像素激活指令使用该多个像素传感器的子集来采集环境的第二图像；以及基于第二图像确定对象的第二对象姿势。

3、在一些实施例中，在第二时间，该多个像素传感器的子集被激活且该多个像素传感器的第二子集被停用，以采集第二图像。

4、在一些实施例中，该方法还包括：基于第一图像识别对象的对象类型；访问与对象类型相关联的预测模型；以及使用预测模型来确定对象在第二时间的预测对象姿势。

5、在一些实施例中，该方法还包括：基于第二对象姿势生成人工现实效果；以及使用由用户穿戴的头戴式装置显示人工现实效果；其中，摄像头附接到由用户穿戴的头戴式装置。

6、在一些实施例中，像素激活指令进一步基于围绕对象的3d模型的投影的缓冲区域来生成。

7、在一些实施例中，缓冲区域的大小与第一时间和第二时间之间的时间成比例。

8、在一些实施例中，缓冲区域的大小与摄像头的帧速率成比例。

9、在一些实施例中，该方法还包括：激活缓冲区域内的所有像素。

10、在一些实施例中，该方法还包括：激活缓冲区域内的像素的稀疏样本。

11、在一些实施例中，该方法还包括：增加对缓冲区域内的3d模型的投影内的像素的采样。

12、根据本公开的第二方面，提供了包含软件的一种或多种计算机可读非暂态存储介质，该软件在被执行时能够操作以：在第一时间，指示具有多个像素传感器的摄像头使用该多个像素传感器来采集环境的第一图像，该环境包括对象；基于第一图像确定对象的第一对象姿势；基于第一对象姿势确定对象在第二时间的预测对象姿势；确定摄像头在第二时间的预测摄像头姿态；基于具有预测对象姿势的对象的3d模型在与预测摄像头姿态相关联的虚拟图像平面上的投影，来生成像素激活指令；在第二时间，指示摄像头根据像素激活指令使用该多个像素传感器的子集来采集环境的第二图像；以及基于第二图像确定对象的第二对象姿势。

13、在一些实施例中，在第二时间，该多个像素传感器的子集被激活且该多个像素传感器的第二子集被停用，以采集第二图像。

14、在一些实施例中，软件在被执行时还能够操作以：基于第一图像识别对象的对象类型；访问与对象类型相关联的预测模型；以及使用预测模型来确定对象在第二时间的预测对象姿势。

15、在一些实施例中，该软件在被执行时还能够操作以：基于第二对象姿势生成人工现实效果；以及使用由用户穿戴的头戴式装置来显示人工现实效果；其中，摄像头附接到由用户穿戴的头戴式装置。

16、在一些实施例中，像素激活指令是进一步基于围绕对象的3d模型的投影的缓冲区域来生成的。

17、根据本发明的第三方面，提供了一种系统，该系统包括：一个或多个处理器；以及非暂态存储器，该非暂态存储器耦接到处理器并且包括可由处理器执行的指令，处理器在执行指令时能够操作以：在第一时间，指示具有多个像素传感器的摄像头使用该多个像素传感器来采集环境的第一图像，该环境包括对象；基于第一图像确定对象的第一对象姿势；基于第一对象姿势确定对象在第二时间的预测对象姿势；确定摄像头在第二时间的预测摄像头姿态；基于具有预测对象姿势的对象的3d模型在与预测摄像头姿态相关联的虚拟图像平面上的投影，来生成像素激活指令；在第二时间，指示摄像头根据像素激活指令使用该多个像素传感器的子集来采集环境的第二图像；以及基于第二图像确定对象的第二对象姿势。

18、在一些实施例中，在第二时间，该多个像素传感器的子集被激活且该多个像素传感器的第二子集被停用，以采集第二图像。

19、在一些实施例中，处理器在执行指令时还能够操作以：基于第一图像识别对象的对象类型；访问与对象类型相关联的预测模型；以及使用预测模型来确定对象在第二时间的预测对象姿势。

20、在一些实施例中，处理器在执行指令时还能够操作以：基于第二对象姿势生成人工现实效果；以及使用由用户穿戴的头戴式装置来显示人工现实效果；其中，摄像头附接到由用户穿戴的头戴式装置。

21、在一些实施例中，像素激活指令是进一步基于围绕对象的3d模型的投影的缓冲区域来生成的。

22、本文所公开的实施例仅为示例，且本公开的范围不限于这些实施例。特定实施例可以包括本文公开的实施例的以下项中的所有、一些或不包括以下项：部件、元件、特征、功能、操作或步骤。特别地，在所附权利要求中公开了根据本发明的实施例，所附权利要求涉及方法、存储介质、系统和计算机程序产品，其中，在一个权利要求类别(例如，方法)中提到的任何特征也可以在另一个权利要求类别(例如，系统)中要求保护。所附权利要求中的回引的从属关系或引用是仅出于形式原因而选择的。然而，也可以要求保护由对任何前面的权利要求的有意回引(特别是多项引用)而产生的任何主题，使得权利要求及其特征的任何组合被公开并且可被要求保护，而不考虑在所附权利要求中选择的从属关系。可以要求保护的主题不仅包括如在所附权利要求中阐述的特征的组合，而且还包括权利要求中的特征的任何其他组合，其中，在权利要求中提到的每个特征可以与在权利要求中的任何其他特征或其他特征的组合相结合。此外，本文描述或描绘的实施例和特征中的任何可以在单独的权利要求中和/或在与本文描述或描绘的任何实施例或特征的任何组合中或在与所附权利要求的任何特征的任何组合中被要求保护。