计算系统可以识别出由红外图像所成像的主体。举例来说，计算系统可以分析红外图像的每一个像素的红外反射率，以便确定客体、信标和/或主体的位置。在一些实施例中，计算系统可以利用红外传感器来跟踪和确定二维位置，并且利用深度摄影机来计算对应于所述二维位置的深度数值。在附加的或替换的实施例中，计算系统可以分析任何电磁信息以便确定客体、信标和/或主体的位置。
[0020]在人类主体的情况下，识别可以是特定于特定个体。换句话说，可以识别特定人的身份。举例来说，图1的计算系统102可以把游戏玩家112识别成“John”，其中“John”可以由本地存储和/或远程存储在计算系统102的存储机器和/或数据库上的用户简档来描述。用户简档可以包括用以标识游戏玩家的任何适当的信息，其中包括而不限于虚拟骨架数据、面部辨识数据、音频参数等等。用户简档可以被本地保存和/或通过例如因特网之类的网络来访问。在其他情况下，识别不特定于特定个体。举例来说，图1的计算系统102可以识别和跟踪游戏玩家112而不把游戏玩家112与任何其他游戏玩家进行区分。
[0021 ] 在一些实施例中，计算系统可以在无需直接识别游戏玩家的情况下把该游戏玩家与其他游戏玩家进行区分。举例来说，图1的计算系统102可以实施后面更加详细描述的面部辨识或者任何其他识别技术，而无需把游戏玩家相关于特定用户简档。所述识别可以被利用来把游戏玩家与计算系统的应用和/或其他情境内的特定表示相关联，从而使得由该游戏玩家提供的输入(不管所利用的输入机制如何)被提供到该特定表示。举例来说，在提供与游戏中的特定角色相关联的输入时，可以通过面部辨识来识别游戏玩家。随后，即使所述游戏玩家利用不同的输入设备(比如不同的控制器)，仍然可以把该游戏玩家所提供的输入与所述特定角色相关联。
[0022]如206处所示，识别人类主体可选地可以包括利用虚拟骨架对人类主体建模。骨架建模可以可选地被用来找到所观察的主体的特定身份。举例来说，通过骨架模型(例如骨骼长度、骨骼姿态等等)检测到的一项或更多项特性可以被用来在查找表或其他数据库中查找用户身份。将参照图3更加详细地描述这样的建模。
[0023]图3通过图形方式示出了深度分析系统的简化骨架跟踪管线300。为了解释简单起见，将参照图1的计算系统102来描述骨架跟踪管线300。但是在不背离本公开内容的范围的情况下，骨架跟踪管线300可以被实施在任何适当的计算系统上。此外，在不背离本公开内容的范围的情况下，可以使用不同于骨架跟踪管线300的骨架跟踪管线。
[0024]在302处，图3从深度摄影机(比如图1的深度摄影机110)的角度示出了图1的游戏玩家112。深度摄影机(比如深度摄影机110)可以包括一个或更多传感器，其可以被配置成观察人类主体，比如游戏玩家112。深度摄影机还可以观察从控制设备(比如控制设备104)发出的信标304。举例来说，信标304可以包括光学信标，比如可见光信标和/或红外光信标。
[0025]在306处，图3示出了由深度摄影机(比如深度摄影机110)收集的观察数据的示意性表示308。所收集的观察数据的类型将根据包括在深度摄影机中的传感器的数目和类型而不同。
[0026]深度摄影机可以对于所述深度摄影机的每一个像素确定所观察的场景中的表面相对于该深度摄影机的深度。图3示意性地示出了对于深度摄影机110的DPixel[v，h]所观察到的三维x/y/z坐标310。对于深度摄影机的每一个像素可以记录类似的三维x/y/z坐标。对应于所有像素的三维x/y/z坐标总体上构成深度图。在不背离本公开内容的范围的情况下，可以通过任何适当的方式确定所述三维χ/y/z坐标。
[0027]可见光摄影机可以对于所述可见光摄影机的每一个像素确定所观察的场景中的表面的对应于一个或更多光通道(例如红色、绿色、蓝色、灰度等等)的相对光强度。图3示意性地示出了对于深度摄影机110的可见光摄影机的V-LPixel [v, h]所观察到的红/绿/蓝颜色数值312。对于可见光摄影机的每一个像素可以记录类似的红/绿/蓝颜色数值。对应于所有像素的红/绿/蓝颜色数值总体上构成数字彩色图像。在不背离本公开内容的范围的情况下，可以通过任何适当的方式确定所述红/绿/蓝颜色数值。
[0028]所述深度摄影机和可见光摄影机可以具有相同的分辨率，但是并不要求如此。不管所述摄影机具有相同的还是不同的分辨率，可见光摄影机的像素都可以被配准到深度摄影机的像素。按照这种方式，通过考虑来自可见光摄影机和深度摄影机的经过配准的像素(例如V-LPixel [V, h]和DPixel [v, h])，可以对于所观察的场景的每一个部分确定颜色和深度信息全部二者。
[0029]如316处所图示，信标304可以被配置成使得观察数据把所述信标与深度摄影机所成像的周围客体清楚地区分。举例来说，信标304可以包括红外光信标，其被观察数据表示成根据由控制设备104发出的信标模式设置的一系列白色或明亮像素。
[0030]一个或更多麦克风可以确定来自所观察的人类主体和/或其他来源的定向和/或非定向声音。图3示意性地示出了由麦克风(比如控制设备109的麦克风118)记录的音频数据314。在不背离本公开内容的范围的情况下，可以通过任何适当的方式来确定这样的音频数据。如果控制设备产生声音信标而不是光信标，则还可以使用声音源定位来找到和/或定位控制设备。
[0031]所收集的数据可以采用几乎任何适当的(多种)数据结构的形式，其中包括而不限于一个或更多矩阵，所述矩阵包括对应于由深度摄影机成像的每一个像素的三维x/y/z坐标、对应于由可见光摄影机成像的每一个像素的红/绿/蓝颜色数值以及/或经过时间解析的数字音频数据。虽然图3描绘出单一帧，但是应当理解的是，可以连续地观察和建模人类主体(例如按照每秒30帧)。相应地，可以对于每一个这样观察的帧收集数据。可以通过一个或更多应用编程接口(API)使得所收集的数据可用，并且/或者如后面所描述的那样对其进行进一步分析。
[0032]深度摄影机和/或协作计算系统可选地可以对深度图进行分析，以便区分将要跟踪的人类主体和/或其他目标与所观察的深度图中的非目标元素。可以为深度图的每一个像素指派玩家索引318，该玩家索引318把该像素标识为对特定目标或非目标元素进行成像。作为一个实例，可以为对应于第一玩家的像素指派等于I的玩家索引，可以为对应于第二玩家的像素指派等于2的玩家索引，并且可以为不对应于目标玩家的像素指派等于O的玩家索引。在不背离本公开内容的范围的情况下，可以通过任何适当的方式确定、指派和保存这样的玩家索引。
[0033]深度摄影机和/或协作计算系统可选地还可以对人类主体的深度图的像素进行分析，以便确定每一个此类像素可能成像的该主体的身体部位。可以使用多种不同的身体部位指派技术来评估特定像素可能成像的是人类主体的哪一个身体部位。可以为具有适当的玩家索引的深度图的每一个像素指派身体部位索引320。身体部位索引可以包括离散标识符、置信度数值和/或身体部位概率分布，其表明该像素可能成像的一个或多个身体部位。在不背离本公开内容的范围的情况下，可以通过任何适当的方式来确定、指派和保存身体部位索引。
[0034]作为一个非限制性实例，可以使用机器学习来为每一个像素指派身体部位索引和/或身体部位概率分布。所述机器学习方法使用从先前训练的已知姿势的总集获知的信息来分析人类主体。换句话说，在受到监管的训练阶段期间，在多种不同的姿势下观察多种不同的人，并且人类训练员提供标记所观察的数据中的不同机器学习分类器的基准(groundtruth)注释。所观察的数据和注释被用来生成一项或更多项机器学习算法，该算法把输入(例如来自跟踪设备的观察数据)映射到所期望的输出(例如对应于相关像素的身体部位索引)。
[0035]在322处，图3示出了充当游戏玩家112的机器可读表示的虚拟骨架324的示意性表示。虚拟骨架324包括二十个虚拟关节一一头部、肩部中心、脊柱、臀部中心、右肩、右肘、右腕、右手、左肩、左肘、左腕、左手、右臀、右膝、右踝、右足、左臀、左膝、左踝和左足。这二十个关节虚拟骨架被提供作为一个非限制性实例。根据本公开内容的虚拟骨架可以具有实际上任意数目的关节。
[0036]各个骨架关节可以对应于人类主体的实际关节、人类主体的身体部位的形心、人类主体的四肢的末端以及/或者与人类主体没有直接解剖关联的点。每一个关节可以具有至少三个自由度(例如世界空间X、y、z)。如此，所述虚拟骨架的每一个关节可以利用三维位置来定义。举例来说，左肩虚拟关节326通过χ坐标位置328、y坐标位置330和z坐标位置332来定义。可以相对于任何适当的原点来定义关节的位置。作为一个实例，深度摄影机可以充当原点，并且所有关节位置都相对于深度摄影机来定义。在不背离本公开内容的范