至可向诸如用户118之类的用户提供游戏或应用视觉和/或音频的视听设备116，诸如电视机、监视器、高清电视机(HDTV)等。例如，计算系统112可包括诸如图形卡等视频适配器和/或诸如声卡等音频适配器，这些适配器可提供与游戏应用、非游戏应用等相关联的视听信号。视听设备116可从计算系统112接收视听信号，然后可向用户118输出与视听信号相关联的游戏或应用画面和/或音频。根据一个实施例，视听设备16可经由例如，S-视频电缆、同轴电缆、HDMI电缆、DVI电缆、VGA电缆、分量视频电缆等连接至计算系统112。
[0040]如图1A和1B中所示，跟踪系统100可用于识别、分析和/或跟踪诸如用户118之类的人类目标。例如，可使用捕捉设备120来跟踪用户118，从而可以捕捉用户118的姿势和/或移动来动画化化身或屏幕上人物，和/或可将用户的姿势和/或移动解释为可用于影响计算系统112所正在执行的应用的控制命令。因此，根据一个实施例，用户118可移动他或她的身体来控制应用和/或动画化化身或屏幕上人物。
[0041]在图1A和1B中描绘的示例中，在计算系统112上执行的应用可以是用户118正在玩的拳击游戏。例如，计算系统112可使用视听设备116来向用户118提供拳击对手138的视觉表示。计算系统112还可使用视听设备116来提供用户118可通过他的或她的移动来控制的玩家化身140的视觉表示。例如，如图1B所示，用户118可以在物理空间中挥拳以致使玩家化身140在游戏空间中挥拳。因此，根据一示例实施例，计算机系统112和捕捉设备120识别并分析物理空间中用户118的重拳从而使得该重拳可被解释为对游戏空间中的玩家化身140的游戏控制和/或该重拳的运动可用于动画化游戏空间中的玩家化身140。
[0042]用户118的其他移动也可被解释为其他控制命令或动作，和/或用于动画化玩家化身，如上下快速摆动、闪避、滑步、封堵、用拳猛击或挥动各种不同的有力重拳的控制命令。此外，某些移动可被解释为可对应于除控制玩家化身140之外的动作的控制。例如，在一个实施例中，玩家可使用移动来结束、暂停或保存游戏、选择级别、查看高分、与朋友交流等。根据另一实施例，玩家可使用移动来从主用户界面选择游戏或其他应用程序。因此，在示例实施例中，用户118的全范围运动可以用任何合适的方式来获得、使用并分析以与应用程序进行交互。
[0043]在各示例实施例中，诸如用户118之类的人类目标可持有一物体。在这些实施例中，电子游戏的用户可手持物体，使得可使用玩家和物体的运动来调整和/或控制游戏的参数。例如，可以跟踪并利用手持球拍的玩家的运动来控制电子体育游戏中的屏幕上球拍。在另一示例实施例中，可以跟踪并利用玩家手持物体的运动来控制电子格斗游戏中的屏幕上武器。用户未手持的物体也可被跟踪，诸如被该用户(或一不同用户)抛出、推动或滚动的物体或自推进的物体。除了拳击之外，也可实现其他游戏。
[0044]根据其他示例实施例，跟踪系统100还可用于将目标移动解释为游戏领域之外的操作系统和/或应用控制。例如，事实上操作系统和/或应用程序的任何可控方面都可由诸如用户118之类的目标的移动来控制。
[0045]图2A示出可在跟踪系统100中使用的捕捉设备120的示例实施例。根据一示例实施例，捕捉设备120可被配置成经由任何合适的技术，包括例如飞行时间、结构化光、立体图像等来捕捉包括深度图像的带有深度信息的视频，该深度信息可包括深度值。根据一个实施例，捕捉设备120可将深度信息组织为“Z层”或者可与从深度相机沿其视线延伸的Z轴垂直的层。
[0046]如图2A所示，捕捉设备120可包括图像相机组件222。根据一示例实施方式，图像相机组件222可以是可捕捉场景的深度图像的深度相机。深度图像可包括所捕捉的场景的二维(2-D)像素区域，其中2-D像素区域中的每个像素都可以表示深度值，比如所捕捉的场景中的对象与相机相距的例如以厘米、毫米等为单位的距离。
[0047]如图2A所示，根据一示例实施方式，图像相机组件222可包括可用于捕捉场景的深度图像的红外(IR)光组件224、三维(3-D)相机226、和RGB相机228。例如，在飞行时间(T0F)分析中，捕捉设备120的IR光组件224可将红外光发射到场景上，并且随后可使用传感器(图2A中未具体示出)以利用例如3-D相机226和/或RGB相机228来检测从场景中的一个或多个目标和物体的表面反向散射的光。在一些实施例中，可以使用脉冲IR光，以使得可以测量出射光脉冲与相应入射光脉冲之间的时间，并且将其用于确定从捕捉设备120到场景中的目标或对象上的特定位置的物理距离。附加地或替换地，可将出射光波的相位与入射光波的相位进行比较来确定相移。然后可以使用该相移来确定从捕捉设备到目标或对象上的特定位置的物理距离。示例性T0F类型的3-D相机226的更多细节在下面参考图2B来描述。
[0048]根据另一示例性实施例，T0F分析可被用来通过经由包括例如快门式光脉冲成像在内的各种技术分析反射光束随时间的强度来间接地确定从捕捉设备120到目标或对象上的特定位置的物理距离。
[0049]在另一示例实施例中，捕捉设备120可以使用结构化光来捕捉深度信息。在这样的分析中，图案化光(即，被显示为诸如网格图案、条纹图案、或不同图案之类的已知图案的光)可经由例如IR光组件224被投影到场景上。在落到场景中的一个或多个目标或对象的表面上以后，作为响应，图案可以变为变形的。图案的这种变形可由例如3-D相机226和/或RGB相机228来捕捉，然后可被分析来确定从捕捉设备到目标或对象上的特定位置的物理距离。在一些实现中，IR光组件224与相机226和228分开，使得可以使用三角测量来确定与相机226和228相距的距离。在一些实现中，捕捉设备120将包括用于感测IR光的专用IR传感器。
[0050]根据另一实施例，捕捉设备120可包括两个或更多物理上分开的相机，这些相机可从不同角度查看场景以获得视觉立体数据，该视觉立体数据可被解析以生成深度信息。也可使用其它类型的深度图像传感器来创建深度图像。
[0051]捕捉设备120还可包括话筒230。话筒230可包括可接收声音并将其转换成电信号的换能器或传感器。根据一个实施例，话筒230可用于减少目标识别、分析和跟踪系统100中的捕捉设备120与计算系统112之间的反馈。附加地，话筒230可用来接收也可由用户提供的音频信号(例如，语音命令)，以控制可由计算系统112执行的诸如游戏应用、非游戏应用等应用。
[0052]在一示例实施例中，捕捉设备120可进一步包括可与图像相机组件222进行通信的处理器232。处理器232可包括可执行指令的标准处理器、专用处理器、微处理器等，这些指令例如包括用于接收深度图像、生成合适的数据格式(例如，帧)以及将数据传送给计算系统112的指令。
[0053]捕捉设备120可进一步包括存储器组件234，存储器组件234可存储可由处理器232执行的指令、由3-D相机和/或RGB相机捕捉到的图像或图像的帧、或任何其他合适的信息、图像等。根据一示例实施例，存储器组件234可包括随机存取存储器(RAM)、只读存储器(R0M)、高速缓存、闪存、硬盘、或任何其他合适的存储组件。如图2A所示，在一个实施例中，存储器组件234可以是与图像捕捉组件222和处理器232进行通信的单独的组件。根据另一实施例，存储器组件234可被集成到处理器232和/或图像捕捉组件222中。
[0054]如图2A所示，捕捉设备120可经由通信链路236与计算系统212进行通信。通信链路236可以是包括例如USB连接、火线连接、以太网电缆连接等有线连接和/或诸如无线802.lib,802.llg、802.11a或802.lln连接等的无线连接。根据一个实施例，计算系统112可经由通信链路236向捕捉设备120提供时钟，该时钟可用于确定何时要捕捉例如一场景。另外，捕捉设备120将由例如3-D相机226和/或RGB相机228捕捉的深度图像和彩色图像经由通信链路236提供给计算系统112。在一个实施例中，深度图像和彩色图像以30帧每秒的速率传送。计算系统112然后可使用该模型、深度信息、以及所捕捉的图像来例如控制诸如游戏或字处理程序之类的应用和/或动画化化身或屏幕上人物。
[0055]计算系统112包括姿势库240、结构数据242、深度图像处理和对象报告模块244和应用246。深度图像处理和对象报告模块244使用深度图像来跟踪诸如用户和其他对象等对象的运动。为了帮助跟踪对象，深度图像处理和对象报告模块244使用姿势库240和结构数据242。
[0056]结构数据242包括关于可被跟踪的对象的结构信息。例如，可以存储人类的骨架模型以帮助理解用户的移动并识别身体部位。还可以存储关于非生命对象的结构信息以帮助识别这些对象并帮助理解移动。
[0057]姿势库240可包括姿势过滤器的集合，每一姿势过滤器包括和骨架模型(在用户移动时)可执行的姿势有关的信息。可将由相机226、228和捕捉设备120捕捉的骨架模型形式的数据以及与其相关联的移动与姿势库240中的姿势过滤器进行比较来标识用户(如骨架模型所表示的)何时执行了一个或多个姿势。那些姿势可与应用的各种控制相关联。因此，计算系统112可使用姿势库240来解释骨架模型的移动并基于该移动来控制应用246。如此，姿势库可被深度图像处理和对象报告模块244和应用246使用。
[0058]应用程序246可以是视频游戏、生产力应用程序等。在一个实施例中，深度图像处理和对象报告模块244会将检测到的每个对象的标识以及每帧的物体的位置报告给应用246。应用246将使用该信息来更新显示器中的化身或其他图像的位置或移动。
[0059]图2B示出了 T0F类型的3-D相机226的示例实施例，其也可被称为T0F相机226，或更一般地被可被称为T0F系统226。T0F系统226被示出为包括驱动光源250的驱动器260。光源250可以是图2A中示出的IR光组件224，或者可以是一个或多个其它光发射元件。更一般地，光源250可包括一个或多个光发射元件，诸如但不限于激光二极管或发光二极管(LED)。激光二极管可包括一个或多个竖直腔表面发射激光(VCESL)或边缘发射激光器，但不限于此。还可能存在多种类型的光源，例如，包括一个或多个激光二极管的第一光源，以及包括一个或多个LED的第二光源。尽管这样的光发射元件可能发射IR光，然而替换波长的光可替换地由该光发射元件发射。除非另外说明，均假定光源250发射IR光。
[0060]T0F系统226也被示出为包括时钟信号发生器262，该时钟信号发生器产生被提供至驱动器260的时钟信号。此外，T0F系统226被示出为包括可控制时钟信号发生器262和/或驱动器260的微处理器264。T0F系统226还被示出为包括图像像素检测器阵列268、读出电路系统270和存储器266。图像像素检测器阵列268可包括例如320X240图像像素检测器，但不限于此。每个图像像素检测器可以例如是互补金属氧化物半导体(CMOS)传感器或充电耦合设备(CCD)传感器，但不限于此。取决于实现，每个图像像素检测器可具有其自己的专用读出电路，或者可由许多图像像素检测器共享的读出电路系统。根据某些实施例，在框280内示出的T0F系统226的组件在单一集成电路(1C)中实现，其也可被称为单一 T0F芯片。
[0061]驱动器260可产生独立于从时钟信号发生器262接收的时钟信号的射频(RF)调制驱动信号。相应地，驱动器260可包括例如一个或多个缓冲器、放大器和/或调制器，但不限于此。时钟信号发生器262可包括例如一个或多个参考