实施例，图像相机组件32可以是可捕捉场景的深度图像的深度相机。深度图像可包括所捕捉的场景的二维(2-D)像素区域，其中2-D像素区域中的每个像素都可以表示深度值，比如所捕捉的场景中的对象与相机相距的例如以厘米、毫米等为单位的距离。
[0035]如图2所示，图像相机组件32可包括可被用来捕捉捕捉区域的深度图像的IR光源34、三维(3-D)相机36、以及RGB相机38。例如，在飞行时间分析中，捕捉设备20的IR光源34可以将红外光发射到捕捉区域上，然后可以使用传感器，用例如3-D相机36和/或RGB相机38来检测从捕捉区域中的一个或多个目标和对象的表面反向散射的光。在某些实施例中，可以使用脉冲式红外光从而可以测量出射光脉冲和相应的入射光脉冲之间的时间差并将其用于确定从捕捉设备20到捕捉区域中的目标或对象上的特定位置的物理距离。此外，可将出射光波的相位与入射光波的相位进行比较来确定相移。然后可以使用该相移来确定从捕捉设备到目标或对象上的特定位置的物理距离。
[0036]根据一个实施例，可使用飞行时间分析，通过经由包括例如快门式光脉冲成像的各种技术来分析反射光束随时间的强度变化以间接地确定从捕捉设备20到目标或对象上的特定位置的物理距离。
[0037]在另一示例中，捕捉设备20可使用结构化光来捕捉深度信息。在该分析中，图案化光(即，被显示为诸如网格图案或条纹图案等已知图案的光)可经由例如IR光源34被投射到捕捉区域上。在撞击到捕捉区域中的一个或多个目标或对象的表面时，作为响应，图案可变形。图案的这种变形可由例如3-D相机36和/或RGB相机38来捕捉，然后可被分析来确定从捕捉设备到目标或对象上的特定位置的物理距离。
[0038]根据一个实施例，捕捉设备20可包括可以从不同的角度观察捕捉区域的两个或更多个在物理上分离的相机，以获取可以被解析以生成深度信息的视觉立体数据。也可使用其它类型的深度图像传感器来创建深度图像。
[0039]捕捉设备20还可包括话筒40。话筒40可包括可接收声音并将其转换成电信号的换能器或传感器。根据一个实施例，话筒40可用于减少目标识别、分析和跟踪系统10中的捕捉设备20与计算环境12之间的反馈。另外，话筒40可用于接收也可由用户提供的音频信号，以控制可由计算环境12执行的诸如游戏应用、非游戏应用等之类的应用。
[0040]在一个实施例中，话筒40包括具有多个元素(例如，四个元素)的话筒阵列。话筒的多个元素可与各波束形成技术结合用于实现空间选择性。在一个实施例中，捕捉设备20还可以包括可以在操作上与图像相机组件32进行通信的处理器42 ο处理器42可包括可执行指令的标准处理器、专用处理器、微处理器等，这些指令可包括用于存储简档的指令、用于接收深度图像的指令、用于确定合适的目标是否被包括在深度图像中的指令、用于将合适的目标转换成该目标的骨架表示或模型的指令、或任何其他合适的指令。
[0041]处理器42可包括能够调整色彩、亮度、色调、锐化和所捕捉的数字图像的其他元素的成像信号处理器。
[0042]捕捉设备20还可包括存储器组件44，存储器组件34可存储可由处理器42执行的指令、由3-D相机或RGB相机所捕捉的图像或图像的帧、用户简档、或任何其他合适的信息、图像等等。根据一个示例，存储器组件44可包括随机存取存储器(RAM)、只读存储器(R0M)、高速缓存、闪存、硬盘、或任何其他合适的存储组件。如图3所示，存储器组件44可以是与图像捕捉组件32和处理器42进行通信的分开的组件。在另一实施例中，存储器组件44可被集成到处理器42和/或图像捕捉组件32中。在一个实施例中，图2中示出的捕捉设备20的组件32、34、36、38、40、42和44中的一些或全部被容纳在单一壳体中。
[0043]捕捉设备20可以经由通信链路46与计算环境12进行通信。通信链路46可以是包括例如USB连接、火线连接、以太网电缆连接等有线连接和/或诸如无线802.1lb,802.llg、802.1Ia或802.1ln连接等的无线连接。计算环境12可以向捕捉设备20提供时钟，可以使用该时钟来通过通信链路46确定何时捕捉例如场景。
[0044]捕捉设备20可经由通信链路46来向计算环境12提供由例如3-D相机36和/或RGB相机38捕捉的深度信息和图像，包括可由捕捉设备20生成的骨架模型。计算环境12然后可使用骨架模型、深度信息和所捕捉的图像来例如创建虚拟屏幕、适应用户界面、以及控制诸如游戏或文字处理程序等应用。
[0045]运动跟踪系统191使用骨架模型和深度信息来向在捕捉设备20耦合到的处理设备上的应用提供控制输出。深度信息同样可被姿势库192、结构数据198、姿势识别引擎190、深度图像处理和对象报告模块194以及操作系统196使用。深度图像处理和对象报告模块194使用深度图像来跟踪诸如用户和其他对象等对象的运动。深度图像处理和对象报告模块194会将检测到的每个对象的标识以及每帧的对象的位置报告给操作系统196。操作系统196将使用该信息来更新化身或其他图像在显示中的位置或移动，或对所提供的用户界面执行一动作。为了帮助跟踪对象，深度图像处理和对象报告模块194使用姿势库190、结构数据198和姿势识别引擎190。
[0046]计算系统12可包括利用捕捉设备所收集的信息以供用户18使用的一个或多个应用300。在捕捉设备的存储器中的校准或初始化组件197实现本文中公开的允许如本文中讨论的多个设备的自主操作的技术。
[0047]结构数据198包括关于可被跟踪的对象的结构信息。例如，可以存储人类的骨架模型以帮助理解用户的移动并识别身体部位。还可以存储关于非生命对象的结构信息以帮助识别这些对象并帮助理解移动。
[0048]姿势库192可包括姿势过滤器的集合，每一姿势过滤器包括和骨架模型(在用户移动时)可执行的姿势有关的信息。姿势识别引擎190可将由相机36、38和设备20捕捉的、骨架模型以及与其相关联的移动等形式的数据与姿势库192中的姿势过滤器进行比较，以标识(如由骨架模型表示的)用户何时作出了一个或多个姿势。那些姿势可与应用的各种控制相关联。因此，计算环境12可使用姿势库190来解释骨架模型的移动并基于这些移动来控制操作系统196或应用(未示出)。
[0049]关于识别器引擎190的更多信息可以在2009年4月13日提交的名为“GestureRecognizer System Architecture (姿势识别器系统架构)”的美国专利申请12/422,661中找到。关于识别姿势的更多信息可在2009年2月23日提交的明为“StandardGestures (标准姿势)”的美国专利申请12/391，150 ;以及2009年5月29日提交的名为“Gesture Tool (姿势工具)”的美国专利申请12/474，655中找到。关于运动检测和追踪的更多信息可在2009年12月18日提交的名为“Mot1n Detect1n Using Depth Images (使用深度图像的运动检测)”的美国专利申请12/641，788以及名为“Device for Identifyingand Tracking Multiple Humans over Time (用于随时间标识和跟踪多个人类的设备)”的美国专利申请12/475，308中找到。
[0050]图3描绘了图2的捕捉设备20的局部框图。这些组件可被提供在单个外壳中。设备20包括IR源34，该IR源34可被启用(通电或打开)以发射连续光或脉冲光。IR源34也可被停用(断电或关闭)以使得它不发射照明。光源在深度感测期间被调制或脉冲化。如果该IR源被关闭，则这意味着该系统仅能够捕捉彩色视频/图像。IR源充当捕捉设备的照明系统。
[0051]捕捉设备20包括安装透镜322和传感器透镜360的外壳。投影透镜322和/或传感器透镜360分别发射和接收IR照明和经反射的IR照明。相机36被定位成通过透镜360接收经反射的IR照明。一般来说，IR照明可以被脉冲化，得到的光脉冲对场景照明并且被对象反射。相机透镜收集经反射的光并将其成像在相机36上。取决于距离，传入的光经历延迟。由于光具有大致c = 300, 000, 000米每秒的速度，因此该延迟非常短，并且该照明的脉宽确定相机可处理的最大范围。
[0052]在一个实施例中，捕捉设备使用33ms的循环窗口(W)。该循环窗口包括该捕捉设备的按顺序循环的操作窗口。应当认识到，该窗口可取决于该捕捉设备被使用于的应用和范围而改变。在一个实施例中，为了在捕捉设备20附近的给定环境100内进行感测，定义循环窗口内用于脉冲和检测反射的操作窗口(图7A)，该定义基于光C的范围和速度。脉冲和感测可在操作窗口内发生许多次，但在一个实施例中在9ms之后完成。应当理解，操作窗口(设备20的脉冲和感测窗口)可以是循环窗口的任何部分。每一脉冲都是在例如几纳秒之内在区域100内被发送和接收的，从而得到操作窗口内的许多脉冲/感测序列。这意味着捕捉设备具有操作窗口(在本实施例中为9ms)，其比循环窗口短(在本实施例中为33ms)。应当理解，这些时间仅仅是示例性的。
[0053]在图7A中示出了脉冲和感测循环窗口(W)和各操作窗口(X)。
[0054]根据本技术，存储器44可存储由处理器42执行来顺序地提供脉冲照明和接收以在一连串的操作窗口上确定深度数据的指令。一般来说，这可在设备20正操作以提供所需的基于姿势的界面时被持续地进行。
[0055]处理器42与IR源通信以如在此所述的那样对其进行驱动或调制。传感器透镜360使从视野经反射的IR照明经过并抵达深度相机36所表示的一个或多个传感器。脉冲反射限于来自源的IR脉冲，因为任何环境光都通过使用IR带通滤波器(未示出)被反射，该IR带通滤波器被调谐以仅准许IR源的波长的光被接收。相