非游戏应用之类的应用。在一个实施例中，计算设备12可包括可执行在处理器可读存储设备上存储的、用于在活跃时执行系统10的过程的指令的处理器，诸如标准化处理器、专用处理器、微处理器等。
[0027]系统10还包括捕捉设备20，捕捉设备20用于捕捉与捕捉设备所感测的一个或多个用户和/或对象有关的图像和音频数据。在各实施例中，捕捉设备20可用于捕捉与一个或多个用户的身体和手移动和/或姿势和话音相关的信息，该信息由计算设备12接收并且用于呈现游戏或其他应用的各方面、与这些方面交互和/或控制这些方面。下面更详细地解释计算设备12和捕捉设备20的示例。
[0028]目标识别、分析和跟踪系统10的各个实施例可连接到具有显示器14的音频/视觉(A/V)设备16。设备16可以例如是可向用户提供游戏或应用视觉和/或音频的电视机、监视器、高清电视机(HDTV)等。例如，计算设备12可包括诸如图形卡之类的视频适配器和/或诸如声卡之类的音频适配器，这些适配器可提供与游戏或其他应用相关联的音频/视觉信号。A/V设备16可从计算设备12接收音频/视觉信号，并且随后可向用户18输出与这些音频/视觉信号相关联的游戏或应用视觉和/或音频。根据一个实施例，音频/视觉设备16可经由例如S-视频电缆、同轴电缆、HDMI电缆、DVI电缆、VGA电缆、分量视频电缆等连接到计算设备12。
[0029]在图1所示的示例中，在NUI系统中使用捕捉设备20来生成深度图像，其中例如，用户18正在滚动和控制具有呈现在显示器14上的各种菜单选项的用户界面21。计算设备12和捕捉设备20可用于识别和分析用户身体的移动和姿势，并且此类移动和姿势可被解释为对用户界面的控制。替换地或另选地，计算设备12、A/V设备16和捕捉设备20可协作以在显示器14上呈递化身或屏幕上角色。跟踪并使用用户的移动来使化身的移动动画化。在各实施例中，化身模仿用户18在现实世界空间中的移动，使得用户18可执行对化身19在显示器14上的移动和动作进行控制的移动和姿势。
[0030]系统10及其组件的合适示例可在以下共同待审的专利申请中找到:于2009年5 月 29 日提交的名称为 “Environment And/Or Target Segmentat1n (环境和 / 或目标分割)”的美国专利申请S/N.12/475,094;于2009年7月29日提交的名称为“AutoGenerating a Visual Representat1n (自动生成视觉表示)”的美国专利申请S/N.12/511,850 ;于2009年5月29日提交的名称为“Gesture Tool (姿势工具)”的美国专利申请 S/N.12/474, 655 ;于 2009 年 10 月 21 日提交的名称为“Pose Tracking Pipeline (姿态跟踪流水线)”的美国专利申请S/N.12/603,437;于2009年5月29日提交的名称为“Device for Identifying and Tracking Multiple Humans Over Time (用于随时间标识和跟踪多个人的设备)”的美国专利申请S/N.12/475，308 ;于2009年10月7日提交的名称为“Human Tracking System(人类跟踪系统)”的美国专利申请S/N.12/575, 388 ;于2009年4月13日提交的名称为“Gesture Recognizer System Architecture (姿势识别器系统架构)”的美国专利申请S/N.12/422，661 ;以及于2009年2月23日提交的名称为“StandardGestures (标准姿势)”的美国专利申请S/N.12/391，150。
[0031]图2示出可在目标识别、分析和跟踪系统10中使用的捕捉设备20的一个示例实施例。在一示例实施例中，捕捉设备20可被配置成经由诸如TOF等技术来捕捉具有深度图像的视频，该深度图像可包括深度值。根据一个实施例，捕捉设备20可将所计算的深度信息组织为“Z层”或可垂直于从深度相机沿其视线延伸的Z轴的层。X和Y轴可被定义为与Z轴垂直。Y轴可以是垂直的，而X轴可以是水平的。X、Y和Z轴一起定义捕捉设备20所捕捉的3-D真实世界空间。
[0032]捕捉设备20可包括相移TOF深度成像系统100，其细节在以下更详细地解释。捕捉设备20还可包括用于捕捉场景的彩色图的RGB相机122。微处理器160可进一步被提供成深度成像系统100和/或RGB相机122的一部分或与其进行通信。尽管被称为微处理器，但元件160可以是或者可包括可执行指令(可包括如以下所解释的用于确定深度图像的指令)的标准处理器、专用处理器、微处理器等。应理解，以下被描述成由微处理器执行的过程中的一些或全部可替换地由计算设备12的处理器来执行。
[0033]捕捉设备20还可包括存储器组件170，该存储器组件170可存储可由处理器160执行的指令、由深度成像系统100或RGB相机122捕捉到的图像或图像帧、或任何其他合适的信息、图像等。根据一示例实施例，存储器组件170可包括随机存取存储器(RAM)、只读存储器(ROM)、高速缓存、闪存、硬盘、或任何其他合适的存储组件。如图2所示，在一个实施例中，存储器组件170可以是与深度成像系统100和处理器160通信的单独组件。根据另一个实施例，可将存储器组件170集成到处理器160和/或深度成像系统100中。
[0034]如图2所示，捕捉设备20可以通过通信链路124与计算设备12通信。通信链路124可以是包括例如USB连接、火线连接、以太网电缆连接等有线连接和/或诸如无线802.11b、802.Hg,802.1la或802.1ln连接等无线连接。
[0035]现在将参考图3解释深度成像系统100的示例的进一步细节。深度成像系统100可被制造在包括像素检测器140的二维阵列130的IC 110上，这些像素检测器在操作上可以是单端的或差分的。优选地，这些像素检测器140中的每一个都具有用于处理由相关联的检测器输出的检测电荷的专用电路150。优选地，IC 110还包括微处理器或微控制器160、存储器170、可高速分发的时钟180(该单个引用表示什么？)以及各种计算和输入/输出(1/0)电路190。处理器160可执行对距对象的距离以及对象速度的计算，以及其他功會K。
[0036]在微处理器160的控制下，光能的源120通过激励器115来周期性地通电，并朝对象目标23发射经调制的光能。光源120可以是发射低功率(例如，1W)的周期性波形，从而在被称为快门时间的时间段(例如为几个ms或更少)内产生已知频率(例如为50MHz到100MHz)的光能发射的至少一个LED或激光二极管。这些频率和快门时间仅作为示例，并且在进一步实施例中可改变为在这些值之外。通常，源120用可能800nm的波长在近IR中操作，但是在进一步的实施例中这些值可以改变。透镜125可用于聚焦所发射的光能。
[0037]所发射的光能(被表示为Sa )中的某一些将从目标对象(例如，附图中示出的目标对象23)的表面上反射(被表不为Sa )。这一被反射的光能3入将通过光圈视场光阑和透镜(统称为135)，并将落在像素或光检测器140的二维阵列130上。当被反射时，光能S入照射在阵列130中的光检测器140上，这些光检测器内的光子被释放，并且被转换成微小量的检测电流。为方便解释，传入光能可被模型化为Sa = Acos (ω t+ Θ )，其中A为亮度或强度系数，cot表示周期性调制频率，而Θ是相移。随着距离Z改变，相移Θ改变。图4和5描绘了所发射的信号与所检测的信号之间的相移Θ。可处理相移Θ数据以得到Z深度信息。在阵列130内，像素检测电流可被集成以聚集有意义的用于形成深度图像的检测信号。以此方式，TOF深度成像系统100可在传感器阵列130中每一像素检测器140处为每一帧所获得的数据捕捉并提供Z深度信息。
[0038]给定的经调制频率的相移Θ可以通过在N个等距的测量相位点处对接收到的信号进行采样来进行测量。图6示出了阵列130中的许多光检测器(PD)中的两个(即光检测器140-1和140N)以及其相关联的电子设备中的一些(即150-1、150N)。该具体实施例采用量子效率(QE)调制的差分光检测器或像素检测器140，其像素检测信息可在N = 4个离散的相位0°和180°、以及90°和270°处被捕捉到。可选择四个其他的等距相位点。在进一步实施例中，N可以是其他值，诸如例如N =