飞行去混叠的单个频率时间的制作方法
【专利说明】飞行去混叠的单个频率时间
[0001]背景
[0002]例如飞行时间(TOF)相机的门控三维(3-D)相机通过对场景进行照明并且捕捉来自照明的反射光来提供对场景中的对象的距离测量。各距离测量构成场景的深度图，该场景的3-D图像是从该深度图生成的。
[0003]常规的TOF系统通过发射已知频率f的经调制光能并检查从目标对象反射回TOF系统的光信号的相移来查明目标对象的深度距离(Z)。这样的示例性相位型的TOF系统在由Canesta公司获得现在转让给微软公司的几个美国专利中描述。这样的专利包括题为‘‘Methods for CMOS-Compatible Three-Dimens1nal Imaging Sensing UsingQuantum Efficiency Modulat1n(用于使用量子效率调制的CMOS兼容的三维成像感测的方法)”的美国专利 N0.6515740，题为 “Methods and Devices for Charge Managementfor Three Dimens1nal Sensing(用于三维感测的电荷管理的方法和设备)”的美国权利N0.6，906，793，题为“Method and System to Enhance Dynamic Range Convers1n UseableWith CMOS Three-Dimens1nal Imaging (可与CMOS三维成像一起用于增强动态范围转换的方法和系统)”的美国专利 N0.6，678，039，题为 “CMOS-Compatible Three-Dimens1nalImage Sensing Using Reduced Peak Energy (使用降低的峰值能量的CMOS兼容的三维图像感测)”的美国专利 N0.6，587，186，题为“Systems for CMOS-CompatibleThree-Dimens1nal Image Sensing Using Quantum Efficiency Modulat1n(用于使用量子效率调制的COMS兼容的三维图像感测的系统)”的美国专利N0.6，580, 496。
[0004]实际上，Z的改变产生相移的可测量改变，但最终相移开始重复，例如Θ =Θ+2 JT，等。因此，距尚Z是已知的I旲2 JT C/(2 ω) = C/(2f)，其中f是调制频率。由此，在检测到的相移Θ和距离Z的值之间可存在固有歧义。
[0005]已知通过从光源针对每一图像数据帧以多个频率来发射光来对相移数据进行消歧或去混叠。然而，该操作会导致较高的功率消耗和计算消耗，这对于某些TOF系统(诸如，便携式深度成像系统)而言可能不是实用或最优的。
[0006]概述
[0007]本文中公开了用于以低功率消耗来确定深度图的系统和方法。在各示例中，该系统包括用于使用TOF方法来确定深度图的深度成像系统。该深度成像系统包括用于以预定频率发射光的光源，以及用于接收来自光源的光在被反射离开场景中的对象之际返回的光的像素检测器阵列。反射离开对象的光将以指示对象和深度成像系统之间的距离的相移在该阵列中的一个像素检测器中被接收到，尽管在所返回的距离和相移之间可能存在歧义。
[0008]为了对给定相移的所返回的距离进行消歧或去混叠，本发明技术可在η个连续的图像帧上发射η个不同的光频率，其中η是例如2和4之间的整数。测量针对每一连续帧中的每一频率的相移，并且针对每一相移计算距离Ζ。存储针对不同频率的距离Ζ，并在收集了 η帧数据后，可通过各种方法将这些距离相关以确定如在η个图像帧上测量到的单个距对象的距离。当每个图像帧可发射一个频率时，该深度图可以以开发常规TOF深度图的功率的一部分来开发。
[0009]在一示例中，本发明技术涉及一种深度成像系统，该系统包括:光源，所述光源用于跨一频率范围发射光；像素检测器阵列，所述像素检测器阵列用于接收来自所述光源的在反射离开对象以后的光；以及，处理器，所述处理器确定在第一时间在所述像素检测器阵列中的一像素检测器中接收到的第一频率的光的相移数据，并确定在第二时间在所述像素检测器中接收到的第二频率的光的相移数据，所述第二频率不同于所述第一频率，并且所述第二时间不同于所述第一时间，所述处理器对所述相移数据进行去混叠以确定由在所述第一和第二时间的所述第一频率和第二频率所指示的距所述对象的距离。
[0010]在另一示例中，本发明技术涉及目标识别、分析和跟踪系统的捕捉设备，所述深度成像系统包括:RGB相机；和深度成像系统，包括:光源，所述光源用于跨一频率范围发射光，像素检测器阵列，所述像素检测器阵列用于接收来自所述光源的在反射离开对象以后的光；以及，处理器，所述处理器确定在第一成像帧中在所述像素检测器阵列中的一像素检测器中接收到的第一频率的光的相移数据，并确定在第二图像帧中在所述像素检测器中接收到的第二频率的光的相移数据，所述第二频率不同于所述第一频率，并且所述第二图像帧不同于所述第一图像帧，所述处理器对所述相移数据进行去混叠以确定由在所述第一和第二时间的所述第一频率和第二频率所指示的距所述对象的距离。
[0011]在其他示例中，本发明技术涉及一种用于确定深度成像系统和场景中的对象之间的距离的方法，包括:(a)在第一时间发射第一频率的光；(b)在第二时间发射第二频率的光，所述第二频率不同于所述第一频率，并且所述第二时间在所述第一时间之后；以及，(C)基于在所述第一时间发射的所述第一频率的光以及在所述第二时间发射的所述第二频率的光的相移来测量距所述对象的距离。
[0012]提供概述以便以简化形式介绍将在以下详细描述中进一步描述的一些概念的选集。本概述并不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。此外，所要求保护的主题不限于解决在本公开的任一部分中所提及的任何或所有缺点的实现。
[0013]附图简述
[0014]图1示出了其中可使用的本发明技术的深度成像系统的目标识别、分析和跟踪系统的示例实施例。
[0015]图2示出了可以在目标识别、分析和跟踪系统中使用的捕捉设备的示例实施例。
[0016]图3是根据本发明技术的各实施例的样本深度成像系统的框图。
[0017]图4和5是示出与图3的成像系统相关联的发射的和反射的光能波形的示图。
[0018]图6示出根据本发明技术的各实施例的在各个相位处的示例性相位捕捉的细节。
[0019]图7到图10解说示出相移对照针对各个调制频率的距离的示图。
[0020]图11是本发明技术的一实施例的使用多个帧上的多个频率来对相移数据进行去混叠的操作的流程图。
[0021]图12解说了可在本发明技术的各实施例中使用的计算设备的示例实施例。
[0022]详细描述
[0023]现在将参考附图1-12来描述本公开的一般涉及深度图像的低功率生成的系统和方法的各实施例。在各实施例中，一图像数据帧通过以下方式生成:T0C相机的光源发射经调制的光脉冲，并检查从目标对象反射回TOF相机的光信号的相移。在各实施例中，该系统通过在η个连续图像数据帧上发射η个不同的光频率来对光信号的相位进行去混叠。该系统至少为该η个图像数据帧维护状态数据，并将来自这些连续帧的相移进行相关以对深度信息进行去混叠。在各示例中，η可等于3，但它在不同的示例中可大于或小于3。
[0024]本公开的各实施例可发射并检测脉冲型的周期性波形。然而，各实施例可相对于正弦波形的发射和检测来描述，因为这样的波形更容易数学地进行分析。应理解，包括不完美的正弦波形的周期性脉冲波形可在数学上被使用并被表示成系数和频率多样性改变的完美正弦波形的编组。
[0025]参考图1和2，本公开的各实施例被提供作为目标识别、分析和跟踪系统10中用于跟踪移动的目标的TOF 3-D相机的一部分系统10可为游戏和其他应用提供自然用户界面(NUI)。然而，应理解，本公开的系统可以在不同于目标识别、分析和跟踪系统10的各种应用中使用。
[0026]目标识别、分析和跟踪系统10可用来识别、分析和/或跟踪人类目标(诸如用户18)以及其他静止或移动的对象(诸如对象23)。目标识别、分析和跟踪系统10的各实施例包括用于执行游戏或其他应用的计算设备12。计算设备12可包括硬件组件和/或软件组件，使得计算设备12可用于执行诸如游戏和