专利名称：3d飞行时间相机和方法
技术领域：
本发明涉及用于获取关于场景的信息(具体地，用于获取场景的深度图像、关于参考信号和场景的入射辐射之间的相移的信息、或关于场景的环境信息)的3D飞行时间(3D time-of-flight)相机和对应的3D飞行时间方法。另外，本发明涉及用于在这种3D飞行时间相机和方法中所使用的处理器和对应的处理方法。另外，本发明涉及用于将这种处理方法实现在计算机上的计算机程序和存储这种计算机程序的计算机可读非暂存性介质。
背景技术：
3D飞行时间(ToF)相机通过确定辐射(优选地为光)从源到对象并返回到相机所需的时间来获得深度图像。这通常通过断续地照亮场景并将时间窗口(严格地讲，窗口的序列)的卷积应用到反向散射的入射光信号来实现。连续波ToF相机利用周期性调制的光源来照亮场景，并且，测量相对于射出信号的反光散射信号的相移。该相移与飞行时间成正t匕，因此，其包括距离信息。通常，三个量是未知的并必须针对每个像素单独确定对象的距离、其反射率和环境光的强度。因此，为了确定这些未知量一个或多个(取决于未知量的数目)测量是必须的，例如，在三个未知量的情形中，至少需要三个测量。在Schwarte、R.、Heinol、H. G.、Xu、Z.、Hartmann、K.在 Casasent D. P. (ed.)光学照相器工程师(SPIE)会议系列vol. 2588、第126页至第134页(1995)的New active3D vision system based on rf-modulation interferometry of incoherent light 和Spirig、T.、Seitz、P.、Heitger、F.在 IEEE J.量子电子学 31 第 1705 页至第 1708 页(1995)的The lock-in CCD. Two-dimensional synchronous detection of light 中，描述了一种连续波ToF传感器(PMD)传感器。在如下文献中可找到有关ToF相机的一般技术的更多信息Elkhalili、0.、Schrey、0.、Ulfig、W.、Brockherde、W.、Hosticka、B. J.、MengeK P.、ListKL.的 A 64x8pixel 3-D CMOS time-of flight image sensor for carsafety applications(2006)、http ://www. canesta. com/assets/pdf/technicalpapaers/CVPR Submission TOF.pdf 中的 A time-of-flight depth sensor-System description、Oggier、T.、Lehmann、M.、Kaufmann、R.、Schweizeer^ M.、Richter、M.、Metzler、P.、Lang、G.、Lustenberger^ F.、Blanc、N.在 SPIE 2003 会议集第 534 页至第 545 页 2003 中的 An all-solid-state optical range camera for 3Dreal-time imaging with sub-centimeter depth resolution (2004)、以及 Ringbeck、T.、Hagebeuker. B.在2007年7月9日至12日在ETH苏黎世举办的的光3-D测量技术分会范围成像 I 中的 A 3D time-of-flight camera for object detection。许多已知的TOF相机(例如，如在以上引用的Ringbeck、T.和其他的公开中所描述的)使用特殊的传感器，该特殊的传感器针对每个像素利用两个量子阱(quantum well)来检测信号的相关函数，该检测信号用电子参考信号来表示所检测的辐射(具体地，光)。入射光子生成电子，这些电子由转换器分到该两个量子阱、转换成电压、被放大并作为两个数字值(还称为“样本”)给出。转换器与光源同步，因此，两个数字值对应于彼此相移180°的相关函数的两个样本。通过将参考信号延迟某个角度 ，传感器能够对相关函数的任意点进行抽样。通常， 被选作{0°、90°、180°、270° }，通过量子阱A和B 二者所获得的数据分别对应于 和 +180°。这给出了八个样本A_0、A_90、A_180、A_270，并同时获得了 B_180、B_270、B_(^PB_90。因此，每个点 被抽样两次(例如，A_0和B_0)。其原因在于需要补偿传感器的不均一，因为量子阱A和B以及其放大路径并不均等地响应辐射。然后，对八个样本的平均被使用，以获得相移的一个值，并从中获得距离的一个值
发明内容
本发明的目的是提供3D飞行时间相机和对应的3D飞行时间方法，通过该相机和方法，可从更少的样本中获得关于场景的所希望的信息，这导致提高的帧率和使能实时应用。本发明的另一目的是提供处理器、对应的处理方法，以及对应的用于实现所述处理方法的计算机程序和计算机可读非暂存性介质。根据本发明的一个方面，提供了一种用于获取关于场景的信息的3D飞行时间相机，具体地，该相机用于获取场景的深度图像、关于参考信号和场景的入射辐射之间的相移的信息、或关于所述场景的环境信息，所述相机包括-辐射源，该辐射源生成并发射电磁辐射，以用于照明所述场景，-辐射检测器，该辐射检测器检测从所述场景反射的电磁辐射，所述辐射检测器包括一个或多个像素，具体地，像素阵列，其中，所述一个或多个像素单独检测从所述场景反射的电磁辐射，其中，像素包括两个或更多个检测单元，每个检测单元检测两个或更多个样本的样本集的样本，以及-评估单元，该评估单元评估所述两个或更多个检测单元的所述样本集，并且，从所述样本集生成与场景相关的信息，其中，所述评估单元包括-整流单元，该整流单元通过利用预定整流操作符来对所述样本集的样本的子集进行整流，该预定整流操作符定义了由特定像素的两个不同的检测单元所检测到的样本之间的相关度，以及-信息值计算器，该信息值计算器从整流样本的所述子集和所述样本集的剩余样本确定所述与场景相关的信息的信息值。根据本发明的另一方面，提供了一种用于在获取关于场景的信息的3D飞行时间相机中使用的处理器，具体地，用于获取场景的深度图像、关于参考信号和场景的入射辐射之间的相移的信息、或关于所述场景的环境信息，所述3D飞行时间相机包括辐射源，该辐射源生成并发射电磁辐射，以用于照明所述场景，以及辐射检测器，该辐射检测器检测从所述场景反射的电磁辐射，所述辐射检测器包括一个或多个像素，具体地，像素阵列，其中，所述一个或多个像素单独检测从所述场景反射的电磁辐射，其中，像素包括两个或更多个检测单元，每个检测单元检测两个或更多个样本的样本集的样本，所述处理器操作用于评估所述两个或更多个检测单元的所述样本集并从所述样本集生成与场景相关的信息，其中，所述处理器包括-整流单元，该整流单元通过利用预定整流操作符来对所述样本集的样本的子集进行整流，该预定整流操作符定义了由特定像素的两个不同的检测单元所检测到的样本之间的相关度，以及-信息值计算器，该信息值计算器从整流样本的所述子集和所述样本集的剩余样本确定所述与场景相关的信息的信息值。根据本发明的又一方面，提供了用于获取场景的深度图像的3D飞行时间方法和处理方法。根据另外的方面，提供了一种计算机程序，该计算机程序包括程序装置，当所述 计算机程序被在计算机上执行时，所述程序代码装置导致计算机执行根据本发明的处理方法的步骤，还提供了一种计算机可读非暂存性介质，指令存储在该介质上，当该指令被在计算机上执行时，导致所述计算机执行根据本发明的处理方法的步骤。发明的另外的优选实施例被定义在从属权利要求中。应当理解，所要求权利的方法、要求权利的计算机程序和要求权利的计算机可读介质具有与要求权利的3D飞行时间相机和定义在从属权利要求中的类似和/或相同的优选实施例。本发明基于利用异质参数(inhomogeneity parameters)的想法,例如，从隐式的实时估计中所获得，由整流操作符来表示以用于对相关函数的所获得样本的校正的异质参数。因此，像素的不同检测单元(也称为抽头(tag))的不同特征曲线的影响被补偿。因此，不再需要惯常所使用的平均技术。这使能用更少的样本并无另外的系统错误的情况下对与场景相关的信息的计算，例如，用于确定场景的对象的距离的相移。另外，例如，这使能针对每个像素的预定数目的原始样本的每个集合的多个独立深度图的计算，从而导致提升的帧率。根据发明，检测单元的样本集被评估，以生成所希望的与场景相关的信息。出于该目的，所述样本集的样本子集被形成，并且，通过利用预定的整流操作符，该子集的样本被整流，该预定的整流操作符定义由特定像素的两个不同的检测单元所检测到的样本之间的相关度。然后，所述与场景相关的信息的信息值被从已整流的样本的所述子集和样本集的剩余样本中确定，优选地，从已获得子集的样本的相同样本集的已整流的样本的所述子集和样本集的剩余样本中确定。优选地，本发明被应用于获取场景的深度图像。针对这类应用，所述评估单元操作用于生成与场景相关的关于场景的一个或多个对象的距离的信息、场景的一个或多个对象的反射率和/或非调制辐射的强度(包括环境辐射，具体地，环境光)，即，所述与场景相关的信息可以是距离信息、反射率信息和/或背景辐射的强度信息。但是，发明还可被应用于其他应用，例如，用于获取关于相移的信息或关于场景的环境信息。这种其他应用包括荧光寿命成像(FUM)，例如，多抽头FLIM，其中样本的相移利用显微镜被测量，以及，用以估计环境参数(例如，温度、氧浓度等)的应用。利用压敏涂料(PSP)的应用也可从发明中受益。虽然通常很宽范围的电磁辐射可利用发明，S卩，发明可被用在利用各种不同辐射的各种不同应用中，但是，发明有限地被应用于红外线、可见光或紫外线光。一般而言，辐射源和辐射检测器被相应地适配于所使用的辐射类型。如果需要，合适的转换器(在检测器中或与检测器一起)可被用于将所检测到的辐射转换成优选的波长范围，以用于进一步的处理和评估。
参照此处之后所描述的实施例，本发明的这些和其他方面将很显然，并且本发明的这些和其他方面将在以下详细说明。在以下的附图中图I示出了根据本发明的3D ToF相机的示意图，图2示出了用于在这种3D ToF相机中使用的根据本发明的辐射检测器的实施例的示意图，图3示出了由这 种辐射检测器所获得的三帧样本，图4A和图4B示出了根据本发明的方法的关键步骤，图5示出了图示在数帧上绘制的两个检测单元的输出的时间进展的示图，图6示出了图示与检测单元的多个输出样本相适应的曲线的示图，图7示出了哪些样本可被组合，以用于确定场景相关的信息的信息值，图8A至图SC示出了根据本发明的方法的另外的实施例，图9示出了包括两个检测单元的像素的示意图，以及图10示出了用于描述本发明的模型的示意图。
具体实施例方式在图I中示出了根据本发明的3D ToF相机10的一般布局的示意图。这种相机10通常用于获得关于场景2的信息。这种信息可具体地包括用于生成场景的深度图像的信息、关于场景的相移的信息、或关于场景的环境信息。作为示例，以下的描述将集中于对深度图像的获得，具体地，集中于对距离信息的获取，该距离信息关于在图I中所示的实施例中的场景2的一个或多个对象(背景对象4a和前景对象4b)距离相机10的距离。除了场景2的一个或多个对象4的反射率和非调制辐射(其包括环境光和由辐射源所发射出的非调制光)6的强度以外，该距离信息是将要确定的能够生成场景2的深度图像的三个未知因素中的一个。相机10包括生成并发射电磁辐射13以用于照亮所述场景2的辐射源12以及检测从所述场景2反射的电磁辐射15的辐射检测器14。在本实施例中，辐射源12由源控制器(或驱动器)11控制，该源控制器(或驱动器)11在其他实施例中可被包括在源12中。所述辐射检测器14包括一个或多个像素16，具体地，包括像素的二维阵列，其中，所述一个或多个像素16单独检测从所述场景2 (更精确地，从场景的对象4a、4b)所反射的电磁辐射15a、15b。如以下将详细说明的，所述像素中的每一个包括两个或更多个检测单元，该检测单元中的每一个检测两个或更多个样本的样本集的样本。辐射检测器14包括装置，该装置导致所测量的像素信号取决于入射辐射光和参考信号之间的时间延迟。该能力是ToF系统的重要组件。针对脉冲ToF系统，这可以使所测量的强度的变化，其由快门(其可以是检测器的一部分(例如，电子快门)或体现为位于检测器14和场景2之间的另外原件(例如，物理快门))所导致。在连续波ToF系统中，这种时间延迟被解释为在入射辐射信号和电子参考信号之间的相移。从该时间延迟，可以测量从源12到对象4a并从该对象到检测器14所需的辐射时间。类似地，可测量从源12到对象4b并从该对象到检测器14的时间。在深度成像中，假定在照射对象4a和4b以及其光学响应之间不存在延迟。因此，从辐射的已知速度(其为光在周围环境中的速度)和辐射经由对象4a和4b覆盖从源12到检测器14的距离所需的所测量的时间，可计算对象的距离。在FILM(荧光寿命成像)应用中，对象的距离是已知的(或可忽略的、或另外测量的)，但是响应延迟(在光分别碰到对象4a和4b以及由检测器14所检测到的由这些对象发射光之间的延迟)是未知的并必须测量的。取决于对象的特点(很可能由染料修改)，该时间延迟提供关于环境参数(例如，本地氧浓度、温度等)的信息。此处应当注意，从对象4a和4b所反射的辐射通常不会被混合到单个像素上，而是光学确保在对象空间中的不同点由不同的像素成像。如果两个对象由单个像素成像，则该像素测量导致伪影(artifact)(飞行像素)的错误值，本发明并不涉及这方面。例如，前景中的对象和背景中的对象之间的深度边缘可导致这种伪影在边缘处所测量的深度植通常既不被估计为前景，也不估计为背景深度，而是其他的。具体地，为了形成用于照亮场景2的辐射光束13和/或将所反射的辐射15聚焦在辐射检测器14上，还可设置诸如光透镜、聚焦原件等之类的可选装置。例如，如在图I中所示，光透镜17和基带滤波器可被设置在辐射检测器14的前方，以用于收集所反射的辐射并用于仅使所反射的辐射通过具有与照射辐射13相同波长的检测器14。优选地，红外光被用于照明并用于检测，但是，根据本发明，还可使用可见光、或UV光、或其他电磁辐射。一般而言，所使用的辐射被从波长范围在0. Inm和Icm之间中选择，具体地，在IOnm和Imm之间选择。所发射出的辐射可被持续射出(例如，被正弦调制)，或可被脉冲化。通常的情形是使用突发模式，其中，辐射源被持续驱动(例如，用正弦激励函数)，但该驱动仅在获取样本期间进行。在其他时候，其被切换至关断，以允许辐射源冷却并将平均强度保持在最低处(出于眼睛安全的原因)。因此，在大的时间尺度上，其实际上不是真正连续的。在任意情形中，检测器和对所获得的像素的后续处理被随后适当地适应。从市场上作为利用脉冲辐射的示例的各种类型的3D ToF相机(例如，Z-Cam(3DV系统，以色列))和作为利用连续福射的示例的PMDCamCube (PMD技术，德国)或Swissranger SR4000 (梅萨成像，瑞士 )来看，连续发射辐射原理和脉冲辐射原理二者在3D ToF相机的使用中通常是已知的。如 Buettgen, B. ；Mechat, M. -A. E. ；Lustenberger, F. &Seitz、P.在 IEEETRANSACTIONS ON CIRCUITES AND SYSTEMS I-RE⑶LAR PAPERS, IEEE-INST ELECTRICALELECTRICAL ELECTRONICS ENGINEERS INC, {2007}, {54}， {2109-2119}的“Pesudonoiseoptical modulation for real-time 3D imaging with minimum interference” 中所描述的，还可使用非周期性辐射。当使用脉冲辐射时，可从所反射的辐射的强度来获得深度信息，而当使用连续辐射时，可从所反射的辐射中的相位差来获得深度信息。由于这些原理通常是已知的，因袭，此处不再提供进一步的细节。相机10还包括评估单元18，该评估单元18评估辐射检测器14的所述两个或更多个检测单元的所述样本集并从所述样本集生成与场景相关的信息。如上所述，所述与场景相关的信息可以是深度信息、相移信息、环境信息等。此处，将集中于将深度信息的生成作为示例。但是，以下参照图所说明的本发明和元件也可类似地或相同地应用于其他信息的 生成。在实施例中，可实现为处理器(例如，可编程微处理器或计算机)或专用硬件的评估单元18包括整流单元20，该整流单元20通常针对每个像素的两个或更多个检测单元中的每一个利用预定的整流操作符来对样本集的样本子集进行整流，该整流操作符定义了由特定像素的两个不同的检测单元所检测到的样本之间的相关。另外，评估单元18包括信息值计算器22，该信息值计算器22通常针对每个像素从已整流的样本的所述子集和样本集的剩余样本来确定所述与场景相关的信息的信息值。在实施例中，相机10还包括整流操作符生成器24，该整流操作符生成器通过将多项式拟合(具体地，度为O、I或2)拟合到由特定像素的两个不同的检测单元所检测到的样本对(具体地，场景的本质上静止的区域的样本)中来生成所述整流操作符。优选地，所述整流操作符生成器24通过将多项式拟合(具体地，度为O、I或2)拟合到由特定像素的两个不同的检测单元针对相同的抽样 模式所检测到的样本对来生成所述整流操作符。以下将详细说明整流操作的生成。另外，在实施例中，设置了控制单元26，该控制单元26具体地通过控制所述辐射源12、检测单元的抽样模式、辐射源和检测单元之间的同步和/或入射到辐射检测器处的辐射的辐射路径来临时禁用相机10，以由所述检测单元测量不同的量。在最一般的情形中，所述控制单元26能够控制相机10的所有元件。如上所述，3D飞行时间(ToF)相机通过确定所发射的电磁辐射从源到对象再返回到相机所需的时间来获得深度图像。已经开发了基于相位(连续波)和基于脉冲的ToF系统。基于脉冲的ToF系统发射众多离散辐射脉冲，并且，测量时间t直到相机检测到反相漫射的脉冲为止。连续波ToF相机利用周期性调制的光源来照射场景，并且，测量反相漫射信号相对于所发射的信号的相移。该相移与飞行时间t成正比。时间t与辐射从源到对象再返回到相机所经过的距离成正比。如果辐射源位于相机附近，则对象的距离z可被计算为Z = -y-并且
<P 'C
Z ~ A-Tt-V(I)Cp是所测量的相移，c是光速，并且V是光源的调制频率。连续波方法和基于脉冲的ToF方法二者都在某时间窗期间测量入射辐射。为了测量这些入射辐射，ToF系统使用带有像素的辐射检测器，每个像素通常具有至少两个不同的检测单元，利用参考信号，该检测单元的敏感度可随着时间变化。为了确保测量处理的高效，如在图2(其描绘了包括众多像素161、162、163、...的辐射检测器14)中所示，众多这种检测单元161-1、161-2、. . .、161-M通常被组合在像素161中，但是，利用这种检测单元中的一个的像素也是可行的。每个像素的检测单元数将被表示为M。ToF传感器(即，辐射检测器14)通常包括众多这种像素16，但是，仅利用单个像素的传感器也是可行的。通常，所发射的辐射信号和参考信号是周期性的，但是，也示出了利用非周期性信号的系统。如果使用周期性信号，则参考信号和光信号的基频通常被设置为相同值(零拍(homodyne) ToF系统),但是,也存在利用不同频率的系统(外差(heterodyne) ToF系统)。通过将在等同的基频处所驱动的参考信号和辐射源信号同步，由单个检测单元所确定的值对应于参考信号和辐射源信号的互相关函数的样本。通过在两个信号之间引入另外的可控相移e，可以在各种角度0处对互相关函数进行抽样。ToF系统由每个检测单元对众多N个样本(此处称为“样本集”)进行抽样。足够数量的样本能够使得计算所成像的场景的未知量。因此，例一如，在参考信号和光源信号之间的相移Cp可被确定，其使能对对象距离的计算(参见方程(I))。N应当等于或大于将要估计的未知量的数量。例如，在用于测量深度图的典型设置中，除了相移以外，幅度％和非调制光的强度％也是未知的。因此，至少必须有三个样本来确定它们。通常，由于未知量的更简单的数字重构和更好的噪声性能，选择N = 4。在以下，将描述用于重构描述场景的信息(具体地，在深度成像中所获得的深度信息)的示例。矩形参考函数和正弦光源的相关函数I可被推导为
/ = (30 + O1 COS(沒 + (p)通过应用四个延迟0 = {O。 、90° ,180° ,270° }可确定相关函数的四个样本(IP...IJ。从这些样本中，未知量可被计算为
+ /2 + T3 + T4an =—-------~
04aiJ(l4-^)2+(jS -A)T⑵
(p = arctan)利用方程(I)，可从9中计算距离z。这针对每个像素被单独完成，其使能对密集的深度图的计算。如上所述，ToF传感器通常利用包括众多M检测单元的像素。由于这些检测单元中的每一个获得不同的样本，因此,可并行获得M个样本。以下，这种对M个样本的并行获得将被称为子帧。如果N > M，则多个子帧是必须的。一般而言，获得L个子帧并用于对未知量的计算。这种L个子帧的集合建立了如在图3中所示的帧f。如果N>= M，则理论上L = (N/M)四舍五入个子巾贞是足够的。如果N < M,Mused = min(M,N)个检测单元将是获得所有所需样本所必须的，并且，L = I个子帧将足够。但是，当今的ToF系统遭受不同检测单元的异质特点每个检测单元的特征曲线是不同的，即，针对每个检测单元，具体的理论测量值c(例如，相关函数Ii的样本)所给出的测量值的量是不同的。直接使用这种由具有不同特征曲线的检测单元所测量的原始数据将导致在重构未知的场景参数(诸如，相移9)中的重大错误。一种防止这种错误的方法是用单独分开的M检测单元中的每一个来执行N测量中的每一个(即，L = M)。然后，在所有检测单元M上计算算术平均，并且，将其用于对未知量的重构。该方法能够抵消特征曲线的不同。但是，仅可补偿至线性次序的不同。另外，要注意，L >= M个子帧是重构未知量所需的数据所必须的。因此，即便是带有许多并行检测单元(更大的M)的复杂传感器也不能使能更快的获得处理。接下来，应说明一般所使用的平均技术的示例。例如，所使用的传感器通过PMD技术针对每个像素利用M =2个检测单元。为了获得N = 4个相关函数I的样本，L= (4/2)四舍五入=2个子帧将足够。为了防止上述错误，获得L = 4个子帧，导致八个所测量的值。针对0 = {O。、90°、180°、270° }和名为A和B的抽头(“检测单元”)，这些所测量的值(“样本”)称为八(|、13(|、49(|、139(|、418(|、1318(|、427(|、1327(|(下标表不所选的相移0 (用度数[° ]表示))。此处，由检测单元A所获得的样本A。A9(I、A18(I、A27tl形成第一样本集，而由检测单元B所获得的样本B。、B90, B180, B270形成第二样本集。然后，中间量可被计算为I0 = (A0+B0)/2,
I90 = (A90+B90)/2,I iso — (A180+B180) /2,I270 — (A27(I+B27CI)/2，其对应于对原始数据进行算术平均。这些中间量被用于利用方程(2)(例如，tP = arctan [(I270—工90)丨(Iiso — Io)])来计算相移9、a。和 ai。应当注意，本发明应用于多抽头传感器(M> I)。其应用于基于相位和基于脉冲的ToF0其应用于深度成像、FLIM、以及所有其他用这种传感器执行的应用。由于发明改善了传感器原始数据，因此，其是独立于应用的。一般而言，本发明潜在的问题可按照以下明确地表达每个检测单元m(m G {1，…，M})在每个获取处理(子帧)1(1 e {I,..., M})中测量某抽样模式n(n G {I, , N})、(理论)值cn,m(样本)，并且,确定输出值dn,m。实践中,无法完美地实现该处理。其可被模型化为非线性失真cn,m — nonlinn,m ^ dnjD1(2. I)本发明提出按如下来校正输出数据Clmnicn,m — Iionlinmni — dnjD1 ^ correct^ — d，◎(!’吣是^』已校正的测量值。所提出的校正获得如下益处已校正的输出值d’n,ffl仅取决于理论(输入)值cn, ffl,并且，其不再取决于检测单元m或测量所使用的抽样模式n。因此 Cnljml = Cn2jm2 => (Ij nljml = (I1n2jm2,(3)针对所有nl、n2 G {I, . . . , N}和 ml、m2 G {1，...，M}。用于确定合适的校正的一种可能是执行对ToF系统的明示的校准。这需要装置来生成被很好定义的输入cn, m并测量系统的输出dn, m。校正correctn, m可随后被例如实现为查找表或适当的参数化方程，其以如下方式被定义其确保针对每个输入cn,m，已校正的输出d’n,m对应于设计者的预期。这种明示的校准需要相机在受控的环境中并需要使用特殊硬件。另一个问题是特征曲线nonlinn,m在时间上不稳定。反之，它们例如由于温度依赖性而变化。因此，明示的校准不是用于执行所提出的校正的好的选择。在本发明的实施例中提出了对特征曲线nonlinn, m执行隐式的的校准，而非明示的校准。这意味着每个信道被以如下方式校正其满足方程(3)，而非明示地知道cn, m。叙述性地将其明确地表达意味着两个未校正的输出值C^nil和ClnU2的关系被分析(nl、n2 G {I, ... ,N}和ml、m2 G {1，. . .，M})，而非利用未校正的输出值。这使能对整流操作符r的定义，该整流操作符r对值进行校正以确保d’ nl,ffll = d’ n2,m2。由于该问题被证据不足地说明，仅校正一个值就够了，保持第二值未校正(例如，d’n2,m2 = (In2jm2)。在不失一般性的条件下，m = I被选作检测单元，其保持未校正。所有其他检测单元针对每个可能的抽样模式n利用整流操作符rn,m被校正d' n,m = rn>m (dn, m) = rn, m (nonl inn, m (cn, m))
rnjm(dnjm) = (Ij n>m = dnjm,如果m = I (没有校正)，则针对每个 n G {I, , N},即，d，na = dn>1 = nonlinn,J(Vl),并且d' n,m = rnjm(dnjm) =I^niOionlinmni(CnJ) =TnaOionlinna(Cna)) =(!， 」，针对每个可能的Cml,并且，cn,m = Cml, n G {I, . . . , N},如果m古1(在所有其他情形中校正)(4)这意味着存在(M-I) *N个独立重要的和N个非重要的整流操作符rn, mo整流操作符力图针对每个抽样模式(n)补偿由不同的检测单元(m)所导致的误差。要注意，该定义仅隐式地定义了 rn,m。以下将显示rn,m是如何构造的。在本发明的又一实施例中，提出了使用用于ToF数据增强的算法。其可被分为两个“主要”例程，如图4所示的校准例程和整流例程。校准例程涉及如下问题选择合适的原始数据、准备用于计算r的数据(如果可能的话，包括对硬件的操纵)、以及r的生成。在图4A中示意性地示出的整流例程100涉及如下问题执行(SlO)对数据的整流(即，执行整流操作符d’n,m = rn,m(dn,m))、计算(S12)多个所处理的数据集(例如，深度图)、以及可选地执行(S14)进一步的处理(例如，对之前步骤的多个集合进行平均、计算具有高质量的单个集合)。在图4B中示意性地示出的校准例程200的目标是生成可用于对ToF数据的整流的函数r。其可被分为三个子例程，具体地，原始数据选择(S20)、数据准备(S22)和生成r(S24)。子例程原始数据选择(S20)去除可能干扰生成r的处理的原始数据样本。这是通过检测错误测量并将数据注释为不可用于进一步处理来完成的。对错误测量的检测可特别包括-对曝光不足或曝光过度的测量的检测(例如，通过对数据施加阈值数据<通常测量范围的5%或>通常测量范围的95%被注释为不可用的，其中，阈值不是固定的，取决于给定的ToF系统，其他阈值也是合适的)，-使用在之前所获得的校准数据(例如，包括关于通常饱和的检测单元(类似于热像素)的信息的地图、曝光不足的检测单元(类似于黑像素)、通常曝光不足或饱和的检测单元(类似于闪烁像素))，-使用在之前运行整流例程中所收集的知识(例如，发现检测单元针对!■的生成给出不定的结果，其仅当发生之前运行的整流例程时才可用)，-使用由ToF系统的其他组件所生成的可靠图(例如，由制造商固件或第三方库所计算)，-使用信息来检测时间数据的不连续性-使用信息来检测运动伪影，以及
-使用指示生成r的处理的可能的干扰的ToF系统的进一步信息(例如，外部传感器,例如,检测温度冲击的温度传感器、或检测系统的物理冲击的加速计、或内部传感器,例如，检测对系统的激活以用于抑制环境光)。被注释为不可用的数据随后仅被从进一步的处理中排除。另一选择是从可用数据集中删除数据，并且，仅使用剩余数据作为以下处理的输入。准备数据的子例程(S22)目标在于准备用于生成r的以下处理的数据。该准备工作可被描述为回答以下问题“针对给定的理论输入cn, m和测量dn,m(由在抽样模式n中的 检测单元m所测量)，如果已经出现了相同的理论输入Cml = cn, m，在相同抽样模式中的检测单元I将已经测量了什么(作为C^1) ”，即，针对给定的(^、(111,1>关1)，找到(111 =Iionlinna (cn,J。这是重要的，因为在当前的ToF系统中，不同的检测单元m通常不同时运行相同的抽样模式n。即，如果数据必须由运行相同抽样模式n的不同检测单元m获得，则该数据通常在不同的子帧I中获得。由于子帧被连续获得，因此，场景内容可能已经变化，所以在该典型的情形中以下通常是正确的Cnjm ^ Cnjlo出于该原因，Cll1不是直接可测量的，而是得估计或构造。当找到该值时，(dn,m，对被给出到下一模块以用于生成r。一种估计d*n, I的可能是假定在收集原始数据所用的时间间隔期间场景并不变化(即，由各自像素所成像的场景内容是静止的)。然后，可以假定Cnjm = Cna= > dn>! = nonl inn, x (cn> x) = nonl inn, x (cn> m) = d*n, x因此，可找到(dn,^cTna)对。对“静止场景”的假定可通过在原始数据选择模块中的合适过滤来确保。例如，在某些帧的范围内，丢弃所有其绝对时间梯度超过预定义阈值的原始数据值可确保在该计算中仅(本地)使用静止场景。许多应用(例如，在野外监测、医学ToF成像或游戏中)产生包括在若干分钟的时间间隔上针对每个像素足够静止的子序列的数据。因此，该策略将是成功的。存在ToF应用，其中，由于直到收集到足够的数据以生成足够好的整流操作符r所需的时间，等待静止的子序列可能是缺点。在静止序列非常稀少的应用中特别是这种情形，例如，在汽车领域，ToF系统可对可能运动若干小时的外面的场景进行成像。在这种情形中，构造是有优点的。这可通过例如利用度为Q(Q彡I)的多项式来时间插值而完成。例如，Q= I将是线性插值。作为示例，将利用图5来说明。该图示出了在帧数f上所绘制的输出Clml和dn,m的引间进展。实线表示Clml和dn,m的可能的时间进展。圆圈表示在每帧中对这些量的测量。即便^“和七^在相同帧中获得’他们也不是在精确相同的时间处获得(参照图3)。令h是两次获取之间的差，而h是两个连续帧的时间距离。通过在cLu =,和dn,U=W之间线性插值，这将Cll1给出为Clrbl — dn, h f = j+ (tj/tg) (dn, U = i+1_dn, i, f = i)因此，再一次，可找到(dn,m，(Il1)对。
ToF系统的设计者通常知道时间常数h和h。如果不知道，则可基于给定的硬件进行估计，例如，= 0. 5 =如果不可能，则应当利用以上所说明的使用静止场景的策略。接下来，将说明简化的模型和整流。在方程(2. I)中所说明的所假定的潜在物理模型能够针对每个抽样模式(n)对由不同的检测单元(m)单独导致的误差进行建模。在某些情境中，将该模型简化可能是有优点的。例如，如果针对给定的ToF系统，不同的检测单元示出独立于抽样模式的误差，则其可简化为cn, m — nonlinm — dn, m(2. 2)这导致简化的整流操作符rj与方程⑷相比)d' n’m = rm (dn, m) = rm (nonlinm (cn, m))rm(dnjm) = (Ij n>m = dnjm,如果m = I (无校正)，则针对每个 n G {I, ,N},即，d’u = dn>1 = Iionlin1 (cn,I)d' n, m = rm (dn, m) = rm (nonlinm (cn, J) = T1 (nonl ir^ (cn, x)) = d，n, i针对每个可能的Cml,并且 cn,m = Cml, n G {I, . . . , N},如果m古I (在所有其他情形中校正)。(5)接下来，将描述基于硬件控制的校准策略。之前的基于静止或运动场景的校准策略完全是被动方法它们能够与通过现成的ToF系统所获得的数据一起工作。在以下，将说明其他的方法，其融合了所使用的ToF系统的操作模式的部分修改。这些方法的目标是临时地禁止系统，以由每个检测单元测量不同的量cn,m。因此，在单个子帧I中由不同的检测单元Hl1和Hl2所获得的两个获得物Cnl,ml和Cn2,m2是相等的Cnljml = Cn2jm2,G {1， ，N}，Hipm2 G {I, . . . , M},如果二者同时获得(相同的I)。针对简化模型的假定是正确的(参见方程(2. 2))的ToF系统中，这特别意味着Cnjffl = Cnjl= > dn>! = nonlinm(cnjl) = nonlinm(cnjm) = d*n>1因此，可以容易地找到(dn,m，(Il1)对，而无需时间插值或对静止子序列的检测。用于临时地禁用ToF系统以测量不同量cn,m的可能的方法包括用于操纵光源的方法、用于操纵检测单元的抽样模式的方法、以及用于操纵辐射源和检测单元之间的同步的方法。操纵光源的方法目标在于禁用调制，S卩，利用光源来发射非调制辐射、或防止光源发射辐射。后者可例如通过如下方法来获得切断光源、或例如利用快门来物理地阻止所生成的辐射照亮场景。如果使用非调制辐射，则持续使用不同的强度对快速收集构造r(这将在以下说明)所必须的数据可能是有益的。如果不使用辐射，则通常变化的场景内容确保不同数据样本的收集以构造r。但是，针对该选择，需要有环境光(在大多数情形中是这样的，但是不是所有应用都这样)。 特别感兴趣于利用在光源被切断的时间间隔期间所收集的数据，因为当今的ToF系统通常使用突发模式(burst mode)来运行其辐射源。突发模式意味着辐射源不是持续运行的，而是切换接通和关断交替进行的。该切换的原因是其允许发射平均值保持为低(提供眼睛安全)，而发射峰值为高，因此导致更好的活动光与环境光(在活动阶段)的比率，并且，辐射源(例如，LED)被允许冷却，其使能在活动阶段的更高的驱动电流操纵检测单元的抽样模式的方法目标在于将每个检测单元设置在相同的抽样状态中。这包括将所有检测单元设置到相同的抽样模式n中、或确保对检测单元的抽样能力的禁用，即，干扰检测单元的解调处理。这包括用于切断检测单元的能力以改变其敏感度的方法。具体地，敏感度可被设置为具体值。对不同敏感值的持续使用对于快速收集构造r所需的数据是有益的。如果使用单个敏感值，通常变化的场景内容确保对不同数据样本的收集以构造r。用于操纵辐射源和检测单元之间的同步的方法目标在于由检测单元禁用对入射调制辐射的适当抽样。这包括用于变更控制辐射源的信号和控制检测单元的信号之间的相位的方法。其还包括用以变更一个或另一个信号的频率(即，错误调谐信号的频率)的方法。所有方法必须仅运行很短的时间，优选的是，在对用于生成关于场景的信息(例如，用于获得深度图)的数据样本的获取之间、在特定阶段(例如，在激活ToF系统之后短时间(引导时间))期间。可组合所呈现的不同的方法。例如，为了使能对构造!■所需的数据的快速收集，将传感器的敏感度设置为恒定值并变更辐射源(调制的或非调制的)的强度可以是有益的组
口 o接下来，将描述用于构造r的例程(S24)。整流操作符r被用于校正由ToF系统所执行的测量(参见方程(4))。理想情况下，以下是有效的rnjm(dnjm) = d*njlo(6)可以从在准备数据步骤(S22)中所收集的多个P = {(dn,ffl, (Il1)J对(集合)中构造r。构造应当生成整流操作符r，针对大多数说收集的集合P的对而言，方程(6)是正确的。构造应当是鲁棒的，并且，其应当将P—般化。从这个意义上来看，鲁棒意味着某些错误对不应当降低所构造的r的质量。将P —般化意味着错过的对不应当影响所构造的r的空穴(hole)。为了确保所生成的r正针对每个可能的dn, ffl执行好的校正，P应当包括在可能数据的整个范围上分布的数据，即，在P中的dn,m对应当理想地均一分布。为了有效地收集满足该条件的数据并由此使能对r的快速生成，可使用诸如变更辐射源的强度或变更检测单元的敏感度的方法(参见以上关于基于硬件控制的校准策略的说明)。生成r的一种可能是拟合数据集P，即，在KdnJJ上拟合KcTnJiK作为拟合函数，可使用例如任意度g的多项式。更大的g增加了重构处理的质量，但是需要P中的更多对和更高的运算功率。(对于大多数ToF系统而言，g = 0、l或2将是合适的。)作为拟合程序，例如可使用“最小二乘法”。为了确保鲁棒的拟合处理，可使用诸如RANSAC或“最小平均平方”的方法(从一般的文献可知)。其在图6中被示出。虽然希望鲁棒和一般化的整流操作符，但是，没有这些属性的函数也可能在某些应用中给出好的结果(例如，简单的将要校正的误差、用于计算校正的低可用运算功率)。例如，这种校正可以是查找表令L为向量L = Il1,12,. . . lv} ,V =可能的dn,m的数目(通常，由于ToF系统有限的数字分辨率，其为有限的)。针对每对集合P，设置L(dn,J = Cll10然后，r 可被设直为 L :rn,m(dn, m) = L(dn,m) = d n> 1D如所述，非线性的特点可随着时间变化(例如，由于温度变化)。因此，r应当适应于这些变化，而非显示静止的行为。一种确保r是灵活的的可能是限制用于构造r的P中的对的数量。一种可能是在每次添加新对时，删除P中最旧的对。 如果(暂时)不需要时间适应性(例如，因为已知ToF系统的足够的稳定性)，(暂时)禁用对应的例程以节约运算资源、功率等可以是有益的。整流例程100(参见图4A)利用r来执行对数据的整流，并且，处理该已整流的数据。如在方程(4)中所描述的，按照如下来利用整流参数r以执行整流d，n,m = rn,m(dn,m) = dn,m,如果 m = I (无校正)，针对每个 n G {I, , N}d’n, m = rn, m(dn, J ,针对每个n G {I, . . . , N},如果m关I (在所有其他情形中校正)。接下来，将说明对已整流数据的处理。已整流的数据大多没有由不同的非线性放大路径所导致的系统误差。因此，其可被直接处理，即，不执行如上所述并在已知方法中所执行的平均技术。这使能对来自一帧的所测量数据的更加独立的处理数据的运算。例如，在深度成像中，可以在更高频(其给出提高的帧率)处生成深度图，其为本发明的主要优点之一。这应当通过使用示例来说明，该示例示出了对于利用PMD技术的相机可使帧率翻倍。由PMD技术所使用的传感器例如针对每个像素利用M = 2个检测单元。为了获得相关函数I的N = 4个样本，L = 2个子帧将是足够的。利用平均技术，L = 4个子帧是必须的。反之，利用所提出的数据值整流方法，L = 2的样本实际上足够了。相关函数的每个样本对应于某个延迟e 0 = {O。、90。,180° ,270° }因此，针对N = 4个抽样模式中的每一个，一个延迟0被抽样n = I 0 =0°n = 2 9 =90°n = 3 0 = 180。n = 4 9 = 270。相机并行地获得两个样本，其被执行四次1 = 1 dia, d3,2I = 2 d2a, d4j21 = 3 d3a, dlj21 = 4 d4a, d2,2利用以上所使用的术语，其对应于I = I dia = A0 d3,2 = B180I = 2 d2a = A90 d4,2 = B270I = 3 d3a = A180 dlj2 = B0I = 4 d4a = A270 d2j2 = B90此处，由检测单元A所获得的样本Cl1,Pd2,Pd3,Pd4,: (A。、A9Q、A18Q、A27tl)形成第一样本集，而由检测单元B所获得的样本Cl1,2、d2,2、d3,2、d4,2 (B0, B90, B180, B270)形成第二样本集。作为示例，整流操作符r从如下(现场的)序列中生成
a)单独地针对每个像素、每个检测单元而后每个抽样模式，通过进行预选和精细化，静止子序列被搜索。al)在预选步骤中，时间步骤tl的时间梯度的平方低于阈值(的所有样本被接受接受dn,m,tl，如果(dn,m,t「dn,m,tQ)2 < ^dnjmjt0和dn,m,tl是一个像素的一个原始信道的时间步骤t0和tl (t0 < tl)处所获得的两个连续值。阈值(例如被设置为样本最大值的10%。
a2)在接下来的精细化步骤中，如果由相同像素而非其他检测单元和抽样模式在时间步骤tl中所获得的所有样本在预选步骤中被接受，则接受时间步骤tl的样本。丢弃所有其他的样本。b)针对每个像素，每个抽样模式n以及m = 2，线性函数(度为I的多项式)(7)利用最小二乘拟合被在KcL2) J上拟合到{(屯1)1}，其给出整流操作符4,2(8)。dna = pnjm+qnjm*dnjm, m = 2, n G {I, . . . , N}(7)rnj2(dnjm) = pnjm+qnjm*dnjm.(8)此处，pn>m是偏移，而qu是整流操作符Lni的斜率。在图6中，给出了在某抽样模式n和对应的线性拟合(用实线表示)中所获得的所收集的数据的典型图。不要求计算Hl= I时的整流操作符，因为这些样本基本未校正。整流处理对数据进行校正。用检测单元m = I (检测单元A)所获得的是数据基本未校正d’ U1 = !Tui (O ,如果 m = I (基本未校正)，针对每个 n G {I, . . . , N}2a = r2a(d2a) = d2ad’ 3,丨=I^1(Cl3a) = d3ad，4a = r4a (d4a) = d4ad’ lj2 = rlj2(dlj2) = P1Jq1Jdu2d，2,2 = r2j2(d2j2) = P2,2+q2,2*d2,2d，3,2 = r3j2(d3j2) = P3,2+q3,2*d3,2d，4,2 = r4j2(d4j2) = P4,2+q4,2*d4,2此处，基本未校正(即，未校正)的样本Cl1,^d2,^d3,^d4,: (A^A^A-A27tl)形成第一样本子集，而将要校正的样本Cl1,2、d2,2、d3,2、d4,2 (B0, B90, B180, B270)形成第二样本子集。此处，应当注意，一般而言，子集还可包括来自不同的样本集(即，用不同的检测单元所获得)的样本，并且，多于一个子集的样本(具体地，如果像素包括多于两个检测单元)被按上述校正。从这八个样本中，可利用方程(2)来计算两个独立的相位图像(给出两个独立的深度图)
cpl = arctan[(d4,2 — d 2,1)/(^3,2-^1,0]对应于cpl— arctan[(B 270 — A 90)/(B 副—A。)]02 = arctan[(d，2,2)/ (d，3a-d，lj2)]
对应于
权利要求
1.一种用于获取关于场景的信息的3D飞行时间相机，具体地，该相机用于获取场景的深度图像、关于参考信号和场景的入射辐射之间的相移的信息、或关于所述场景的环境信息，所述相机包括-辐射源(12)，该辐射源(12)生成并发射电磁辐射(13)，以用于照明所述场景(2)，-辐射检测器(14)，该辐射检测器(14)检测从所述场景(2)反射的电磁辐射(15a，15b)，所述辐射检测器(14)包括一个或多个像素(16)，具体地，像素阵列，其中，所述一个或多个像素单独检测从所述场景反射的电磁辐射，其中，一像素包括两个或更多个检测单元(161-1，161-2，...),每个检测单元检测两个或更多个样本的样本集中的样本，以及-评估单元(18)，该评估单元(18)评估所述两个或更多个检测单元的所述样本集，并且，从所述样本集生成与场景相关的信息，其中，所述评估单元包括-整流单元(20)，该整流单元(20)通过利用预定整流操作符来对所述样本集中的样本的子集进行整流，所述预定整流操作符定义了由特定像素的两个不同的检测单元所检测到的样本之间的相关度，以及-信息值计算器(22)，该信息值计算器(22)从所述整流的样本的子集和所述样本集中的剩余样本确定所述与场景相关的信息的信息值。
2.根据权利要求I所述的3D飞行时间相机，其中，所述辐射检测器(14)适用于对入射电磁辐射和参考信号的相关函数进行抽样，其中，样本集包括针对所述入射电磁辐射和所述参考信号之间的不同相移，具体地针对等距相移，的所述相关函数的两个或更多个样本。
3.根据权利要求I所述的3D飞行时间相机，其中，所述辐射检测器(14)针对每个像素包括传感器元件(40)和切换器(41)，该传感器元件(40)将入射电磁辐射转换成电子，该切换器(41)与所述辐射源同步并将所述电子分到所述两个或更多个检测单元。
4.根据权利要求3所述的3D飞行时间相机，其中，所述检测单元(161-1,161-2)中的每一个包括存储电子的量子阱(42，44)、将所存储的电子转换成电压信号的转换器(44、45)、放大所述电压信号的放大器(46、47),以及将所述电压信号数字化的模拟-数字转换器(48、49)。
5.根据前述权利要求中的任一项所述的3D飞行时间相机，其中，所述整流单元(20)适用于对所述样本集的所有样本进行整流，具体地，除了由用于检测所述样本集的样本的所述两个或更多个检测单元中的一个所检测到的样本以外。
6.根据前述权利要求中的任一项所述的3D飞行时间相机，其中，所述整流操作符表示到由特定像素的两个不同的检测单元所检测到的样本对的多项式拟合，具体地，度为0、1或2的多项式拟合。
7.根据前述权利要求中的任一项所述的3D飞行时间相机，还包括整流操作符生成器(24)，该整流操作符生成器(24)通过将具体地度为O、I或2的多项式拟合拟合到由特定像素的两个不同的检测单元所检测到的样本对来生成所述整流操作符，具体地，拟合到所述场景的本质上静止的区域的样本。
8.根据权利要求2和7所述的3D飞行时间相机，其中，所述整流操作符生成器(24)适用于通过将具体地度为0、1或2的多项式拟合拟合到由特定像素的两个不同的检测单元针对相同的抽样模式所检测到的样本对来生成所述整流操作符。
9.根据前述权利要求中的任一项所述的3D飞行时间相机，其中，所述整流单元(20)适用于利用像素各自的整流操作符来进行对由像素的除了一个检测单元之外的所有检测单元所检测到的样本的整流，或利用相同的整流操作符来进行对所有像素的样本的整流。
10.根据前述权利要求中的任一项所述的3D飞行时间相机，其中，所述辐射源(12)可操作用于发射从Inm到Icm的波长范围内的电磁辐射(13)，具体地，发射红外线、可见光或紫外线光。
11.根据前述权利要求中的任一项所述的3D飞行时间相机， 其中，所述评估单元(18)可操作用于生成与场景相关的关于所述场景(2)的一个或多个对象(4a，4b)的距离、所述场景的一个或多个对象(4a，4b)的反射率(29)和/或非调制辐射￠)的强度的信息，具体地，包括由所述场景所反射的环境光和辐射源的非调制光。
12.根据前述权利要求中的任一项所述的3D飞行时间相机，其中，所述辐射源(12)可操作用于连续发射电磁辐射(13)，并且其中，所述信息值计算器(20)可操作用于基于从所述场景所反射的光的相位信息来确定所述信息值，从而从相同像素信号的至少两个后续样本的所述集来对所述样本进行修改。
13.根据前述权利要求中的任一项所述的3D飞行时间相机，其中，所述辐射源(12)可操作为发射辐射脉冲，并且其中，所述信息值计算器(20)可操作用于基于来自相同像素信号的至少两个后续样本的所述集的所述样本的强度信息来确定所述信息值。
14.根据前述权利要求中的任一项所述的3D飞行时间相机，还包括控制单元(26)，该控制单元(26)临时禁用所述相机，以由所述检测单元测量不同的量，具体地，通过控制所述辐射源(12)、所述检测单元(161-1,161-2，...)的抽样模式、在所述辐射源和所述检测单元之间的同步，以及/或入射到辐射检测器处的辐射的辐射路径。
15.一种用于获取关于场景的信息的3D飞行时间方法，具体地，用于获取场景的深度图像、关于参考信号和场景的入射辐射之间的相移的信息、或关于所述场景的环境信息，所述方法包括如下步骤-生成并发射电磁辐射(13)，以用于照明所述场景(2)，-由包括一个或多个像素(16)，具体地，像素阵列，的辐射检测器(14)检测从所述场景(2)反射的电磁辐射(15a，15b)，其中，所述一个或多个像素单独检测从所述场景反射的电磁辐射，其中，像素包括两个或更多个检测单元，每个检测单元检测两个或更多个样本的样本集中的样本，-评估所述两个或更多个检测单元的所述样本集，并且，从所述样本集生成与场景相关的信息，其中，所述评估步骤包括如下子步骤-通过利用预定整流操作符来对所述样本集中的样本的子集进行整流，该预定整流操作符定义了由特定像素的两个不同的检测单元所检测到的样本之间的相关度，以及-从所述整流的样本的子集和所述样本集的剩余样本确定所述与场景相关的信息的信息值。
16.一种用于在获取关于场景的信息的3D飞行时间相机中使用的处理器，具体地，用于获取场景的深度图像、关于参考信号和场景的入射辐射之间的相移的信息、或关于所述场景的环境信息，所述3D飞行时间相机包括辐射源(12)，该辐射源(12)生成并发射电磁辐射(13)，以用于照明所述场景(2)，以及辐射检测器(14)，该辐射检测器(14)检测从所述场景(2)反射的电磁辐射(15a，15b)，所述辐射检测器(14)包括一个或多个像素(16)，具体地，像素阵列，其中，所述一个或多个像素单独检测从所述场景反射的电磁辐射，其中，像素包括两个或更多个检测单元，每个检测单元检测两个或更多个样本的样本集中的样本，所述处理器可操作用于评估所述两个或更多个检测单元的所述样本集并从所述样本集生成与场景相关的信息，其中，所述处理器包括-整流单元(20)，该整流单元(20)通过利用预定整流操作符来对所述样本集中的样本的子集进行整流，该预定整流操作符定义了由特定像素的两个不同的检测单元所检测到的样本之间的相关度，以及-信息值计算器(22)，该信息值计算器(22)从所述整流的样本的子集和所述样本集的剩余样本确定所述与场景相关的信息的信息值。
17.一种用于在获取关于场景的信息的3D飞行时间方法中所使用的处理方法，具体地，用于获取场景的深度图像、关于参考信号和场景的入射辐射之间的相移的信息、或关于所述场景的环境信息，所述3D飞行时间方法包括生成并发射电磁辐射(13)以用于照明所述场景(2)的步骤，以及由包括一个或多个像素(16)，具体地，像素阵列，的辐射检测器(14)检测从所述场景(2)反射的电磁辐射(15a，15b)的步骤，其中，所述一个或多个像素单独检测从所述场景反射的电磁辐射，其中，像素包括两个或更多个检测单元，每个检测单元检测两个或更多个样本的样本集中的样本，所述处理方法可操作用于评估所述两个或更多个检测单元的所述样本集，并且，从所述样本集生成与场景相关的信息，其中，所述处理方法包括如下步骤-通过利用预定整流操作符来对所述样本集中的样本的子集进行整流，该预定整流操作符定义了由特定像素的两个不同的检测单元所检测到的样本之间的相关度，以及-从所述整流的样本的子集和所述样本集的剩余样本确定所述与场景相关的信息的信息值。
18.一种计算机程序，该计算机程序包括程序代码装置，当所述计算机程序被在计算机上执行时，所述程序代码装置致使所述计算机执行根据权利要求17所述的所述方法的步骤。
19.一种计算机可读非暂存性介质，指令被存储在该介质上，当指令被在计算机上执行时，致使所述计算机执行根据权利要求17中所述的方法的步骤。
全文摘要
本发明公开了3D飞行时间相机和方法。本发明涉及用于获取关于场景的信息的3D飞行时间相机和对应的方法，具体地，用于获取场景的深度图像、关于参考信号和场景的入射辐射之间的相移的信息、或关于场景的环境信息。为了提高帧率，所提出的相机包括辐射源(12)，该辐射源(12)生成并发射电磁辐射(13)以用于照明场景(2)，辐射检测器(14)，该辐射检测器(14)检测从场景(2)反射的电磁辐射(15a，15b)，辐射检测器(14)包括一个或多个像素(16)，具体地，像素阵列，其中，一个或多个像素单独检测从场景反射的电磁辐射，其中，像素包括两个或更多个检测单元(161-1，161-2，...)，每个检测单元检测两个或更多个样本的样本集的样本，以及评估单元(18)，该评估单元(18)评估两个或更多个检测单元的样本集，并且，从样本集生成与场景相关的信息，其中，所述评估单元包括整流单元(20)，该整流单元(20)通过利用预定整流操作符来对样本集的样本的子集进行整流，该预定整流操作符定义了由特定像素的两个不同的检测单元所检测到的样本之间的相关度，以及信息值计算器(22)，该信息值计算器(22)从整流的样本的子集和样本集的剩余样本确定与场景相关的信息的信息值。
文档编号G06T7/00GK102622745SQ201210014998
公开日2012年8月1日 申请日期2012年1月12日 优先权日2011年1月12日
发明者克劳斯·齐默尔曼, 米克·施密特 申请人:索尼公司