设备与方法与流程

本公开整体涉及飞行时间成像设备与方法。

背景技术：

已知飞行时间(tof)3d成像设备用于通过分析从光源至对象及返回的飞行时间而提供关于到对象的距离的信息。tof3d成像装置(或3dtof相机)依赖于tof原理，即，需要多次后续的测量，通过多次测量执行深度计算，以估计对象距相机的实际距离。每次测量具有其自身的积分时间和时间周期，在该时间周期期间，用于判断深度图所需的多次测量也具有确定的持续时间。

tof相机从根据tof原理(图1中所示及下文中说明的)进行的后续获取/测量的集合中计算3d图像或深度图。当场景内的对象在后续测量的全部集合期间移动时(或如果相机在场景内相对于对象以使距离随着时间改变的方式移动时)，则由于每个像素的后续每次测量将不与场景的同一部分对应，所以可能对计算深度产生负面影响，并且从根据tof原理的所述后续测量提取的计算深度测量将提供不准确的深度估计(在2d成像中，称为运动模糊)。

为了判断对象距相机的距离，通常将光检测信号与相比于初始光信号分别移位了0°、180°、90°、以及270°的四个电参考信号相关。获取应被适配成使针对涉及动态方面(即，相机或场景/对象的运动)的场景的深度计算中所产生的误差最小化。已经将本技术领域中的相关测量的次序设置成如下：连续获取第一组相关测量：获取0°相关测量，然后，获取90°相关测量；随后连续获取第二组相关测量：获取180°相关测量，然后，获取270°相关测量。为了在测量四个相关性时减少相机移动或场景变化的影响，本领域技术人员尝试通过尽可能快地测量四个相关而减少场景变化所产生的误差(“运动模糊”)，或本领域技术人员应使用额外的信号处理来识别其中产生运动模糊的区域。

尽管存在这种用于减少相机移动或场景变化的影响的技术，然而，通常希望提供在减少相机移动或场景变化的影响方面的更为高效的方案。

技术实现要素：

根据第一方面，本公开提供一种包括电路的设备，被配置为：通过将光检测信号与相应的相移参考信号相关而获取相关信号，相关信号包括正交相关信号和同相相关信号；其中，电路以这样一种方式配置，即，正交相关信号的平均获取时间与同相相关信号的平均获取时间基本相等。

根据又一方面，本公开提供一种包括电路的设备，被配置为：通过将光检测信号与相应的相移参考信号相关而获取相关信号，相关信号包括第一组相关信号和第二组相关信号；其中，电路以这样一种方式配置，即，第一组相关信号的平均相位与第二组相关信号的平均相位彼此正交或基本正交；并且其中，电路以这样一种方式配置，即，第一组相关信号的平均获取时间与第二组相关信号的平均获取时间相等或基本相等。

根据又一方面，本公开提供一种方法，包括：通过将光检测信号与相应的相移参考信号相关而获取相关信号，相关信号包括正交相关信号与同相相关信号；其中，以这样一种方式执行相关信号的获取，即，正交相关信号的平均获取时间与同相相关信号的平均获取时间基本相等。

根据又一方面，本公开提供一种方法，包括：通过将光检测信号与相应的相移参考信号相关而获取相关信号，相关信号包括第一组相关信号和第二组相关信号；其中，第一组相关信号的平均相位与第二组相关信号的平均相位彼此正交或基本正交；并且其中，第一组相关信号的平均获取时间与第二组相关信号的平均获取时间相等或基本相等。

从属权利要求、下列描述、以及附图中对另外的方面进行了阐述。

在参考附图对本公开的实施方式进行更为详细的说明之前，进行一些一般性的说明。

电路可以是任意类型的电子电路，包括：诸如微芯片等集成电路、诸如cpu等处理单元、led和/或激光驱动电子电路等。

例如，光检测信号可以与通过tof相机的相机传感器获得的光对应。例如，在tof成像时，光检测信号可以与从利用调制光照射的场景反射的光对应。

通过基于已知光速分辨距离的tof相机系统可以获得光检测信号，以针对图像中的每个点测量相机与对象之间的调制光信号的飞行时间。在实施方式的上下文中，可以使用关于飞行时间相机的各种技术，例如，具有检相器、或距离选通成像器的rf调制光源。例如，通过包括像素阵列的传感器可以捕获反射光，其中，单个像素由将传入光转换成电流的光敏元件(例如，光敏二极管)构成。

在tof成像时，例如，将参考信号与光检测信号相关，以生成相关信号。参考信号可以是电参考信号等。根据一些实施方式，参考信号是相比于调制光信号分别相移了0°、180°、90°、以及270°的电参考信号。

例如，正交相关可以涉及相移为90°、或基本90°、或270°、或基本270°的参考信号，然而，例如，同相相关可以涉及相移为0°、或180°、或基本0°、或基本180°的参考信号。

根据实施方式，正交相关信号的平均获取时间与同相相关信号的平均获取时间基本相等。如果正交相关信号的平均获取时间与同相相关信号的平均获取时间基本相等，这可能导致描述调制光信号与光检测信号之间的相移角的方程式的分子中所使用的相关性的平均获取时间与描述该相移角的方程式的分母中的相关性的平均获取时间基本相等。即，如果正交相关信号的平均获取时间与同相相关信号的平均获取时间基本相等，这可能导致引起运动模糊的相位偏移误差明显减少。

根据一些实施方式，相关信号是正交调制信号并且电路被配置为在180°反相位上获取第一相关信号和最后相关信号，并且还在180°反相位上获取第二相关信号和第三相关信号。

根据一些实施方式，第一相关信号与最后相关信号是正交相关信号，而第二相关信号与第三相关信号是同相相关信号。

根据又一些实施方式，第一相关信号与最后相关信号是同相相关信号，而第二相关信号与第三相关信号是正交相关信号。

根据一些实施方式，电路被配置为：首先连续获取第一组相关测量：获取0°相关测量，然后获取180°相关测量；随后连续获取第二组相关测量：获取90°相关测量，然后获取270°相关测量。

根据一些实施方式，电路被配置为：在第一时间t0，获取0°相关信号；在第二时间t0+δt，获取90°相关信号；在第三时间t0+2.δt，获取270°相关信号；并且在最后时间t0+3.δt，获取180°相关信号；其中，t0是开始获取相关信号时的时间，并且其中，δt是预定时间间隔。

根据一些实施方式，电路被配置为根据可替代的相移序列获取相关信号。

例如，在不偏离本申请中描述的整体构思的情况下，相关信号的全部相位可以移位相同的预定相角。

即，例如，电路还可以被配置为：通过将光检测信号与相应的相移参考信号相关而获取相关信号，相关信号包括第一组相关信号和第二组相关信号；其中，电路以这样一种方式配置，即，第一组相关信号的平均相位与第二组相关信号的平均相位彼此正交或基本正交；并且其中，电路以这样一种方式配置，即，第一组相关信号的平均获取时间与第二组相关信号的平均获取时间相等或基本相等。

具体地，第一组相关信号可以包括相移为预定相角的正交调制信号，并且第二组相关信号可以包括相移为相同的预定相角的同相相关信号。

例如，第一组相关信号可以包括正交调制信号，并且第二组相关信号可以包括相移为任意相角的同相相关信号。

设备可以进一步包括用于利用调制光信号照射场景的照明单元。例如，照明单元可以是发光二极管(led)，具体地，激光二极管等。

设备可以进一步包括用于接收光检测信号的成像传感器。例如，传感器可以包括ccd像素阵列。

例如，根据实施方式的方法可以包括：通过将光检测信号与相应的相移参考信号相关而获取相关信号，相关信号包括正交相关信号与同相相关信号；其中，以这样一种方式执行相关信号的获取，即，正交相关信号的平均获取时间与同相相关信号的平均获取时间基本相等。

附图说明

参考所附附图，通过实施例对实施方式进行说明，其中：

图1示意性地描述了tof相机的基本操作原理；

图2提供了飞行时间测量中涉及的信号的实施例；

图3表示极性形式的光检测信号

图4示出了相关测量控制序列的实施例；

图5示出了由现有技术的相移序列提供并且示出基本的运动模糊的tof3d示例性图像；

图6示意性地示出了如何判断分子q与分母i的平均获取时间的实施例；

图7示意性地示出了使用根据本公开的实施方式的相移序列获取tof图像的方法；并且

图8示出了伸出食指的手的后示图，手执行画圆手势，且通过位于手的顶部的3dtof相机获取场景。

具体实施方式

图1示意性地示出了tof相机3的基本操作原理。tof相机3通过分析光从专用照明单元18至对象的飞行时间而捕获场景15的3d图像。tof相机3包括相机，例如，3d传感器1和处理器4。使用专用照明单元18通过预定波长的调制光16主动照射场景15，例如，利用通过定时发生器5生成的至少一个预定频率的一些光脉冲进行照射。调制光16从场景15内的对象被反射回去。透镜2收集反射光17并且将对象的图像形成到相机的成像传感器1上。根据对象距相机的距离，调制光16(例如，所谓的光脉冲)的发射与这些反射光脉冲17的相机的接收之间经历延迟。可以确定反射对象与相机之间的距离作为所观察的时延和光速恒定值的函数。

如下，能够计算对象距相机的距离。

图2示出了飞行时间测量中涉及的信号的实施例。调制信号s(图1中的16)被发送到对象。在对对象反射之后，通过接收反射光(图1中的17)的光电检测器检测信号由于行进时间，与初始信号相比s，该信号的相移为相位例如，如果信号s是正弦波形式：

s＝acos(2πft)(方程式1)

则能够被视为具有下列数学形式的相移波：

通过下列方程式定义所谓的同相i分量和正交q分量：

则能够被写成：

该方程式能够通过其极性形式将表示成图3中所表示的矢量，且是的相位，并且r是与信号的振幅a对应的参数并且还涉及所谓的置信度。

i、以及q是用于测量对象距相机的距离的关键参数。为了测量这些参数，通常将光检测信号与命名为si、sq、以及的电参考信号相关。如图2中示出的，与初始光信号s相比，si、sq、以及分别是移位了0°、180°、90°、以及270°的电参考信号。所获得的相关信号的定义如下：

因此，可以两个参数i和q，使得：

并且

as与α分别是在操作期间测量的光检测信号的振幅变化与相关效率。

的求根取决于调制信号s的形状。例如，如果s是正弦波，则

一旦获知相位则能够根据下列式子检索到对象距相机的距离

其中，c是光速，fmod是调制频率，并且n是与相位模糊有关的整数。

场景或相机变化

方程式(12-14)中的反正切项依赖于在测量四个相关性时场景和相机都没有改变的假设。例如，在不变并且as增加因0°、90°、180°、以及270°信号移位而产生的相关性之间的常数δas的情况下，相位偏移误差为：

更精确地，在现有技术中，在逻辑上将相关测量的顺序设置成如下：连续获取第一组相关测量：获取相关测量，然后获取相关测量；随后连续获取第二组相关测量：获取相关测量，然后获取相关测量。这是由于偏移量易于从一个相位线性地增加至下一个相位；每次，根据单一并且相同的偏移量90°设置增加量(需要被分配为存储偏移量的一个单一存储器)。

图4示出了相关测量控制序列的实施例。控制序列包括u帧(uframe)uf，u帧(uframe)uf包括四个子帧sf1、sf2、sf3、以及sf4。每个子帧涉及相对于具体参考信号的具体相关测量。根据本技术领域的相移序列，子帧sf1控制0°相关测量子帧sf2控制90°相关测量子帧sf3控制180°相关测量并且子帧sf4控制270°相关测量每个子帧包括集成序列，在集成序列期间，接收相关信号并且进行集成。集成序列之后是r/o序列，在r/o序列期间，读出集成结果。r/o序列之后是sfdt序列，至此，子帧结束。dt是子帧停歇时间，在此期间，没有进行任何操作。

图5示出了通过现有技术的相移序列提供的tof3d示例性图像。由此，当用户在tof3d相机之前移动手时，已经获得tof3d图像，tof3d图像表现出明显的运动模糊。

下面描述的实施方式涉及一种随着时间进行获取的有利布置，当从tof原理进行估计时，所述布置能够实现深度计算误差的最小化。更精确地，其涉及信号移位的重新排序，以使相位误差减小。

布置使分子中使用的相关性的平均获取时间(在描述相移角的方程式12-14中)与分母中的相关性的平均获取时间(在描述相移角的方程式12-14中)相等。

对于类似所描述的正交调制，这是指在180°反相位上获取第一3d图片和最后3d图片，并且还在例如下文中改进的相移中获取第二3d图片和第三3d图片。

图6示意性地示出了使用本发明的实施方式中的相移序列时如何判断方程式12-14中的分子q和分母i的平均获取时间的实施例。图6中的下方图表示出了随着时间t获取方程式12-14中的分子q的相关信号和(正交相关)作为信号振幅a。对应地，图6中的上方图表示出了随着时间t获取方程式12-14中的分母i的相关信号和(同相相关)作为信号振幅a。在时间t0开始相关信号的获取并且持续集成时间δt，在时间t0+δt开始相关信号的获取并且持续集成时间δt，在时间t0+2.δt开始相关信号的获取并且持续集成时间δt，并且在时间t0+3.δt开始相关信号的获取并且持续集成时间δt。出于示例性之缘故，本文中假设对于每次相关测量，集成时间δt与信号振幅a(t)＝a0是相同的。由此，分子(nominator)相关和的平均获取时间yq为：

相应地，分母(denominator)相关和的平均获取时间yi为：

即，利用图6中的实施例中的相移序列，分子相关和(正交相关)的平均获取时间yq与分母相关和(同相相关)的平均获取时间yi相同。

如同图6中的实施方式，假设对于每次相关测量，集成时间δt与信号振幅a(t)＝a0相同，分子相关(正交相关)的平均获取时间yq与分母相关(同相相关)的平均获取时间yi完全相同。在其他实践实施例中，对于每次相关测量，振幅a、时间间隔δt、以及集成周期δt不必相同。在这种情况下，分子相关(正交相关)的平均获取时间yq与分母相关(同相相关)的平均获取时间yi不必完全相同。其基本相同则足以。

下表中显示了与本技术领域中的相移序列相比较的第一实施方式中的上述所述相移序列。

例如，该顺序将方程式16转换成下文中示出的方程式17，方程式17示出了相位误差已经减少至0。

下表中显示了其他实施方式的另外相移序列，其中，相移序列a与上面表中描述的一个序列相同：

根据上面的相移序列，在180°反相位上获取第一相关信号和最后相关信号，并且还在180°反相位上获取第二相关信号和第三相关信号。

根据另一些实施方式，相关信号与发射信号不必一定同相或是发射信号的二次方程式。例如，相关信号的全部相位能够移位相同的角，以使相关信号之间的差异保持相同，并且仍获得实施方式的有益效果。例如，在不背离实施方式的实质的情况下，能够使用相移序列a’：0°+δ、90°+δ、270°+δ、180°+δ代替相移序列a：0°、90°、270°、180°。

根据这些实施方式，相移正交相关信号的平均相位与相移同相相关信号的平均相位彼此正交。例如，根据上面相移序列a’，已移位的同相相关信号0°+δ、180°+δ的平均值是90°+δ，并且已移位的正交相关信号90°+δ、270°+δ的平均值是180°+δ。即，已移位的同相相关信号的平均值90°+δ与已移位的正交相关信号的平均值180°+δ彼此正交(|(180°+δ)-(90°+δ)|＝90°)。

根据该实施方式，其中，相关信号的全部相位移位相同的角δ，方程式(16)采取下列形式：

下表中显示了又一些实施方式的相移序列：

再次，全部角能够移位相同的角δ，以使全部角之间的差异保持相同，并且仍获得实施方式中的有益效果。例如，在不背离实施方式的实质的情况下，能够使用相移序列i’：0°+δ、90°+δ、210°+δ、120°+δ代替相移序列i：0°、90°、210°、120°。根据这些实施方式，再次，相移正交相关信号的平均相位与相移同相相关信号的平均相位彼此正交。例如，根据上面的相移序列i’，已移位的同相相关信号0°+δ、180°+δ的平均值是90°+δ，并且已移位的正交相关信号90°+δ、270°+δ的平均值是180°+δ。即，已移位的同相相关信号的平均值90°+δ与已移位的正交相关信号的平均值180°+δ彼此正交(|(180°+δ)-(90°+δ)|＝90°)。

根据上面的相移序列，在120°反相位上获取第一相关信号和最后相关信号，并且还在120°反相位上获取第二相关信号和第三相关信号。

根据该实施方式，方程式(16)采取下列形式(与方程式16’相同)：

在现有技术中，本领域技术人员应通过尽可快地测量四个相关而减少由场景变化(“运动模糊”)引起的误差，以减少场景变化的影响，或本领域技术人员应使用额外的信号处理来识别其中已经产生运动模糊的区域。然而，上述所述实施方式限制了在关键的共同情况下引起深度测量误差并且通过其他方式明显地减少误差的运动模糊无需额外的计算并且无需改造系统，而仅需修改方法参数。

图7示意性地示出了使用根据本公开的实施方式的相移序列获取tof图像的方法。在801，通过将光检测信号与相应的相移参考信号sq相关而获取相关信号在802，通过将光检测信号与相应的相移参考信号si相关而获取相关信号在803，通过将光检测信号与相应的相移参考信号相关而获取相关信号在804，通过将光检测信号与相应的相移参考信号相关而获取相关信号相关信号包括正交相关信号和同相相关信号以这样一种方式执行相关信号的获取，即，正交相关信号的平均获取时间与同相相关的平均获取时间基本相等。

实施方式的效果

图8示出了伸出食指的手的后示图，手执行画圆手势，且通过位于手的顶部上的3dtof相机获取场景。从随后获取的相关性计算的相位差误差生成靠近和远离y轴上的相机的错误深度测量。深度测量误差随着所考虑的像素与其周围像素之间的梯度而增加。已经利用本技术领域中的相移序列获得了左侧图像(图8a)，并且已经利用上述所述实施方式中的相移序列获得了右侧图像(图8b)。从图8中能够看出，与根据现有技术的相移序列的运动模糊相比较，根据实施方式的相移序列的运动模糊减少。

实施方式应用于其中操作tof相机系统的所有情形，并且具体地，应用于其中运动模糊被最小化和/或系统约束条件能够被放宽为恒定的运动模糊的情形，例如，移动手/手指的跟踪，例如，汽车内移动整个身体的跟踪，或利用移动对象/相机进行3d对象扫描。

如果未另行陈述，本说明书中描述及所附权利要求中要求保护的所有单元和实体则能够实现为例如片上的集成电路逻辑，并且如果未另行陈述，则能够通过软件实现由该单元和实体提供的功能。

迄今，使用软件控制的数据处理设备至少部分实现了上述所述公开的实施方式，应当认识到，设想了提供该软件控制和传输、存储、或其他介质(提供该计算机程序)的计算机程序作为本公开的各方面。即，在一些实施方式中，本文中描述的方法还可以实现为这样的计算机程序，即，当在计算机和/或处理器上运行时，使计算机和/或处理器执行方法。在一些实施方式中，还提供了其中存储计算机程序产品的非易失性计算机可读记录介质，当通过诸如上述所述处理器等处理器运行计算机程序产品时，使执行本文中描述的方法。

在上述所述一些实施方式中，使用具有四个不同的相关信号的正交调制相关信号。然而，实施方式并不局限于该具体的配置。例如，在可替代的实施方式中，能够使用比四个更多或更少的相关信号。

同样，在上述所述一些实施方式中，通过将光检测信号与相比于调制的光信号s分别移位0°、180°、90°、以及270°的相应相移参考信号si、sq、以及相关而获得相关信号然而，实施方式并不局限于该具体的配置。例如，在可替代的实施方式中，可以使用诸如0°、90°、120°、以及270°等其他相移、或其他组合。

本领域技术人员易于认识到，本公开并不局限于实施方式中描述的具体处理顺序。例如，图7中的处理801与实施例802能够互换。

应注意，本技术还能够被配置成如下所述。

(1)一种包括电路的设备，被配置为：

通过将光检测信号与相应的相移参考信号相关而获取相关信号相关信号包括正交相关信号和同相相关信号

其中，电路以如下方式配置：使正交相关信号的平均获取时间与同相相关信号的平均获取时间相等或基本相等。

(2)根据(1)所述的设备，其中，处理器被配置为根据相移序列(a-h)中的任意一个序列获取相关信号

(3)根据(1)或(2)所述的设备，其中，相比于经调制的光信号(s)，参考信号的相移分别为0°、90°、270°、以及180°。

(4)根据(1)至(3)中任一项所述的设备，其中，相关信号是正交调制信号，并且电路被配置为在180°反相位上获取第一相关信号和最后相关信号并且还在180°反相位上获取第二相关信号和第三相关信号。

(5)根据(1)至(3)中任一项所述的设备，其中，电路被配置为：首先连续获取第一组相关测量：获取0°相关测量，然后获取90°相关测量；随后连续获取第二组相关测量：获取210°相关测量，然后获取120°相关测量。

(6)根据(3)所述的设备，其中，电路被配置为：

在第一时间t0，获取0°相关信号

在第二时间t0+δt，获取90°相关信号

在第三时间t0+2.δt，获取270°相关信号并且

在最后时间t0+3.δt，获取180°相关信号其中，

t0是开始获取相关信号时的时间，并且其中，δt是预定时间间隔。

(7)根据(1)至(4)中任一项所述的设备，其中，处理器被配置为根据相移序列(a-h)中的任意一个序列获取相关信号

(8)根据(1)至(3)中任一项所述的设备，其中，处理器被配置为根据相移序列(i-p)中的任意一个序列获取相关信号

(9)根据(1)至(3)中任一项所述的设备，进一步包括：照明单元(18)，被配置为利用经调制的光信号(s)照亮场景(24)。

(10)根据(1)至(9)中任一项所述的设备，进一步包括：成像传感器(1)，被配置为接收光检测信号

(11)一种包括电路的设备，被配置为：

通过将光检测信号与相应的相移参考信号相关而获取相关信号相关信号包括第一组相关信号和第二组相关信号

其中，电路以如下方式配置：使第一组相关信号的平均相位与第二组相关信号的平均相位彼此正交或基本正交；并且

其中，电路以如下方式配置：使第一组相关信号的平均获取时间与第二组相关信号的平均获取时间相等或基本相等。

(12)根据(11)所述的设备，其中，第一组相关信号包括正交调制信号并且第二组相关信号包括同相相关信号。

(13)根据(11)或(12)所述的设备，其中，第一组相关信号包括相移预定相位角的正交调制信号并且第二组相关信号包括相移预定相位角的同相相关信号。

(14)根据(11)至(13)中任一项所述的设备，其中，处理器被配置为根据相移序列(a-h)中的任意一个序列来获取第一组相关信号和第二组相关信号

(15)根据(11)至(13)中任一项所述的设备，其中，处理器被配置为根据相移序列(i-p)中的任意一个序列来获取第一组相关信号和第二组相关信号

(16)一种方法，包括：

通过将光检测信号与相应的相移参考信号相关而获取相关信号相关信号包括正交相关信号和同相相关信号

其中，以如下方式执行相关信号的获取：正交相关信号的平均获取时间与同相相关信号的平均获取时间基本相等。

(17)一种包括指令计算机程序，当在处理器上运行时，该指令使处理器执行根据(16)所述的方法。

(18)一种方法，包括：

通过将光检测信号与相应的相移参考信号相关而获取相关信号相关信号包括第一组相关信号和第二组相关信号

其中，第一组相关信号的平均相位与第二组相关信号的平均相位彼此正交或基本正交；并且

其中，第一组相关信号的平均获取时间与第二组相关信号的平均获取时间相等或基本相等。

(19)一种计算机程序，包括指令，当在处理器上运行指令时，指令使处理器执行根据(18)所述的方法。

(20)一种包括指令的计算机程序，当在处理器上运行时，该指令使处理器执行：

通过将光检测信号与相应的相移参考信号相关而获取相关信号相关信号包括正交相关信号和同相相关信号

其中，以如下方式执行相关信号的获取：使正交相关信号的平均获取时间与同相相关信号的平均获取时间基本相等。

(21)一种包括指令的计算机程序，当在处理器上运行时，该指令使处理器执行：

通过将光检测信号与相应的相移参考信号相关而获取相关信号相关信号包括第一组相关信号和第二组相关信号

其中，第一组相关信号的平均相位与第二组相关信号的平均相位彼此正交或基本正交；并且

其中，第一组相关信号的平均获取时间与第二组相关信号的平均获取时间相等或基本相等。