使用编码调制相位图像帧解决距离测量模糊的制作方法
本公开总体涉及图像处理，并且更具体地涉及使用从编码调制飞行时间测量生成的信息来处理图像数据。
背景技术：
在光学感测应用中，深度测量(即，到图像传感器的视野中的一个或多个对象的各种特征的距离的测量)可以被执行为间接飞行时间(tof)测量，间接飞行时间测量是使用光的速度和图像/像素传感器确定的距离测量，并且间接飞行时间测量通过确定照射对象或场景的调制光与在成像传感器处接收的反射光之间的相位差，来确定到成像的对象或场景的距离。到感兴趣的对象的距离(其为该相位的直接函数)通常是每个像素计算一次，并且一旦计算出，就可以被用于深度检测、手势识别、对象检测等。这些距离可以被组合，以创建深度图和/或三维(3d)点云，例如用于3d图形渲染。
许多间接tof测量的方法使用所谓的连续波(cw)tof测量，其通常需要被称为子帧、原始帧、相位图像或cw相位测量的多个顺序曝光。对于这些曝光中的每个曝光，照射感兴趣的对象的光通过周期性波形(诸如，正弦或脉冲波形)进行强度调制，其中图像传感器的每个像素测量从感兴趣的对象反射的光与作为调制波形的副本的参考信号的相关性。对于每个曝光，参考信号与调制光的波形之间的相位差都会变化。例如，一种方法需要四个单独的曝光(诸如，0°、90°、180°和270°)。来自四个曝光的测量信息被收集并且可以被用于确定深度图。
对于cwtof测量的一个众所周知的问题是，用于调制波形和对应参考信号的相关函数本身就是周期波形。这在所得的cw相位测量中产生了模糊，因为这些相位测量本身并不提供表明它们来自周期性相关波形的哪个周期的任何指示。这种现象(通常被称为“相位包裹”)意味着一个或多个感兴趣的对象的背景中的对象可以反射图像中的显示为不想要的响应的光，尤其是在一个或多个背景对象反射性强的情况下。
对该问题的常规解决方案是使用具有不同频率的参考信号进行附加组的相位测量，即，执行附加的曝光。由于为该第二参考信号适当选择的频率将导致不同的模糊距离，因此可以将利用两个不同参考信号频率执行的测量进行组合，以解决模糊。当然，这种方法增加了所需的测量次数，从而增加了成像系统的数据存储和处理能力要求。
用于间接tof测量的其它方法包括使用调制编码，并且可以被称为编码tof测量或编码调制tof测量。利用这些方法中的一些方法，用于对发射光进行强度调制的波形和用于对在图像传感器的像素处接收的反射光进行解调的参考信号被选择为具有良好的自相关特性，使得相对于波形的周期，仅在调制信号和参考信号之间的偏移范围非常狭窄的情况下，才会出现具有明显幅度的相关响应。在其它偏移处，相关响应的幅度非常低，或者为零。具有这些特性的调制和参考信号可以由众所周知的序列(诸如，m序列、巴克码或其它伪随机序列)形成。
与常规的cwtof测量相比，编码调制tof测量可以被用于延伸模糊距离。然而，为了在成像传感器处生成将被可靠地检测到的足够的反射能量，编码调制tof测量通常使用重复的调制编码，使得可以在调制波形的若干周期上对成像传感器的像素处的信号进行积分。因此，像cwtof测量一样，即使延伸了模糊距离，编码调制tof测量也产生周期性的相关响应，并且因此也存在相位包裹和距离模糊的问题。
技术实现要素：
公开了解决这些需求的飞行时间(tof)系统和技术，由此通过使用来自两个或多个编码调制测量的附加信息来解决由间接tof测量(诸如cwtof测量和具有周期性相关响应的其他tof测量)引起的距离模糊，编码调制测量使用适当选择的调制编码和参考信号的组合。使用这些技术，可以在不执行例如附加组的cw相位测量的情况下，解决距离测量模糊。
根据当前公开的技术的用于利用图像传感器执行深度测量的示例方法包括针对至少一个像素中的每个像素执行的若干步骤。该方法包括以下步骤：使用像素执行间接飞行时间测量，以获得指示到成像的对象或场景的视距(apparentdistance)的值。该方法进一步包括以下步骤：使用被选择为产生第一相关响应的调制编码和参考信号的第一组合来执行针对像素的第一编码调制测量，以获得第一相关值，第一相关响应具有在到成像的对象的第一距离范围上延伸的峰值。该第一距离范围可以覆盖(例如)延伸到可以利用cwtof测量明确地测量的最大距离的距离范围。
该方法进一步包括：使用被选择为产生第二相关响应的调制编码和参考信号的第二组合来执行针对所述像素的第二编码调制测量，以获得第二相关值，第二相关响应具有在到成像的对象的至少第二距离范围上延伸的峰值。该第二距离范围与第一距离范围邻接，并且针对调制编码和参考信号的第二组合的相关峰值在重叠区域中与针对第一编码的相关峰值重叠，重叠区域由第一距离范围的一部分和第二距离范围的邻接部分组成。因此，例如，利用覆盖第二范围并且与第一范围的一部分重叠的针对调制编码和参考信号的第二组合的相关峰值，该第二距离范围可以从可以利用cw相位测量明确地测量的最大距离延伸到该距离的两倍。
该方法还进一步包括通过将第一相关值与第一阈值进行比较来确定用于像素的第一掩码值，以及通过将第二相关值与第二阈值进行比较来确定用于像素的第二掩码值。最后，该方法包括通过基于第一掩码值和第二掩码值确定指示视距的值是否指示在第一距离范围内或在第二距离范围内的实际距离，来解决指示视距的值中的距离模糊。
还公开了对应的图像处理系统。一个这样的系统包括：传感器，包括多个像素，多个像素被配置为响应于接收的光生成相应的多个像素信号值，其中每个像素被配置为通过使用参考信号对接收的光进行解调来获得其相应的像素信号值。该系统进一步包括：参考信号生成器，被配置为生成参考信号并且将参考信号提供给多个像素；以及控制电路，被配置为控制参考信号生成器和多个像素，以针对至少一个像素中的每个像素，使用像素执行间接飞行时间测量，以获得指示到成像的对象或场景的视距的值，并且使用被选择为产生第一相关响应的调制编码和参考信号的第一组合来执行针对所述像素的第一编码调制测量，以获得第一相关值，所述第一相关响应具有在到成像的对象的第一距离范围上延伸的峰值。控制电路进一步被配置为使用被选择为产生第二相关响应的调制编码和参考信号的第二组合来执行针对所述像素的第二编码调制测量，以获得第二相关值，第二相关响应具有在到成像的对象的至少第二距离范围上延伸的峰值，第二距离范围与第一距离范围邻接，其中针对第二调制编码的相关峰值在重叠区域中与针对第一编码的相关峰值重叠，重叠区域由第一距离范围的一部分和第二距离范围的邻接部分组成。控制电路进一步被配置为通过将第一相关值与第一阈值进行比较来确定用于像素的第一掩码值，并且通过将第二相关值与第二阈值进行比较来确定用于像素的第二掩码值，并且还进一步被配置为通过基于第一掩码值和第二掩码值确定指示所述视距的所述值是否对应于在所述第一距离范围内或在所述第二距离范围内的实际距离，来解决指示所述视距的所述值中的距离模糊。
本文中描述的技术和装置可以被用于有效地获得诸如在深度图中的距离测量，而没有由于相位包裹引起的模糊。这些技术还可以被用于选择性地过滤图像数据，以将数据限制为落入到图像传感器的预定距离范围内的对象的图像。
在下面的详细描述中讨论了上述技术和装置的变型以及进一步的优点。
附图说明
图1是示出根据本文中描述的一些实施例的飞行时间测量的原理的图。
图2示出了示例光子混合装置(pmd)。
图3是示出根据飞行时间(tof)技术的相位测量的原理的图。
图4示出了飞行时间相位测量的相关函数。
图5示出了使用两个不同调制频率的用于相位测量的相位展开。
图6示出了示例编码调制测量的相关函数。
图7示出了伪随机二进制序列的相关函数。
图8使用调制编码和参考信号的两个不同的组合，示出了与针对两个编码调制测量的相关响应叠加的针对常规的4相位cwtof相位测量的相关响应。
图9是示出了使用偏移将视距映射到第一和第二明确距离范围的流程图。
图10是示出了根据一些公开的实施例的示例方法的过程流程图。
图11是示出了根据一些实施例的示例图像处理系统的部件的框图。
具体实施方式
现在将参考附图描述本发明，其中，贯穿全文，相似的附图标记用于指代相似的元件，并且其中所示的结构和装置不必按比例绘制。在本公开中，术语“图像”和“图像传感器”不限于涉及可见光的图像或传感器，而是涵盖了可见光和其它电磁辐射的使用。因此，本文中使用的术语“光”被广义地意指并且指代可见光以及红外线和紫外线辐射。
图1示出了连续波(cw)飞行时间(tof)相位测量的基本原理，这是执行间接tof测量的众所周知的方法。光源110(诸如发光二极管(led)或垂直腔表面发射激光器(vcsel))利用电信号(例如，300mhz的射频正弦波)进行调制，使得光源110向目标场景120发射调幅的光信号。光信号以光速c行进，从场景120中的一个或多个对象反射并且向后到达tof传感器130中的像素阵列135处，具有到目标场景120的飞行时间，并且相对于原始传输的光信号在像素阵列135处接收到的光信号上向后施加相移
被用于调制发射的光或其相移版本的调制信号137也作为参考信号被提供给像素阵列135中的像素，以与叠加在反射的光信号上的调制信号相关——实际上，反射的光信号被像素阵列135中的每个像素解调。
虽然感光像素的结构和设计可以变化，但是在某些情况下，像素阵列135中的每个像素可以是光子装置设备或pmd。图2示出了示例pmd的基本结构，其包括读出二极管a和b以及调制栅极a和b。跨调制栅极a和b差分地施加参考信号，从而跨p衬底产生电势梯度，同时在光电栅极/二极管处接收入射光。跨读出二极管a和b产生差分传感器信号。可以将来自像素的传感器信号针对一时间段积分，以确定相位测量信息。
pmd的read-a(读取-a)和read-b(读取-b)节点处的电压之间的差对应于由所示装置中的光敏二极管结构检测到的调制光信号与参考信号之间的相关性，该参考信号被施加在装置的节点mod-a(调制-a)与mod-b(调制-b)之间。因此，如下进一步详细讨论的，pmd(和其它光敏像素结构)对从目标场景120反射的调制光信号进行解调，从而产生指示反射的光信号行进的距离的像素信号值(在这种情况下，read-a和read-b处的电压之间的差)。
尽管调制信号可以采取多种形式中的任何一种形式，但是将正弦信号用作调制信号最容易看出该相关性/解调背后的原理。如果调制幅度为‘a’并且相移为
m(t)＝cos(ωt)，并且
则接收的信号与参考信号的相关性为：
其为两个信号之间的相位差
可以通过n相移技术来提取发射的光信号与该信号的接收的反射之间的相位差，该相位差与光信号行进的距离成正比。这需要相对于调制信号g(t)例如通过使用参考信号的n个不同相移执行相关性，来在n个不同点处对相关函数进行采样。需要至少两次测量来计算出该相移，从而确定行进距离。这通常使用四个不同的相移(例如，在0、90、180、270度处)来完成，因为这样可以简单地消除相关结果中的系统偏移。这在图3中可以看到，该图示出了分别在0度和90度处的相关性a0和a1如何对应于第一相位矢量，第一相位矢量具有对应于光信号行进的实际差值的“理想”分量和反映测量和读出中的系统误差的系统分量。同样，分别在180度和270度处的相关性a2和a3对应于指向相反方向的第二相位矢量，第二相位矢量具有完全相反的“理想”分量和相同的系统分量。在图中，理想分量由从原点延伸到圆的矢量指示，而系统误差分量由较小的矢量指示。然后可以按以下方式计算实际相位
从该相位，可以如下计算到目标场景120的视距或“深度”：
其中，fmod是调制信号的频率。
应该立即认识到，该距离计算具有不明确的结果，使得不可能根据单个距离计算准确地确定出若干可能的距离中的哪一个距离可能已经产生了计算出的相位。出于这个原因，该距离在本文中被称为“视距”。随着成像的对象距离光源越来越远，所测量的相位从0°增加到360°，然后在一定距离后重复进行，如图4所示。实际上，存在混叠效应，该混叠效应可能导致比该特定距离更远的对象被折叠回第一区域(参见图2)。换句话说，由于相关响应具有很强的周期分量，因此若干不同的d值可以产生相同的相位测量结果。这种现象有时被称为“相位包裹”。
距该相位包裹首先开始出现的光学光源的距离被称为模糊距离，其被定义为：
该模糊距离是调制信号的自由空间波长的一半，因此对于较高的调制频率而言较短。因此，例如对于80mhz的调制信号的模糊距离为大约1.9米。
该相位包裹的重要性可以在图4中看出，该图示出了针对cwtof相位测量的相位测量结果根据距离变化的示例。从图中可以看出，尽管相关的幅度随着距离的增加而衰减，但是如果没有其它信息，就不可能从在距离为x处的对象反射的信号与从在距离为x+damb处的具有稍微较高反射率的对象反射的信号之间进行区分。换句话说，模糊距离damb是其中每个相关值都是唯一的区域的宽度——延伸超过该区域会导致重复的相关值。
解决该模糊的各种技术是已知的。一种方法是将从反射的光信号获得的幅度信息合并到距离确定中。另一种方法是利用不同的调制频率重复测量，不同的调制频率导致不同的模糊距离。可以将第二次测量的结果与第一次测量的结果结合起来，以解决模糊，因为这些测量应针对仅单个距离提供一致的结果。这可以从图5中看出，该图示出了具有不同调制频率的两组相位测量。在该示例中，一组测量使用产生3.75米的模糊距离的调制频率，而另一组使用产生5.0米的模糊距离的调制频率。在9米远处的成像的对象比这些模糊距离中的任何一个距离都更远。如图所示，第一组测量指示1.5米的视距。如果仅考虑第一组测量，则无法确定成像的对象实际上是在1.5米、5.25米、9.0米还是12.75米处。同样，如果仅考虑第二组测量，则无法确定成像的对象是在4.0米(第二组测量指示的视距)、9.0米还是13.0米处。但是，这两个测量共有的第一个可能的距离是9.0米——因此，可以排除1.5米、4.0米、5.25米和13.0米的可能性。
因此，可以看出，使用具有不同调制频率的两组相位测量，可以将模糊距离增加到远远超过单独使用任意一组相位测量时适用的模糊距离。但是，与单组曝光相比，此方法使功耗增加倍，由于完成测量需要更多时间，因此会产生运动伪影，并且需要显著更多的计算。
利用编码调制感测距离是可以被用于通过延伸模糊距离来减少距离模糊问题的另一种方法。利用调制编码，以自相关函数在特定距离上截止的方式调整应用于发射的光和像素参考信号(像素参考信号由tof像素用来测量与从感兴趣的对象反射的接收信号的相关性)的调制波形。在图6中描绘了其示例。在该图中，粗线620指示作为距离的函数的在tof像素处的相关测量，用于示例编码调制测量。从图中可以看出，该函数在所示距离范围上具有单个峰值，并且仅在该总范围上的有限距离范围内产生明显的幅度(即，超过阈值610)。例如，这种结果可以利用调制信号(和对应的参考信号)来实现，该调制信号利用m序列对光信号进行幅度调制，但是其它编码调制信号是已知的并且已经讨论过。注意，尽管图6示出了对于峰值处的相关性具有正值的相关响应，但是调制信号和参考信号的一些实现和/或组合可以产生具有负值的峰值的相关响应。例如，当使用图2所示的pmd时，可以简单地通过选择从read-b减去read-a还是从read-a减去read-b来任意选择负值或正值的峰值。
仅使用编码调制测量来计算距离图像具有一些缺点。与cwtof测量相比，这些测量每次测量可能需要显著更多的能量，并且可能导致较差的深度分辨率。如果需要与常规连续波tof相同的信号强度，则需要增加曝光时间。但是，由于人眼安全规定，在某些情况下这可能是不合适的。
编码调制的优点在于，它具有在有限的距离范围上延伸的相关峰值，同时在延伸的距离上提供非常低的相关值。在图7中可以清楚的看到这一点，该图示出了具有位(或“芯片”)长度为tc且总长度为l位的伪随机二进制序列的理想相关响应。如图所示，该峰值具有与l成正比的最大幅度，并且被严格限制为宽度为2*tc的范围。在峰值之间，相关值的大小与1/l成正比。
在图7中，相关响应在距离0和l*tc处具有峰值。通过相对于调制波形循环移位参考信号，可以将峰值任意定位在这些距离之间的任何点处。注意，相关响应是周期性的，但是，因为例如与常规cwtof飞行测量的相关响应的周期性相比，这些峰值的间隔较宽，所以模糊距离可以相当长。因此，例如，如果将巴克-11码用于编码调制测量，则在80mhz的比特率处，模糊距离为20米。注意，巴克码是可以被用于编码调制测量的伪随机序列的一个示例。用于调制发射的光的相同巴克码或其移位版本可以被用于应用于像素的参考信号，以解调从感兴趣的目标或场景反射的光。也可以使用其它序列，例如m序列，以及调制信号和参考信号的其它组合。
尽管与其它间接tof测量(包括如上所述的基于cwtof相位测量的测量)相比，编码调制测量可以具有很长的模糊距离，但是编码调制测量的性能可能不如使用常规的cwtof相位方法进行测量的性能，尤其是在发射的光学功率方面。然而，编码调制测量可以有利地与cwtof相位测量或其它间接tof测量结合使用，以提高通常可以从cwtof相位测量或其它间接tof测量获得的模糊距离，而无需(例如)使用具有不同调制频率的不同的两组cw相位测量。下面参考cwtof测量描述根据该一般方法的详细技术。然而，应当理解，这些技术(凭借其将编码调制测量与间接tof测量相结合以解决距离模糊)可以被应用于除cwtof测量之外的间接tof测量。
图8使用调制编码和参考信号的两个不同组合，示出了与针对两个编码调制测量的相关响应叠加的针对常规的4相cwtof相位测量的相关响应。在此示例中，用于编码调制测量的相关响应具有负值的峰值，并在图中指示为对应于“编码1”和“编码2”。
选择这些第一和第二编码，或者更确切地说，调制波形和参考信号的第一和第二组合，以提供覆盖不同但重叠的距离范围的相关峰值。应当理解，在各种实施例中，这些可以使用不同的编码，例如，不同的伪随机序列，或者相同编码的循环移位版本。
如图所示，“编码1”产生从大约2.0米延伸到4.0米的相关峰值。如图所示，该相关峰值的有用部分可以由滤波器阈值810限定。另一方面，“编码2”具有从近似3.3米延伸到大约5.6米的相关峰值。该第二相关峰值的有用部分也可以由滤波器阈值810限定；实际上，可以使用不同的阈值。
在示出的示例中，cwtof测量产生周期性相关响应，该周期性相关响应产生大约1.875米的模糊距离(对应于80mhz的调制频率)。因此，无法区分1.875至3.75米之间的距离与0至1.875米之间的距离或3.75米至5.625米之间的距离。这些范围中的每个范围都可以被认为是不同的“明确范围”。该图示出了利用在大约3.75米处的指示相位测量的翻转点的分界线的这些范围的各个部分，分别标记为“明确范围1”和“明确范围2”。选择编码1和编码2，使得它们相应的相关峰值中的每个峰值都在这些明确范围中的相应的一个范围的大部分(如果不是全部)上延伸。如下面进一步详细解释的，这些编码调制相关响应可以被用于确定cwtof测量的结果是否指示在第一明确范围或第二明确范围内存在对象。
如何执行该模糊消除的示例如下。首先，针对至少一个像素(例如，针对图像传感器的每个像素)执行间接tof测量，以获得指示针对像素的到成像的对象或场景的视距的值。例如，如上所述，可以执行常规的四相深度测量。尽管这些测量值可以被用于计算到成像的对象或场景的视距(或深度图)，但是该视距容易经受模糊。例如，可能无法仅从这些测量结果就知道被成像的对象是在距成像装置2.4米处还是在4.275米处，因为两者的相位测量结果将是相似的。
接下来，使用调制信号和参考信号的两种不同组合执行两个编码调制测量，其对应的相关峰值覆盖两个不同但重叠的范围，如图8所示。注意，尽管在此将这些测量描述为在产生指示视距的值的间接tof测量之后执行，但是可以按任何顺序执行这些测量。
如上所述，可以根据常规的四相测量来计算深度或视距。注意，不一定要计算视距——某些其它值可能指示该视距。例如，给定某个模糊距离，通过组合多个cw相位测量的结果获得的相位值(范围从零到360度)指示视距，其中90度指示模糊距离的四分之一的视距，180度指示模糊距离的一半的视距，以此类推。
对于相位展开，即为了解决所计算的视距或指示视距的某些其它值中的模糊，将滤波器掩码应用于编码调制测量中的每个编码调制测量(当使用像素阵列时，备选地称为“编码调制帧”)。这可以通过简单地将从每次测量获得的相关值与阈值进行比较来完成。对于具有如图8所示的负向峰值的编码调制测量，将相关值与具有负阈值的阈值进行比较——例如，将低于阈值的值设置为1，而将高于阈值的值设置为0：
这对于两个编码调制测量使用相同或不同的阈值来执行。因此，对于每个像素，第一掩码值f1指示与编码1的相关性是否落在编码1的相关响应的峰值内，并且第二掩码值f2指示与编码2的相关性是否落在编码2的相关响应的峰值内。这两个掩码值可以被直接地用于确定由间接tof测量获得的视距指示的值是否指示图8中的范围的“区域1”或“区域2”中的对象。注意，区域1和区域2分别跨明确范围1和邻接的明确范围2的部分(但不是全部)延伸；区域2位于区域1和区域3之间，并且包括明确范围1和明确范围2的一部分。区域2的界限由编码1和编码2的相关峰值与滤波器阈值交叉的点定义。
可以仅使用上面讨论的掩码值来确定指示视距的值应该被映射到区域1还是区域2。简而言之，如果f1＝1，而f2＝0，则由间接tof测量指示的视距必然落在区域1中。同样，如果f1＝0并且f2＝1，则cw相位测量指示的视距必然落在区域3中。如果满足这两个条件中的任何一个条件，则指示视距的值会出现模糊，因为前一种情况将视距映射到明确范围1，而后者将视距映射到明确范围2。这可以被表达为：
这就是说在第一掩码值指示第一相关值在第一阈值以下并且第二掩码值指示第二相关值在第二阈值以上的情况下，从间接tof测量获得的视距被映射到第一距离范围(即，明确区域1)，而在第一掩码值指示第一相关值在第一阈值以上并且第二掩码值指示第二相关值在第二阈值以下的情况下，视距被映射到第二距离范围(即明确区域2)。
再次，术语“视距”在此被用于指示由间接tof测量(例如，使用上述cw相位测量)计算的距离是模糊的，因为它受到如上所述的相位包裹距离现象的影响。该视距将始终指示在第一明确范围内的距离——因此，它可能与到成像的对象或场景的实际距离相同或不同。
还应注意，以上给出的公式假定负值相关峰值。如果相反的情况成立，即如果相关峰值(和对应的阈值)为正，则在第一掩码值指示第一相关值在第一阈值以上并且第二掩码值指示第二相关值在第二阈值以下的情况下，将从间接tof测量获得的指示视距的值映射到第一距离范围(即，明确区域1)，而在第一掩码值指示第一相关值在第一阈值以下并且第二掩码值指示第二相关值在第二阈值以上的情况下，指示视距的值被映射到第二距离范围(即，明确区域2)。
确定当编码调制测量的结果落在区域2中时应如何将cw相位测量映射到第一和第二明确范围需要额外的评估。区域2定义了其中来自两个编码调制测量的相关值的幅度超过其相应阈值的幅度的范围；因此，以上刚刚描述的任何映射都不适用。两种不同的方法是可能的，这些方法也可以被组合。
第一种方法是基于编码调制测量的幅度。假定两个编码调制测量的相关值的幅度都超过其相应阈值的幅度，则如果来自第一编码调制测量的相关值低于来自第二编码调制测量的相关值，则指示视距的值被映射到第一明确范围。否则，即，如果来自第一编码调制测量的相关值大于来自第二编码调制测量的相关值，则指示视距的值被映射到第二明确范围。这可以被表示为：
再次，应当注意，该公式假定负值的相关峰值。如果相关峰值改为正值，则先前公式中的不等式应被颠倒过来。更具体地，应当理解，假定两个编码调制测量的相关值的幅度都超过其相应阈值的幅度，则如果来自第一编码调制测量的相关值的幅度大于来自第二编码调制测量的相关值的幅度，则指示视距的值被映射到第一明确范围。否则，即，如果来自第一编码调制测量的相关值的幅度大于来自第二编码调制测量的相关值的幅度，则指示视距的值被映射到第二明确范围。
换句话说，根据该第一方法，确定根据间接tof测量计算的指示视距的值是否指示在第一距离范围内或在第二距离范围内的实际距离包括，在第一和第二掩码值指示第一和第二相关值都具有在第一和第二阈值的相应幅度以上的幅度的情况下：在第一相关值的幅度大于第二相关值的幅度的进一步的情况下，将指示视距的值分配给实际距离的第一范围；否则，在第二相关值的幅度大于第一相关值的幅度的进一步的情况下，将指示视距的值分配给实际距离的第二范围。注意，如果相关值相等(并且两个值的幅度都大于其对应的阈值的幅度)，则指示视距的值可以被映射到第一明确范围或第二明确范围，因为这种情况指示实际距离是在这两个范围相交的点处。
当编码调制测量落在区域2内时，处理视距到明确范围的映射的另一种方法是使用从cwtof测量获得的相位值。因为区域2覆盖了第一明确范围的最右端的一部分，因此从cwtof测量获得的实际距离落在区域2中和在第一明确范围中的相位应该在180°至360°之间。相反，因为区域2覆盖了第二明确范围的最左端的一部分，因此从cwtof测量获得的实际距离落在区域2中和第二明确范围中的相位应该在0°至180°之间。如上所述，可以根据以下方式将该方法与上述方法组合：
注意，如果相位测量具有180°的值(并且两个编码调制测量的幅度都大于其对应的阈值的幅度)，则可以将指示视距的值映射到第一或第二明确范围，因为这种情况表明测得的距离在这两个范围相交的点处。
图9是示出如何将从区域1、区域2和区域3的映射应用到明确范围1和明确范围2的流程图。如果上述测试指示由间接tof测量指示的视距落在区域1中，则距离被映射到第一明确范围。这意味着如图所示，可以直接使用从间接tof测量计算出的视距，即偏移为零。然而，如果测试指示视距落在区域2中，则需要进行其它测试。在图中给出的示例中，该示例测试是基于相位的测试——如果相位在180度至360度之间(即，小于零)，则视距被映射到第一明确范围，再次表示可以将计算出的具有偏移为零的视距用作实际距离。
然而，如果该基于相位的测试指示视距落在区域2的另一半中，或者如果上述测试指示从cw相位测量获得的视距落在区域3中，则视距被映射到第二明确区域。在这种情况下，可以将等于间接tof测量的模糊距离的偏移应用于从间接tof测量计算出的视距，以有效地“展开”模糊测量。
如果仅使用两个编码调制测量(如上所述以及如图8和图9所示)，则映射到比区域3更远的实际距离的cw相位测量被过滤。例如，这防止了这些测量在深度图中产生错误的深度。如果仅使用正常的cw相位测量，则这些测量(以及针对落入第二明确范围内的对象的任何测量)将已经折叠到第一明确范围内。
应当理解，也可以使用附加的编码测量来延伸模糊消除的有效范围。因此，例如可以执行第三编码调制测量，该第三编码调制测量具有跨越与第二明确范围邻接的第三明确范围的相关响应，从而允许使用上述技术的直接延伸将视距映射到第一、第二和第三明确区域中的任何一个区域。
更具体地，如果上述测试指示视距应该被映射到第一明确区域，则不需要进一步的测试。如果这些测试指示视距既不在第一明确范围内也不在第二明确范围内，则可以针对第二和第三编码调制测量进行上述类似的附加测试，以确定视距是否应该被映射到与第二明确范围邻接的第三明确范围。如果视距应该被映射到第三明确范围，则应该将等于cw相位测量的模糊距离两倍的偏移添加到视距。
如图所示，如果测试指示视距未落在区域1、区域2或区域3的任何一个中，则该距离测量可以(例如，通过给予其为零的值)被过滤掉。
考虑到以上说明和详细示例，将理解的是，图10是示出用于利用图像传感器执行深度测量的示例方法的过程流程图。如图所示，该方法适用于单个像素，诸如与上述pmd类似的pmd。然而，将意识到，可以将相同技术应用于图像传感器中的若干(或多个)像素中的每个像素，和/或应用于不同类型的像素。
如框1010所示，该方法包括以下步骤：针对像素执行间接tof测量，以获得指示视距的值(该值可以是视距本身，或者是指示视距的某个其它值。)。如上所述，在一些实施例中，这可以包括cw相位测量，并且可以更具体地包括使用针对四个连续波相位测量的参考信号进行针对像素的四个连续波相位测量，这些连续波相位测量具有彼此不同的相位差(相对于调制朝向成像的对象或场景发射的光的信号)。
如框1020和1030所示，该方法进一步包括：使用被选择为产生第一相关响应的调制编码和参考信号的第一组合来执行针对第一像素的第一编码调制测量，以获得第一相关值，第一相关响应具有在到成像的对象的第一距离范围上延伸的峰值；以及使用被选择为产生第二相关响应的调制编码和参考信号的第二组合来执行针对第一像素的第二编码调制测量，以获得第二相关值，第二相关响应具有在到成像的对象的至少第二距离范围上延伸的峰值。选择调制编码和参考信号的第一和第二组合，使得第二距离范围与第一距离范围邻接，从而针对第二调制编码的相关峰值在重叠区域中与针对第一编码的相关峰值重叠，重叠区域由第一距离范围的一部分和第二距离范围的邻接部分组成。调制编码的这些组合可以基于伪随机序列，例如，巴克码或m序列。在一些实施例中，它们可以基于不同的编码或序列，或者在其它实施例中，它们可以基于相同编码或序列的循环移位版本。注意，尽管图10建议在框1030处所示的间接tof测量之后执行在框1020和1030所示的第一和第二编码调制测量，但是这些测量可以以任何顺序执行。实际上，在一些实施例中，编码调制测量可以与用于获得间接tof测量的cw相位测量交错。
如框1040所示，图10的方法进一步包括：通过将第一相关值与第一阈值进行比较来确定用于第一像素的第一掩码值，以及通过将第二相关值与第二阈值进行比较来确定用于第一像素的第二掩码值。在各种实施例中，第一阈值和第二阈值可以相同或者不同。
如框1050所示，该方法进一步包括以下步骤：通过基于第一掩码值和第二掩码值确定指示视距的值是否对应于在第一距离范围内或在第二距离范围内的实际距离，来解决指示视距的值中的距离模糊。
确定视距是映射到第一距离范围内还是第二距离范围内的实际距离的细节可能会有所不同，这取决于与第一和第二编码调制测量相对应的相关响应是否具有正向或负向峰值(注意，可以使用如图所示的pmd来获得任何一个编码调制测量，具体取决于使用哪个方向从读出二极管a和b获得差分测量)。当第一和第二相关响应的峰值具有负的最大值时，确定指示视距的值是否对应于第一距离范围内或第二距离范围内的实际距离可以包括：在第一掩码值指示第一相关值在第一阈值以下并且第二掩码值指示第二相关值在第二阈值以上的情况下，将指示视距的值映射到第一距离范围，以及在第一掩码值指示第一相关值在第一阈值以上并且第二掩码值指示第二相关值在第二阈值以下的情况下，将指示视距的值映射到第二距离范围。另一方面，当第一和第二相关响应的峰值具有负的最大值时，确定指示视距的值是否对应于在第一距离范围内或在第二距离范围内的实际距离可以包括：在第一掩码值指示第一相关值在第一阈值以上并且第二掩码值指示第二相关值在第二阈值以下的情况下，将指示视距的值映射到第一距离范围，以及在第一掩码值指示第一相关值在第一阈值以下并且第二掩码值指示第二相关值在第二阈值以上的情况下，将指示视距的值映射到第二距离范围。
在任何一种情况下，确定指示视距的值是否对应于在第一距离范围内或在第二距离范围内的实际距离可以包括，在第一和第二掩码值指示第一和第二相关值都具有在第一和第二阈值的相应幅度以上的幅度的情况下：在第一相关值的幅度大于第二相关值的幅度的进一步的情况下，将指示视距的值分配给实际距离的第一范围，否则在第二相关值的幅度大于第一相关值的幅度的进一步的情况下，将指示视距的值分配给实际距离的第二范围。
备选地，确定指示视距的值是否对应于在第一距离范围内或在第二距离范围内的实际距离可以包括，在第一和第二掩码值指示第一和第二相关值都具有在第一和第二阈值的相应幅度以上的幅度的情况下：在从一个或多个连续波相位测量获得的相位值在180度与360度之间的进一步的情况下，将指示视距的值分配给实际距离的第一范围，否则将指示距离的值分配给实际距离的第二范围。在一些实施例中，该相位信息可以与来自第一和第二相关值的幅度信息相结合，以在第一和第二相关值都具有在第一和第二阈值的相应幅度以上的幅度的情况下，确定如何将视距映射到实际距离的第一范围或第二范围。
如以上详细示例中所讨论的，在一些实施例中，执行针对像素的间接飞行时间测量可以包括：针对一个或多个连续波相位测量中的每个连续波相位测量，使用相对于调制照射感兴趣的对象的发射光的波形具有不同相位差的参考信号，针对一个或多个连续波相位测量中的每个连续波相位测量，测量在像素处接收的光与参考信号之间相关性。在一些实施例中，执行间接飞行时间测量包括：执行针对像素的四个连续波相位测量，针对四个连续波相位测量的参考信号具有(相对于相应的调制信号)彼此相差例如90度的相位差。可以使用这种方法的变型，例如，对于相位测量中的每个测量都使用非连续调制信号。
同样地，在一些实施例中，执行针对像素的第一或第二编码调制测量(或两者)可以包括：使用相对于调制照射感兴趣的对象的发射光的波形具有互相关函数的第一参考信号，测量在像素处接收的光与第一参考信号之间的相关性，该互相关函数在基本上大于用于间接tof测量的模糊距离的距离范围上，仅具有幅度超过第一阈值的幅度的单个峰值。在一些实施例中，尽管可以使用其它编码/波形，但是参考信号和/或调制信号可以是或基于巴克码或m序列。在一些实施例中，第二编码调制测量使用参考信号，该参考信号是用于第一编码调制测量的参考信号的循环旋转版本。
图10所示的技术的其它变型也是可能的。例如，在一些实施例中，可以动态地设置用于获得掩码值的阈值。例如，在一些实施例中，第一阈值和第二阈值中的一个或两者可以基于成像的对象或场景的反射参数或强度参数。该参数可以从使用感兴趣的像素或某组像素进行的先前测量中导出，和/或可以从为了获得间接tof测量而执行的测量中导出。
鉴于以上提供的详细示例，将理解，当前公开的技术可以被应用于若干图像处理应用，以获得一个或多个优点。例如，对于需要近距离飞行时间感测的应用，本文公开的技术可以用于去除不属于预期测量范围的深度测量。例如，可以在前置智能手机相机或手势识别系统中采用这些技术。
其它应用包括隐私成像。所采用的技术与用于去除距离模糊的技术相似，但是所得到的深度图像/3d点云被用于从彩色摄像头流中去除信息，其中彩色摄像头被安装在tof传感器旁边。例如，可以在用于智能手机的视频聊天应用中使用这种方法，其中tof传感器朝前安装在彩色摄像头旁边。然后可以使用根据当前公开的技术生成的掩码去除背景，以通过不显示用户周围环境的细节来保护用户的隐私。
当然，所述技术还可以被用于消除由以上讨论的相位包裹引起的错误测量。这对于诸如3d扫描等中长范围的应用特别有用。通过将从编码调制测量中获得的掩码值用作指导，可以确定所感测的深度值属于哪个周期。在一些实施例中，编码调制测量中的一个或两个编码调制测量的峰值的形状和/或位置可以适合于场景，以便提供最佳的相位展开性能。
当前公开的技术的其它应用也是可能的。
图11对应地示出了根据当前公开的装置和系统的若干实施例的示例图像处理系统1100。系统1100可以被用于检测对象(例如，如目标场景1102中所示的对象)，以及确定到检测的对象的距离。
所示系统1100包括光源1124，光源1124被配置为对光束进行幅度调制，并且朝向场景1102发射经过幅度调制的光。幅度调制可以基于由参考信号生成器1108生成的参考信号。对于连续波飞行时间测量或其它间接tof测量，参考信号可以是射频(rf)信号，例如在mhz范围内，但是可以使用其它调制频率。对于编码调制测量，参考信号可以是编码序列，诸如m序列。发射的光可以包括具有变化的波长范围的光，诸如太阳光和红外线。发射的光从场景中的一个或多个对象反射，然后返回到传感器1104。
图11中所示的图像处理系统1100进一步包括传感器1104，其包括多个像素，多个像素被配置为响应于接收的光1114生成相应的多个像素信号值，其中每个像素被配置为通过使用参考信号1122解调接收的光来获得其相应的像素信号值。如图11所示，接收的光1102可以从目标场景1102反射。如上所述，虽然若干合适的像素配置是可能的，但是一种合适的像素设计是上述的pmd。
像素、行和列的数目可以从一个实施例到另一实施例变化，并且基于包括期望的分辨率、强度等的因素来选择。在一个示例中，基于要检测的对象和到对象的预期距离来选择这些传感器特性。因此，例如，从一个实施例到另一个实施例，传感器1104中的像素的像素分辨率可以变化。小对象需要更高的分辨率进行检测。例如，手指检测需要在大约0.5米的距离或范围内每个像素<5mm的分辨率。中等大小的对象(诸如手部检测)需要在大约1.5米的范围内每个像素<20mm的分辨率。大尺寸的对象(诸如人体)需要在大约2.5米的范围内每个像素<60mm的分辨率。应当理解，提供以上示例仅出于说明性目的，并且可能发生包括用于检测的其它对象、分辨率和距离的变化。合适的分辨率的一些示例包括vga-640x400像素、cif-352x288像素、qq-vga-160x120像素等。
图像处理系统1100进一步包括参考信号生成器1108，参考信号生成器1108例如可以被配置为生成相对于施加到朝向目标场景1102传输的光的调制信号的相位、具有可选择的相位的参考信号1122，并且将参考信号1122提供给传感器1104中的多个像素。参考信号生成器1108可以进一步被配置为生成编码调制参考信号，编码调制参考信号可以采取例如m序列或巴克码的形式，并且将参考信号1122提供给传感器1104中的多个像素以用于编码调制测量。图像处理系统1100还进一步包括模数转换器(adc)电路1106，模数转换器电路1106可以包括可操作地耦合到传感器1104中的多个像素的一个或若干adc。
所示的图像处理系统1100进一步包括控制电路1112，控制电路1112可以包括例如处理器、控制器等，和/或其它数字逻辑。如图所示，控制电路1112可以控制参考信号生成器1108、传感器1104、和光源1124的操作。控制电路1112进一步被配置为控制输出(诸如深度图1110、3d点云等)的生成和使用。在一些实施例中，控制电路1112被配置为使图像处理系统1100执行类似于以上结合图10描述的那些方法中的任何一种方法。
因此，例如，在一些实施例中，控制电路1112可以被配置为控制参考信号生成器1108和传感器1104中的多个像素，以使用像素执行间接tof测量，以获得指示到成像的对象或场景的视距的值，以及使用调制编码和参考信号的相应的第一和第二组合，执行针对像素的第一和第二编码调制测量，以分别获得第一和第二相关值。可以选择调制编码和参考信号的第一和第二组合以产生具有在到成像的对象的第一距离范围上延伸的峰值的第一相关响应以及具有在到成像的对象的第二距离范围上延伸的峰值的第二相关响应，其中第一和第二距离范围彼此邻接，并且第一和第二相关峰值在重叠区域中重叠，该重叠区域由第一距离范围的一部分和第二距离范围的邻接部分组成。这些实施例中的控制电路1112可以进一步被配置为通过将第一相关值与第一阈值进行比较来确定用于像素的第一掩码值，并且通过将第二相关值与第二阈值进行比较来确定用于像素的第二掩码值。最终，控制电路1112可以被配置为通过基于第一和第二掩码值确定指示视距的值是否对应于在第一距离范围内或在第二距离范围内的实际距离来解决指示视距的值中的距离模糊。在各种实施例中，以上针对图10所示的方法讨论的任何变型可以应用于图11的装置。
鉴于上面的详细讨论，应当理解，可以使用标准编程和/或工程技术来将所要求保护的主题实现为方法、装置或制造品，以产生软件、固件、硬件或它们的任何组合，以控制计算机来实现所公开的主题。本文所使用的术语“制品”旨在涵盖可从任何计算机可读装置、载体或介质访问的计算机程序。当然，本领域技术人员将认识到，可以在不背离所要求保护的主题的范围或精神的情况下对该配置进行许多修改。
特别地，关于由上述部件或结构(组件、器件、电路、系统等)执行的各种功能，除非另有说明，否则即使在结构上不等同于在本发明的本文示例性实现中执行功能的公开结构，描述这些部件的术语(包括对“装置”的引用)旨在对应于执行所描述的(例如，在功能上等同的)部件的指定功能的任何部件或结构。另外，尽管可能已经针对若干实现中的一种实现公开了本发明的特定特征，但是根据任何给定的或特定的应用可能期望的和有利的，这种特征可以与其它实现的一个或多个其它特征组合。此外，就在详细描述和权利要求中使用术语“包括”、“包含”、“具有”、“含有”、“带有”或其变体的程度而言，这样的术语旨在以类似于术语“包括”的方式是包括性的。
- 还没有人留言评论。精彩留言会获得点赞！