飞行时间传感器装仓的制作方法
【技术领域】
[0001] 本发明涉及对于来自飞行时间传感器的图像的处理。
【背景技术】
[0002] 作为本领域广泛了解的飞行时间传感器，其被用于确定从传感器到对象的距 离。飞行时间传感器通过检测对象表面的反射光来操作，其中从与传感器大体共同定位 (co-located)的照明器发射光。使用飞行时间传感器，处理设备可以确定从光源发射出且 从对象反射回到传感器的光的往返传播时间。借助该信息，并且结合光速（常数c)的知识， 处理设备可以确定对象的距离。
[0003] 对于任意给出的飞行时间传感器的物理区域，在光敏感度和图像分辨率之间存在 基本的权衡（tradeoff)。较小像素通过允许在给定区域内比较大像素更多的像素而提供更 高的分辨率。然而，由于较大像素的区域增加的优点，与较小像素相比，所述较大像素会对 光（具体地，来自感兴趣的对象反射的照明器的光）更敏感，并且提供增强的光检测和更大 的信号输出。
[0004] 当前，对于使用较小像素提供充足的光检测的解决方案仅仅涉及增加光照明器的 输出，从而提供了由像素检测高敏感度的反射光。另一种解决方案涉及限制像素可以小到 一定程度，其进而限制图像的分辨率，或可替换地，要求飞行时间传感器的非常大的物理区 域。然而，考虑到移动设备和其他无线或手提设备的普及，将具有高分辨率特征的较低光照 明器输出功率与较小的传感器占用空间相结合的灵活的解决方案是期望的，从而除了其他 改进之外，节约了电池功率且最大化性能，同时保持了可用的传感器占用空间。
【发明内容】
[0005] 依照各种实施例，利用飞行时间传感器的装置可以自适应地且动态地根据给出场 景的需要调节照明器的功率输出和图像的分辨率。使用该装置，飞行时间设备是灵活的，从 而使其能够在适当的时候，通过降低照明器的功率输出来降低功率消耗，同时保持增加的 图像分辨率。
【附图说明】
[0006] 图1是根据各种实施例的飞行时间装置的方框图；
[0007] 图2是表示根据各种实施例的飞行时间传感器的操作的信号图；
[0008] 图3根据至少一个实施例示出深度图创造过程的简化示图；
[0009] 图4根据至少一个实施例示出装仓的（binned)飞行时间传感器示例；
[0010] 图5根据各种实施例示出像素装仓的示例方式；
[0011] 图6根据各种实施例示出像素装仓的另一个示例方式；
[0012] 图7根据各种实施例示出像素装仓的又一个示例方式；
[0013] 图8根据各种实施例示出装仓的深度图创造过程的简化示图；
[0014] 图9根据各种实施例示出飞行时间传感器的使用的示例方法；和
[0015] 图10根据各种实施例示出图9的方法的另一示例方面。
【具体实施方式】
[0016] 图1根据各种实施例示出飞行时间装置100。装置100包括至少一个处理设备102 和至少一个可操作地耦合到处理设备102的照明器104,和至少一个可操作地耦合到处理 设备102的飞行时间图像传感器106。照明器104和飞行时间传感器106可以配备有或被 耦合到各种光学元件108和110,诸如，透镜、棱镜等等。例如，照明器104可以配备有透镜 108,以影响发射光112的发散或聚焦，或仅仅配备有透明的或半透明的膜，以保护照明器 104。此外，飞行时间传感器106可以以与许多传统的数码相机的图像传感器相同的方法被 配置为接收通过一个或多个透镜110的入射光114,以聚焦传感器106上的图像。
[0017] 处理设备102包括至少场景分析模块116和装仓方式配置模块118,处理设备的操 作在此被进一步描述。依据其他方法，处理设备102还可以包括其他模块，诸如环境光分析 模块120。
[0018] 在操作中，装置100被配置为生成深度图框架312、810(见图3和8)，与飞行时间 感测和/或成像，或与其他用途相称。虽然深度图框架312、810可用许多方式生成，但是飞 行时间传感器106通常本着如下原则操作，即如果物品、物体或现象（例如，质子或光）的 速度已知，并且需要传播的距离所需要的时间已知，那么到被检测的对象122的表面的距 离可以被计算。在这种情况下，光速已知（常数c，大约300, 000, 000米/秒）并且光传播 从照明器104到检测的对象122并且返回到传感器106所需的时间可被测量。虽然照明器 104和传感器106未必需要被共同定位（或与对象122的距离相比近似被共同定位），但是 如果被共同定位，那么该距离仅仅是往返行程的测量的总距离的一半。
[0019] 在公开的实施例中，通过被利用的照明器104可以发射各种类型的的光，所述光 包括红外（IR)线、可见光谱的光、或紫外线。依据其他实施例，其他形式的电磁辐射可以被 利用，其包括无线电波、微波、X射线、和伽马射线或它们的任意组合。红外线是最常用的， 因为其对人不可见，可以相对便宜地产生（produce)，并且其性能与可见光相似。因此，在该 公开中假设使用红外线，其作为非限制性示例用于描述和广泛适用的目的。
[0020] 照明器104可以包括各种已知的和未知的光发射器，诸如发光二极管（LED)、激 光、精密的白炽灯、快门光源和其他精密的光源。在一些情况中，LED可以理想地适用为照 明器104,因为它的光发射开始和结束时间可以被高精度控制，以产生严格定义的光112的 脉冲，其可以有助于测量的精密度。而且，LED提供高效的解决方案，因为照明器输出功率 比输入电功率高。
[0021] 在一个实施例中，基于以下方程，对于飞行时间传感器106的每个像素，深度z可 以被计算或估算：
[0023] 其中c是光速，Φ是检测的光脉冲114相对于发射光脉冲112 (emitted pulse of light)的角相位，而f是发射光112的调制频率。在该配置中，可以容易的被检测的最大距 离由以下方程确定： CN 105190426 A 说明书 3/11 页
[0025] 任何超过该最大距离的距离可以导致检测失败或混乱，如果距离太远，反射光脉 冲114(reflected pulse of light)在下一个传感器读取周期期间到达传感器106。然而， 应当注意的是，通过利用涉及改变发射光脉冲112的频率或周期的技术，混淆问题可以被 减轻或适应，从而使得装置100可以确定其检测的是哪个出射脉冲（即，目前发射的或刚发 出的、或先前的脉冲、或比那个更先前的脉冲）。然而，还应注意的是，检测对象122离照明 器104和传感器106越远，反射光脉冲114的功率将会更弱，直到其中由于噪音而损失或仅 仅就是太弱而以至于给出装置100可能不能够检测到反射光脉冲114的点。
[0026] 图2提供飞行时间装置100的示例操作的基于信号的表示。如上所述，顶部信号 表示出射的发射光脉冲112。出射的发射光脉冲112以频率f被发射，当在图2的基于时间 的范围内描述时，f用它的脉冲的宽度周期T表示，即T= Ι/f。发射光的脉冲可以在时间 仁后被重发。第二信号表示在飞行时间传感器106的像素处接收的反射光脉冲114。如图 2中所示，反射光脉冲114与发射光脉冲112相比，延迟了发射光脉冲112的周期T的角相 位Φ。作为示例，图2将相位Φ显示为约为225° (即，八分之五），其意味着反射光脉冲 114在光112相同的脉冲被发射期间，通过大约八分之五的周期T，开始第一次撞击（hit) 传感器106。
[0027] -种确定反射光脉冲114的相位Φ的方法是，利用每个像素内的两个图素，被称 为图素 X和图素 Y。图素在不同时间片段期间，分别测量在像素上接收的光。如图2中所示， 例如，图素 X在相同的周期T期间是活跃的（active)，在这期间，反射光的脉冲被发射。在 周期T的末端，图素 X可以不继续测量接收的光，而在相同的时间，图素 Y可以开始测量接 收的光。图素 Y可以使测量持续与图素 X相同的时间周期T。当来自反射光脉冲114的光 子撞击每个图素时，它们每个将在图素分别使能以测量反射光脉冲的时刻期间，将分别建 立且储存电荷202。在图素 X处生成的电荷202用线X。。表示，而在图素 Y生成的电荷202 用线y<r表示。在图素 X活跃的时间期间，当反射光脉冲Π 4开始遇到像素时，图素 X将随 着更多的光子继续被收集在图素 X内而建立电荷X(r。当图素 X被激活时，在反射光脉冲 114遇到图素 X的时刻期间，这被线X。。的正斜率所表示。同样地，当图素 Y变得活跃时，其 将生成并储存电荷y<r，如同在当图素 Y被激活的时刻期间，在反射光脉冲114遇到图素 Y 时，由线y<r的正斜率所表示的一样。在测量持续时间完成后，电荷￥和y<r可以被收集并 且被转换为将被处理设备102处理的数字信号。相对的电荷X。。和y。。被用于计算反射光脉 冲114的相位Φ。
[0028] 应当注意的是，虽然两个图素 X和Y被描述，但是其他配置也是可能的。例如，可 以利用采用快速切换门布置的单一图素，其在它们各自的时间期间，将累积电荷202储存 到两个单独的电荷井或电荷库内，一个储存电荷X。。，表示其中"图素 X"活跃的时刻，而另 一个储存电荷y<r，表示其中"图素 Y"活跃的时刻。
[0029] 继续参考图2,依据一些实施例，跨越多个测量周期相位P，来获取反射光脉冲的 相位测量是有益的，其中图素 X和Y的活跃时刻的角相位0被各种量转换（shift)。例如， 如图2中所描述，显示了四个等间距的相位巧测量周期，一个在貧=故，一个在梦=，一个 在炉二180%而一个在声=2:7(Τ，但是通过改变测量周期的数目和相位货的许多其他配置也 是可能的。这四个描述的相位测量周期表示四次不同的时间测量四个不同的反射光脉冲 114,但是为了简化，相对于单一发射和反射光脉冲114进行描述。对于每个相位於的测量 周期