飞行时间相机的制作方法

本公开大体上涉及图像传感器。特定来说，本发明的实施例涉及用于三维相机的图像传感器。

背景技术：

随着三维(3d)应用程序的普及性在例如成像、电影、游戏、计算机、用户接口、面部辨识、对象辨识、扩增实境等领域持续增长，对3d相机的关注日益增加。创建3d图像的典型被动方式为使用多个相机捕获立体图像或多个图像。使用立体图像，图像中的对象可经三角形化以创建3d图像。此三角化技术的一个缺点是难以使用小装置创建3d图像，这是因为在每一相机之间必须存在最小间隔距离以便创建三维图像。另外，此技术是复杂的且因此需要显著计算机处理功率以便实时地创建3d图像。

对于要求实时地获取3d图像的应用，有时使用基于飞行时间测量的主动深度成像系统。飞行时间相机通常采用引导对象处的光的光源、检测从对象反射的光的传感器，以及基于光往回于对象所花费的往返时间计算到对象的距离的处理单元。

获取3d图像的持续挑战是将飞行时间相机的所要性能参数与系统的物理大小和功率约束条件进行平衡。举例来说，意在用于对附近对象和远处对象进行成像的飞行时间系统的功率要求可显著不同。这些挑战被外在参数(例如，相机的所要帧速率、深度分辨率和横向分辨率)和内在参数(例如，传感器的量子效率、填充因数、抖动和噪声)进一步复杂化。

技术实现要素：

在一个方面中，本申请案是针对一种飞行时间(tof)相机，其包括：光源，其朝向对象发射将作为图像光反射回到所述tof相机的光；第一像素，其将所述图像光转换成电信号，其中所述第一像素包含检测所述图像光的光电检测器；时间-数字转换器(tdc)，其产生表示所述光源何时发射所述光以及所述光电检测器何时检测到所述图像光的时序信号；和控制器，其耦合到所述光源、所述第一像素和所述tdc，其中所述控制器包含在被执行时致使所述tof相机执行包含以下的操作的逻辑：至少部分地基于所述时序信号和所述光的第一脉冲，确定所述图像光的往返时间(rtt)的检测窗；至少部分地基于所述时序信号和所述检测窗内检测到的所述光的第二脉冲，确定所述rtt。

在另一方面中，本申请案是针对一种用于计算飞行时间(tof)的方法，所述方法包括：确定图像光从tof相机到对象并且回到所述tof相机的往返时间(rtt)的检测窗，其中确定所述检测窗至少部分地基于来自包含在所述tof相机中的光源的光的第一脉冲；和至少部分地基于在所述检测窗内检测到的来自所述光源的所述光的第二脉冲，确定所述rtt。

附图说明

参考以下图式描述本发明的非限制性且非穷尽性实例，其中除非另外指定，否则遍布各图的相同的参考标号指代相同的部分。

图1是示出根据本发明的教示的飞行时间相机的一个实例的框图。

图2a是示出根据本发明的教示的将光的第一脉冲发射到对象并且检测从所述对象反射的第一光子以确定可包含在图1的飞行时间相机中的第一像素的检测窗的实例的时序图。

图2b是示出根据本发明的教示的发射光的第二脉冲并且检测从检测窗内的对象反射的第二光子以确定从可包含在图1的飞行时间相机中的第一像素和所述对象的往返时间的实例的时序图。

图3说明示出用于根据本发明的教示计算从飞行时间相机和对象的往返距离的方法的实例流程图。

图4是示出根据本公开的教示的实例飞行时间相机的一部分的框图，其包含具有对应单光子雪崩光电二极管的飞行时间像素阵列、读出电路、时间-数字转换器、控制电路和具有逻辑的控制器。

对应参考标号在图式的若干视图中始终指示对应组件。熟练的技术人员应了解，图中的元件仅为简单和清晰起见而进行说明，但不一定按比例绘制。举例来说，图中的一些元件的尺寸可能相对于其它元件夸示以有助于改进对本发明的各种实施例的理解。并且，通常未描绘在商业可行的实施例中有用或必需的常见但易于理解的元件，以便于较少模糊本发明的这些各种实施例的视图。

具体实施方式

本文中描述用于使用具有光子相关逐次近似的飞行时间相机获取飞行时间和深度信息的设备和方法的实例。在以下描述中，陈述众多具体细节以提供对具体实例的透彻描述。然而，相关领域的技术人员将认识到，可在没有所述具体细节中的一或多个的情况下或使用其它方法、组件、材料等实践本文所述的技术。在其它情况下，未示出或详细描述众所周知的结构、材料或操作以免使某些方面混淆。

在本说明书通篇中参考“一个实例”或“一个实施例”指的是结合实例描述的特定特征、结构或特性包含于本发明的至少一个实例中。因此，贯穿本说明书在不同位置中出现短语“在一个实例中”或“在一个实施例中”未必都是指同一个实例。此外，在一或多个实例中，特定特征、结构或特性可以任何适合方式组合。

在一些实例中，飞行时间相机使用光子相关逐次近似技术获取飞行时间和深度信息。如将论述，根据本发明的教示，光子相关逐次近似通常可被描述为在飞行时间相机中为每一像素提供连续粗略以及接着精细射程获取的两阶段获取技术。这可通过光子相关和时间选通与飞行时间相机的像素的组合来达成且其至少部分地基于可能不需要将相同飞行时间方法用于整个帧的提议。两阶段获取方法的第一阶段可如下工作：对于每一帧中的第一子帧(例如，每1帧每秒1000子帧的第一100子帧)，光照明为粗略射程使用较长脉冲，且四个(或更多)单光子雪崩光电二极管(spad)的像素接受在较低峰值垂直空腔表面发射激光器(vcsel)电流处在此较长持续时间相关窗内在时域中的松散光子相关。四个或更多spad的每一像素接着收敛于目标的粗略射程估计值。较长vcsel脉冲在较低峰值电流处发送出更多光子，但缺点是射程准确度降低。

一旦已经获取每一像素的粗略射程估计值，两阶段获取的第二阶段便针对剩余的子帧开始。第二阶段可切换到关于从第一阶段光子相关结果(例如，检测窗)定义的时间的时间选通模式。在一个实例中，时间选通使得spad能够检测仅短时间窗(例如，检测窗)内的光子，这忽略了到达此时间窗外部的背景光子。第二阶段恢复到具有高于第一阶段的vcsel峰值电流的较短光脉冲，但其仅处于用于子帧的较短部分的操作中。此优于光子相关的优点是由spad在第二阶段期间接收的所有光子是由检测器计数(排除停滞时间、填充因数和量子效率损失)并且累计到直方图中以便不会丢弃光子。这可意味着在精细获取期间不会因为不相关而抛弃信号，所述信号抛弃可为对整个帧使用相关光子要求的情况。在一些实例中，与对由飞行时间相机接收的多个光子在整个积分时间使用短脉冲相比，在第一阶段期间使用长脉冲且在第二阶段期间使用短脉冲的两阶段获取方法的优点是较低持续峰值vcsel激光电流。应注意，飞行时间相机发送的光子的数目可受眼睛安全要求限制。因此，本文中所描述的实例的优点中的一个是与常规装置相比浪费减小的量的来自检测到的光子的信号。

为了说明，图1是示出根据本发明的教示的飞行时间相机100的一个实例的框图。飞行时间相机100包含光源102、透镜116、多个像素120(包含第一像素122)、时间-数字转换器124和控制器126。控制器126耦合到光源102、时间-数字转换器124和多个像素120(包含第一像素122)。多个像素120定位于距透镜116的焦距flens处。如实例中所示，光源102和透镜116定位于距对象130的距离l处。应了解，图1不按比例说明，且在一个实例中，焦距flens大体上小于透镜116和对象130之间的距离l。因此，应了解，出于本公开的目的，距离l和距离l+焦距flens大体上相等以用于根据本发明的教示的飞行时间测量的目的。如所说明，多个像素120、时间-数字转换器124和控制器126表示为独立组件。然而，应了解，多个像素120、时间-数字转换器124和控制器126可全部集成到同一堆叠芯片传感器上。在其它实施例中，多个像素120、时间-数字转换器124和控制器126可集成到非堆叠标准平面传感器上。此外，应了解，时间-数字转换器124可为多个时间-数字转换器，其中四个或更多spad的每一像素与所述多个时间-数字转换器124中的对应者相关联。还应理解，在一些实例中，个别时间-数字转换器可与任何预定数目个spad和/或像素相关联。还应理解，每一像素(或甚至每个spad)可具有用于存储对检测到的光子进行计数的数字位或信号的对应存储器。

飞行时间相机100是基于对多个像素120的飞行时间测量计算将成像的场景(例如，对象130)的图像深度信息的3d相机。多个像素120中的每一像素确定对象130的对应部分的深度信息使得可产生对象130的3d图像。通过测量光从光源102传播到对象130并且回到飞行时间相机100的往返时间来确定深度信息。如所说明，光源102(例如，垂直空腔表面发射激光器)被配置成跨越距离l将光104(例如，第一脉冲106和第二脉冲108)发射到对象130。所发射的光104接着从对象130反射为反射光110，其中的一些跨越距离l朝向飞行时间相机100传播并且作为图像光入射到多个像素120上。多个像素120中的每一像素(例如，第一像素122)包含检测图像光并且将图像光转换成电信号(例如，图像电荷)的光电检测器(例如，一或多个单光子雪崩二极管)。

如所描绘的实例中所示，所发射的光104的脉冲(例如，第一脉冲106和第二脉冲108)从光源102传播到对象130并回到多个像素120的往返时间可用以使用如下方程式(1)和(2)中的以下关系确定距离l：

其中c是光速，其大约等于3*10⁸m/s，且ttof对应于光的脉冲往返于如图1中所示的对象所花费的时间量的往返时间。因此，一旦往返时间是已知的，便可计算距离l且随后用以确定对象130的深度信息。

控制器126耦合到多个像素120(包含第一像素122)、时间-数字转换器124和光源102并且包含在被执行时致使飞行时间相机100执行用于确定往返时间的操作的逻辑。确定往返时间可至少部分地基于由时间-数字转换器124产生的时序信号。所述时序信号表示光源102发射光的时间和光电检测器检测到图像光的时间。

在一些实例中，飞行时间相机100包含在具有至少部分地基于装置的大小确定的大小和功率约束条件的手持型装置(例如，移动电话、平板计算机、相机等)中。替代地或另外，飞行时间相机100可具有具体所要装置参数，例如帧速率、深度分辨率、横向分辨率等。

在一个实例中，可能需要飞行时间相机100以每秒60帧的帧速率产生在每个帧中包含对象130的深度信息的视频。换句话说，飞行时间相机每秒60次捕获含有深度信息的3d图像。每一帧可含有多个子帧(例如，介于每1帧2子帧和1000子帧或更多之间，例如1000子帧)，在其期间，光源102可发射光脉冲(例如，第一脉冲106和第二脉冲108)且光电检测器(例如，包含在第一像素122中的光电检测器)可检测图像光以用于确定光在飞行时间相机100和对象130之间的往返时间以便产生3d图像。在其它实例中，所述多个子帧的数目可为100,000或更多子帧。

在一些实例中，飞行时间相机100可使用符合所要装置参数和/或归因于系统的大小和功率约束条件的两阶段获取方法。图2a和图2b分别至少部分地说明两阶段获取方法的第一阶段和第二阶段。更具体地说，图2a和图2b各自说明根据本发明的教示的可包含在图1的飞行时间相机100中的第一像素的多个子帧中包含的子帧的实例时序图。所述时序图用对应于时间的x轴和对应于电流或光强度的y轴说明光源202的输出(例如，图2a的时序图200的第一脉冲206和图2b的时序图250的第二脉冲208)。应注意，光源202的初始状态为断开或空状态。时序图200和250还说明通过包含在第一像素中的光电检测器222检测光子(例如，时序图200的第一光子209和时序图250的第二光子213)。x轴对应于时间且y轴可对应于计数、检测到的光子的数目、电容器的电压读数、存储器元件中的数字位的数目等等。

图2a说明时序图200，其为包含在多个第一子帧中的第一子帧的实例。多个第一子帧包含在两阶段获取方法的第一阶段中并且用于确定图像光的往返时间的检测窗211。对于多个第一子帧中的每一个，第一阶段包含用光源202发射光的一系列第一脉冲206以用于横向深度的粗略(相对于第二阶段)分辨率。响应于发射第一脉冲206，光电检测器222接着用于检测从对象反射的图像光的光子(例如，第一光子209)。第一光子209对应于在第一阶段期间检测到的光子。虽然在多个第一子帧期间发射第一脉冲206，但检测到由多个像素(包含第一像素)接收的光子(例如，第一光子209和背景光子)。数字逻辑接着在与第一脉冲206中的每一个相同的持续时间内检测到光子中的每一个后即刻打开相关时间窗。接着起始计数器，且如果计数器达到大于相关阈值(例如，每像素spad的数目，在所说明的实施例中为每像素5个spad)的数目，那么这些检测到光子被视为相关光子并且以粗略准确度指示到目标的距离。如所说明，检测到的光子(例如，第一光子209)由用于光电检测器222的轴上的垂直线表示。每一垂直线表示光子到达光电检测器222的像素中的一个。由垂直线的增加密度(例如，脉冲密度调制信号)指示目标或对象的反射率。在m(例如，100)个第一子帧之后，检测到的第一光子209在符合相关阈值的情况下收敛到第一时间跨度内并且可用以计算检测窗211。检测窗211是至少部分地基于第一时间跨度的往返时间的粗略近似，所述第一时间跨度是发射第一脉冲206中的一个与检测到具有在相关阈值内的光子数目的第一光子209之间的时间。在一个实例中，从多个第一子帧中的每一个的平均第一时间跨度加或减标准差计算检测窗211。可至少部分地从时间-数字转换器(例如，图1中说明的时间-数字转换器124)产生的时序信号确定第一时间跨度。应了解，在此获取方法的第一阶段期间，相关阈值可确定是否丢弃检测到的光子。举例来说，如果相关阈值设置为四个光子且仅检测到三个光子，那么在确定第一时间跨度时不使用(例如，浪费)这三个光子。

图2b说明时序图250，其为包含在多个第二子帧中的第二子帧的实例。多个第二子帧包含在两阶段获取方法的第二阶段中并且用于至少部分地基于第二脉冲208确定往返时间。对于多个第二子帧中的每一个，第二阶段包含用光源202发射光的一系列第二脉冲208以用于横向深度的精细(相对于第一阶段的粗略分辨率)分辨率。响应于发射的第二脉冲208，光电检测器222接着用于检测从检测窗211内的对象反射的图像光的第二光子213。对于包含在多个第二子帧中的每一第二子帧，发出第二脉冲208中的一个并且在检测窗211内检测到第二光子213中的对应者。换句话说，在两阶段获取方法的第二阶段期间，光电检测器222被配置成在第二脉冲208中的每一个之后仅感测检测窗211的时间帧内的光。在一个实例中，在检测窗211内在用于在检测窗211内检测第二光子213的第二子帧中的每一个期间启用光电检测器222，且在检测窗211外部在第二子帧中的每一个期间停用光电检测器222以减小在检测第二光子213时的背景噪声。停用光电检测器222可防止可归因于环境光、抖动、噪声等发生的在检测窗211外部的第二光子213的误检测。在一些实例中，经由时间选通达成停用光电检测器222和启用光电检测器222。举例来说，如果光电检测器222是spad，那么spad可选通为在具体时间被反向偏置以使得spad在两阶段获取方法的第二阶段期间检测到仅在光子检测窗211内的光子。第二阶段的优点是光电检测器(例如，spad)接收的所有光子是由检测器计数(排除停滞时间和填充因数)，使得不会丢弃为不相关事件的第二光子213。这可意味着在精细获取期间不会因为信号不相关而浪费信号，所述信号浪费可为对整个子帧使用相关光子要求的情况。

在n(例如，900)个第二子帧之后，在检测窗211内检测到的第二光子213可用以缩小检测窗211的范围以收敛于往返时间215上。如所说明，可针对多个第二子帧中的每一个基于发射第二脉冲208与检测到第二光子213中的对应者之间的第二时间跨度计算往返时间215。可至少部分地从时间-数字转换器(例如，图1中说明的时间-数字转换器124)产生的时序信号确定第二时间跨度并且累计到图2b中的第二光子213的直方图中。接着可通过直方图分析算法例如峰值检测确定往返时间215。

参考图2a和图2b两者，重要的是注意到，用于确定往返的横向深度分辨率至少部分地基于个别第一脉冲206和个别第二脉冲208中的每一个的相应持续时间。如所说明，第一脉冲206中的每一个的第一脉冲持续时间大于第二脉冲208中的每一个的第二脉冲持续时间。因此，第一脉冲206的横向深度分辨率小于第二脉冲208的横向深度分辨率。这由方程式(1)和(2)指示。举例来说，第一脉冲206中的每一个可具有3纳秒持续时间且第二脉冲208中的每一个可具有1纳秒持续时间，其分别对应于45cm和15cm的深度分辨率而无来自抖动、噪声等等的错误因子分解。因此，第一阶段使用第一脉冲206确定检测窗211，其为基于较低横向深度分辨率(相对于第二阶段的精细近似)的往返时间的粗略近似。检测窗211也可被称为相关光子检测窗，这是因为每一检测事件检测到单个光子且基于与光的对应脉冲的时间相关而发生。在确定检测窗211之后，使用相对于第一脉冲206具有较短持续时间但较大强度的第二脉冲208确定预定误差容限内的往返时间215。在一个实例中，第二脉冲为1纳秒的持续时间，这引起15cm的深度分辨率而无来自抖动、噪声等等的因子分解错误。在其它实例中，第二脉冲大体上小于1纳秒的持续时间。应进一步了解，提出的第一脉冲206和第二脉冲208的持续时间仅为实例，且也可取决于例如所要准确度和/或分辨率、系统限制和安全问题的各种因素而使用其它持续时间。

图2a和图2b还指示第一脉冲206和第二脉冲208的相对光强度。应注意，在所说明实例中，第一脉冲206中的每一个的第一光强度小于第二脉冲208中的每一个的第二光强度。较长第一脉冲206在相对于较短第二脉冲208的较低峰值电流(较低强度)下发送出更多光子，这可根据本发明的教示减小当使用两阶段获取方法时飞行时间相机的总功率消耗。这是有利的，因为移动电话类型的应用长时间内维持高峰值电流的能力有限。

在一些实例中，光电检测器222包含单光子雪崩二极管(spad)。在另一实例中，光电检测器222包含用于检测第一光子209和第二光子213的4(或更多)spad的阵列。用于检测器222的4spad阵列可实现分辨率恢复。可通过在第一阶段期间使用4spad阵列用于检测第一光子209且在第二阶段期间使用单个spad用于检测第二光子213实现分辨率恢复。然而，此实例架构可易发生边缘检测误差且因此可实施用于误差校正的算法。

响应于确定光在第一像素和对象之间行进的往返时间，飞行时间相机可进一步计算第一像素和对象之间的距离，如由方程式(1)和(2)指示。在一些实例中，第一像素是包含在飞行时间相机中的多个像素中的一个。可针对多个像素中的每一个确定所述往返时间，且飞行时间相机可基于所确定的往返时间计算多个像素中的每一个与对象的对应部分之间的往返距离,以从图像光产生具有对象的深度信息的3d图像或视频。

图3说明示出根据本发明的教示的用于计算距飞行时间相机和对象的往返距离的方法300的实例流程图。方法300使用根据本发明的教示的两阶段获取技术。

框305-320示出用于确定图像光从飞行时间相机到对象并且回到飞行时间相机的往返时间的检测窗的步骤。确定所述检测窗至少部分地基于根据本发明的教示通过包含在飞行时间相机的第一像素中的光电检测器检测来自包含在飞行时间相机中的光源的光的第一脉冲。在一个实例中，所述光源是垂直空腔表面发射激光器。在相同或其它实例中，光电检测器是一或多个单光子雪崩光电二极管(spad)，例如四个spad的阵列。

框325-345说明根据本发明的教示至少部分地基于在检测窗内检测到的来自光源的光的第二脉冲确定往返时间。

框305示出通过光源将光的第一脉冲发射到对象。

框310说明响应于发射第一脉冲而通过包含在飞行时间相机中的光电检测器检测从对象反射的第一光子。第一光子是基于在第一时间跨度内检测到的用以计算检测窗的相关阈值数目个光子。

框315示出在相关窗内检测大于阈值m的第一光子的过程。

框320说明基于第一时间跨度内检测到的第一光子计算检测窗。

框325示出通过光源将光的第二脉冲发射到对象。在一个实例中，第一脉冲中的每一个的第一脉冲持续时间大于第二脉冲中的每一个的第二脉冲持续时间。在相同或另一实例中，第一脉冲中的每一个的第一光强度小于第二脉冲中的每一个的第二光强度。

框330说明响应于发射第二脉冲而在检测窗内通过光电检测器检测从对象反射的第二光子。在检测窗内检测第二光子以产生表示在检测窗内的各个时间检测到的第二光子的直方图。直方图中的第二光子收敛到第二时间跨度。可通过在第二子帧中的每一个期间在检测窗内启用光电检测器来达成在检测窗内检测第二光子。也可在第二子帧中的每一个期间在检测窗外部停用光电检测器以减小在检测第二光子时的背景噪声。在一些实例中，可经由时间选通达成在第二子帧期间启用和停用光电检测器。

框335示出累计n个第二子帧的时间窗内的光子到达(例如第二光子)的直方图。直方图内的第二光子收敛到第二时间跨度以用于计算往返时间。

框340说明通过分析直方图基于第二时间跨度计算往返时间。在一个实例中，第一光子和第二光子包含在图像光中。飞行时间相机还可在每一像素(例如l个spad的群组)中包含用于产生表示光源何时发射光以及光电检测器何时检测到图像光的时序信号的时间-数字转换器(tdc)。此外，第一时间跨度和第二时间跨度可至少部分地基于由tdc产生的时序信号。

框345示出响应于确定往返时间而计算包含在飞行时间相机中的第一像素与对象之间的往返距离。

图4是示出根据本公开的教示的实例飞行时间相机400的一部分的框图，其包含飞行时间像素阵列420、读出电路414、时间-数字转换器424、控制电路418和具有逻辑的控制器426，所述飞行时间像素阵列包含具有对应单光子雪崩二极管431的第一像素422。应注意，飞行时间相机400可实施于堆叠芯片方案中。举例来说，如实例中所示，像素阵列420可包含在像素裸片中，而根据本发明的教示，读出电路414、时间-数字转换器424、控制器(可包含一或多个处理器和存储器的逻辑)426和控制电路418如图4中所说明可包含在独立专用集成电路(asic)裸片中。在实例中，像素裸片和asic裸片在制造期间堆叠和耦合在一起以实施根据本发明的教示的飞行时间相机。在其它实施例中，可使用飞行时间相机400的非堆叠实施方案。举例来说，像素裸片(包含像素阵列420)、读出电路414、时间-数字转换器424、控制器426和控制电路418可制造于同一si衬底上。一般来说，应了解，飞行时间相机400可实施于堆叠和非堆叠解决方案中。

对本发明的所说明的实例的以上描述(包含摘要中所描述的内容)不意欲为穷尽性的或将本发明限制到所公开的精确形式。虽然本文中出于说明性目的描述了本发明的具体实例，但在本发明的范围内，各种修改是可能的，如相关领域的技术人员将认识到。

可鉴于以上详细描述对本发明作出这些修改。所附权利要求书中使用的术语不应解释为将本发明限于本说明书中公开的具体实例。确切地说，本发明的范围应完全由所附权利要求书确定，应根据权利要求解释的已确立的原则来解释所附权利要求书。