深度数据测量头和运动装置控制系统的制作方法

1.本实用新型涉及深度成像，尤其涉及一种深度数据测量头和运动装置控制系统。


背景技术：

2.近年来，三维成像技术得到蓬勃发展。这离不开深度数据测量技术的长足进步。
3.目前，一种基于结构光的深度测量方案能够实时地对物体表面进行三维测量。简单地说，该方案首先向自然体表面投射带有编码信息的二维激光纹理图案，例如离散化的散斑图。随后实现单目或双目图像采集，以根据与基准图像的比较或是双目图像之间的视差来计算深度信息。
4.上述主动投射结构光的方案在拍摄设备相对固定的领域，诸如安防、智能设备人脸识别、工厂质检等方面得到了广泛的应用。但是在面对拍摄设备位于运动机构的应用场景(例如，驾驶或其他运动场景)时，现有结构光方案存在测距范围有限和不适于高速移动等问题。
5.为此，需要一种适用于运动场景的深度数据测量方案。


技术实现要素：

6.本公开要解决的一个技术问题是提供一种深度数据测量方案，尤其是适用于测量设备本身处于运动状态的应用场景。具体地，本实用新型的一种深度数据测量头包括分区发射激光脉冲的光源模块，以及相应分区接收返回光的tof传感器，尤其是dtof(直接飞行时间)传感器，用于分区，尤其是分列获取传感信息，以匹配现有的算力限制，并降低功耗。
7.根据本公开的第一个方面，提供了一种深度数据测量头，包括：光源模块，用于分区域地向被测空间投射激光脉冲；飞行时间(tof)传感器，用于分区域地接收所述被测空间的返回光并生成传感信号，所述传感信号表征所述光的飞行时间以计算被测空间内拍摄对象的距离；控制器，用于控制所述光源模块和所述tof传感器各自使用对应的分区投入工作；以及底座，用于固定所述光源模块、所述tof传感器和所述控制器。
8.可选地，所述光源模块包括多个发光区域，并且所述tof传感器包括基于盖革模式的传感阵列，并且控制所述光源模块和所述tof传感器各自使用对应的分区投入工作包括：所述传感器控制所述多个发光区域轮番点亮，并且控制所述传感阵列中对应于照亮被测空间区域的一个或多个列接收返回光。
9.可选地，所述多个发光区域包括n个发光区域，每个发光区域对应于所述传感阵列中的m个列，其中，mxn等于所述传感阵列的总列数，所述传感器控制所述多个发光区域轮番点亮，并且控制所述传感阵列中对应于照亮被测空间区域的一个或多个列接收返回光包括：所述传感器控制每个发光区域发出m次光脉冲，用于该发光区域对应的所述传感阵列中m 个列逐一接收返回光。
10.可选地，所述多个发光区域各自包括多个vcsel单体。可选地，由能够被分区点亮的多组vcsel单体组成的一个vcsel芯片。
11.可选地，所述光源模块还包括：所述vcsel芯片出射方向上的扩散片；和/或用于检测所述vcsel芯片是否正常工作的功率检测元件。
12.可选地，每组vcsel单体包括：至少两个vcsel单体子分组，所述控制器能够控制该组vcsel单体中的任意组vcsel单体子分组同时发射光脉冲。
13.可选地，所述tof传感器包括：逐列接收返回光的硅光电倍增管 (sipm)。
14.根据本公开的第二个方面，提供了一种深度数据测量设备，包括：如第一方面所述的深度数据测量头；处理器，用于：基于所述tof传感器分区域生成的传感信号进行距离计算；以及将针对多个所述tof传感器分区的传感信号计算结果合成为所述被测空间的深度数据输出。
15.可选地，所述处理器集成所述控制器的功能。
16.根据本公开的第三个方面，提供了一种运动装置控制系统，包括：如第二方面所述的深度数据测量设备，用于在运动装置的运动过程中采集被测空间的返回光并生成深度数据输出；控制单元，用于基于所述深度数据输出生成控制信号；以及动作单元，用于基于所述控制信号，进行改变或维持运动装置的运动。
17.由此，本实用新型的深度数据测量方案利用tof传感器，尤其是工作在卷帘模式下的sipm来实现基于直接飞行时间的高精度深度数据测量。该方案进一步结合分区工作的发光模块，在保证对应传感区域的正常曝光的同时，降低功耗。
附图说明
18.通过结合附图对本公开示例性实施方式进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施方式中，相同的参考标号通常代表相同部件。
19.图1示出了根据本公开一个实施例的深度数据测量头的组成示意图。
20.图2示出了光源模块工作分区涵盖tof传感器工作分区的示意图。
21.图3示出了包括多个发光区域的vcsel芯片的一个例子。
22.图4示出了分区内包括子分组的vcsel芯片的一个例子。
23.图5示出了光源模块的组成例。
具体实施方式
24.下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
25.为了获取三维数据中的代表第三维信息的深度数据，需要借助深度传感器进行获取。深度传感器是指采用像素阵列来获取整个场景的高分辨率深度分布的光学传感器。一般用于测量深度的机制包括结构光、双目和 tof(timeofflight，飞行时间)三种，其中结构光和双目技术(包括其结合)都是基于几何原理做间接深度估计，而tof则是测量发射光和反射光之间的飞行时间并根据光速来直接估计深度。
26.另外，虽然都是根据发射光和反射光之间的飞行时间来直接估计目标距离，但不
同于只能获得低密度点云的线扫描式常规雷达，本实用新型所使用的tof传感器可以通过高密度tof传感像素阵列来得到测量场景的高分辨率距离/深度分布。
27.tof可以分为itof(间接飞行时间)和dtof(直接飞行时间)两类。 dtof的原理即直接发射一个光脉冲，之后测量反射光脉冲和发射光脉冲之间的时间间隔，就可以得到光的飞行时间。itof的原理相对复杂。在itof 中，并非发射光脉冲，而是调制过的光。接收到的反射调制光和发射的调制光之间存在一个相位差，通过检测该相位差就能测量出飞行时间，从而估计出距离。
28.itof从原理上来说存在最大测距距离和测距精度之间的矛盾。举例来说，如果当前目标的距离是0.15m，则发射和反射光的飞行时间合计1ns。在调制光的调制频率为100mhz(周期为10ns)时，1ns的飞行时间差转化为相位差就是36度，而如果调制光的调制频率为10mhz(周期为100ns) 时，1ns的飞行时间差转化为相位差就是3.6度。36度的相位差比起3.6 度的相位差要容易检测，因此itof的调制光调制频率越高，则测距精度越好。但调制频率越高也限制了最大测距距离。举例来说，当调制频率为 100mhz时，那么无论飞行时间是1ns还是11ns反应在调制相位差上都是 36度，因此其最大测距距离被调制周期所限制；例如在10ns调制周期时其最大测距距离就是飞行时间等于调制周期时对应的距离(1.5m)。因此，目前itof的主要应用场景都是测距距离在数米范围的应用(例如手机等)。与之相对的是，dtof不存在这个测距距离和测距精度之间的矛盾。
29.在具体的实现上，dtof相较于itof来说难度要大许多。dtof的难点在于要检测的光信号是一个脉冲信号，因此检测器对于光的敏感度比需要非常高。tof传感器实现可以使用spad(single-photon avalanche diode，单光子雪崩二极管)。spad的工作区域位于二极管的击穿区附近，当单个光子进入spad后就会产生大量的电子-空穴对，因此spad能检测到非常微弱的光脉冲。但现有spad的集成度较低，导致dtof传感器的2d 分辨率较差。此外，dtof需要能分辨出非常精细的时间差，因此需要极为精确的读出电路。
30.由于现有结构光和双目方案在面对拍摄设备位于运动机构的应用场景(例如，驾驶或其他运动场景)时，存在测距范围有限和不适于高速移动等问题。为此本实用新型转而利用tof，尤其dtof阵列来进行基于飞行时间的深度距离测量。上述测量可以与分区点亮的光源模块相结合，以便在获取高精度图像的同时降低功耗。
31.图1示出了根据本公开一个实施例的深度数据测量头的组成示意图。如图1所示，深度数据测量头100可以包括光源模块110和tof传感器 120。光源模块110和tof传感器120可以固定在底座上130，以便后续在壳体内的安装。可以理解的是，底座130在其他实现中也可以呈现壳体的形式，以便对组件提供更为完善的保护。虽然图中未示出，深度数据测量100还需要包括用于控制光源模块110和tof传感器120投入工作的控制器(例如，可以布置在底座130的另一侧)。
32.在本实用新型中，光源模块110可以分区域地向被测空间投射激光脉冲。tof传感器120则可以分区域地接收所述被测空间的返回光并生成传感信号。在此，“分区域”可以指代组件分区域地投入工作。例如，光源模块110可以每一次只点亮某一区域，以进行脉冲发射；而tof传感器 120则可以每一次仅接通某一区域进行返回光感测。“传感信号”可以表征光的飞行时间以计算被测空间内拍摄对象的距离。优选地，tof传感器 120可以是利用dtof(直接飞行时间)原理来进行距离计算的传感器。控制器则用于控制光源模块110和tof传感
器120各自使用对应的分区投入工作。
33.在此，光源模块110的分区域工作可以是光源模块110固定或是可变划分为n个区域，每一个工作时刻，仅点亮某一个分区的光源模块，即，仅有该分区内的发光单元发射光脉冲。相应地，tof传感器120的分区域工作则可以是tof传感器120固定或是可变划分为p个区域，每一个工作时刻，仅传感器的某一个分区投入工作，即，仅有该分区内的传感单元接收返回光。
34.由于只有在有光照射时才能接收到返回光，因此tof传感器的工作分区需要与光源模块的工作分区相配合。为此，光源模块110和tof传感器 120各自使用对应的分区投入工作可以包括：光源模块110对应分区投射的激光脉冲所照射的被测空间区域涵盖tof传感器120对应分区用于接收返回光的被测空间区域。换句话说，光源模块的工作分区所照射的空间区域至少不小于接收返回光的传感器区域。
35.图2示出了光源模块工作分区涵盖tof传感器工作分区的示意图。如图所示，光源模块的整体照射范围可以与tof传感器的整体取景范围相当，例如照射范围(粗实线)可以略大于取景范围(粗虚线)。由于光源模块分区投入工作，因此如图2所示，在某一时刻，光源模块的某一区域发射激光脉冲所照射如细实线所示的范围。为了能够对发射的光脉冲成像，投入工作的tof传感器分区所对应的取景范围则应该如细虚线所示范围，不超过细实线所示的脉冲投射范围。
36.更具体地，光源模块110可以包括多个发光区域，tof传感器包括传感阵列。为此，控制器控制所述光源模块和所述tof传感器各自使用对应的分区投入工作可以包括：传感器控制所述多个发光区域轮番点亮，并且控制所述传感阵列中对应于照亮被测空间区域的一个或多个列接收返回光。
37.在投入工作的tof传感器分区所对应的取景范围如图2所示小于投入工作的光源模块分区所对应的照射范围时，在一次完整的传感器成像过程中，每个光源模块的发光区域需要被点亮多次，以方便其对应取景区域内的每列传感单元都获取得到返回光。举例而言，如果一个发光区域的投射范围对应于50列传感单元的取景范围，而每次能够接收返回光的传感单元小于50列(例如，一次1列，或一次10列)，则意味着该发光区域需要投射多次(例如，相应地，50次，或5次)，以使得对应的每列传感单元都能够获取返回光。
38.在一个实施例中，所述多个发光区域包括n个发光区域，每个发光区域对应于传感阵列中的m个列，其中，mxn等于传感阵列的总列数。传感器可以控制所述多个发光区域轮番点亮，并且控制所述传感阵列中对应于照亮被测空间区域的一个或多个列接收返回光包括：所述传感器控制每个发光区域发出m次光脉冲，用于该发光区域对应的所述传感阵列中m 个列逐一接收返回光。
39.例如，tof传感器可以是400x100的传感阵列，即包括400列，每列100个传感单元(即，p＝400)。光源模块可以包括竖直排列的8个发光区域(n＝8)，每个发光区域可以对应于传感阵列中的50个列(m＝p/n＝50)。在一个实施例中，控制器可以首先控制第一发光区域投入工作，例如以固定间隔发出50次脉冲，以使得传感器中第1-50列逐一曝光；随后可以控制第二发光区域投入工作，例如以固定间隔发出50次脉冲，以使得传感器中第51-100列逐一曝光；以此类推直到第八区域投入工作，例如以固定间隔发出50次脉冲，以使得传感器中第351-400列逐一曝光。为此，光源模块在分为8个区域共经历400次脉冲发射之后，完成
对400列传感单元的曝光。为此，相比于每次完全点亮的方案而言，节约了7/8的发光效率。
40.在某些实施例中，发光模块包括的多个发光区域可以是各自独立的单个发光区域，在其他实施例中，多个发光区域可以各自包括多个vcsel (垂直腔面发射激光器)单体。优选地，光源模块可以包括：由能够被分区点亮的多组vcsel单体组成的一个vcsel芯片。图3示出了包括多个发光区域的vcsel芯片的一个例子。如图所示，vcsel芯片包括5个发光区域(n＝5)，每个区域包括32个发光单元，即160个发光单体分成了 5组，每组32个单体。在工作时芯片通常被垂直放置，使得每个独立点亮的单体组可以照射被测空间内某一竖长区域，用于与例如逐列投入工作的 tof传感器相结合，以便对20米范围内的拍摄对象进行深度距离测量。
41.在某些实施例中，每组vcsel单体可以被进一步地分组。图4示出了分区内包括子分组的vcsel芯片的一个例子。相比于图3，图4用虚线进一步示出了vcsel芯片上的vcsel单体分组。与图3类似地，vcsel 芯片包括5个发光区域(n＝5)，每个区域包括32个发光单元，即160 个发光单体分成了5组，每组32个单体。但不同于图3中每个分组内的发光单元都被同时用于投入工作，图4中每组的32个发光单体被进一步分成了两个子分组(空心圆和实心圆)。分属两个子分组的单体优选彼此交错分布，以便在所属子分组被单独点亮时能够均匀照射对应的被测空间。控制器可以控制该组vcsel单体中的任意组vcsel单体子分组同时发射光脉冲。例如，在10米测距范围的要求下、电量低的情况下和/或是外界干扰小的情况下，每次可以仅投入任一个子分组进行投射，即，每次只点亮16个发光单体。而在20米测距范围的要求下、电量充足的情况下和/ 或是外界干扰大的情况下，每次可以投入全部子分组进行投射，即，每次点亮该分组内全部32个发光单体。
42.除了vcsel芯片之外，光源模块还可以包括扩散片。图5示出了光源模块的组成例。如图所示，光源模块510可以包括vcsel芯片511，以及位于vcsel芯片511出射方向上的扩散片512，用于使得出射光分布更为均匀。光源模块还可以包括用于固定芯片511和扩散片512的封装壳体。另外，虽然未示出，光源模块还可以包括用于检测所述vcsel芯片是否正常工作的功率检测元件。
43.如前所述，tof传感器是通过高密度tof传感像素阵列，基于直接飞行时间得到测量场景的高分辨率距离/深度分布的器件。在一个优选实施例中，tof传感器可以是基于盖革模式(geiger mode)的传感器阵列。
44.在此，为了方便对本实用新型的理解，对“盖革模式”加以说明。常规的雪崩光电二极管(apd)与普通的p-n结光电二极管不同之处在于apd 能够承受更高的偏置电压。当光子被apd吸收产生一对电子空穴对，这对电子空穴对被称为主电子。主电子在高偏置电压产生的强电场的作用下被加速，从而获得足够的能量，然后与晶格碰撞产生另外的电子空穴对，碰撞会损失一些动能，这个过程就是熟悉的碰撞电离。然后电子(或空穴) 与二次电子(或空穴)又会被强电场加速，产生更多的电子空穴对，即所谓的“雪崩”现象，电流成指数增长。经过几次渡越，电子空穴对的产生率和吸收率就会达到平衡。如果apd的偏置电压低于其击穿电压，电子空穴对的吸收率就会大于产生率，使得电子空穴对下降，此时apd产生的平均光电流与入射光成正比，比例系数为增益因子m，所以称此过程为线性工作模式。利用其中线性比例关系，可以实现对入射光信号强度的测量。
45.但是如果apd的偏置电压高于其击穿电压时，apd由于碰撞电离产生电子空穴对的
速率就会大大加快，比电子空穴对的吸收率快，这就会使电流随着时间按指数级增长，从而发生雪崩，产生电流脉冲。光电流的增加会减弱apd由于高偏置电压形成的强电场，这会使雪崩的速率下降，使得光电流下降，最终达到平衡，平衡后光电流不会再发生变化。平衡过程的形成，主要是由于apd上的等效电阻会提供一个负反馈，光电流的上升会使得等效电阻上的压降升高，从而抵消一部分偏置电压，使得apd 上的偏压下降，这就导致雪崩速率下降，从而光电流减小，这又会使等效电阻上的压降下降，就会出现刚才的逆过程，使得光电流上升，一段时间后，就形成了平衡状态。如果光电流稳定后大于几百微安，光电流将一直保持不变，即一直保持这种平衡状态，且此时不再响应入射光子。这就是盖革模式，这种模式最显著的特点就是能够响应单光子事件，它与线性模式最大的区别在于只响应光子的有无，而无法区分光子个数，这也是gapd (盖革模式雪崩光电二极管)的最大特点。为了能够响应下一次光子事件，必须将apd连接在淬灭电路中进行淬灭，然后重新充电，才能使apd正常工作。在理想状态下，淬灭过程中apd不响应任何光子，直到充电完成，这段时间被称为“盲时间”。
46.spad是一种工作在盖革模式的光电二极管，就像光子触发开关一样，处于“开”或“关”状态。本实用新型优选使用的tof传感器是由多个独立的spad传感器组成的硅光电倍增管(sipm)。sipm是由多个独立的 spad传感器组成，每个传感器都有自己的淬灭电阻，从而克服单个spad 不能同时测量多个光子的不足。由于本实用新型使用逐列接收返回光的 sipm，因此能够在存在算力和盲时间限制的情况下，实现深度数据的高效快速计算。
47.另外，应该理解的是，本实用新型的光源模块发射的激光脉冲是可见光频带之外的脉冲，例如近红外脉冲，由此能够结合带通滤波器滤除无关环境光的干扰。
48.本实用新型还可以实现为一种深度数据测量设备，包括：如上所述的深度数据测量头和处理器。所述处理器，用于：基于所述tof传感器分区域生成的传感信号进行距离计算；以及将针对多个所述tof传感器分区的传感信号计算结果合成为所述被测空间的深度数据输出。
49.在某些实施例中，测量设备可以具有分立的控制器和处理器，在其他实施例中，处理器可以集成控制器的全部或部分功能。
50.本实用新型的深度数据测量设备尤其适于在运动的装置上进行深度数据测量。为此，本实用新型还可以实现为一种运动装置控制系统，包括：如上所述的深度数据测量设备，用于在运动装置的运动过程中采集被测空间的返回光并生成深度数据输出；控制单元，用于基于所述深度数据输出生成控制信号；以及动作单元，用于基于所述控制信号，进行改变或维持运动装置的运动。
51.在一个实施例中，该运动装置可以是自动或无人驾驶设备，例如无人驾驶车，本实用新型的深度数据测量设备可以实现为车载雷达，以实时采集和计算环境内的各个物体的距离状态，以方便车辆进行相应的动作(例如，规避、减速等)。在另一个实施例中，该运动装置还可以是搬运设备，例如物流仓库中的搬运机器人，或是更广阔空间中活动的自动送货设备等。本实用新型深度测量设备的安装有助于其完成货物装卸和日常运行。
52.应该理解的是，虽然处于设计和控制简单性的考虑，可以针对如图3 所示的发光分区，从左至右或是从右至左地依次使得每个发光区域投入工作(即，第1、2、3、4、5分区依次各发射m次脉冲)，并使得tof传感器从左至右或是从右至左地逐列进行卷帘式成像(即，
逐一接同第1-400 列的传感单元列)，但本实用新型不限于此种顺序。在其他实施例中，无需按照第1、2、3、4、5分区或是第5、4、3、2、1分区的顺序投入工作，而可以是例如1、3、5、2、4，或是4、3、5、1、2之类的任意顺序；并且逐列工作的传感器也无需每次都使得下一个相邻列投入工作；甚至也无需该发光分区对应的所有传感列都曝光后才能进行下一个发光分区的投射和对应曝光。只要在单幅传感图像的获取期间，tof传感器的每一列都被曝光即可。例如，如上结合垂直方向上的发光分区和传感列进行描述，但在其他实施例中，也可以实现为水平方向上的发光分区和逐行曝光，本实用新型对此不做限制。
53.上文中已经参考附图详细描述了根据本实用新型的深度数据测量方案。该方案利用tof传感器，尤其是工作在卷帘模式下的sipm来实现基于直接飞行时间的高精度深度数据测量。该方案进一步结合分区工作的发光模块，在保证对应传感区域的正常曝光的同时，降低功耗。
54.以上已经描述了本实用新型的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。