飞行时间计算方法与流程

本发明属于计算机技术领域，更具体地说，是涉及一种飞行时间计算方法。

背景技术：

时间飞行(timeofflight,tof)深度相机通过测量光束在空间中的飞行时间来计算物体的距离，由于其具有精度高、测量范围大等优点被广泛应用于消费电子、无人架驶、ar/vr等领域。

传统的时间飞行深度相机系统包含一个光源以及相机，光源向目标空间发射泛光光束以提供照明，相机则对反射回的泛光光束进行成像，系统再通过计算光束由发射到反射接收所需要的时间来计算物体的距离。在利用时间飞行深度相机进行距离感测时，环境光干扰会影响到测量的精度，比如当环境光强度较高甚至淹没光源的泛光时，将很难分辨出光源的光束以至于出现较大的测量误差。

现有的技术中可以通过增加滤光片等光学方法以及设置减法电路等电子方法来进行背景光抑制，然而，这些方法仍然不能从本质上消除或降低环境光干扰引起的测量误差。

技术实现要素：

本发明为了解决现有技术中缺乏一种抗环境光性能好的时间飞行深度相机的问题，提供一种飞行时间计算方法。

为了解决上述问题，本发明采用的技术方案如下所述：

一种飞行时间计算方法，包括：利用发射模组向外发射非泛光载波光束，利用采集模组采集由物体反射回的至少部分所述非泛光载波光束；计算所述非泛光载波光束发射与反射之间的飞行时间。其中，所述发射模组包括光源、时间光调制器以及空间光调制器，所述时间光调制器用于控制所述光源以一个时间载波信号发出相应的载波光束，所述空间光调制器用于将所述载波光束进行空间调制以形成非泛光载波光束向外发射；所述采集模组包括阵列像素单元以及透镜单元，所述透镜单元用于接收并将由物体反射回的至少部分所述非泛光载波光束成像在至少部分所述阵列像素单元上。

在一个实施例中，所述方法还包括根据所述飞行时间计算所述物体的距离。

在一个实施例中，所述时间载波信号包括脉冲信号、方波信号、正弦波信号中的一种。

在一个实施例中，所述空间光调制器包括衍射光学元件，所述非泛光载波光束包括散斑载波光束或规则阵列斑点载波光束。所述散斑载波光束或规则阵列斑点载波光束中的斑点将成像在所述阵列像素单元的至少2个像素单元上。所述散斑载波光束或规则阵列斑点载波光束中的斑点之间的距离不超过所述斑点的尺寸。

在一个实施例中，所述空间光调制器包括掩膜板，所述非泛光载波光束包括二维编码图案载波光束。

在一个实施例中，所述空间光调制器包括mems扫描器。所述mems扫描器表面包括闪耀光栅。

在一个实施例中，所述阵列像素单元包括ccd、cmos、spad中的一种。

在一个实施例中，所述阵列像素单元中包含多个由至少两个像素组成的子像素单元，每个子像素单元用于接收并成像由物体反射回的至少部分所述非泛光载波光束。所述子像素单元中的各个像素被配置为在不同时间内激活以采集所述非泛光载波光束的光信号，所述处理电路基于所述光信号计算出所述飞行时间和/或物体的距离。

本发明的有益效果为：提供了一种飞行时间计算方法，其通过时间光调制器以及空间光调制器对光源的调制以形成非泛光载波光束，以提升该时间飞行深度相机对环境光的抗干扰能力，并降低功耗。

附图说明

图1是根据本申请一个实施例的时间飞行深度相机示意图。

图2是根据本申请一个实施例的发射模组示意图。

图3是根据本申请又一个实施例的发射模组示意图。

图4是根据本申请一个实施例的阵列像素单元示意图。

图5是根据本申请一个实施例的飞行时间计算方法步骤示意图。

具体实施方式

为了使本发明实施例所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。另外，连接即可以是用于固定作用也可以是用于电路连通作用。

需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本发明实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

本发明提供了一种时间飞行深度相机，其具有较强的抗环境光能力，可以理解的是，本方案除了可以解决环境光干扰的问题，也可以解决其他问题，比如功耗高的问题等。

图1是根据本发明一个实施例的时间飞行深度相机示意图。时间飞行深度相机10包括发射模组11、采集模组12以及处理电路13，其中发射模组11提供发射光束30至目标空间中以照明空间中的物体20，至少部分发射光束30经物体20反射后形成反射光束40，反射光束40的至少部分被采集模组12采集，处理电路13分别与发射模组11以及采集模组12连接，同步发射模组11以及采集模组12的触发信号以计算光束由发射模组11发出并被采集模组12接收所需要的时间，即发射光束30与反射光束40之间的飞行时间t，进一步的，物体上对应点的距离d可由下式计算出：

d＝c·t/2(1)

其中，c为光速。

发射模组11包括光源111、时间光调制器112以及空间光调制器113。光源111可以是发光二极管(led)、边发射激光器(eel)、垂直腔面发射激光器(vcsel)等光源，也可以是多个光源组成的光源阵列，光源所发射的光束可以是可见光、红外光、紫外光等。

时间光调制器112提供一个时间载波信号给光源111，以控制光源111发射相应的载波光束。比如，在一个实施例中，载波信号是具有一定频率的脉冲信号，光源111以该频率发射脉冲光束，可以用于直接时间飞行法(directtof)测量中；在一个实施例中，载波信号是具有一定波长的方波信号或者正弦信号，光源111的振幅被该载波信号调制以发射相应的方波光束或正弦波光束，可以用于间接飞行时间法(indirecttof)测量中。可以理解的是，时间光调制器112可以是独立的控制电路也可以是处理电路13，比如处理电路13通过调制光源的功率实现对光源振幅的载波调制。载波信号的频率根据测量距离进行设定，比如可以设置成1mhz～100mhz，测量距离在几米至几百米。

空间光调制器113接收来自光源111的载波光束，并将载波光束进行空间调制，即将载波光束在空间中的分布进行调制以形成强度分布不均匀的非泛光载波光束向外发射。与传统的泛光光束相比，由于非泛光光束的强度分布不均匀，在光源功率相同的情况下，强度分布较高的区域将具有对环境光更高的抗干扰性能；另外，在投射视场角相同的情况下，由于强度分布的不均匀性，基要达到相同的环境光抗干扰性能，泛光照明需要更高的功耗。

在一些实施例中，空间光调制器113还用于将接收到的载波光束进行扩束，以扩大视场角。

处理电路13可以是独立的专用电路，比如专用soc芯片、fpga芯片、asic芯片等等，也可以包含通用处理器，比如当该深度相机被集成到如手机、电视、电脑等智能终端中去，终端中的处理器可以作为该处理电路13的至少一部分。

在一些实施例中，时间飞行深度相机10还可以包括彩色相机、红外相机、imu等器件，与这些器件的组合可以实现更加丰富的功能，比如3d纹理建模、红外人脸识别、slam等功能。

图2是根据本发明一个实施例的发射模组示意图。发射模组11包括光源201、驱动电路202、透镜203以及衍射光学元件(doe)204，光源201在驱动电路202的功率时间调制下发射脉冲、方波或正弦波调制的光束，光束经透镜203的准直或聚焦后入射到doe204，doe204对入射的光束进行空间调制，即衍射。在一个实施例中，doe204对入射的光束进行分束，并向目标空间中发射出多个光束301、302以及303，比如几万条光束，每条光束在物体20的表面形成一个斑点。在一个实施例中，doe204将通过对入射光束的衍射形成规则排列(指各个斑点的角偏移均匀分布，规则排列入射到3d物体表面，排列会被重构)的斑点阵列。在一个实施例中，doe204将通过对入射光束的衍射形成散斑图案，即斑点排列具备一定的随机性。

光源201可以是单个光源也可以是光源阵列。在一个实施例中，光源201由规则的多个光源组成的光源阵列，比如由半导体衬底以及多个排列在衬底上的vcsel光源所组成的vcsel阵列芯片。doe204对光源201发射的阵列光束进行复制，向外发射的非泛光光束由多个复制的阵列光束组成，由此可以扩大视场角以及光束的数量。

在一些实施例中，发射模组11中的空间光调制器也可以包含掩膜板，掩膜板上包含将入射光束调制成非泛光光束的二维图案，比如通过掩膜板可以将入射光束经空间调制形成二维编码图案光束。

在一些实施例中，发射模组11中的空间光调制器也可以包含微透镜阵列，微透镜阵列由多个微透镜单元排列而成，在一个实施例中，多个微透镜单元接收来自光源201的光束后生成与微透镜单元排列相应的阵列光束向外发射；在一个实施例中，光源201也包含与微透镜阵列中排列相对应的多个子光源，每个微透镜单元接收与之对应的子光源的光束并准直或聚焦后向外发射阵列光束。阵列光束可以是随机排列形式也可以是规则排列形式。

图3是根据本发明又一个实施例的发射模组示意图。发射模组11包含光源303、驱动电路304、光束扫描器305，还可以包含透镜单元(图中未示出)，光源303发出光束经光束扫描器305反射/衍射后向目标空间发射。驱动电路304对光源201进行时序功率调制以发射脉冲、方波或正弦波调制的光束，光束扫描器305通过沿单轴或多轴旋转以将光束发射到目标空间。在一个实施例中光束扫描器包括微机电系统(mems)扫描器，由于具有极高的扫描频率以及较小的体积，可以使得发射模组具有较小的体积以及较高的性能。mems扫描器可以以1mhz～20mhz的频率进行扫描，因此可以提供足够的空间及时间分辨率。通过驱动电路304以及光束扫描器305的配置，可以对光源303发射出的光束进行空间及时间调制以产生多种图案光束出射，比如规则斑点图案、条纹图案、正弦分布的空间图案等。

在一个实施例中，光源303为激光光源，mems扫描器305其表面包括闪耀光栅，由此可以在预定的方向上产生条纹，在mems扫描器305通过扫描可以产生更密集的条纹图案，由此可以提高深度图像的分辨率。

在一些实施例中，光束扫描器305也可以是液晶光调制器、纳米芯片调制器等。

回到图1，采集模组12包括阵列像素单元121、透镜单元122，透镜单元122接收并将由物体反射回的至少部分非泛光载波光束成像在至少部分所述阵列像素单元121上。阵列像素单元121可以是电荷耦合元件(ccd)、互补金属氧化物半导体(cmos)、雪崩二极管(ad)、单光子雪崩二极管(spad)等组成的阵列像素单元，阵列大小代表着该深度相机的分辨率，比如320x240等。一般地，与阵列像素单元121连接的还包括由信号放大器、时数转换器(tdc)、模数转换器(adc)等器件中的一种或多种组成的读出电路(图中未示出)。

图4是根据本发明一个实施例的阵列像素单元示意图。阵列像素单元40包含多个像素单元401，用于接收由物体反射回的光束，并将光能量或光子数量转换成电信号由读出电路50输出。在本实施例中，假定由物体反射回的是由多个斑点60组成的散斑图案，通过对透镜、发射模组等的设定，可以将斑点配置成合适的大小以成像在阵列像素单元上。比如本实施例中，斑点的大小约占用4个像素区域。可以理解的是，斑点的大小也可以设置成单个像素、两个像素或者其他数量的像素区域，这样阵列像素单元40根据入射的光束被分成多个子像素单元区域。

在本实施例中，假定单个斑点成像在a、b、c、d四个像素组成的子像素单元上，散斑图案中的斑点振幅被正弦波或方波调制，调制的周期为t。a、b、c、d四个像素被设置成单个周期时间内不同的时间上激活，比如分别在0～t/2、t/2～t、t/4～3t/4、3t/4～5t/4时间内被激活以采集光束，分别得到光信号值i1、i2、i3以及i4。由于四个像素上对应的是同一个斑点，当斑点足够小时，斑点对应的物体可以认为是一个点，即认为四个像素上的深度值相同，基于此，处理电路可以根据四步相移法，a、b、c、d四个像素上斑点的距离值(包含飞行时间)将由下式计算出：

d＝c·t·atan2(i1-i3,i4-i2)/(4·π)(2)

可以理解的是，对于多步相移而言，斑点的尺寸可以进行相应的设计调整。

在一些实施例中，斑点被配置成2个像素单元的大小，比如成椭圆状。斑点振幅被脉冲调制，脉冲周期为t，2个像素单元中的一个与发射模组脉冲同步被激活，并在0～t/2时间内接收光束，另一个在t/2～t时间内接收光束，分别产生电信号i1、i2。则该2个像素对应的目标物体的深度值(包含飞行时间)可以由下式计算：

在一些实施例中，斑点被配置成至少3个以上像素单元的大小。斑点振幅被脉冲调制，脉冲周期为t，多个像素单元中的至少3个分别在0～t/3时间内采集背景光信号i0，在t/3～2t/3采集光信号i1，在2t/3～t采集光信号i2。或者0～t/3时间内采集光信号i1，t/3～2t/3采集光信号i2，2t/3～t采集背景光信号i0，据此可以计算出目标物体的距离值

以上仅是为了更好的说明如何利用散斑图案进行距离计算，而列举的几种可能调制和距离深度计算方式，其他可能的调制方式和距离计算公式也同样适用于我们提出的非泛光图案。

为了增加深度图像的分辨率，在一些实施例中，相邻斑点之间的距离不宜过大，优选地，相邻斑点之间沿某一方向的距离被设置成不超过斑点自身沿该方向尺寸的1倍，比如斑点横向尺寸为m，相邻斑点沿横向的间隔为n，则n<m，较佳地，n被设置成m的50％。

这种通过对落入相同斑点中的多个像素进行时序控制并近似计算深度值的方案，相对于传统单像素计算而言，计算效率得到大幅提升。而且相对于泛光图案而言，由于单个斑点的范围更小，落入到单个斑点内的多个像素可以进行识别(泛光图案无法定位于相位一致的多个像素)，计算出的深度值可信度更高。

可以理解的是，在以上实施例中是以斑点所形成的非泛光载波光束为例进行说明的，上述方案同样适用于其他非泛光载波光束，比如条纹、二维编码图案等。

图5是根据本申请一个实施例的飞行时间计算方法步骤示意图。该飞行时间计算方法是依据上述时间飞行深度相机，由处理电路、软件、软硬件结合等形式执行。在511步骤中，利用发射模组向外发射非泛光载波光束，发射模组如图2、图3以及上述的各个实施例所示，所发射的非泛光载波光束包括散斑、规则斑点、二维编码、条纹等非泛光形式的载波光束；在512步骤中，利用采集模组采集由物体反射回的至少部分所述非泛光载波光束，发射模组发射出光束之后照明目标空间中的物体，并由物体反射，反射回的至少部分所述非泛光载波光束由被采集模组接收，采集模组如图4以及上述各实施例所示；在步骤513中，计算所述非泛光载波光束发射与反射之间的飞行时间，即由处理电路通过相位、高速快门等方式记录并计算发射的非泛光载波光束以及反射回的光束之间的飞行时间，具体的计算方式详见前面的描述，比如2相位、3相位以及4相位计算方式。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。