飞行时间测量方法、装置及时间飞行深度相机与流程

1.本技术涉及光学测量技术领域，尤其涉及一种飞行时间测量方法、装置及时间飞行深度相机。


背景技术：

2.tof(time-of-flight，飞行时间)测距法是一种通过测量光脉冲在发射/接收装置和目标物体间的往返飞行时间来实现精确测距的技术。在tof技术中直接对光飞行时间进行测量的技术被称为dtof(direct-tof)；对发射光信号进行周期性调制，通过对反射光信号相对于发射光信号的相位延迟进行测量，再由相位延迟对飞行时间进行计算的测量技术被成为itof(indirect-tof)技术。按照调制解调类型方式的不同可以分为连续波(continuous wave，cw)调制解调方式和脉冲调制(pulse modulated，pm)调制解调方式。
3.目前，pm-itof调制技术测量手段的测量距离目前受限于调制解调信号的脉宽，当需要进行远距测量时，需要延长调制解调信号的脉宽，而调制解调信号脉宽的延长会导致功耗的增加和测量精度的下降，因而也无法满足市场需求。
4.此外，cw-itof技术主要应用于基于多抽头传感器构建的测量系统，核心测量算法是一种不同相位的调制解调方式。然而，一般来说，解调的能量积分器件在进行光子积分时，都是共用同一个像素(即光电二极管或其它感光元件)。几个不同的读出和电荷累计器件(称为抽头)共同连接至同一个像素，在进行分时采集信号的过程中，难免出现不同抽头之间出现接收电荷信号的时间上的串扰和空间上的串扰，会影响到测量精度。
5.针对上述问题，目前业界暂无较佳的解决方案。


技术实现要素：

6.鉴于此，本技术实施例提供了一种飞行时间测量方法、装置及时间飞行深度相机，以至少解决目前cw-itof技术中，飞行测量系统传感器的多个抽头的解调时间受相等的采样时间长度限制的问题。
7.本技术实施例的第一方面提供了一种飞行时间测量方法，包括：针对被经调制的连续载波光束照射的待测体，控制m个信号采集组件在定制探测采样周期内顺序启动持续采样时间区间，其中所述定制探测采样周期包括k个原始探测采样周期t，m和k均为大于1的正整数，以及各个所述信号采集组件的采样时间区间长度为(k/m)*t；获取各个所述信号采集组件分别对应预设的四相位偏移量的灰度信息集，其中所述灰度信息集中的各个灰度信息分别与不同的相位偏移量相对应；根据各个所述信号采集组件的灰度信息集，确定对应所述待测体的飞行时间。
8.本技术实施例第二方面提供了一种飞行时间测量装置，包括：信号采集组件启动单元，被配置为针对被经调制的连续载波光束照射的待测体，控制m个信号采集组件在定制探测采样周期内顺序启动持续采样时间区间，其中所述定制探测采样周期包括k个原始探测采样周期t，m和k均为大于1的正整数，以及各个所述信号采集组件的采样时间区间长度
为(k/m)*t；偏移灰度采样单元，被配置为获取各个所述信号采集组件分别对应预设的四相位偏移量的灰度信息集，其中所述灰度信息集中的各个灰度信息分别与不同的相位偏移量相对应；飞行时间确定单元，被配置为根据各个所述信号采集组件的灰度信息集，确定对应所述待测体的飞行时间。
9.本技术实施例第三方面提供了一种时间飞行深度相机，包括：发射模块，包括光源和光调制器，所述光调制器用于控制所述光源朝向待测体发射经调制的连续载波光束；接收模块，包括由至少一个像素组成的图像传感器，每个所述像素包括多个信号采集组件，用于接收从所述待测体反射回的光信号；控制模块，与发射模块和接收模块连接，并被配置为：针对被经调制的连续载波光束照射的待测体，控制m个信号采集组件在定制探测采样周期内顺序启动持续采样时间区间，其中所述定制探测采样周期包括k个原始探测采样周期t，m和k均为大于1的正整数，以及各个所述信号采集组件的采样时间区间长度为(k/m)*t；获取各个所述信号采集组件分别对应预设的四相位偏移量的灰度信息集，其中所述灰度信息集中的各个灰度信息分别与不同的相位偏移量相对应；根据各个所述信号采集组件的采样时间区间和相应的灰度信息集，确定对应所述待测体的飞行时间。
10.本技术实施例的第四方面提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述方法的步骤。
11.本技术实施例的第五方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述方法的步骤。
12.本技术实施例的第六方面提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备实现如上述方法的步骤。
13.本技术实施例与现有技术相比存在的有益效果是：
14.通过本技术实施例，为测量系统设置大于原始探测采样周期的定制探测采样周期，可以增大每个信号采集组件的采样时间长度，使得在不影响时间飞行测量传感器的测量功能前提下，降低串扰光子相对于信号光子降低，增加信号的信噪比。
附图说明
15.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
16.图1示出了根据本技术实施例的深度相机的一示例的结构原理示意图；
17.图2示出了根据cw-itof技术中多抽头进行电荷积分测距时的一示例的抽头采样信号分布图；
18.图3示出了根据本技术实施例的飞行时间测量方法的一示例的流程图；
19.图4示出了根据本技术实施例的更新各个信号采集组件的采样时间区间的一示例的流程图；
20.图5示出了根据本技术实施例的确定对应待测体的飞行时间的一示例的流程图；
21.图6示出了根据本技术实施例的飞行时间测量装置的一示例的结构框图；
22.图7示出了在时间信号串扰和空间信号串扰影响抽头采样结果的一示例的效果示意图；
23.图8示出了根据本技术实施例的飞行时间测量方法的一示例的流程图；
24.图9示出了根据本技术实施例的更新定制探测采样周期所对应的k值的一示例的流程图；
25.图10示出了根据本技术实施例的飞行时间测量装置的一示例的结构图框图；
26.图11示出了根据本技术实施例的飞行时间测量方法的一示例的流程图；
27.图12示出了根据本技术实施例的确定探测采样周期中的各个采样时间区间的一示例的流程图；
28.图13示出了根据本技术实施例的根据各个灰度信息确定对应待测体的飞行时间的一示例的流程图；
29.图14示出了根据本技术实施例的飞行时间测量装置的一示例的结构框图；
30.图15是本技术实施例的电子设备的一示例的示意图。
具体实施方式
31.以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本技术实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本技术。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本技术的描述。
32.为了说明本技术所述的技术方案，下面通过具体实施例来进行说明。
33.应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
34.还应当理解，在此本技术说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本技术。如在本技术说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
35.还应当进一步理解，在本技术说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
36.如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
[0037]
具体实现中，本技术实施例中描述的电子设备包括但不限于诸如具有触摸敏感表面(例如，触摸屏显示器和/或触摸板)的移动电话、膝上型计算机或平板计算机之类的其它便携式设备。还应当理解的是，在某些实施例中，上述设备并非便携式通信设备，而是具有触摸敏感表面(例如，触摸屏显示器)的计算机。
[0038]
在接下来的讨论中，描述了包括显示器和触摸敏感表面的电子设备。然而，应当理解的是，电子设备可以包括诸如物理键盘、鼠标和/或控制杆的一个或多个其它物理用户接口设备。
[0039]
可以在电子设备上执行的各种应用程序可以使用诸如触摸敏感表面的至少一个公共物理用户接口设备。可以在应用程序之间和/或相应应用程序内调整和/或改变触摸敏感表面的一个或多个功能以及终端上显示的相应信息。这样，终端的公共物理架构(例如，触摸敏感表面)可以支持具有对用户而言直观且透明的用户界面的各种应用程序。
[0040]
图1示出了根据本技术实施例的时间飞行深度相机的一示例的结构原理示意图。
[0041]
如图1所示，时间飞行深度相机10包括发射模块11、接收模块12和控制模块13，控制模块13与发射模块11和接收模块12连接。这里，利用发射模块11可以向待测体20发射光信号(例如，经调制的连续载波光束)102，通过接收模块12可以接收从待测体20反射回的光信号103，通过控制模块13，可以对反射光信号进行计算，从而得到与待测体20之间的距离104。在一些情况下，通过控制模块13还可以调控接收模块12的采样操作，例如调控采样周期或时间等，以满足不同测量场景的需求。
[0042]
应理解的是，时间飞行深度相机10还可以包括彩色相机、红外相机、imu等器件，与这些器件的组合可以实现更加丰富的功能，比如3d纹理建模、红外人脸识别、slam等功能。
[0043]
在一些实施方式中，发射模块11可以包括光源(未示出)和光调制器(未示出)，通过光调制器可以控制光源朝向待测体20发射经调制的连续载波光束。此外，接收模块12可以包括由至少一个像素组成的图像传感器，并且每个像素包括多个信号采集组件。这里，信号采集组件可以表示对光信号进行采集的组件，其可以是用于读出和累计电荷的器件，例如信号采集组件可以采用抽头。
[0044]
具体地，时间飞行深度相机10可以采用间接时间飞行测量方法，并可以通过调制发射光的功率波形为接近正弦波(或其他波形，例如方波)，解调器件(例如传感器，i-tof sensor)在不同的时间段对接收光的功率进行能量积分。一般来说，解调器件会有几个不同的采集时间段，这种对回波的正弦信号的分时间段采集等效于对正弦信号进行多点采样。进而，解调器件输出对回波正弦信号的多个采样值，使得控制模块13计算出回波正弦信号的相位延迟，并计算出光信号在时间飞行深度相机10与被测物20之间的飞行距离。
[0045]
这里，解调的能量积分器件在进行光子积分时，都是共用同一个像素(即光电二极管或其它感光元件)，例如几个不同的读出和电荷累计器件(称为抽头)共同连接这同一个像素，在进行分时采集信号的过程中，不同抽头间的信号增益和暗电流不一致。同时，需要对正弦波信号进行分别对应不同的时间段采样的方式，包含分周期采样(即，一个周期内多个抽头进行采样)和分曝光采样(即，在不同的曝光时间内，分别将抽头的采样时间进行相位延时)。
[0046]
需说明的是，在分周期采样中，对于一个周期内多个抽头进行分时的分周期采样方法，由于不同抽头的采样干扰因子(例如，增益和暗电流)的不一致性，往往不能准确地计算出光飞行的距离值。此时，通过分曝光的采样方式，将同一抽头进行多次采集，以多次采集的数据进行加减乘除运算，从而消除采样干扰因子项的影响结果，最终达到提高距离测量准确度的目的。
[0047]
然而，在传统的时间飞行测量系统传感器的解调上，多个抽头的解调时间配置由于算法的限制，只能选择多个抽头具有相同的能量积分时间(即，在探测周期内具有相等的采样时间长度)。
[0048]
图2示出了根据cw-itof技术中多抽头进行电荷积分测距时的一示例的抽头采样
信号分布图。
[0049]
如图2所示，在基于分周期采样方式得到的一帧深度图像之后，还需要基于分曝光采样方式得到的另一帧深度图像，以消除因采样干扰因子所导致的测量误差。
[0050]
鉴于此，图3示出了根据本技术实施例的飞行时间测量方法的一示例的流程图。关于本技术实施例的执行主体，其可以是各种具有计算或处理功能的测量系统或处理器，例如其可以是时间飞行深度相机10中的控制模块13。
[0051]
如图3所示，在步骤310中，针对被经调制的连续载波光束照射的待测体，控制多个信号采集组件在一个探测采样周期内顺序启动持续采样时间区间。这里，各个信号采集组件的采样时间区间所对应的时长互异，也就是说，不同的信号采集组件对应采样操作的开始时间点是不一样的，并且不同的信号采集组件所对应的采样时间长度之间也是存在差别的。
[0052]
示例性地，像素中的各个信号采集组件(也可被称为抽头)可以按照在探测采样周期中不同的时间点顺序开启，并且各个信号采集组件可以具有不同的采样时间长度。举例来说，一个像素中具有四个抽头，可以控制在一次曝光时间内多个抽头在一个探测周期内连续开启且积分采样时间不同，例如假设探测采样周期是t，则抽头a可以是最先被开启的，并且采样时间长度可以是t/8，而抽头b可以是稍后被启动的，并且采样时间长度可以是t/4或其他数值。
[0053]
需说明的是，各个信号采集组件的采样时间长度可以是非固设的，例如还可以随着不同的业务场景或需求而进行调整。此外，上述的“多个信号采集组件”可以用来表示至少两个信号采集组件，而一般是三个、四个以上。
[0054]
在步骤320中，针对各个信号采集组件，向信号采集组件施加对应预设的四相位偏移量，以得到相应的灰度信息集。这里，灰度信息集中的各个灰度信息分别与不同的相位偏移量相对应。
[0055]
示例性地，可以向发射光信号分别施加不同的相位延迟量，并分别调用信号采集组件来采集相应的灰度信息。具体地，可以是在不施加相位延迟时各个抽头分别采集信号完成一帧测量；然后，在施加90度、180度和270度的相位延迟给发射信号后，再分别重复采集相应的测量帧，一共可以得到4帧采样信号。
[0056]
在步骤330中，根据各个信号采集组件的灰度信息集，确定对应待测体的飞行时间。例如，可以基于预设的在灰度采样信号与飞行时间之间的关系式来进行计算，从而得到对应待测体的飞行时间，更多细节将在下文中展开。
[0057]
通过本技术实施例，提出了一种新的时间飞行计算方式，将cw-itof的一个探测采样周期内的积分计算过程模拟脉冲调制的累积量的过程，使得多个抽头的解调时间不受相同积分采样时间限制，扩展了传感器的适用范围。此外，在计算得到一帧的飞行时间时，需要通过不同的信号采集组件分别测量，相当于多次测量求平均值，还提高了所确定的飞行时间的精确度。
[0058]
在一些实施方式中，在步骤330之后，测量系统还可以根据针对待测体的飞行时间，确定与待测体之间的距离。
[0059]
示例性地，可以通过下式来确定测量系统与待测体之间的距离：
[0060][0061]
其中，d为与待测体之间的距离，c为光速，t为飞行时间。
[0062]
图4示出了根据本技术实施例的更新各个信号采集组件的采样时间区间的一示例的流程图。
[0063]
如图4所示，在步骤410中，获取采样区间设置指令。示例性地，测量系统可以从用户终端接收采样时长设置指令。
[0064]
在步骤420中，基于采样区间设置指令，更新各个信号采集组件所分别对应的采样时间区间。由此，可以对各个信号采集组件分别设置不同的采样时间区间，并能通过指令交互的方式进行调整，满足了不同用户需求或业务场景的需求。
[0065]
图5示出了根据本技术实施例的确定对应待测体的飞行时间的一示例的流程图。
[0066]
如图5所示，在步骤510中，针对各个信号采集组件，基于信号采集组件的采样时间区间和所采集的灰度信息集，确定相应的初始飞行时间。
[0067]
在步骤520中，基于各个信号采集组件所确定的初始飞行时间，确定对应待测体的飞行时间。这里，可以通过各种统计学方式来综合不同信号采集组件的初始飞行时间，从而得到最终的对应待测体的飞行时间。
[0068]
示例性地，可以通过多个信号采集组件的初始飞行时间计算相应的平均值，以确定对应待测体的飞行时间。这里，可以直接将相位时间延时作为对应待测体的飞行时间，或者，还可以通过对各个初始飞行时间相对应的平均值进行校准，从而得到相应的飞行时间，以消除一些其他不特定因素所导致的时延。
[0069]
由此，综合考虑了多个抽头的采样结果，并且各个抽头的采样时间长度不一致，通过针对每个抽头分别得到的飞行时间求平均数，在设计上可以降低针对抽头的采样时间长度的设计要求，并且能够提升测量精度。
[0070]
关于上述步骤510的实施细节，可以根据各个灰度信息和预设的初始飞行时间关系式，确定初始飞行时间。这里，初始飞行时间关系式可以是灰度信息与初始飞行时间之间的关联关系。具体地，初始飞行时间关系式可以采用如下式(2)中的示例：
[0071][0072]
其中，t
′a表示信号采集组件a所对应的初始飞行时间，t表示探测采样周期，信号采集组件a的采样时间区间为[0,3/4t]，以及i
a,0
、和表示信号采集组件a在相位偏移量分别为0、1/4t、2/4t和3/4t时所对应的灰度信息。
[0073]
针对如上述式(2)，将在下文中详细描述相应的推导过程。
[0074]
需说明的是，时间飞行测量系统是基于光电转换器件的成像设备，其本质上还是光子能量积分器件，而抽头作为读出和储存元件，其内部有放大电路和暗电流噪声。然而目前，抽头所采集的光能量是积累的光电荷，而并未进行量化，在本文中，可以使用入射光子数表征抽头采集的光能量。
[0075]
具体地，成像的灰度值i(其也可以写作抽头采集的光能量)与入射光子数c
signal,photon
、抽头增益g、暗电流c
dark,electron
之间的关系为：
[0076]
i＝g(c
signal,photon
+c
dark,electron
)
ꢀꢀꢀ
(3)
[0077]
这里，抽头所输出灰度值i所表征的是像素采集的电荷量，是光入射到像素上发射光电效应产生电荷，也可以被定义为采集光子数。
[0078]
以二抽头传感器为例，两个抽头a、b采样的灰度值分别为：
[0079][0080][0081]
两个抽头采集到的灰度值形成了对正弦曲线的两点采样。其中，抽头接收到的信号光子数是入射光子数时间分布的积分：
[0082][0083]
其中，t可以表示调制周期(即，探测采样周期)，a表示接收光子数随时间变化的振幅，t0为单周期内抽头开始积分的时间，δt为抽头在单周期内的积分时间(即，采样时间长度)，t'为波形光飞行时间造成的固定相位延时，ρ
(ambient,photon)
表示环境光子时间密度，以及为与t0、δt和t有关的常数，其是光子数积分的中间过程得到的一个表征量。重复n个探测周期的积累即可完成一次曝光，采集一个子帧。
[0084]
在本技术实施例中，调制的连续载波光束为正弦波，当然也可以将其替换为方波等其他波形。这里，仅以两抽头传感器为例进行说明，其也可以是3抽头、4抽头等等。在一个探测周期内两抽头连续开启且积分采样时间互不相同，两个抽头的积分时间可以任意设置，例如抽头a、b分别设置为3t/4、t/4；即在一个探测周期内，抽头a的积分采样时间(即，采样时间区间)为0到3t/4，抽头b的积分采样时间为3t/4到t；当δt＝3t/4时，而当δt＝t/4时，
[0085]
那么，两个抽头a和b积分后所采集到的光子数为：
[0086][0087][0088]
其中，ta、tb分别为两个抽头开始采集的时间，分别为0和3t/4。进而有
[0089][0090]
[0091]
需说明的是，若要依据两个抽头采集到的灰度值ia和ib计算光飞行时间等因素造成的时间延迟t'，则需要对不同抽头的增益和暗电流所导致的误差进行消除，并可以通过采集多个相位延迟下同一个抽头的采样数据。
[0092]
示例性地，在分曝光采样过程中，可以对各个抽头分别进行四次相位延迟曝光采集操作，即ta分别取0、t/4、2t/4和3t/4时进行四次曝光。需说明的是，在本技术实施例的分曝光采样过程中采用了四次曝光，并且曝光相位延迟固定，与传统的四相位采样方式截然不同。
[0093]
以抽头a为例，经过四次延迟曝光，可以得到：
[0094][0095][0096][0097][0098]
其中，根据相位延迟φ与时间延迟t’之间的关系，可以得到：
[0099][0100]
因此，通过首先定义了抽头输出灰度值的计算表达式，可以求出每个抽头每帧输出的灰度值，再结合四次曝光获得四相位延迟曝光下分别采集的灰度值i，得到相位延迟与时间延迟的关系，又由于相位延迟与四相位灰度值的关系可以计算各个抽头的时间延迟。
[0101]
那么，光飞行时间等因素造成的时间延迟t’，为：
[0102][0103][0104][0105]
通过上述分曝光采样过程中，对各个抽头分别进行四次相位延迟曝光采集操作，并分别利用不同相位的灰度采集结果和相应的采样时间区间计算各自的时间延时，并将各个时间延时进行平均化而最终得到精确度较高的相位延时。
[0106]
需说明的是，除了直接利用上述初始飞行时间关系式来计算与灰度信息相应的初始飞行时间之外，还可以通过其他方式来计算初始飞行时间。示例性地，针对信号采集组件
a中的各个灰度信息，可以确定与该灰度信息对应的相位偏移信息关系式。这里，相位偏移信息关系式可以是包含初始飞行时间变量且用来表示相位偏移信息的关系式。
[0107]
例如，可以借鉴如上文中针对式(9)的描述，信号采集组件a经过延迟曝光后所产生的相位延迟，可以使用如下的相位偏移信息关系式进行表示：
[0108][0109]
其中，φa可以表示信号采集组件a所对应的相位偏移信息。
[0110]
接着，可以根据各个灰度信息，确定相应的相位偏移信息。应理解的是，相位偏移信息与不同偏移量的灰度信息之间存在固有关系，其可以被表示为：
[0111][0112]
进而，可以将上述两个关于φa的因式进行组合，求解出ta′
，得到信号采集组件a所对应的初始飞行时间。
[0113]
在本技术实施例中，将抽头的积分时间不进行限制，同样可以解算出来光的飞行时间，使得多个抽头的解调时间不受相同的积分时间限制，扩展了时间飞行测量系统传感器的适用范围。
[0114]
图6示出了根据本技术实施例的飞行时间测量装置的一示例的结构框图。
[0115]
如图6所示，飞行时间测量装置600包括信号采集组件启动单元610、偏移灰度采样单元620和飞行时间确定单元630。
[0116]
信号采集组件启动单元610被配置为针对被经调制的连续载波光束照射的待测体，控制多个信号采集组件在一个探测采样周期内顺序开启且各自具有长度互异的采样时间区间。
[0117]
偏移灰度采样单元620被配置为针对各个所述信号采集组件，获取所述信号采集组件对应预设的四相位偏移量的灰度信息集，其中所述灰度信息集中的各个灰度信息分别与四相位偏移量中不同的相位偏移量相对应。
[0118]
飞行时间确定单元630被配置为根据各个所述信号采集组件的灰度信息集，确定对应所述待测体的飞行时间。
[0119]
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本技术方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
[0120]
关于本技术实施例的另一方面，需说明的是，目前的时间飞行测量系统还存在一些需要进行改进的地方。一般来说，解调的能量积分器件在进行光子积分时，都是共用同一个像素(即光电二极管或其它感光元件)，不同的读出和电荷累计器件(称为抽头)共同连接这同一个像素，在进行分时采集信号的过程中，难免出现不同抽头之间出现接收电荷信号的时间上的串扰和空间上的串扰。
[0121]
图7示出了在时间信号串扰和空间信号串扰影响抽头采样结果的一示例的效果示意图。
[0122]
这里，时间信号串扰是指，由于像素的空间面积和抽头的离散空间分布，如图7所
示，部分在第一个抽头开启采集时产生的电荷信号由于空间距离，并没有进入该抽头；转而在下一个抽头开启采集时，进入到下一个抽头中生成信号。另外，空间上的串扰是指，当某一个抽头开启电荷采集时，指向开启电荷采集的抽头电势场梯度升高，指向未开启电荷采集的抽头电势场梯度降低；然而，即使未开启电荷采集的抽头电势场梯度低，然而如图7所示，由于电荷的布朗运动，仍然会有像素中接近未开启抽头位置的信号电荷进入到未开启抽头中，产生空间信号串扰。因此，时间串扰和空间串扰在测量中都是一种噪声，会影响测量精度。
[0123]
鉴于此，图8示出了根据本技术实施例的飞行时间测量方法的一示例的流程图。关于本技术实施例的执行主体，其可以是各种具有计算或处理功能的测量系统或处理器，例如其可以是时间飞行深度相机10中的控制模块13。
[0124]
如图8所示，在步骤810中，针对被经调制的连续载波光束照射的待测体，控制m个信号采集组件在定制探测采样周期内顺序启动持续采样时间区间。这里，定制探测采样周期包括k个原始探测采样周期t，m和k均为大于1的正整数，以及各个信号采集组件的采样时间区间长度为(k/m)*t。因此，将信号采集组件的采样时间区间扩展了k倍。
[0125]
这里，定制探测采样周期中包含多个原始探测采样周期(例如，正弦波周期)，扩大了探测周期，为扩展每一信号采集组件的采样时间长度铺垫了基础。
[0126]
在步骤820中，获取各个信号采集组件分别对应预设的四相位偏移量的灰度信息集。这里，灰度信息集中的各个灰度信息分别与四相位偏移量中不同的相位偏移量相对应。
[0127]
在步骤830中，根据各个信号采集组件的灰度信息集，确定对应待测体的飞行时间。
[0128]
通过本技术实施例，在不影响时间飞行测量传感器的测量功能前提下，提出一种新的抽头解调方式，在无法改变串扰光子数的条件下，增加各个抽头的能量积分时间，使得串扰光子相对于信号光子降低，提升了信号的信噪比。
[0129]
在一些实施方式中，在步骤830之后，该方法还包括：根据对应待测体的飞行时间，确定与待测体之间的距离，例如，将飞行时间代入上述式(1)，从而得到相对于待测体的距离。
[0130]
关于上述步骤830的实施细节，可以部分参照或参考上文中结合图5的描述。具体地，测量系统可以针对各个信号采集组件，基于信号采集组件的采样时间区间和所采集的灰度信息集，确定相应的初始飞行时间。进而，基于各个信号采集组件所确定的初始飞行时间，确定对应待测体的飞行时间。示例性地，可以计算与多个信号采集组件的初始飞行时间相对应的平均值，以确定对应待测体的飞行时间。
[0131]
图9示出了根据本技术实施例的更新定制探测采样周期所对应的k值的一示例的流程图。
[0132]
如图9所示，在步骤910中，获取定制探测采样周期设置指令。示例性地，测量系统可以从用户终端接收定制探测采样周期设置指令。
[0133]
在步骤920中，基于定制探测采样周期设置指令，更新定制探测采样周期的k值。由此，可以针对信号采集组件定制具有扩展时间长度的探测采样周期，并能通过指令交互的方式进行调整，满足了不同用户需求或业务场景的需求。
[0134]
具体地，可以通过以下方式来确定相应的初始飞行时间：
[0135][0136]
其中，t
′a表示信号采集组件a所对应的初始飞行时间，定制探测采样周期为3t，四抽头传感器中信号采集组件a的采样区间时间为[0,3/4t]，以及i
a,0
、和表示信号采集组件a在相位偏移量分别为0、1/4t、2/4t和3/4t时所对应的灰度信息。
[0137]
下文将以四抽头传感器为例来详细描述针对式(11)的推导细节。应理解的是，在本技术实施例中，也还可以采用两抽头传感器，即两个抽头在一个定制探测周期中具有相等的采样时间长度。
[0138]
这里，在测量系统的具体解调过程中，其可以采用分周期采样方式和分曝光采样方式进行解调。关于上述式(11)的推导过程，可以部分参照上文针对式(2)的推导细节。
[0139]
当采用原始的正弦波周期t作为探测采样周期时，四抽头传感器中的各个抽头a、b、c、d的积分时间均为t/4，其所对应的时间延迟分别为：
[0140][0141][0142][0143][0144]
那么，因光飞行时间等因素所造成的时间延迟t’为：
[0145][0146]
一般来说，四个抽头采集一个周期的信号，使得当δt＝t/4时，但是，由于时间串扰和空间串扰的存在，串扰的光子是噪声干扰信号，且串扰光子数占单个周期内的光子数的比例一定，每一个探测周期内都存在一定量的串扰。为了减小串扰光子对信号光子的干扰，在本技术实施例中提出，在总的探测周期数保持不变的情况下，可以将四抽头传感器中四个抽头所采集积分时间增加，即四个抽头的积分时间总和对应多个探测周期，使得信号光子数大大增加，而串扰光子数维持不变，可以大幅提高信噪比。
[0147]
在本技术实施例的一些示例中，可以将k个原始探测采样周期t合为一个定制探测采样周期，对于每个抽头来说，原始的采样时间长度为t/4，而通过扩展周期后的采样时间长度变为kt/4。
[0148]
这里，抽头数m与对应定制采样周期中所包含的原始采样周期t的数量k之间应满
足下式：
[0149][0150]
其中，s表示整数。
[0151]
例如，可以将定制探测采样周期中的原始采样周期的数量k设置为3，此时四个抽头开始采集的时间ta、tb、tc、td分别为0、完成分周期采样操作。进而，对每个抽头分别进行四次相位延迟曝光采集，ta分别取0、进行四次曝光。
[0152]
那么，光飞行时间等因素造成的时间延迟t’为：
[0153][0154][0155][0156][0157][0158]
由此，即使扩展不同抽头的采样时间长度，也可以通过上述关系式来完成时间飞行计算操作。同时，由于单个抽头积分的信号光子增多，而串扰光子总数不变，使得信号的信噪比相对增大，实现测量精度的提升。
[0159]
图10示出了根据本技术实施例的飞行时间测量装置的一示例的结构框图。
[0160]
如图10所示，飞行时间测量装置1000包括信号采集组件启动单元1010、偏移灰度采样单元1020和飞行时间确定单元1030。
[0161]
信号采集组件启动单元1010被配置为针对被经调制的连续载波光束照射的待测体，控制m个信号采集组件在定制探测采样周期内顺序启动持续采样时间区间，其中所述定制探测采样周期包括k个原始探测采样周期t，m和k均为大于1的正整数，以及各个所述信号采集组件的采样时间区间长度为(k/m)*t。
[0162]
偏移灰度采样单元1020被配置为获取各个所述信号采集组件分别对应预设的四相位偏移量的灰度信息集，其中所述灰度信息集中的各个灰度信息分别与不同的相位偏移量相对应；
[0163]
飞行时间确定单元1030被配置为根据各个所述信号采集组件的灰度信息集，确定对应所述待测体的飞行时间。
[0164]
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本技术方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
[0165]
关于本技术实施例的又一方面，需说明的是，目前的时间飞行测量系统还存在一些需要进行改进的地方。对于一个像素对应多个抽头的传感器来说，由于同一个像素需要多个读出电路，例如参照图7中抽头传感器的示例，像素的体积将受到读出电路的限制而不能做到很小，这将大大限制传感器的像素分辨率；同时，多个分时电路的设计和制造难度较大。
[0166]
鉴于此，图11示出了根据本技术实施例的飞行时间测量方法的一示例的流程图。关于本技术实施例的执行主体，其可以是各种具有计算或处理功能的测量系统或处理器，例如其可以是时间飞行深度相机10中的控制模块13。
[0167]
如图11所示，在步骤1110中，针对被经调制的连续载波光束照射的待测体，控制单个信号采集组件在探测采样周期内启动采样时间区间。
[0168]
需说明的是，抽头的采样时间长度为可以任意或按需求进行设置，例如当设置为3t/4时，抽头可以不再采集对应剩下的t/4的输入的能量，并可以将这部分能量直接引出，忽略不计。
[0169]
在步骤1120中，获取信号采集组件对应预设的四相位偏移量的各个灰度信息。
[0170]
示例性地，可以向像素中的单抽头分别施加多个相位偏移量，并分别进行多次曝光使该抽头记录相应的多个采样值，以完成分曝光采样操作。
[0171]
在步骤1130中，根据各个灰度信息，确定对应待测体的飞行时间。
[0172]
需说明的是，由于目前相关技术中由抽头采集的能量在完成采集后会输出到后面的电路中进行处理，导致时耗且对抽头的容量也有较高要求，并也不能保证测量结果的准确度。然而，在本技术实施例中，可以利用单个抽头，直接计算出相应的飞行时间。
[0173]
由此，在不影响时间飞行测量传感器的测量功能前提下，通过采用单抽头的像素布局，可以降低芯片设计和加工难度，降低了单像素的面积，并提高传感器的分辨率。
[0174]
在一些实施方式中，在步骤830之后，该方法还包括：根据对应待测体的飞行时间，确定与待测体之间的距离，例如，将飞行时间代入上述式(1)，从而得到相对于待测体的距离。
[0175]
图12示出了根据本技术实施例的确定探测采样周期中的各个采样时间区间的一示例的流程图。
[0176]
如图12所示，在步骤1210中，获取采样时间区间设置指令。示例性地，测量系统可以从用户终端接收采样时间区间设置指令。
[0177]
在步骤1220中，根据采样时间区间设置指令，确定探测采样周期中的各个采样时间区间。由此，可以对信号采集组件中设置不同的采样时间区间，包括各个采样阶段的开始时间和相应的采样时间长度，能通过指令交互的方式进行调整，满足了不同用户需求或业务场景的需求。
[0178]
关于上述步骤1130的具体实施细节，一方面，可以根据各个灰度信息和预设的飞行时间关系式，确定对应待测体的飞行时间。这里，飞行时间关系式为灰度信息与飞行时间之间的关联关系。由此，测量系统可以利用在不同偏移量下的灰度信息直接代入关系式进
行计算，快速得出相应的飞行时间。
[0179]
在一些实施方式中，可以通过以下方式来确定相应的飞行时间：
[0180][0181]
其中，t’表示对应待测体的飞行时间，信号采集组件的单次采样区间时间长度为1/4t，以及i
a,0
、和表示信号采集组件a在相位偏移量分别为0、1/4t、2/4t和3/4t时所对应的灰度信息。
[0182]
这里，在测量系统的具体解调过程中，其可以采用分周期采样方式和分曝光采样方式进行解调。关于上述式(16)的推导过程和细节，还可以部分参照上文中其他相关部分的描述。
[0183]
关于上述步骤1130的具体实施细节，另一方面，还可以参照如图12的流程中的操作。图13示出了根据本技术实施例的根据各个灰度信息确定对应待测体的飞行时间的一示例的流程图。
[0184]
如图13所示，在步骤1310中，针对各个灰度信息，确定与灰度信息对应的相位偏移信息关系式。这里，相位偏移信息表达式为包含飞行时间变量的关系式。
[0185]
在步骤1320中，根据各个灰度信息，确定相应的相位偏移信息。
[0186]
在步骤1330中，根据相位偏移信息与相位偏移信息关系式，求解飞行时间变量，以得到对应所述待测体的飞行时间。
[0187]
示例性地，可以借鉴如上文中针对式(9)的描述，单抽头经过延迟曝光后所产生的相位延迟，可以使用如下的相位偏移信息关系式进行表示：
[0188][0189]
此时，可以计算相应的相位偏移信息为：
[0190][0191]
进而，可以将上述两个关于φ的因式进行组合，求解出t’，得到光飞行时间。
[0192]
由此，首先定义了抽头输出灰度值的光子数计算表达式，可以求出抽头每帧输出的灰度值，再结合多次曝光获得四相位延迟(例如，相位延迟分别取0，t/4、2t/4和3t/4)曝光下分别采集的灰度值，得到相位延迟与时间延迟的关系，并将相位延迟与四相位灰度值的固有关系综合考虑，可以计算抽头的时间延迟。
[0193]
在本技术实施例中，在一个像素中可以只做一个读出电路(即像素只有一个抽头)，通过调控该抽头的开始读出时间与结束读出时间，来模拟在多抽头传感器的采样解调过程，依然能够得到较精确的测量结果。由于单个像素只做一个抽头，大大降低了电路设计的难度；同时减小了单像素的面积，使得像素可以做很小，从而提高时间飞行测量芯片的分辨率。
[0194]
图14示出了根据本技术实施例的飞行时间测量装置的一示例的结构框图。
[0195]
如图14所示，飞行时间测量装置1400包括信号采集组件启动单元1410、偏移采样
单元1420和飞行时间确定单元1430。
[0196]
信号采集组件启动单元1410被配置为针对被经调制的连续载波光束照射的待测体，控制单个信号采集组件在探测采样周期内连续启动多个采样时间区间，其中各个所述采样时间区间具有相等的采样时间区间长度。
[0197]
偏移采样单元1420被配置为获取所述信号采集组件对应预设的四相位偏移量的各个灰度信息。
[0198]
飞行时间确定单元1430被配置为根据各个所述灰度信息和所述采样时间区间长度，确定对应所述待测体的飞行时间。
[0199]
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本技术方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
[0200]
图15是本技术实施例的电子设备的一示例的示意图。如图15所示，该实施例的电子设备1500包括：处理器1510、存储器1520以及存储在所述存储器1520中并可在所述处理器1510上运行的计算机程序1530。所述处理器1510执行所述计算机程序1530时实现上述飞行时间测量方法实施例中的步骤，例如图3所示的步骤310至330，或者步骤810至步骤830，或者步骤1110至1130。或者，所述处理器1510执行所述计算机程序1530时实现上述各装置实施例中各模块/单元的功能，例如图6所示单元610至630的功能，或者如图10所示的单元1010至1030，或者如图14所示的单元1410至1430。
[0201]
示例性的，所述计算机程序1530可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器1520中，并由所述处理器1510执行，以完成本技术。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序1530在所述电子设备1500中的执行过程。
[0202]
在本技术实施例的一个示例中，所述计算机程序1530可以被分割成信号采集组件启动程序模块、偏移灰度采样程序模块和飞行时间确定程序模块，各程序模块具体功能如下：
[0203]
信号采集组件启动程序模块，被配置为针对被经调制的连续载波光束照射的待测体，控制多个信号采集组件在一个探测采样周期内顺序开启且各自具有长度互异的采样时间区间；
[0204]
偏移灰度采样程序模块，被配置为针对各个所述信号采集组件，获取所述信号采集组件对应预设的四相位偏移量的灰度信息集，其中所述灰度信息集中的各个灰度信息分别与四相位偏移量中不同的相位偏移量相对应；
[0205]
飞行时间确定程序模块，被配置为根据各个所述信号采集组件的灰度信息集，确定对应所述待测体的飞行时间。
[0206]
在本技术实施例的另一示例中，所述计算机程序1530可以被分割成信号采集组件启动程序模块、偏移灰度采样程序模块和飞行时间确定程序模块，各程序模块具体功能如下：
[0207]
信号采集组件启动程序模块，被配置为针对被经调制的连续载波光束照射的待测体，控制m个信号采集组件在定制探测采样周期内顺序启动持续采样时间区间，其中所述定制探测采样周期包括k个原始探测采样周期t，m和k均为大于1的正整数，以及各个所述信号
采集组件的采样时间区间长度为(k/m)*t；
[0208]
偏移灰度采样程序模块，被配置为获取各个所述信号采集组件分别对应预设的四相位偏移量的灰度信息集，其中所述灰度信息集中的各个灰度信息分别与不同的相位偏移量相对应；
[0209]
飞行时间确定程序模块，被配置为根据各个所述信号采集组件的灰度信息集，确定对应所述待测体的飞行时间。
[0210]
在本技术实施例的另一示例中，所述计算机程序1530可以被分割成信号采集组件启动程序模块、偏移采样程序模块和飞行时间确定程序模块，各程序模块具体功能如下：
[0211]
信号采集组件启动程序模块，被配置为针对被经调制的连续载波光束照射的待测体，控制单个信号采集组件在探测采样周期内启动采样时间区间；
[0212]
偏移采样程序模块，被配置为获取所述信号采集组件对应预设的四相位偏移量的各个灰度信息；
[0213]
飞行时间确定程序模块，被配置为根据所述各个灰度信息，确定对应所述待测体的飞行时间。
[0214]
所述电子设备1500可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述电子设备可包括，但不仅限于，处理器1510、存储器1520。本领域技术人员可以理解，图15仅是电子设备1500的示例，并不构成对电子设备1500的限定，可以包括比图示更多或少的部件，或组合某些部件，或不同的部件，例如所述电子设备还可以包括输入输出设备、网络接入设备、总线等。
[0215]
所称处理器1510可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0216]
所述存储器1520可以是所述电子设备1500的内部存储单元，例如电子设备1500的硬盘或内存。所述存储器1520也可以是所述电子设备1500的外部存储设备，例如所述电子设备1500上配备的插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)等。进一步地，所述存储器1520还可以既包括所述电子设备1500的内部存储单元也包括外部存储设备。所述存储器1520用于存储所述计算机程序以及所述电子设备所需的其他程序和数据。所述存储器1520还可以用于暂时地存储已经输出或者将要输出的数据。
[0217]
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本技术的保护范围。上述系统
中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程。
[0218]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
[0219]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0220]
在本技术所提供的实施例中，应该理解到，所揭露的装置/电子设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/电子设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
[0221]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0222]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述单元既可以采用硬件的形式实现，也可以采用软件的形式实现。
[0223]
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
[0224]
以上所述实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围，均应包含在本技术的保护范围之内。