场景深度测量方法、系统、设备及存储介质与流程

1.本发明涉及飞行时间相机，具体地，涉及一种场景深度测量方法、系统、设备及存储介质。


背景技术：

2.近年来，飞行时间(tof)相机已成为一种流行的3d成像技术，在诸如机器人导航，运动捕捉，人机界面和3d映射之类的一些科学和消费类应用中均得到普及。
3.tof相机与普通相机成像过程类似，主要由光源、感光芯片、镜头、传感器、驱动控制电路以及处理电路等几部分关键单元组成。tof相机包括两部分核心模块，发射照明模块和感光接收模块，根据这两大核心模块之间的相互关联来生成深度信息。tof相机的感光芯片根据像素单元的数量也分为单点和面阵式感光芯片，为了测量整个三维物体表面位置深度信息，可以利用单点tof相机通过逐点扫描方式获取被探测物体三维几何结构，也可以通过面阵式tof相机，拍摄一张场景图片即可实时获取整个场景的表面几何结构信息，面阵式tof相机更易受到消费类电子系统搭建的青睐。
4.如图1所示，t：x(t)为光源发出的光信号，r：y(t)为光源接收的光信号，通过两个错开的第一接收窗口rx1、第二接收窗口rx2接收反射能量，辐射强度分别为b1、b2；通过第三个接收窗口rx3接收环境光能量，辐射强度为b3；通过两个错开的接收窗口接收有效能量的比例，计算相位差，进而获取目标物体的深度distance。计算方式具体为：其中，γ
range
为深度测量区间，t为光源发出的光信号的脉冲宽度，c为光速。
5.但是现有技术的tof相机的精度随着度测量区间的变大降低，无法适用于测量精度较大的应用场景。


技术实现要素：

6.针对现有技术中的缺陷，本发明的目的是提供一种场景深度测量方法、系统、设备及存储介质。
7.根据本发明提供的场景深度测量方法，包括如下步骤：
8.步骤s1：控制光源向场景中目标物体投射第一光信号，所述第一光信号经所述目标物体反射形成第二光信号；
9.步骤s2：通过图像传感器在至少三个接收窗口接收所述第二光信号生成至少三个采集光信号，所述至少三个采集光信号相对于所述第二光信号的相位延迟不同；
10.步骤s3：根据至少三个接收窗口连续接收到的第二光信号的脉冲波形将测量区间分为多个测量段，所述测量区间根据所述第一光信号的脉冲宽度确定；
11.步骤s4：根据所述至少三个采集光信号的辐射能量确定对应的测量段，进而确定所述目标物体的深度信息。
12.优选地，所述步骤s1包括如下步骤：
13.步骤s101：获取预设置的调制函数，根据所述调制函数生成第一调制信号；
14.步骤s102：根据所述第一调制信号对所述光源发射的光束进行调整，使得所述光源发生所述第一光信号；
15.步骤s103：将所述第一光信号投射至所述目标物体，所述第一光信号经所述目标物体反射形成第二光信号。
16.优选地，所述步骤s2包括如下步骤：
17.步骤s201：获取预设置的接收窗口，所述接收窗口的脉冲宽度大于或小于所述第一光信号的脉冲宽度，所述第一光信号的脉冲波形呈多个顺次排列的矩形；
18.步骤s202：通过至少三个接收窗口接收三个第二光信号，所述至少三个接收窗口在时序上顺次排列；
19.步骤s203：根据每一所述接收窗口到的第二光信号生成每一所述采集光信号，所述至少三个采集光信号相对于所述第二光信号的相位延迟不同。
20.优选地，所述步骤s3包括如下步骤：
21.步骤s301：根据所述第一光信号的脉冲宽度确定测量区间；
22.步骤s302：根据至少三个接收窗口连续接收到的第二光信号的脉冲波形的相位延迟，将所述测量区间分为多个测量段；
23.步骤s303：将所述测量段按预设置的次序在顺次标记。
24.优选地，所述步骤s4包括如下步骤：
25.步骤s401：根据至少三个采集光信号的辐射能量确实所述目标物体的深度信息所在的多个测量段中的目标测量段；
26.步骤s402：根据预设置的比例关系式的确定所述至少三个第二光信号的辐射强度对应在所述目标测量段中的比例值；
27.步骤s403：根据所述比例值确定所述至少三个第二光信号的辐射强度对应在所述目标测量段的深度，进而累加次序在所述目标测量段前的测量段确定所述目标物体的深度信息。
28.优选地，当所述至少三个接收窗口为第一接收窗口、第二接收窗口、第三接收窗口以及第四接收窗口时，所述步骤s4具体为：
29.设a1为第一接收窗口接收到的所述第二光信号的辐射能量曲线；a2为第二接收窗口接收到的所述第二光信号的辐射能量曲线；a3为第三接收窗口接收到的所述第二光信号的辐射能量曲线；a4为第三接收窗口接收到的所述第二光信号的辐射能量曲线；辐射能量曲线a1、辐射能量曲线a2、辐射能量曲线a3、辐射能量曲线a4相差四分之一相位；
30.设
31.对于辐射能量曲线中最大值也和最小值之外的上升沿设为a
rise
,i
rise
，下降沿设为a
fall
,i
fall
；
32.根据i
max
,i
min
的取值可将测量区间分为四个测量段，其中每一测量段内都有上升
沿和下降沿，则一测量段内的深度d表示为：
[0033][0034]
其中d
max
为最大测量深度，d
int
(i
max
,i
min
)为取值由i
max
,i
min
决定的区间对应的深度偏移量，其可能取值为n为测量段的次序。
[0035]
优选地，当所述至少三个接收窗口为第一接收窗口、第二接收窗口以及第三接收窗口时，所述步骤s4具体为：
[0036]
设a1为第一接收窗口接收到的所述第二光信号的辐射能量曲线；a2为第二接收窗口接收到的所述第二光信号的辐射能量曲线；a3为第三接收窗口接收到的所述第二光信号的辐射能量曲线；辐射能量曲线a1、辐射能量曲线a2、辐射能量曲线a3、辐射能量曲线a4相差四分之一相位；
[0037]
设
[0038]
对于辐射能量曲线中最大值也和最小值之外的上升沿和下降沿设为a
mid
,i
mid
；
[0039]
根据i
max
,i
min
的取值可将测量区间分为六个测量段，其中有三个测量段为下降沿，三测量段为上升沿；
[0040]
对于下降沿对应的测量段内的深度d表示为：
[0041][0042]
对于上升沿对应的测量段内的深度d表示为：
[0043][0044]
其中d
max
为最大测量深度，d
int
(i
max
,i
min
)为取值由i
max
,i
min
决定的区间对应的深度偏移量，其可能取值为n为测量段的次序。
[0045]
根据本发明提供的场景深度测量系统，包括如下模块：
[0046]
光投射模块，用于控制光源向场景中目标物体投射第一光信号，所述第一光信号经所述目标物体反射形成第二光信号；
[0047]
光接收模块，用于通过图像传感器在至少三个接收窗口接收第二光信号生成至少三个采集光信号，所述至少三个采集光信号相对于所述第二光信号的相位延迟不同；
[0048]
测量段生成模块，用于根据至少三个接收窗口连续接收到的第二光信号的脉冲波形将测量区间分为多个测量段，所述测量区间根据所述第一光信号的脉冲宽度确定；
[0049]
深度计算模块，用于根据多个测量段和所述至少三个采集光信号的辐射能量确定所述目标物体的深度信息。
[0050]
根据本发明提供的场景深度测量设备，包括：
[0051]
处理器；
[0052]
存储器，其中存储有所述处理器的可执行指令；
[0053]
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至7任一项所述的场景深度测量方法的步骤。
[0054]
根据本发明提供的计算机可读存储介质，用于存储程序，所述程序被执行时实现所述的场景深度测量方法的步骤。
[0055]
与现有技术相比，本发明具有如下的有益效果：
[0056]
在本发明中，通过至少三个接收窗口连续接收到的第二光信号的脉冲波形将测量区间分为多个测量段，从而能够根据所述至少三个采集光信号的辐射能量确定对应的测量段，在该测量段中确定深度进而累加次序在所述目标测量段前的测量段确定所述目标物体的深度信息，将整个测量区间的深度测量分为多个测量段的深度测量，实现深度的准确计算。
附图说明
[0057]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
[0058]
图1为现有技术中飞行时间相机的原理示意图；
[0059]
图2为现有技术中通过飞行时间进行深度计算的示意图；
[0060]
图3为本发明实施例中场景深度测量方法的步骤流程图；
[0061]
图4为本发明实施例中第二光信号形成的步骤流程图；
[0062]
图5为本发明实施例中采集光信号的步骤流程图；
[0063]
图6为本发明实施例中测量段生成的步骤流程图；
[0064]
图7为本发明实施例中目标物体的深度信息生成的步骤流程图；
[0065]
图8为本发明实施例中第一光信号的脉冲波形示意图；
[0066]
图9为本发明实施例中采集光信号的相位延迟示意图；
[0067]
图10为本发明变形例中第一光信号的脉冲波形示意图；
[0068]
图11为本发明变形例中采集光信号的相位延迟示意图；
[0069]
图12为本发明实施例中四个接收窗口连续接收到的第二光信号的脉冲波形示意图；
[0070]
图13为本发明实施例中四个第二光信号的脉冲波形将测量区间分为四个测量段的示意图；
[0071]
图14为本发明实施例中三个第二光信号的脉冲波形将测量区间分为6个测量段的示意图；
[0072]
图15为本发明实施例中场景深度测量系统的模块示意图；
[0073]
图16为本发明实施例中场景深度测量设备的结构示意图；以及
[0074]
图17为本发明实施例中计算机可读存储介质的结构示意图。
具体实施方式
[0075]
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
[0076]
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例，例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0077]
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
[0078]
本发明提供的场景深度测量方法，旨在解决现有技术中存在的问题。
[0079]
下面以具体地实施例对本发明的技术方案以及本技术的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。
[0080]
图3为本发明实施例中场景深度测量方法的步骤流程图，如图3所示，本发明提供的场景深度测量方法，包括如下步骤：
[0081]
步骤s1：控制光源向场景中目标物体投射第一光信号，所述第一光信号经所述目标物体反射形成第二光信号；
[0082]
图4为本发明实施例中第二光信号形成的步骤流程图，如图4所示，所述步骤s1包括如下步骤：
[0083]
步骤s101：获取预设置的调制函数，根据所述调制函数生成第一调制信号；
[0084]
步骤s102：根据所述第一调制信号对所述光源发射的光束进行调整，使得所述光源发生所述第一光信号；
[0085]
步骤s103：将所述第一光信号投射至所述目标物体，所述第一光信号经所述目标物体反射形成第二光信号。
[0086]
在本发明实施例中，经过调制后的所述第一光信号呈多个顺次排列连续的矩形，图8为本发明实施例中第一光信号的脉冲波形示意图，如图8所示所述第一光信号的脉冲信号呈矩形。
[0087]
步骤s2：通过图像传感器在至少三个接收窗口接收第二光信号生成至少三个采集光信号，所述至少三个采集光信号相对于所述第二光信号的相位延迟不同；
[0088]
图5为本发明实施例中采集光信号的步骤流程图，如图5所示，所述步骤s2包括如下步骤：
[0089]
步骤s201：获取预设置的接收窗口，所述接收窗口的脉冲宽度大于或小于所述第
一光信号的脉冲宽度，所述第一光信号的脉冲波形呈多个顺次排列的矩形；
[0090]
步骤s202：通过至少三个接收窗口接收三个第二光信号，所述至少三个接收窗口在时序上顺次排列；
[0091]
步骤s203：根据每一所述接收窗口到的第二光信号生成每一所述采集光信号，所述至少三个采集光信号相对于所述第二光信号的相位延迟不同。
[0092]
图9为本发明实施例中采集光信号的相位延迟示意图，如图9所示，四个采集光信号相对于所述第二光信号的相位延迟不同，且四个采集光信号在时序上顺次排列。
[0093]
步骤s3：根据至少三个接收窗口连续接收到的第二光信号的脉冲波形将测量区间分为多个测量段，所述测量区间根据所述第一光信号的脉冲宽度确定；
[0094]
在本发明实施例中，所述接收窗口的脉冲宽度大于所述第一光信号的脉冲宽度且为所述第一光信号的脉冲宽度的两倍。
[0095]
图10为本发明变形例中第一光信号的脉冲波形示意图，图11为本发明变形例中采集光信号的相位延迟示意图，如图10、图11，在本发明变形例中，所述接收窗口的脉冲宽度小于所述第一光信号的脉冲宽度且为所述第一光信号的脉冲宽度的二分之一。
[0096]
图6为本发明实施例中测量段生成的步骤流程图，如图6所示，所述步骤s3包括如下步骤：
[0097]
步骤s301：根据所述第一光信号的脉冲宽度确定测量区间；
[0098]
步骤s302：根据至少三个接收窗口连续接收到的第二光信号的脉冲波形的相位延迟，将所述测量区间分为多个测量段；
[0099]
步骤s303：将所述测量段按预设置的次序在顺次标记。
[0100]
步骤s4：根据多个测量段和所述至少三个采集光信号的辐射能量确定所述目标物体的深度信息。
[0101]
在本发明实施例中，测量区间其中，t为光源发出的第一光信号的脉冲宽度，c为光速。
[0102]
图12为本发明实施例中四个接收窗口连续接收到的第二光信号的脉冲波形示意图，如图12所示，所述接收窗口的脉冲宽度大于或小于所述第一光信号的脉冲宽度，所述第一光信号的脉冲波形呈多个顺次排列的矩形，每一所述接收窗口接收到的所述第二光信号的辐射能量曲线呈梯形且多个所述接收窗口接收到的所述第二光信号的辐射能量曲线存在相位差。
[0103]
图13为本发明实施例中四个第二光信号的脉冲波形将测量区间分为8个测量段的示意图，如图13所示，a1为第一接收窗口接收到的所述第二光信号的辐射能量曲线；a2为第二接收窗口接收到的所述第二光信号的辐射能量曲线；a3为第三接收窗口接收到的所述第二光信号的辐射能量曲线；a4为第三接收窗口接收到的所述第二光信号的辐射能量曲线；辐射能量曲线a1、辐射能量曲线a2、辐射能量曲线a3、辐射能量曲线a4相差四分之一相位。
[0104]
设
[0105]
对于辐射能量曲线中最大值也和最小值之外的上升沿设为a
rise
,i
rise
，下降沿设为a
fall
,i
fall
；
[0106]
根据i
max
,i
min
的取值可将测量区间分为四个测量段，其中每一测量段内都有上升沿和下降沿，则一测量段内的深度d表示为：
[0107][0108]
其中d
max
为最大测量深度，d
int
(i
max
,i
min
)为取值由i
max
,i
min
决定的区间对应的深度偏移量，其可能取值为n为测量段的次序。
[0109]
图14为本发明实施例中三个第二光信号的脉冲波形将测量区间分为6个测量段的示意图，如图14所示，a1为第一接收窗口接收到的所述第二光信号的辐射能量曲线；a2为第二接收窗口接收到的所述第二光信号的辐射能量曲线；a3为第三接收窗口接收到的所述第二光信号的辐射能量曲线；辐射能量曲线a1、辐射能量曲线a2、辐射能量曲线a3、辐射能量曲线a4相差四分之一相位。
[0110]
设
[0111]
对于辐射能量曲线中最大值也和最小值之外的上升沿和下降沿设为a
mid
,i
mid
；
[0112]
根据i
max
,i
min
的取值可将测量区间分为六个测量段，其中有三个测量段为下降沿，三测量段为上升沿：
[0113]
对于下降沿对应的测量段内的深度d：
[0114][0115]
对于上升沿对应的测量段内的深度d：
[0116][0117]
其中d
max
为最大测量深度，d
int
(i
max
,i
min
)为取值由i
max
,i
min
决定的区间对应的深度偏移量，其可能取值为n为测量段的次序。
[0118]
在本发明实施例中，所述第二光信号的辐射能量曲线的最大值max(b)为2
n-1，其
中，n为模数转换器的位数。
[0119]
图7为本发明实施例中目标物体的深度信息生成的步骤流程图，如图7所示，所述步骤s4包括如下步骤：
[0120]
步骤s401：根据三个采集光信号的辐射能量排列确实所述目标物体的深度信息所在的多个测量段中的目标测量段；
[0121]
步骤s402：根据预设置的比例关系式的确定所述三个第二光信号的辐射强度对应在所述目标测量段中的比例值；
[0122]
步骤s403：根据所述比例值确定所述述三个第二光信号的辐射强度对应在所述目标测量段的深度，进而累加次序在所述目标测量段前的测量段确定所述目标物体的深度信息。
[0123]
图15为本发明实施例中场景深度测量系统的模块示意图，如图15所示，本发明提供的场景深度测量系统，包括如下模块：
[0124]
光投射模块，用于控制光源向场景中目标物体投射第一光信号，所述第一光信号经所述目标物体反射形成第二光信号；
[0125]
光接收模块，用于通过图像传感器在至少三个接收窗口接收第二光信号生成至少三个采集光信号，所述至少三个采集光信号相对于所述第二光信号的相位延迟不同；
[0126]
测量段生成模块，用于根据至少三个接收窗口连续接收到的第二光信号的脉冲波形将测量区间分为多个测量段，所述测量区间根据所述第一光信号的脉冲宽度确定；
[0127]
深度计算模块，用于根据多个测量段和所述至少三个采集光信号的辐射能量确定所述目标物体的深度信息。
[0128]
本发明实施例中还提供一种场景深度测量设备，包括处理器。存储器，其中存储有处理器的可执行指令。其中，处理器配置为经由执行可执行指令来执行的场景深度测量方法的步骤。
[0129]
如上，该实施例能够通过至少三个接收窗口连续接收到的第二光信号的脉冲波形将测量区间分为多个测量段，从而能够根据所述至少三个采集光信号的辐射能量确定对应的测量段，在该测量段中确定深度进而累加次序在所述目标测量段前的测量段确定所述目标物体的深度信息，将整个测量区间的深度测量分为多个测量段的深度测量，实现深度的准确计算。
[0130]
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“平台”。
[0131]
图16是本发明实施例中的场景深度测量设备的结构示意图。下面参照图16来描述根据本发明的这种实施方式的电子设备600。图16显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
[0132]
如图16所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同平台组件(包括存储单元620和处理单元610)的总线630、显示单元640等。
[0133]
其中，存储单元存储有程序代码，程序代码可以被处理单元610执行，使得处理单
rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
[0142]
计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、rf等等，或者上述的任意合适的组合。
[0143]
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如java、c++等，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
[0144]
在本发明实施例中，通过至少三个接收窗口连续接收到的第二光信号的脉冲波形将测量区间分为多个测量段，从而能够根据所述至少三个采集光信号的辐射能量确定对应的测量段，在该测量段中确定深度进而累加次序在所述目标测量段前的测量段确定所述目标物体的深度信息，将整个测量区间的深度计算分为多个测量段的深度测量，实现深度的准确计算。
[0145]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
[0146]
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。