一种处理时间飞行相机卷绕图像的方法与流程

本发明涉及深度相机领域，具体地，涉及一种处理时间飞行相机卷绕图像的方法。

背景技术：

1、tof(时间飞行)技术是3d视觉技术中一种非常重要的技术，并且具有广阔的应用前景。tof技术根据技术原理分为dtof和itof。dtof，即direct tof，直接测量光脉冲的发射和接收的时间差，并利用。itof，即indirect tof，通过传感器在不同时间窗口采集到能量值的比例关系，解析出信号相位，间接测量发射信号和接收信号的时间差，进而得到深度。i-tof根据调制方式的不同，可分为两种：连续波调制(cw-itof)和脉冲调制(pl-itof),分别发射连续的正弦信号和重复的脉冲信号；前者是通过解析正弦信号相位解析深度，而后者是解析脉冲信号相位来解析深度。itof相机具有原理、集成技术简单成熟的优点，被广泛应用于3d测量领域。

2、itof从原理上来看存在的主要局限是周期性的相位卷绕(phase wrap)。量程方面，itof可解析的相位范围为[0,2π],频率越高，精度越高，量程也越小。超过量程的深度，测量值错误的落在[0,最大量程]内。假设tof的测量量程为0-5m，那么测量2.5m和7.5m的物体由于具有相同的相位，二者测量深度也相同。这会造成近景与远景混叠在一起，导致无法区分，影响tof相机的使用。

技术实现思路

1、为此，本发明通过对将激光束投射出有图案的激光，可以利用itof和结构光技术，同时获得同一位置的两个深度信息，并利用结构光获得的深度信息对itof获得的深度信息进行校正，以消除itof技术中的相位卷绕问题，从而可以提高itof技术的测量范围，并且在具有远景与近景的图像上消除远景景深对于近景测量的影响。

2、第一方面，本发明提供一种处理时间飞行相机卷绕图像的方法，其特征在于，包括如下步骤：

3、步骤s1:获取一幅图像的第一深度数据和第二深度数据；其中，所述第一深度数据是根据信号相位差获得，所述第二深度数据根据结构光图案的形变获得；

4、步骤s2：对比所述图像上同一像素点上的所述第一深度数据和所述第二深度数据，判断其差值a是否大于阈值；

5、步骤s3：如果所述差值a大于所述阈值，则计算卷绕周期数；

6、步骤s4：根据所述卷绕周期数对所述第一深度数据进行恢复，得到第三深度数据；

7、步骤s5：生成最终的深度图像。

8、可选地，所述的一种处理时间飞行相机卷绕图像的方法，其特征在于，所述步骤s3包括：

9、s31：如果当前像素的所述差值a大于所述阈值，则将所述当前像素标记为操作像素；

10、s32：对所述当前像素的相邻像素是否发生卷绕进行判断，并在发生卷绕时标记为所述操作像素，直至相邻像素中没有卷绕；

11、s33：计算所述操作像素的卷绕周期数。

12、可选地，所述的一种处理时间飞行相机卷绕图像的方法，其特征在于，所述步骤s2中仅对所述第二深度数据大于预设值的像素点进行对比与判断。

13、可选地，所述的一种处理时间飞行相机卷绕图像的方法，其特征在于，所述步骤s2中仅对预设像素点进行对比与判断。

14、可选地，所述的一种处理时间飞行相机卷绕图像的方法，其特征在于，所述步骤s2仅对目标区域内的像素点进行对比与判断；其中，所述目标区域通过深度学习模型学习获得。

15、可选地，所述的一种处理时间飞行相机卷绕图像的方法，其特征在于，在所述步骤s4中，对相邻的所述操作像素的深度数据进行整体恢复，得到所述操作像素的第三深度数据。

16、可选地，所述的一种处理时间飞行相机卷绕图像的方法，其特征在于，在所述步骤s4中，恢复的顺序按接收的先后顺序进行。

17、可选地，所述的一种处理时间飞行相机卷绕图像的方法，其特征在于，所述步骤s1包括：

18、步骤s11:向目标物体投射多束离散准直光束；其中，所述多束离散准直光束具有结构光图案；

19、步骤s12：接收经所述目标物体反射的多束离散准直光束，进而根据多束所述离散准直光束的信号相位差获得第一深度数据，根据所述光斑图案的形变获得第二深度数据。

20、第二方面，本发明提供一种处理时间飞行相机卷绕图像的设备，其特征在于，包括：

21、处理器；

22、存储器，其中存储有所述处理器的可执行指令；

23、其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述一种处理时间飞行相机卷绕图像的方法的步骤。

24、第三方面，本发明提供一种计算机可读存储介质，用于存储程序，其特征在于，所述程序被执行时实现上述任意一项所述一种处理时间飞行相机卷绕图像的方法的步骤。

25、与现有技术相比，本发明具有如下的有益效果：

26、本发明以结构光技术获得的深度数据对itof获得的数据进行校正，解决了itof的相位卷绕问题，提升了itof的测量距离，使得itof在中长距离的优势更加明显。同时，由于结构光技术对于itof数据的校正，使得不同像素点间的信号干扰得到解决，提升了测量的精度，也可以提升信号频率。

27、相比于以单独采用结构光技术和itof技术进行数据测量，本实施例采用结构光与itof相结合的方案，利用两种方案各自的优势，可以测量更远距离的物体深度，并且具有更高的精度，实现了单独利用一种技术时无法实现的效果。

28、本发明发射的光束既具有结构光的特点，又具有itof的特点，仅通过一次发射就可以获得两种深度距离，可以根据不同的距离采用不同的深度数据，增加了本发明的适用范围，使得可测量的深度更加广泛。同时，本发明仅需要一次发射就可以获得两种数据结果，节省了能量，降低了能源消耗。

29、本发明采用结构光技术对itof数据进行校正，使得不同的数据类型得到相互印证，利用了结构光技术与itof技术各自的优点，结果更加准确。

技术特征：

1.一种处理时间飞行相机卷绕图像的方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的一种处理时间飞行相机卷绕图像的方法，其特征在于，所述步骤s3包括：

3.根据权利要求1所述的一种处理时间飞行相机卷绕图像的方法，其特征在于，所述步骤s2中仅对所述第二深度数据大于预设值的像素点进行对比与判断。

4.根据权利要求1所述的一种处理时间飞行相机卷绕图像的方法，其特征在于，所述步骤s2中仅对预设像素点进行对比与判断。

5.根据权利要求1所述的一种处理时间飞行相机卷绕图像的方法，其特征在于，所述步骤s2仅对目标区域内的像素点进行对比与判断；其中，所述目标区域通过深度学习模型学习获得。

6.根据权利要求1所述的一种处理时间飞行相机卷绕图像的方法，其特征在于，在所述步骤s4中，对相邻的所述操作像素的深度数据进行整体恢复，得到所述操作像素的第三深度数据。

7.根据权利要求1所述的一种处理时间飞行相机卷绕图像的方法，其特征在于，在所述步骤s4中，恢复的顺序按接收的先后顺序进行。

8.根据权利要求1所述的一种处理时间飞行相机卷绕图像的方法，其特征在于，所述步骤s1包括：

9.一种处理时间飞行相机卷绕图像的设备，其特征在于，包括：

10.一种计算机可读存储介质，用于存储程序，其特征在于，所述程序被执行时实现权利要求1至8中任意一项所述一种处理时间飞行相机卷绕图像的方法的步骤。

技术总结
一种处理时间飞行相机卷绕图像的方法，其特征在于，包括如下步骤：步骤S1:获取一幅图像的第一深度数据和第二深度数据；其中，所述第一深度数据是根据信号相位差获得，所述第二深度数据根据结构光图案的形变获得；步骤S2：对比所述图像上同一像素点上的所述第一深度数据和所述第二深度数据，判断其差值a是否大于阈值；步骤S3：如果所述差值a大于所述阈值，则计算卷绕周期数；步骤S4：根据所述卷绕周期数对所述第一深度数据进行恢复，得到第三深度数据；步骤S5：生成最终的深度图像。本发明消除了iToF技术中的相位卷绕问题，从而可以提高iToF技术的测量范围，并且在具有远景与近景的图像上消除远景景深对于近景测量的影响。

技术研发人员：杨煦,黄龙祥,朱力,吕方璐,汪博
受保护的技术使用者：深圳市光鉴科技有限公司
技术研发日：
技术公布日：2024/1/16