基于点阵光投射的TOF深度相机的制作方法

基于点阵光投射的tof深度相机
技术领域
1.本发明涉及深度相机，具体地，涉及一种基于点阵光投射的tof深度相机。


背景技术：

2.时间飞行(time of flight,tof)深度相机通过发射特定波段的泛光光束，再利用传感器接收被测空间中物体的反射光束并测量光束在空间中的飞行时间来计算距离，从而获取被测空间的深度图像。tof深度相机可同时获得灰度图像和深度图像，广泛应用在3d深度视觉相关的手势识别、人脸识别、3d建模、体感游戏、机器视觉、辅助对焦、安防、自动驾驶等技术领域。
3.传统tof深度相机假设接收光束在目标场景中仅被反射一次，而实际场景中总会存在镜面反射或漫反射材料表面，它会把入射光反射到各个方向，这样一来，tof传感器接收到的可能是一次反射光束和多次反射光束的叠加，从而干扰tof深度相机测量距离的准确性，这一效应称为多径干扰。
4.传统的tof深度相机通常包含一个光投射器和光接收传感器，光投射器向空间发射泛光光束以提供照明，光接收传感器接收反射回的泛光光束进行成像，深度计算装置通过发射光和接受光的相位延迟计算飞行时间，进而得到距离信息。采用这种方式测量深度有一些限制，比如环境光的干扰会影响测量的准确性，尤其是当环境光强度高于直接反射光的强度，导致光接收传感器接收到的信号主要是环境光,典型的场景是镜像多几个。
5.镜面多径是扫地机器人场景中经常遇到的问题，地面是高反射率瓷砖，地面上的点对应的像素接收到的信号是直接反射(主径)和经过物体多次反射(次级径)的光信号的叠加。对于高反射率物体，主径的强度远低于次级径的强度，导致测量的地面深度偏离实际深度。


技术实现要素：

6.针对现有技术中的缺陷，本发明的目的是提供一种基于点阵光投射的tof深度相机。
7.根据本发明提供的基于点阵光投射的tof深度相机，1、一种基于点阵光投射的tof深度相机，其特征在于，包括如下模块：
8.结构光投射器，用于向目标投射结构光；
9.红外相机，用于接收经所述目标反射后的结构光生成红外散斑图像和多张红外参考图像，所述红外参考图像为通过深度相机对一参考目标在多个不同的距离下采集生成；
10.处理器模块，用于根据多帧红外散斑图像相位差生成目标的散斑深度图，所述散斑深度图包括红外散斑图像以及红外散斑图像中每一散斑点的深度数据，以及根据每一散斑点的深度数据确定对应的红外参考图像，进而根据该散斑点的像素坐标确定所述红外参考图像中所述散斑点对应的参考区域，将所述参考区域中每一子区域与对应的所述散斑点区域进行匹配确定出相关度最高的目标子区域，确定所述目标子区域与所述参考区域的中
心偏移量，当所述偏移量大于预设置的阈值时，确定该散斑点区域为多径干扰点，进而去除所述红外散斑图像中的多径干扰点生成目标散斑图像。
11.优选地，在确定所述散斑点在所述红外参考图像中对应的参考区域时，包括如下步骤：
12.步骤m1：获取每一散斑点的深度数据，根据所述深度数据确定该散斑点对应的目标表面点距离深度相机的距离；
13.步骤m2：根据所述距离确定在相同距离下采集的红外参考图像；
14.步骤m3：根据该散斑点的像素坐标确定对应的所述红外参考图像中所述散斑点对应的参考区域。
15.优选地，在确定该散斑点为多径干扰点时，包括如下步骤：
16.步骤n1：计算所述散斑点区域与对应的所述参考区域左上角的一子区域相关度；
17.步骤n2：按照从左到右由上到下的顺序每次将所述子区域移动一个像素后计算该子区域与散斑点区域的相关度，直至确定出相关度最高的目标子区域；
18.步骤n3：确定所述目标子区域与所述散斑点区域的中心偏移量，且当所述偏移量大于预设置的阈值时，确定该散斑点为多径干扰点。
19.优选地，所述相关度r的计算方法如下：
[0020][0021]
其中，a
mn
为参考区域的幅度，为参考区域的平均幅度；b
mn
为散斑点区域的幅度，为散斑点区域的平均幅度；m、n为像素坐标范围。
[0022]
优选地，所述红外参考图像采集时包括如下步骤：
[0023]
步骤s101：在一距离通过所述结构光投射器向所述参考目标投射点阵光；
[0024]
步骤s102：通过所述红外相机的接收经所述参考目标反射后的所述点阵光生成一红外参考图像；
[0025]
步骤s103：重复执行步骤s101至步骤s102获取多个不同的距离下的红外参考图像。
[0026]
优选地，所述结构光投射器包括光源、光源驱动器以及光调制器；
[0027]
所述光源驱动器与所述光源连接，用于驱动所述光源发光；
[0028]
所述光调制器，用于将所述光源的投射的光调制呈结构光后向目标投射所述结构光。
[0029]
优选地，所述红外相机包括沿光路设置的镜头、滤光片以及图像传感器，所述图像传感器设置有至少四个所述接收窗口；所述接收窗口的脉冲宽度大于或小于所述结构光的脉冲宽度；
[0030]
所述图像传感器，用于通过至少四个接收窗口接收至少四个所述结构光的光信号；所述至少四个接收窗口在时序上顺次排列，进而根据每一所述接收窗口到的光信号生成每一所述散斑深度图。
[0031]
优选地，所述结构光为点阵光；所述点阵光呈如下预设定的形状分布：直线形、三
角形、四边形、圆形、六边形、五边形、随机排布、空间编码排布以及准晶格排布。
[0032]
优选地，所述散斑点区域的尺寸可以设置为5
×
5的像素区域，该散斑点区域包括一散斑点；
[0033]
所述参考区域的尺寸可以设置为8
×
8的像素区域；所述阈值设置为两个像素。
[0034]
根据本发明提供的基于点阵光投射的tof深度相机，包括如下模块：
[0035]
结构光投射器，用于向目标投射结构光；
[0036]
红外相机，用于采集红外散斑图像；
[0037]
存储器，用于存储多张红外参考图像，所述红外参考图像为通过所述深度相机对一参考目标在多个不同的距离下预先采集生成，
[0038]
处理器模块，用于根据多帧红外散斑图像相位差生成目标的散斑深度图，所述散斑深度图包括红外散斑图像以及红外散斑图像中每一散斑点的深度数据，以及根据每一散斑点的深度数据确定对应的红外参考图像，进而根据该散斑点的像素坐标确定所述红外参考图像中所述散斑点对应的参考区域，将所述参考区域中每一子区域与对应的所述散斑点区域进行匹配确定出相关度最高的目标子区域，确定所述目标子区域与所述参考区域的中心偏移量，当所述偏移量大于预设置的阈值时，确定该散斑点区域为多径干扰点，进而去除所述红外散斑图像中的多径干扰点生成目标散斑图像。
[0039]
与现有技术相比，本发明具有如下的有益效果：
[0040]
本发明中通过红外参考图像确定采集的红外散斑图像中每一散斑点的偏移量，且当所述偏移量大于预设置的阈值时，确定该散斑点区域为多径干扰点，进而去除所述红外散斑图像中的多径干扰点生成目标散斑图像，从而能够检测出镜像多径，并去除多径干扰，实现基于散斑点阵投射的tof深度相机在扫地机器人上的应用。
附图说明
[0041]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
[0042]
图1为本发明实施例中基于点阵光投射的tof深度相机的模块示意图；
[0043]
图2为本发明实施例中确定散斑点对应参考区域的步骤流程图；
[0044]
图3为本发明实施例中确定散斑点为多径干扰点的步骤流程图；
[0045]
图4为本发明实施例中采集红外参考图像的步骤流程图；
[0046]
图5为本发明实施例中结构光投射器的模块示意图；
[0047]
图6为本发明实施例中红外相机的模块示意图；
[0048]
图7(a)、(b)、(c)为本发明实施例中点阵光非周期性排布的示意图；
[0049]
图8为本发明变形例中基于点阵光投射的tof深度相机的模块示意图。
具体实施方式
[0050]
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术
人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
[0051]
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例，例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0052]
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
[0053]
本发明提供的基于点阵光投射的tof深度相机，旨在解决现有技术中存在的问题。
[0054]
下面以具体地实施例对本发明的技术方案以及本技术的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。
[0055]
图1为本发明实施例中基于点阵光投射的tof深度相机的模块示意图，如图1所示，本发明提供的基于点阵光投射的tof深度相机，包括如下模块：
[0056]
结构光投射器，用于向目标投射结构光；
[0057]
红外相机，用于接收经所述目标反射后的结构光生成红外散斑图像和多张红外参考图像，所述红外参考图像为通过深度相机对一参考目标在多个不同的距离下采集生成；
[0058]
处理器模块，用于根据多帧红外散斑图像相位差生成目标的散斑深度图，所述散斑深度图包括红外散斑图像以及红外散斑图像中每一散斑点的深度数据，以及根据每一散斑点的深度数据确定对应的红外参考图像，进而根据该散斑点的像素坐标确定所述红外参考图像中所述散斑点对应的参考区域，将所述参考区域中每一子区域与对应的所述散斑点区域进行匹配确定出相关度最高的目标子区域，确定所述目标子区域与所述参考区域的中心偏移量，当所述偏移量大于预设置的阈值时，确定该散斑点区域为多径干扰点，进而去除所述红外散斑图像中的多径干扰点生成目标散斑图像。
[0059]
在本发明实施例中，所述红外相机为红外探测器，通过红外探测器接收经所述目标人物反射后的所述点阵光。
[0060]
所述红外散斑图像为深度相机距离所述目标人物距离在30至80厘米采集。所述深度相机采用tof相机，且所述tof相机的光投射器可以向所述目标投射点阵光。
[0061]
在本发明实施例中，可以选择将多径干扰点直接删除生成目标散斑图像。
[0062]
本发明实施例中通过红外参考图像确定采集的红外散斑图像中每一散斑点的偏移量，且当所述偏移量大于预设置的阈值时，确定该散斑点区域为多径干扰点，进而去除所述红外散斑图像中的多径干扰点生成目标散斑图像，从而能够检测出镜像多径，并去除多径干扰，实现基于散斑点阵投射的tof深度相机在扫地机器人上的应用。
[0063]
图2为本发明实施例中确定散斑点对应参考区域的步骤流程图，如图2所示，在确定所述散斑点在所述红外参考图像中对应的参考区域时，包括如下步骤：
[0064]
步骤m1：获取每一散斑点的深度数据，根据所述深度数据确定该散斑点对应的目标表面点距离深度相机的距离；
[0065]
步骤m2：根据所述距离确定在相同距离下采集的红外参考图像；
[0066]
步骤m3：根据该散斑点的像素坐标确定对应的所述红外参考图像中所述散斑点对应的参考区域。
[0067]
在本发明实施例中，在所述红外散斑图像提取每一散斑点，根据该散斑点的深度数据确定距离，进而确定对应红外参考图像。
[0068]
且根据每一散斑点的像素坐标在所述红外参考图像中确定对应位置的参考区域。
[0069]
图3为本发明实施例中确定散斑点为多径干扰点的步骤流程图，如图3所示，在确定该散斑点为多径干扰点时，包括如下步骤：
[0070]
步骤n1：计算所述散斑点区域与对应的所述参考区域左上角的一子区域相关度；
[0071]
步骤n2：按照从左到右由上到下的顺序每次将所述子区域移动一个像素后计算该子区域与散斑点区域的相关度，直至确定出相关度最高的目标子区域；
[0072]
步骤n3：确定所述目标子区域与所述散斑点区域的中心偏移量，且当所述偏移量大于预设置的阈值时，确定该散斑点为多径干扰点。
[0073]
在本发明实施例中，所述散斑点区域的尺寸可以设置为5
×
5的像素区域，该像素区域包括一个散斑点；所述参考区域的尺寸可以设置为8
×
8的像素区域；所述阈值可以定为两个像素，即所述中心偏移量大于等于两个像素时，认定为该散斑点为多径干扰点。
[0074]
在本发明实施例中，按照左到右由上到下的顺序逐个像素的方法将所述散斑点区域遍历所述参考区域中的每个像素。
[0075]
在本发明实施例中，所述相关度r的计算方法如下：
[0076][0077]
其中，a
mn
为参考区域的幅度，为参考区域的平均幅度；b
mn
为散斑点区域的幅度，为散斑点区域的平均幅度；m、n为像素坐标范围。
[0078]
在本发明实施例中，所述幅度还可以采用灰度值、像素值、照度、光通量以及辐射功率中任一物理量表示。
[0079]
图4为本发明实施例中采集红外参考图像的步骤流程图，如图4所示，所述红外参考图像采集时包括如下步骤：
[0080]
步骤s101：在一距离通过所述结构光投射器向所述参考目标投射点阵光；
[0081]
步骤s102：通过所述红外相机的接收经所述参考目标反射后的所述点阵光生成一红外参考图像；
[0082]
步骤s103：重复执行步骤s101至步骤s102获取多个不同的距离下的红外参考图像。
[0083]
在本发明实施例中，多个不同的距离下的红外参考图像可以预先采集后，存储在存储器中，供深度相机调取使用。所述参考目标可以采用棋盘格或平面板材等。
[0084]
图5为本发明实施例中结构光投射器的模块示意图，如图5所示，所述结构光投射
器包括光源、光源驱动器以及光调制器；
[0085]
所述光源驱动器与所述光源连接，用于驱动所述光源发光；
[0086]
所述光调制器，用于将所述光源的投射的光调制呈结构光后向目标投射所述结构光。
[0087]
在本发明实施例中，所述光调制器采用衍射光栅(doe)或空间光调制器(slm)。
[0088]
图6为本发明实施例中红外相机的模块示意图，如图6所示，所述红外相机包括沿光路设置的镜头、滤光片以及图像传感器，所述图像传感器设置有至少四个所述接收窗口；所述接收窗口的脉冲宽度大于或小于所述结构光的脉冲宽度；
[0089]
所述图像传感器，用于通过至少四个接收窗口接收至少四个所述结构光的光信号；所述至少四个接收窗口在时序上顺次排列，进而根据每一所述接收窗口到的光信号生成每一所述散斑深度图。
[0090]
所述图像传感器包括多个呈阵列分布的光探测器；
[0091]
所述镜头，采用光学成像镜头，用于使得透过所述镜头进入光探测器阵列的所述准直光束的方向向量与光探测器呈一一对应关系；
[0092]
所述光探测器，用于接收经所述目标物体反射的准直光束。
[0093]
在本发明实施例中，为了过滤背景噪声，所述光学成像镜头内通常还装有窄带滤光片，使得所述光探测器阵列仅能通过预设的波长的入射准直光束。所述预设的波长可以为入射准直光束的波长，如950纳米，也可以为小于入射准直光束50纳米和大于入射准直光束50纳米之间。所述光探测器阵列可以呈周期或者非周期性排列。根据离散点阵光数量的需求，光探测器阵列可以是多个单点光探测器的组合或者是一个集成了多个光探测器的传感器芯片。为了进一步优化光探测器的灵敏度，一个离散点阵光在目标人物上的照射光斑可以对应一个或者多个光探测器。在多个光探测器对应同一个照射光斑时，每个探测器的信号可以通过电路连通，从而在能够合并为一个探测面积更大的光探测器。
[0094]
在本发明实施例中，所述光探测器可以采用cmos光传感器、ccd光传感器或spad光传感器。
[0095]
在本发明实施例中，所述结构光为点阵光；所述点阵光呈如下预设定的形状分布：直线形、三角形、四边形、圆形、六边形、五边形、随机排布、空间编码排布以及准晶格排布。
[0096]
图7(a)、(b)、(c)为本发明实施例中点阵光非周期性排布的示意图，如图7(a)所示，所述空间编码排布，具体为在在周期性排布中，缺省一部分的光束，从而实现排布位置的空间编码，在实际可以采用的编码不受限于图7(a)中示例；如图7(b)所示，所述随机排布，具体为准直光束的排布随机分布，使得不同位置的排布方式的相似性很小或者接近于零，如图7(c)所示，所述准晶格排布，具体为准直光束在近距离相邻位置非周期性排布，在远距离周期性排布。由于本发明在实现时受限于光学系统，实际准直光束在截面的排布可能存在畸变，比如发生拉伸、扭曲等。而每个准直光束在截面中的能量分布可以是圆形、圆环或椭圆形等者其他形状。在如7所示的这种排布方式，这种排布有利于对非确定目标的均匀采样，优化最终3d深度图的效果。
[0097]
图8为本发明变形例中基于点阵光投射的tof深度相机的模块示意图，如图8所示，本发明提供的基于点阵光投射的tof深度相机，包括如下模块：
[0098]
结构光投射器，用于向目标投射结构光；
[0099]
红外相机，用于接收经所述目标反射后的结构光生成红外散斑图像；
[0100]
存储器，用于存储多张红外参考图像，所述红外参考图像为通过所述深度相机对一参考目标在多个不同的距离下预先采集生成，
[0101]
处理器模块，用于根据多帧红外散斑图像相位差生成目标的散斑深度图，所述散斑深度图包括红外散斑图像以及红外散斑图像中每一散斑点的深度数据，以及根据每一散斑点的深度数据确定对应的红外参考图像，进而根据该散斑点的像素坐标确定所述红外参考图像中所述散斑点对应的参考区域，将所述参考区域中每一子区域与对应的所述散斑点区域进行匹配确定出相关度最高的目标子区域，确定所述目标子区域与所述参考区域的中心偏移量，当所述偏移量大于预设置的阈值时，确定该散斑点区域为多径干扰点，进而去除所述红外散斑图像中的多径干扰点生成目标散斑图像。
[0102]
在本发明变形例中，多个不同的距离下的红外参考图像可以预先采集后，存储在存储器中，供所述处理器模块调取使用。
[0103]
本发明实施例中，通过红外参考图像确定采集的红外散斑图像中每一散斑点的偏移量，且当所述偏移量大于预设置的阈值时，确定该散斑点区域为多径干扰点，进而去除所述红外散斑图像中的多径干扰点生成目标散斑图像，从而能够检测出镜像多径，并去除多径干扰，实现基于散斑点阵投射的tof深度相机在扫地机器人上的应用。
[0104]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
[0105]
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。