一种激光散斑时空编码投射ToF深度感知方法及装置

一种激光散斑时空编码投射tof深度感知方法及装置
技术领域
1.本公开属于深度传感器、机器视觉、激光散斑和tof技术领域，具体涉及一种激光散斑时空编码投射tof深度感知方法及装置。


背景技术：

2.视觉技术代表机器的眼睛，机器视觉将使得机器人智能化变成现实。当前物理世界是个三维世界，机器视觉不仅需要能感知物体表面的亮度、颜色、纹理信息，运动情况，而且还需要能判断其形状、空间及空间位置(深度、距离)，对机器视觉来说3d视觉必要的。为了使机器人能够胜任更复杂的工作，需要3d视觉来感知周围的三维环境。
3.3d视觉感知技术大致可分为被动式和主动式。传统的双目立体视觉测距是一种被动式测距方法，其受环境光影响大、立体匹配过程复杂。主动式测距方法主要有结构光编码测距和tof(飞行时间)测距两种方法。结构光编码测距法本质上属于激光三角测距，随着距离的增加，测距精度会急剧下降，比较适合近距离高精度测距。tof深度相机通过计算发射激光的飞行时间获取对应像素的深度信息，一种是dtof(直接测量飞行时间)、另一种是itof(间接tof，通过相移法间接计算距离)。目前，tof深度相机获取的深度图像分辨率比较低，远距离测距精度下降少，适合用于中远距离测距。但对于itof，需要通过调制发射多种频率的光波结合相移法进行混频测量，才能取得测量距离和测量精度之间的平衡。itof混频测距原理为：采用两个或者多个频率调制波来混频，每个调制波测量都有不同的不明确距离，真实距离就是多个频率调制波共同测量到的那个值，该位置对应频率就是多个频率的最大公约数，称为击打频率。
4.由于itof混频测距需要多个工作频率进行混频测量，其对快速运动物体、尤其是运动物体的边缘部分无法获得精确的深度点云信息，同时混频测量方式功耗大，不适合用于对功耗敏感的智能终端，比如智能手机的3d slam功能实现。


技术实现要素：

5.针对现有技术中的不足，本公开的目的在于提供一种激光散斑时空编码投射tof深度感知方法，该方法基于单一工作频率进行测距，能够准确获得待测目标物的深度信息，同时降低了传统混频测量方式的功耗。
6.为实现上述目的，本公开提供以下技术方案：
7.一种激光散斑时空编码投射tof深度感知方法，包括如下步骤：
8.s100：向待测目标物投射以单一频率调制波调制的带有相位调制信息的散斑时空编码图案；
9.s200：通过相移法同步采集散斑时空编码图案，获得具有单一频率的多幅相移散斑图像；
10.s300：对多幅相移散斑图像进行单频深度解码，以获得待测目标物的深度信息。
11.优选的，步骤s300包括如下步骤：
12.s301：计算相移散斑图像散斑点中心对应的初步深度值d；
13.s302：计算相移散斑图像散斑点中心的相位差，并基于相位差计算单一频率调制波不同周期数对应的深度值d’；
14.s303：基于初步深度值d和深度值d’获得相移散斑图像散斑点中心的最终深度值d”，最终深度值d”即为待测目标物的深度值。
15.优选的，步骤s301中，根据下式计算初步深度值d：
[0016][0017]
其中，d
ref
为参考相移散斑图像的已知距离，δx为预处理后的相移散斑图像与预处理后的已知距离的参考相移散斑图像进行块匹配视差计算得到最优匹配块对应的视差值，s为tof接收摄像头与激光散斑时空编码投射器的基线距离，f为tof接收摄像头的焦距，μ为tof接收摄像头图像传感器的点距。
[0018]
优选的，相移散斑图像和参考相移散斑图像根据以下方式进行预处理：
[0019]
a、求出相移散斑图像和参考相移散斑图像中每个像素点对应的振幅或置信度；
[0020]
b、采用振幅或置信度作为待预处理的相移散斑图像和参考相移散斑图像的像素值，并生成预处理后的相移散斑图像和参考相移散斑图像。
[0021]
优选的，步骤s302中，根据下式计算深度值d’：
[0022][0023]
其中，c为光速，fm为激光调制频率，π为圆周率，为散斑点所在像素对应的发射光与接收光的相位差，n为激光调制波的周期数。
[0024]
优选的，所述相位差通过n步相移法解码公式计算：
[0025][0026]
其中，n为相移法步数，qm表示n步相移法第m幅相移散斑图像的像素值，π为圆周率。
[0027]
优选的，步骤s303中，所述基于深度值d’求取散斑点中心的最终深度值d”通过如下方式：从深度值d’中选取与初步深度值d最为接近的值作为散斑点中心的最终深度值d”。
[0028]
优选的，步骤s303中，所述基于深度值d’求取散斑点中心的最终深度值d”还通过如下方式：
[0029]
s3031：设定阈值th；
[0030]
s3032：在d≤th的范围内，选择d作为散斑点中心的最终深度值d”；在d＞th的范围
内，从d’中选取与d最为接近的值作为散斑点中心的最终深度值d”。
[0031]
本公开还提供一种激光散斑时空编码投射tof深度感知装置，包括：
[0032]
投射模块，用于向待测目标物投射以单一频率调制波调制的带有相位调制信息的散斑时空编码图案；
[0033]
采集模块，用于通过相移法同步采集散斑时空编码图案，并输出具有单一频率的多幅相移散斑图像；
[0034]
单频深度解码模块，用于对相移散斑图像进行单频深度解码，以获得待测目标物的深度信息。
[0035]
优选的，所述单频深度解码模块包括；
[0036]
单目结构光深度计算子模块，用于计算相移散斑图像散斑点中心的初步深度值d；
[0037]
tof相移法深度计算子模块，用于计算相移散斑图像散斑点中心的相位差，并基于相位差计算单一频率调制波不同周期数对应的深度值d’；
[0038]
深度输出子模块，用于基于初步深度值d和深度值d’获得相移散斑图像散斑点中心的最终深度值d”。
[0039]
与现有技术相比，本公开带来的有益效果为：
[0040]
1、本公开spot-tof采用激光散斑时空投射器作为主动照明光源，在光源功率相同的情况下，所发出的散斑投射相比传统itof采用泛光投射器作为主动照明产生的泛光照射可以工作的更远、抗强光干扰更高。
[0041]
2、本公开基于单一工作频率生成宽范围、高精度的深度信息，只需要工作在一种频率就解决了传统itof或现有spot-tof依靠混频方法求取深度的难题。
[0042]
3、本公开一方面可以对快速运动物体、尤其是运动物体的边缘部分可以获得较为精确的深度点云信息，另一方面大幅降低了tof模组的功耗(仅需要一种工作频率测距)。
[0043]
4、本公开具有抗强光干扰、tof多径反射、吸收材质影响、对快速运动物体深度测量、tof模组功耗低的特点。
附图说明
[0044]
图1是本公开一个实施例提供的一种激光散斑时空编码投射tof深度感知方法的流程图；
[0045]
图2是本公开一个实施例中所提供的激光散斑时空编码投射器发出的随机激光散斑阵列示意图；
[0046]
图3是本公开另一个实施例提供的单频深度解码模块深度信息获取方法示意图；
[0047]
图4是本公开另一个实施例中提供的一种激光散斑时空编码投射tof深度感知装置的结构示意图；
[0048]
图5是本公开另一个实施例提供的基于散斑图像块的单目散斑结构光编解码方法示意图。
具体实施方式
[0049]
下面将参照附图1至图5详细地描述本公开的具体实施例。虽然附图中显示了本公开的具体实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例
所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
[0050]
需要说明的是，在说明书及权利要求当中使用了某些词汇来指称特定组件。本领域技术人员应可以理解，技术人员可能会用不同名词来称呼同一个组件。本说明书及权利要求并不以名词的差异作为区分组件的方式，而是以组件在功能上的差异作为区分的准则。如在通篇说明书及权利要求当中所提及的“包含”或“包括”为一开放式用语，故应解释成“包含但不限定于”。说明书后续描述为实施本公开的较佳实施方式，然所述描述乃以说明书的一般原则为目的，并非用以限定本公开的范围。本公开的保护范围当视所附权利要求所界定者为准。
[0051]
为便于对本公开实施例的理解，下面将结合附图以具体实施例为例做进一步的解释说明，且各个附图并不构成对本公开实施例的限定。
[0052]
一个实施例中，如图1所示，本公开提供一种激光散斑时空编码投射tof深度感知方法，包括如下步骤：
[0053]
s100：向待测目标物投射以单一频率调制波调制的带有相位调制信息的散斑时空编码图案；
[0054]
该步骤中，所述散斑时空编码图案是在时间轴上采用相移法，投射多幅带有相位信息的散斑编码图案；在空间分布上，vcsel光源采用结构光编码方式(发光点采取随机方式排列)发出基础编码图案，经准直镜准直后，再经衍射光学元件doe按m*n方式复制排列，投射出一定数量随机分布的激光散斑点组成的散斑编码图案，具体如图2所示，其中，m、n为整数。
[0055]
所述相移法为n步相移法，包括四步相移法、三步相移法和五步相移法。示例性的，四步相移法即是采用四个采样计算窗口测量，每个计算窗口相位延时90
°
(0
°
、90
°
、180
°
、270
°
)。
[0056]
s200：通过相移法同步采集散斑时空编码图案，获得具有单一频率的多幅相移散斑图像；
[0057]
该步骤中，通过相移法同步采集并输出的相移散斑图像(原始raw数据)，以四相步法为例，四幅相移散斑图像分别为q0、q1、q2和q3，分别对应0
°
、90
°
、180
°
、270
°
相位图。
[0058]
s300：对多幅相移散斑图像进行单频深度解码，以获得待测目标物的深度信息。
[0059]
上述实施例构成了本公开的完整技术方案。本公开所述方法只需投射以单一频率调制的散斑时空编码图案即可解决传统itof或现有spot-tof依靠混频方法求取待测目标物深度的难题，一方面可以对快速运动物体、尤其是运动物体的边缘部分可以获得较为精确的深度点云信息，另一方面大幅降低了tof模组的功耗(仅需要一种工作频率测距)。
[0060]
另一个实施例中，步骤s300包括如下步骤：
[0061]
s301：计算相移散斑图像散斑点中心对应的初步深度值d；
[0062]
该步骤中，将相移散斑图像与已知距离的参考散斑编码图像(所示参考散斑编码图像，作为单目结构光深度计算的参考比较基准，事先投射到与激光散斑时空编码投射器的光轴垂直的平面上采集得到，其离投射器的垂直参考距离d
ref
是已知的)进行匹配视差计算，并结合激光三角测距方法，求得散斑点中心对应的初步深度值d为：
[0063][0064]
其中，d
ref
为参考相移散斑图像的已知距离，δx为预处理后的相移散斑图像与预处理后的已知距离的参考相移散斑图像进行块匹配视差计算得到最优匹配块对应的视差值，s为tof接收摄像头与激光散斑时空编码投射器的基线距离，f为tof接收摄像头的焦距，μ为tof接收摄像头图像传感器的点距。
[0065]
需要说明的是，在计算初步深度值d之前，可先对相移散斑图像与参考散斑编码图像进行预处理，具体可以采用二值化、直方图增强等现有方式，以使相移散斑图像与参考散斑编码图像的散斑块之间高度相似。
[0066]
进一步需要说明的是，在计算初步深度值d之前，需对相移散斑图像与参考相移散斑图像进行预处理，以将多幅相移散斑图像的raw数据进行合成，以四步相移法为例，其中一种预处理方式是根据振幅公式求出相移散斑图像中每个像素点对应的振幅a；另一种预处理方式是根据置信度公式sconfidence＝|q
3-q1|+|q
0-q2|求出相移散斑图像中每个像素点对应的置信度sconfidence，然后采用振幅a值或置信度sconfidence值作为待预处理的相移散斑图像的像素值；再采用二值化、直方图增强等现有方式，生成预处理后的相移散斑图像和参考相移散斑图像，以使预处理后的相移散斑图像与参考相移散斑图像的散斑块之间高度相似。
[0067]
s302：计算相移散斑图像散斑点中心的相位差，并基于相位差计算单一频率调制波不同周期数{λ、2λ....nλ}对应的深度值d’；
[0068]
该步骤中，利用tof相移法计算得到该散斑点中心的相位差，具体n步相移法解码计算公式为：
[0069][0070]
其中，n为相移法步数，qm表示n步相移法第m幅相移散斑图像的像素值，π为圆周率。
[0071]
以四步相移法为例，其中，q0、q1、q2和q3为步骤s200中采集的4幅相移散斑图像的原始raw数据，分别对应四步相移法中0
°
、90
°
、180
°
、270
°
相位图。
[0072]
获得相位差后，结合如下所示的相移法深度计算公式得到如图3所示的单一频率调制波不同周期数{λ、2λ....nλ}对应的深度值d’＝{d1、d2.....dn}：
[0073]
[0074]
其中，c为光速，fm为激光调制频率，π为圆周率，为散斑点所在像素对应的发射光与接收光的相位差，n为激光调制波的周期数(取整数值0、1、2、3......)。
[0075]
需要说明的是，在执行步骤s301之前，首先需要对相移散斑图像中的散斑点中心进行提取，具体以四相步法为例介绍提取过程：
[0076]
其中，一种提取方式为：先根据公式sconfidence＝|q
3-q1|+|q
0-q2|求出相移散斑图像中每个像素点对应的置信度sconfidence，设置k
×
l(k、l为整数)的搜索窗，计算搜索窗内置信度的平均值该平均值同搜索窗中心像素点的置信度进行比较，大于平均值则认为该像素是散斑点所在像素。
[0077]
另一种提取方式为：先根据振幅公式求出相移散斑图像中每个像素点对应的振幅a，设置k
×
l(k、l为整数)的搜索窗，计算搜索窗内振幅的平均值该平均值同搜索窗中心像素点的振幅进行比较，大于平均值则认为该像素是散斑点所在像素。
[0078]
提取散斑图像散斑点的方法不限于以上所述方式，只要可用于散斑点提取的方法都可以使用。
[0079]
s303：基于初步深度值d和深度值d’获得相移散斑图像散斑点中心的最终深度值d”，最终深度值d”即为待测目标物的深度值。
[0080]
该步骤中，最终深度值d”可通过如下方式进行求取：一种方式是从单一频率调制波不同周期数{λ、2λ....nλ}所对应的深度值d’中选取与初步深度值d最为接近的值作为散斑点中心的最终深度值d”。另一种方式是先设定阈值th，然后，在d≤th的范围内，选择d作为散斑点中心的最终深度值d”；在d＞th范围内，从d’中选取与d最为接近的值作为散斑点中心的最终深度值d”，最终深度值d”即为待测目标物的深度值。
[0081]
以上方式的有益之处在于近距离采用单目结构光三角测距、中远距离采用tof相移法测距，从而确保不同距离的测距精度都是最优。
[0082]
以上方法先利用激光三角测距获取散斑点中心的初步深度值，以用于指导相移法进行多周期解缠绕，再选取准确的深度值，只需要工作在一种频率就解决了传统itof或现有spot-tof依靠混频方法求取深度的难题，一方面可以对快速运动物体、尤其是运动物体的边缘部分可以获得较为精确的深度点云信息，另一方面大幅降低了tof模组的功耗。
[0083]
另一个实施例中，本公开还提供一种激光散斑时空编码投射tof深度感知装置，包括：
[0084]
投射模块，用于向待测目标物投射以单一频率调制波调制的带有相位调制信息的散斑时空编码图案；
[0085]
采集模块，用于通过相移法同步采集散斑时空编码图案，获得具有单一频率的多幅相移散斑图像；
[0086]
单频深度解码模块，用于对相移散斑图像进行单频深度解码，以获得待测目标物的深度信息。
[0087]
本实施例中，如图4所示，投射模块采用激光散斑时空编码投射器，其由vcsel编码光源、准直镜和衍射光学元件doe组成，通过时空编码方式投射出带有相位调制信息的散斑
时空编码图案。其中，vcsel编码光源包括一定数量(10～5000个点)的vcsel(vertical cavity surface emitting laser垂直腔面发射激光器)发光点，这些发光点的排列方式为随机编码图案，即在水平或垂直方向一定的范围内发光点组合方式不重复，所有发光点组成了基础编码图案。vcsel光源波长一般为近红外，比如940nm、900nm、850nm、830nm等。准直镜用于将vcsel编码光源发出的激光光束准直为平行光，准直镜和vcsel光源、doe衍射光学器件之间可以固定，也可以迎着光轴方向、在一定范围内上下移动，以实现所投射的散斑时空编码图案中散斑点大小的调节和聚焦程度。衍射光学器件doe将基础编码图案按m*n方式复制排列，比如3*3、5*3、7*5等，经复制组成了散斑点更多的散斑编码图案，并确保不同复制块的散斑点的亮度和对比度保持均衡一致。
[0088]
采集模块采用tof接收摄像头，如图5所示，其与所述激光散斑编码投射器处于同一基线上，基于相移法单频调制工作，可通过调制发射单一频率(比如60mhz、80mhz、100mhz、120mhz、150mhz，频率越高精度越高)的光波同步采集激光散斑时空编码投射器投射出的散斑时空编码图案，并获得由散斑时空编码图案组成的相移散斑图像。
[0089]
另一个实施例中，所述单频深度解码模块包括：
[0090]
单目结构光深度计算子模块，用于计算相移散斑图像散斑点中心的初步深度值d；
[0091]
tof相移法深度计算子模块，用于计算相移散斑图像散斑点中心的相位差并基于相位差计算单一频率调制波不同周期数对应的深度值d’；
[0092]
深度输出子模块，用于基于初步深度值d和深度值d’获得相移散斑图像散斑点中心的最终深度值d”。
[0093]
在本发明得到的相移散斑图像散斑点中心深度值的基础上，将稀疏点云通过插值或深度学习训练方式得到稠密点云，将稠密点云作为输出，也属于本发明的保护范围。
[0094]
上述对本技术中涉及的发明的一般性描述和对其具体实施方式的描述不应理解为是对该发明技术方案构成的限制。本领域所属技术人员根据本技术的公开，可以在不违背所涉及的发明构成要素的前提下，对上述一般性描述或/和具体实施方式(包括实施例)中的公开技术特征进行增加、减少或组合，形成属于本技术保护范围之内的其它的技术方案。