一种融合的深度测量方法及测量装置与流程

本申请涉及图像处理与光学测量技术领域，尤其涉及一种融合的深度测量方法及测量装置。

背景技术：

深度测量装置可以用来获取物体的深度图像，进一步可以进行3d建模、骨架提取、人脸识别等，在3d测量以及人机交互等领域有着非常广泛的应用。目前的深度测量技术主要有tof测距技术、双目测距技术等。

tof的全称是time-of-flight，即飞行时间，tof测距技术是一种通过测量脉冲光束在发射/接收装置和目标物体间的往返飞行时间来实现精确测距的技术，分为直接测距技术和间接测距技术。其中，直接测距技术测量脉冲光束的发射和接收的时间差，相比于传统的图像传感器，直接测距技术利用单光子雪崩二极管(spad)图像传感器实现高灵敏度的光探测，并且采用时间相关单光子技术方法来实现皮秒级的时间精度。但spad图像传感器在制造工艺、芯片设计等方面仍然存在诸多限制，以至于图像传感器的分辨率非常低。

双目测距技术利用的是三角测距法计算被测物到相机的距离；具体地说，就是从两个相机观察同一物体，被观测物体在两个相机中拍摄到的图像中的位置会有一定位置差，即视差；被测物离相机越近，视差就越大；距离越远，视差就越小。在已知两个相机间距等相对位置关系的情况下，即可通过相似三角形的原理计算出被摄物到相机的距离。然而这种测距方式对处理器硬件要求较高，且需要依赖于复杂的算法，算法计算时间长，对于特征不明显的目标识别效果不佳，识别精度较低。

因此，传统的测距方法存在着因算法复杂，从而导致测距计算时间较长和目标识别精度较低的技术问题。

技术实现要素：

本申请的目的在于提供一种融合的深度测量方法及测量装置，旨在解决传统的测距方法存在着因算法复杂，从而导致测距计算时间较长和目标识别精度较低的技术问题。

本申请实施例的第一方面提供了一种融合的深度测量方法，对场景区域的距离进行测量，包括：

对所述场景区域发射脉冲光束；

接收所述脉冲光束的反射信号，并输出往返所述脉冲光束与所述反射信号的渡越时间的电信号；

采集所述场景区域的左图像和右图像；

对所述渡越时间的电信号进行处理以获取第一深度图像，并将所述第一深度图像转换为第一视差图像；

对所述左图像与所述右图像进行立体匹配，以获取第二视差图像；

对所述第一视差图像与所述第二视差图像进行融合，以获取目标图像。

在其中一实施例中，对所述场景区域发射脉冲光束包括：

产生所述脉冲光束；

调整所述脉冲光束的发散度；

对所述脉冲光束进行导向，以指示所述脉冲光束发散至所述场景区域的各个方向。

本申请实施例的第二方面提供了一种融合的深度测量装置，包括：

发射模块，用于对场景区域发射脉冲光束；

探测模块，用于接收所述脉冲光束的反射信号，并输出往返所述脉冲光束与所述反射信号的渡越时间的电信号；

采集模块，用于采集所述场景区域的左图像和右图像；

处理模块，用于对所述渡越时间的电信号进行处理以获取第一深度图像，并将所述第一深度图像转换为第一视差图像；

转换模块，对所述左图像与所述右图像进行立体匹配，以获取第二视差图像；以及

融合模块，用于对所述第一视差图像与所述第二视差图像进行融合，以获取目标图像。

在其中一实施例中，所述发射模块包括：

光源阵列，用于产生脉冲光束；

透镜元件，用于调整所述脉冲光束的发散度；以及

光束扫描元件，用于对所述脉冲光束进行导向，以指示所述脉冲光束发散至所述场景区域的各个方向。

在其中一实施例中，所述探测模块包括单光子雪崩二极管图像传感器；

所述处理模块中，将所述第一深度图像转换为第一视差图像具体包括：

以所述左图像为参考图像，计算所述第一深度图像对应的所述第一视差图像：

式中，pd(x0,y0)为所述第一深度图像上深度值z(x0,y0)在点(x0,y0)处的视差值，f为所述单光子雪崩二极管图像传感器的焦距，tlt是以深度相机-左相机为系统的基线长度，hlt是深度相机标定出来的单应矩阵。

在其中一实施例中，将所述第一深度图像转换为所述第一视差图像，还包括：

采用以下二元三次方程对所述第一视差图像的视差曲面进行拟合，以获取平滑的视差曲面：

d(x,y)＝a1+a2x+a3y+a4x²+a5xy+a6y²+a7x³+a8x²y+a9xy²+a10y³

式中，d(x,y)为一个三维视差曲面，a1，a2，···，a10为系数，x和y为像素坐标。

在其中一实施例中，所述处理模块中，在将所述第一深度图像转化为第一视差图像之前，还包括：

对所述单光子雪崩二极管图像传感器与所述左图像传感器或者所述右图像传感器进行联合标定：

将所述单光子雪崩二极管图像传感器获得的所述第一深度图像转化为点云数据，将所述点云数据通过联合标定的变换矩阵映射到所述左图像传感器或者所述右图像传感器的相机坐标系中，得到以所述左图像传感器或者所述右图像传感器为参考的平面二维点。

在其中一实施例中，所述转换模块中，对所述左图像与所述右图像进行立体匹配，以获取第二视差图像具体包括：

选取所述第一视差图像上的像素点作为种子点，引导所述左图像和所述右图像进行立体匹配以获得所述第二视差图像，具体采用以下公式：

式中，(x,y0)为右图像每个视差范围内的像素点，θ为选定的参数。

在其中一实施例中，对所述第一视差图像与所述第二视差图像进行融合，以获取深度图像，具体包括：

根据所述第一视差图像，获取第一可信度函数；

根据所述第二视差图像，获取第二可信度函数；

根据所述第一可信度函数和所述第二可信度函数构成不同的权重，对所述第一视差图像与所述第二视差图像进行融合，以获取像素融合视差；

根据所述像素融合视差对场景区域进行三维重建，以获取所述深度图像。

在其中一实施例中，对所述第一视差图像与所述第二视差图像进行融合，以获取像素融合视差，具体包括：

根据所述第一可信度函数和所述第二可信度函数，构成不同的权重对两种视差进行融合，得到像素融合视差，具体采用以下公式：

d＝wt·dt+ws·ds

wt＝1-ws

式中，dt为第一视差值，ds为第二视差值，wt为根据第一视差值的权重，ws为根据第二视差值的权重。

本发明实施例中上述的一种融合的深度测量方法及测量装置，通过单光子雪崩二极管图像传感器获取第一深度图像，并将第一深度图像的像素点作为种子点，引导左图像传感器和右图像传感器进行立体匹配，以获取第二视差图像，通过将第一深度图像转化为第一视差图像，并根据第一可信度函数和第二可信度函数构成不同的权重，以融合第一视差图像和第二视差图像，得到融合视差图像以恢复场景区域的三维重建，获取高分辨率的目标图像，识别精度较高。

附图说明

图1为本申请一实施例提供的一种融合的深度测量方法的具体流程步骤示意图；

图2为本申请一实施例提供的一种融合的深度测量方法中将第一深度图像转换为第一视差图像的流程示意图；

图3为本申请一实施例提供的一种融合的深度测量方法中对第一视差图像与第二视差图像进行融合的流程示意图；

图4为本申请一实施例提供的一种融合的深度测量装置的结构示意图。

具体实施方式

为了使本申请所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

图1为本申请一实施例提供的一种融合的深度测量方法的具体流程步骤示意图，为了便于说明，仅示出了与本实施例相关的部分，详述如下：

在一实施例中，第一方面提供了一种融合的深度测量方法，对场景区域的距离进行测量，包括以下步骤：

s101.控制发射模块对场景区域发射脉冲光束。

在一个实施例中，发射模块包括光源阵列、透镜元件及光束扫描元件。

光源阵列用于产生脉冲光束，在一个实施例中，光源阵列采用半导体led、半导体激光或者vcsel(vertical-cavitysurface-emittinglaser，垂直腔面激光发射器)阵列作为光源，光源阵列也可以采用平行共振腔表面的边发射激光器，用于向外发射红外、紫外等波长的光束。优选地，本实施例中光源阵列采用vcsel阵列，vcsel拥有体积小、脉冲光束发射角小、稳定性好等特点，在面积1mm×1mm的半导体衬底上布置成百上千个vcsel子光源，由此构成vcsel阵列发光芯片，其体积小、功耗低。vcsel阵列发光芯片可以是拥有较小体积和厚度的裸片，也可以具有较好的稳定性以及方便连接的经过封装后的发光芯片。

在一个实施例中，透镜元件用于调整脉冲光束的发散度，透镜元件采用单透镜、透镜组合或者微透镜阵列。发散度可被确定为与脉冲光束一个或多个截面轴相关联的角度值，发散度的调整可至少部分控制缓解脉冲光束截面的不均匀性，以改善装置在确定视野中的各个位置处检测的反射点的属性时的准确度，并改善光源阵列中各组反射点与各个对象的点云的相关性等。光源阵列对透镜元件有一定的设计要求，比如发射脉冲光束密度，因此单透镜元件往往难以达到要求，则需要多个透镜共同组成透镜姿态来满足设计要求。在具体实施过程中，除了需要考虑透镜的基本设计要求之外，还需要考虑透镜元件在使用过程中会遇到的一些其他因素，此处不作限制，可根据具体情况进行设计。

在一个实施例中，光束扫描元件用于对脉冲光束进行导向，以指示脉冲光束发散至场景区域的各个方向，光束扫描元件采用由mems(microelectromechanicalayatems,微电气机械系统)技术制成的微镜子，可控制地将脉冲光束朝各个方向发射，并对目标场景区域进行扫描。

s102.通过单光子雪崩二极管图像传感器接收脉冲光束的反射信号，并输出往返脉冲光束和反射信号的渡越时间的电信号。

在一个实施例中，发射模块发射时序上被脉冲调制的线光束或面阵光束的脉冲光束，spad(singlephotonavalanchediode，单光子雪崩二极管)图像传感器探测到单光子，从而产生一个数字脉冲，通过tdc(timetodigitalconvert，时间数据转换器)电路记录数字脉冲产生的时刻，对相应时间区间内的单光子计数累加值进行加一操作，输出多组光子飞行时间信息，大量重复同样的测量后，会得到很多时间数据，将这些时间内数据按照同样的方式累加在相应的时间区间中，然后通过tcspc(time-correlatedsingle-photoncounting，单光子计数)电路得到相应的单光子计数直方图，对单光子计数直方图进行峰值判断，确定光子在场景区域与发射模块之间飞行所需要的渡越时间的电信号并输出。

s103.通过左图像传感器采集场景区域的左图像，并通过右图像传感器采集场景区域的右图像。

在一个实施例中，左图像传感器和右图像传感器在发射模块的照射下，分别采集场景区域的左红外图像和右红外图像；左图像传感器和右图像传感器均可采用红外图像传感器，且由于红外图像传感器在成像时需要持续的主动光源(如红外光)进行照明，因此发射模块还包括红外泛光灯、红外投影仪等红外光源。

在另一实施例中，左图像传感器和右图像传感器还可以采用可见光图像传感器，左图像传感器和右图像传感器可以采用两个rgb图像传感器，或这一个rgb图像传感器与一个灰度传感器组合，在环境光的照明下，用于分别采集场景区域的左可见光图像和右可见光图像。

s104.对渡越时间的电信号进行处理以获取第一深度图像，并将第一深度图像转换为第一视差图像。

在一个实施例中，对于平行的立体视觉系统，左图像传感器与右图像传感器所形成的左相机、右相机的光轴是平行的，因此可根据三角测距原理获得场景区域的深度信息；设定场景区域内p点在左相机和右相机上的投影坐标分别为pl(xl,yl)和pr(xr,yr)，根据三角测距原理获得场景区域点p的深度信息：

进一步地，获得p点处的深度值：

式中，z为点p的深度值，f为左相机与右相机的焦距，b为左图像传感器与右图像传感器之间的基线，d为左图像与右图像之间的视差。

图2为本申请一实施例提供的一种融合的深度测量方法中将第一深度图像转换为第一视差图像的流程示意图，为了便于说明，仅示出了与本实施例相关的部分，详述如下：

具体地，将第一深度图像转换为第一视差图像包括以下步骤：

s1041.将单光子雪崩二极管图像传感器与左图像传感器或者右图像传感器进行联合标定。

本实施例中以左图像为参考图像，因此将spad图像传感器与左图像传感器进行联合标定；将spad图像传感器获得的第一深度图像转化为点云数据，该点云通过联合标定的变换矩阵[r,t]映射到左图像传感器的相机坐标系，其中，r为旋转矩阵，t为平移矢量。即将spad图像传感器中的点的三维坐标xti(i＝1,2,…,n)变换到以左图像传感器为参考的双目系统的三维点xli(i＝1,2,…,n)，将双目系统的三维点xli通过左图像传感器的内参数矩阵投影到左图像传感器坐标系中，从而形成点阵xli(i＝1,2,…,n)，得到以左图像传感器为参考的平面二维点。

s1042.将第一深度图像转换为第一视差图像。

以左图像为参考图像，根据式(2)，采用以下公式计算由spad图像传感器组成的深度相机获取第一深度图像所对应的第一视差图像：

式中，pd(x0,y0)为第一深度图像上深度值z(x0,y0)在点(x0,y0)处的视差值，f为spad图像传感器的焦距，tlt是以深度相机-左相机为系统的基线长度，hlt是深度相机标定出来的单应矩阵。

应当理解的是，本实施例中选取左图像为参考图像，也可以选取右图像为参考图像，此处不作限制。

s1043.采用二元三次方程对第一视差图像的视差曲面进行拟合，以获取平滑的视差曲面。

由于上述步骤中获得的第一视差图像为稀疏的，因此需要对缺失的数据进行填充。根据稀疏的已知视差曲面，在视差空间拟合出平滑的视差曲面，即可根据此视差曲面进行上采样对未知视差进行填充，为了保证拟合的视差曲面最大程度上接近真实场景，本实施例采用二元三次方程对第一视差图像的视差曲面进行拟合，具体如下：

d(x，y)＝a1+a2x+a3y+a4x²+a5xy+a6y²+a7x³+a8x²y+a9xy²+a10y³(4)

式中，d(x,y)为一个三维视差曲面，a1，a2，···，a10为系数，x和y为像素坐标。

s105.对左图像与右图像进行立体匹配，以获取第二视差图像。

在其中一实施例中，对左图像与右图像进行立体匹配，以获取第二视差图像具体包括：

选取第一视差图像上的像素点作为种子点，引导左图像和右图像进行立体匹配以获得第二视差图像。

在一个实施例中，由于在低反射区域或者是折光行较强区域，由spad图像传感器组成的深度相机无法获取精确的深度信息，因此对于右图像每个视差范围内的像素点(x,y0)深度距离代价函数为：

式中，θ为根据经验选定的参数，用来调节深度距离代价函数的范围，以设定c(x,y0)的阈值，若右图像上的某像素点(x,y0)的深度距离代价函数的值在阈值范围之内，则该像素点为种子点，计算左图像与右图像的视差值，以获得第二视差图像；若右图像上的某像素点(x,y0)的深度距离代价函数的值在阈值范围之外，则该点为非种子点，则将在双目立体匹配时将沿其水平方向搜索最近一个种子点将其视差值赋予该点。

在一个实施例中，由左图像传感器、右图像传感器组成的双目相机是水平放置的，保证相机光轴平行的，成像也在同一个水平面上，不存在垂直方向上的视差，因此纵坐标y0是相同的，视差搜索范围也是根据双目相机的基线决定其最大可能搜索范围；本申请以左图像为参考图像，右图像为目标图像，即对于左图像参考图像上的某一点(x0,y0)，会在对应的右图像目标图像中的[(x0-m,y0),(x0+m,y0)]视差搜索范围内查找另一个点。

假设在右图像目标图像即右图像上的一点(x,y0)是参考图像即左图像点(x0,y0)的匹配点，利用深度距离代价函数c(x,y0)，引导双目相机进行立体匹配，求得视差为d＝|(x-x0)|，以得到第二视差图像。

s106.对第一视差图像与第二视差图像进行融合，以获取目标图像。

图3为本申请一实施例提供的一种融合的深度测量方法中对第一视差图像与第二视差图像进行融合的流程示意图，为了便于说明，仅示出了与本实施例相关的部分，详述如下：

在其中一实施例中，对第一视差图像与第二视差图像进行融合，以获取目标图像包括以下步骤：

s1061.根据第一视差图像，获取第一可信度函数。

对于spad图像传感器获取的第一深度图像，第一深度图像上的点(x0,y0)的深度值z(x0,y0)，设其标准差为σz，根据式(3)，可得出对应的视差标准差为σd，即

进一步地，获得点(x0,y0)的视差标准差：

其中，定义视差标准差的最小阈值σmin和最大阈值σmax，其中σmin为接收到的景深最近处最亮像素的标准差，σmax为接收到的景深最远出最暗像素的标准差。当在第一深度图像上计算某像素点的视差值标准差小于σmin，则认为该点完全稳定，可信度为1；当标准差大于σmax时，则该点不可靠，可信度为0；标准差处于2个阈值之间时，设可信度范围为(0,1)，由此得到第一可信度函数，具体如下：

s1062.根据第二视差图像，获取第二可信度函数。

在一个实施例中，根据自适应加权算法计算双目相机获取的第二视差图像，并获取第二可信度函数，即

式中，和分别为双目相机在自适应加权算法中求得的最小匹配代价和第二小匹配代价，tc为常参数，为避免为0，设至tc>0。

s1063.根据第一可信度函数和第二可信度函数构成不同的权重，对第一视差图像与第二视差图像进行融合，以获取像素融合视差。

设由spad图像传感器获取的第一视差值为dt，由左图像传感器、右图像传感器获取的第二视差值为ds，则根据第一可信度函数和第二可信度函数，构成不同的权重对两种视差进行融合，得像素融合视差d为

d＝wt·dt+ws·ds(10)

式中，wt为根据spad图像传感器获得的深度图像求得的视差值的权重，ws为根据左图像传感器、右图像传感器获得左图像、右图像进行立体匹配求得的视差的权重。

进一步地，由式(10)可得：

wt＝1-ws(12)

应当理解的是，本申请并不对计算权重的方式进行限定，现有技术中任意计算权重的方式均可应用于本申请中。

s1064.根据像素融合视差对场景区域进行三维重建，以获取目标图像。

本申请实施例的第二方面提供了一种融合的深度测量装置，包括：

图4为本申请一实施例提供的一种融合的深度测量装置的结构示意图，为了便于说明，仅示出了与本实施例相关的部分，详述如下：

在其中一实施例中，一种融合的深度测量装置包括发射模块100、接收模块200以及控制与处理模块300。

发射模块100，用于对场景区域30发射脉冲光束10。

具体地，发射模块100包括光源阵列101、透镜元件102及光束扫描元件103。

其中，光源阵列101用于产生脉冲光束；透镜元件102用于调整脉冲光束的发散度；光束扫描元件103用于对脉冲光束进行导向，以指示所述脉冲光束发散至场景区域30的各个方向。

接收模块200包括探测模块和采集模块。

探测模块包括单光子雪崩二极管图像传感器201，单光子雪崩二极管图像传感器201用于接收脉冲光束10的反射信号20，并输出往返脉冲光束10和反射信号20的渡越时间的电信号。

采集模块包括左图像传感器202和右图像传感器203，左图像传感器202用于采集场景区域30的左图像；右图像传感器203用于采集场景区域30的右图像。

控制与处理模块300包括处理模块、转换模块及融合模块，处理模块、转换模块及融合模块可以是实现各模块中相应功能的独立模块，也可以是一个实现各模块中全部功能的综合处理器。

处理模块用于对渡越时间的电信号进行处理以获取第一深度图像，并将第一深度图像转换为第一视差图像。

转换模块用于对左图像与右图像进行立体匹配，以获取第二视差图像。

融合模块用于对第一视差图像与第二视差图像进行融合，以获取目标图像。

需要说明的是，本实施例中的一种融合的深度测量装置，是上述一种融合的深度测量方法对应的测量装置的实施例，因此关于测量装置的各模块中软件方法的具体实现，可参照图1-图3的实施例，此处不再详细赘述。

本发明实施例中上述的一种融合的深度测量方法及测量装置，通过单光子雪崩二极管图像传感器获取第一深度图像，并将第一深度图像的像素点作为种子点，引导左图像传感器和右图像传感器进行立体匹配，以获取第二视差图像，通过将第一深度图像转化为第一视差图像，并根据第一可信度函数和第二可信度函数构成不同的权重，以融合第一视差图像和第二视差图像，得到融合视差图像以恢复场景区域的三维重建，获取高分辨率的深度图像，识别精度较高。

在本文对各种器件、电路、装置、系统和/或方法描述了各种实施方式。阐述了很多特定的细节以提供对如在说明书中描述的和在附图中示出的实施方式的总结构、功能、制造和使用的彻底理解。然而本领域中的技术人员将理解，实施方式可在没有这样的特定细节的情况下被实施。在其它实例中，详细描述了公知的操作、部件和元件，以免使在说明书中的实施方式难以理解。本领域中的技术人员将理解，在本文和所示的实施方式是非限制性例子，且因此可认识到，在本文公开的特定的结构和功能细节可以是代表性的且并不一定限制实施方式的范围。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。