基于双目RGB-D相机深度轮廓估计方法与流程

本发明属于计算机视觉领域。特别涉及基于双目rgb-d相机深度轮廓估计算法。

背景技术：

深度的获取是工业界与学术界关注的重点。目前，有已经有很多方法用于完成高质量深度图像的获取，主要分为两类，其中一种是被动获取，例如立体匹配、2d-3d转换技术、彩色相机阵列等。然而，这些方法都是基于推断的，是从彩色图像的结构信息中估计深度，并不是对深度进行直接测量，这种方法往往会产生错误的深度估计结果。另一种是主动方式，即：直接获取深度图像。随着kinect、可测深度摄像头tofcamera等深度相机的出现，人们更倾向于使用深度相机直接获取场景的深度信息。kinect是微软在2009年6月2日的e3大展上，正式公布的xbox360体感周边外设。这一方式不仅提高了场景信息的质量和全面性，而且大大减少了获取3d内容时的工作量。目前市场上存在各种深度相机，2010年，微软推出了第一代kinect深度相机，最近，微软更新发布了第二代深度相机kinectv2。不同于利用散斑结构光成像原理的第一代kinect，kinectv2利用tof(时间飞行)技术，能够获取比一代kinect准确性更高的深度图像，但是系统误差、低分辨率、噪声和深度缺失等问题依旧存在。针对这些问题，目前存在很多深度修复算法用于深度图像的重建工作中。其中包括基于全局优化的深度图像重建模型、基于滤波的深度增强算法等，例如基于马尔科夫随机场(markovrandomfield)模型、总分辨模型(totalvariation，tv)、导向滤波，基于交叉的局部多点滤波等。

这些方法能够得到较高质量的深度图，但是，当深度图像中存在大面积深度缺失现象时，这些方法的效果并没有达到最佳，容易出现边缘模糊、深度估计错误等问题，深度修复算法仍需要进一步改进。而且，这些方法只是针对单一视点深度图像，对于需要的多视点彩色图像-深度图像对的立体显示系统来说，缺乏有效性和应用性

对于多视点成像任务，叶昕辰等人提出了利用第一代kinect实现多视点成像的方法；zhu等人利用一个tof相机和两台彩色相机搭建了多视点相机系统来获取高质量深度图像；choi等人同样建立了多视点系统对低分辨率深度图像进行上采样修复工作。然而这些工作中多关注深度采集的精确度问题，并没有考虑系统内各个视点间的相互关系，或者只使用了简单的融合方式对不同视点的图像进行融合。因此进一步分析和完善双目采集系统的特性描述、改进融合方式以实现高质量的深度恢复是很有必要的。

技术实现要素：

本发明意在弥补现有技术的不足，即生成高质量深度轮廓估计的方法。本发明采取的技术方案是，基于双目rgb-d相机深度轮廓估计方法，rgb-d表示彩色和深度图像。首先得到低分辨率的深度边缘信息；然后通过相机标定和图像校准操作，得到深度边缘的高分辨率散点图，并进行边缘插值得到高分辨率的连续的深度轮廓；最后，在彩色图像边缘的引导和约束下，对深度轮廓进行矫正优化，生成最终的深度轮廓图像。

进一步地，具体步骤如下：

1)获得低分辨率的深度边缘信息

先对其进行去噪和填充操作，采用滤波及双三次插值作为原始深度图像的预处理操作，然后利用canny检测算子提取深度边缘

2)生成深度边缘的高分辨率散点图

利用借助深度图像校准与预处理得到的相机参数，对原始深度图像进行图像配准，使其具有与彩色图像相同的分辨率，得到高分辨率的深度边缘散点图

3)生成高分辨率的连续的深度轮廓

针对彩色边缘图像中边缘点的像素位置x，将其邻域n(x)内的边缘信息转换至一维表示的坐标对，即得到坐标散点集x＝xi及点集x对应的值f(xi)；然后对于需要进行差值的位置x，最小化其拟合函数的加权最小二乘误差p(·)：

其中，θ(·)代表非负权重函数，∑·是求和运算，||·||为欧几里得距离，经过mls拟合插值后，进行逆变换即一维转换为二维，得到连续的深度轮廓图像

4)生成高分辨率的深度图像dl

联合使用非线性变换及canny检测算子提取彩色图像边缘，以避免单独使用canny检测算子出现的过度细致纹理，完成深度图像的视点配准，得到高分辨率的深度图像dl；

5)联合深度散点-彩色边缘，对深度轮廓矫正优化：

其中，x是彩色边缘图像中边缘点的像素位置，nd(x)、分别对应该位置在主视点深度图像dl、高分辨率深度轮廓图像彩色边缘图像ec中的邻域区域；t(·)代表二维转换为一维的变换操作；g(·)为高斯核，代表彩色边缘约束项，为梯度运算，公式(2)的物理意义为若同一像素位置处的深度轮廓和彩色边缘具有相同变化趋势即曲率，则认为该像素点是深度轮廓点的可能性较大，其中，r(·)代表了主视点深度图像对应的约束项，定义为：

其中，i,j＝1,2,3,4代表邻域nd(x)的上、下、左、右四个子区域，nth1和dth1分别为有效深度值总数量和深度均值差异的阈值，该约束项表示，在四个邻域子区域中，只要有任意两个子区域具有相似的有效深度值数量和深度均值，那么就认为该邻域是深度平滑区域，即该邻域范围内不存在深度轮廓，那么该像素位置不应存在深度轮廓信息，即ed(x)＝0。

本发明的技术特点及效果：

本发明方法针对深度轮廓估计质量不高问题，提取低分辨率深度图的深度边缘作为初始化深度轮廓，经过视点扭转后，结合彩色边缘，利用移动最小二乘(mls)方法对深度轮廓散点进行连接重建，最终获得高分辨率、连接、平滑的深度轮廓。本发明具有以下特点：

1、充分利用双目系统的优势，提供更多的信息参考。

2、首先提出低分辨率深度图的深度边缘作为初始化深度轮廓。

3、结合彩色边缘，利用移动mls对深度轮廓散点进行连接。

附图说明

图1是算法流程图，图中，为低分辨率的深度边缘信息，为深度边缘的高分辨率散点图，高分辨率的连续的深度轮廓，ec为彩色边缘图像，ed为最终深度轮廓估计。

图2是(a)彩色边缘(红色),校准后的深度边缘(绿色)、主视点深度图像(蓝色)联合展示；

图3是高分辨率深度轮廓估计结果。

具体实施方式

以主视点彩色-深度图像对作为输入信息。首先得到低分辨率的深度边缘信息；然后通过相机标定和图像校准操作，得到深度边缘的高分辨率散点图，并进行边缘插值得到高分辨率的连续的深度轮廓；最后，在彩色图像边缘的引导和约束下，对深度轮廓进行矫正优化，生成最终的深度轮廓图像。下面结合附图和实施例对本发明作详细说明。

1)获得低分辨率的深度边缘信息

由于原始深度图像中存在噪声及深度缺失，需要先对其进行去噪和填充操作，采用滤波及双三次插值作为原始深度图像的预处理操作，然后利用canny检测算子提取深度边缘

2)生成深度边缘的高分辨率散点图

利用借助深度图像校准与预处理得到的相机参数，对原始深度图像进行图像配准，使其具有与彩色图像相同的分辨率，得到高分辨率的深度边缘散点图

3)生成高分辨率的连续的深度轮廓

针对彩色边缘图像中边缘点的像素位置x，将其邻域n(x)内的边缘信息转换至一维表示的坐标对，即得到坐标散点集x＝xi及点集x对应的值f(xi)；然后对于需要进行差值的位置x，最小化其拟合函数的加权最小二乘误差p(·)：

其中，θ(·)代表非负权重函数，∑·是求和运算，||·||为欧几里得距离。经过mls拟合插值后，进行逆变换(一维转换为二维)，可以得到连续的深度轮廓图像

4)生成高分辨率的深度图像dl

联合使用非线性变换及canny检测算子提取彩色图像边缘，以避免单独使用canny检测算子出现的过度细致纹理，完成深度图像的视点配准，得到高分辨率的深度图像dl。

5)联合深度散点-彩色边缘，对深度轮廓矫正优化：

其中，x是彩色边缘图像中边缘点的像素位置，nd(x)、分别对应该位置在主视点深度图像dl、高分辨率深度轮廓图像彩色边缘图像ec中的邻域区域；t(·)代表二维转换为一维的变换操作；g(·)为高斯核，代表彩色边缘约束项，为梯度运算。公式(2)的物理意义为若同一像素位置处的深度轮廓和彩色边缘具有相同变化趋势(曲率)，则认为该像素点是深度轮廓点的可能性较大。其中，r(·)代表了主视点深度图像对应的约束项，定义为：

其中，i,j＝1,2,3,4代表邻域nd(x)的上、下、左、右四个子区域，nth1和dth1分别为有效深度值总数量和深度均值差异的阈值。该约束项表示，在四个邻域子区域中，只要有任意两个子区域具有相似的有效深度值数量和深度均值，那么就认为该邻域是深度平滑区域，即该邻域范围内不存在深度轮廓，那么该像素位置不应存在深度轮廓信息，即ed(x)＝0。该约束相能够有效去除彩色边缘图像中的冗余边界信息，避免冗余边界带来的错误引导，减少伪彩的发生，生成连续、平滑的深度轮廓信息。

本发明方法以主视点彩色-深度图像对作为输入信息，首先得到低分辨率的深度边缘信息；然后通过相机标定和图像校准操作，得到深度边缘的高分辨率散点图，并进行边缘插值得到高分辨率的连续的深度轮廓；最后，在彩色图像边缘的引导和约束下，对深度轮廓进行矫正优化，生成最终的深度轮廓图像。(实验流程图如图1所示)。结合附图和实施例的详细说明如下：

1)获得低分辨率的深度边缘信息

由于原始深度图像中存在噪声及深度缺失，需要先对其进行去噪和填充操作，采用滤波及双三次插值作为原始深度图像的预处理操作，然后利用canny检测算子提取深度边缘

2)生成深度边缘的高分辨率散点图

利用借助深度图像校准与预处理得到的相机参数，对原始深度图像进行图像配准，使其具有与彩色图像相同的分辨率，得到高分辨率的深度边缘散点图

3)生成高分辨率的连续的深度轮廓(图2绿色)

针对彩色边缘图像中边缘点的像素位置x，将其邻域n(x)内的边缘信息转换至一维表示的坐标对，即得到坐标散点集x＝xi及点集x对应的值f(xi)；然后对于需要进行差值的位置x，最小化其拟合函数的加权最小二乘误差p(·)：

其中，θ(·)代表非负权重函数，∑·是求和运算，||·||为欧几里得距离。经过mls拟合插值后，进行逆变换(一维转换为二维)，可以得到连续的深度轮廓图像

4)生成高分辨率的深度图像dl(图2蓝色)

联合使用非线性变换及canny检测算子提取彩色图像边缘，以避免单独使用canny检测算子出现的过度细致纹理，完成深度图像的视点配准，得到高分辨率的深度图像dl。

因为1)彩色边缘图像较为准确的描述了场景的深度轮廓信息，同时也包含了部分非深度轮廓的冗余边界信息；2)对于那些含有冗余边界信息的区域，其对应的主视点深度图像dl中的深度值通常是平滑的，即这部分区域为深度图像的深度平滑区域。尽管深度图像是散点形式的，有效深度值分布分散，很难直接计算像素点的4邻域或8邻域深度值，但深度图像仍然可以提供一定程度的约束去去除彩色边缘图像中的冗余边界信息；3)与彩色边缘图像相比，经mls插值得到的深度轮廓是不精确的，但是，它仍具有与真实深度轮廓相同的变化趋势(即：曲率)，这对下一步深度轮廓的矫正优化提供的至关重要的。基于这些性质，本课题进一步提出了一种联合深度散点-彩色边缘的深度轮廓矫正优化的方法。

5)联合深度散点-彩色边缘，对深度轮廓矫正优化，生成高分辨率深度轮廓图像(图3)：

其中，x是彩色边缘图像中边缘点的像素位置，nd(x)、分别对应该位置在主视点深度图像dl、高分辨率深度轮廓图像彩色边缘图像ec(图2红色)中的邻域区域；t(·)代表二维转换为一维的变换操作；g(·)为高斯核，代表彩色边缘约束项，为梯度运算。公式(2)的物理意义为若同一像素位置处的深度轮廓和彩色边缘具有相同变化趋势(曲率)，则认为该像素点是深度轮廓点的可能性较大。其中，r(·)代表了主视点深度图像对应的约束项，定义为：

其中，i,j＝1,2,3,4代表邻域nd(x)的上、下、左、右四个子区域，nth1和dth1分别为有效深度值总数量和深度均值差异的阈值。该约束项表示，在四个邻域子区域中，只要有任意两个子区域具有相似的有效深度值数量和深度均值，那么就认为该邻域是深度平滑区域，即该邻域范围内不存在深度轮廓，那么该像素位置不应存在深度轮廓信息，即ed(x)＝0。该约束相能够有效去除彩色边缘图像中的冗余边界信息，避免冗余边界带来的错误引导，减少伪彩的发生，生成连续、平滑的深度轮廓信息。