基于双目Kinect深度相机系统的深度恢复方法与流程

技术特征：

1.一种基于双目Kinect深度相机系统的深度恢复方法，其特征是，首先搭建一个基于双目深度相机的采集系统，并基于相机间相关关系和系统误差特性的分析；通过边缘导向融合策略和系统误差补偿进行视点融合，实现视点间深度信息的补充，最后利用边缘导向的滤波形式完成深度图像的扩散填充以得到深度图像。

2.如权利要求1所述的基于双目Kinect深度相机系统的深度恢复方法，其特征是，构建双目深度相机系统具体步骤：将两个深度相机放置在水平架子上，相机间基线距离可调节，使用两台电脑分别控制两个相机进行采集；左侧相机视为主视点相机，记为K_L；右侧相机为辅助视点相机，记作K_R，K_L、K_R采集到的深度图像分别扭转到K_L的彩色相机的坐标系中，K_L采集到的深度图像经过图像配准得到的散点图记为D_L，K_R采集到的深度图像进过配准得到的散点图记为D_R，从而在主视点位置处，得到具有相同分辨率的高质量彩色图像和两张深度散点图像。

3.如权利要求2所述的基于双目Kinect深度相机系统的深度恢复方法，其特征是，系统内相机间关系和系统误差分析：从相机间关系和误差分布状况两方面对其进行分析；

21)相机间相互影响误差：用搭建好的双目系统采集同一静止场景的深度图像，第一次只有K_L相机保持工作状态，K_R关闭；第二次同时开启两台相机处于工作状态，同样仅使用K_L采集场景图，对比两次得到的场景图像判断误差情况，确定相机间相互影响状况；

22)系统误差分布形式：在同一视点下的两张深度散点图中，深度值均存在的像素位置进行深度值相减得到误差散点图，根据误差散点图，分析其分布形式。

4.如权利要求2所述的基于双目Kinect深度相机系统的深度恢复方法，其特征是，边缘导向的融合策略：令x表示图像上的像素位置，D_L(x)为深度图D_L中x位置处的深度值，D_R(x)为深度图D_R中x位置处的深度值，D(x)为融合深度图D中x位置处的深度值，在同一视点下的两张深度散点图上，像素位置x上存在以下三种情况：

31)D_L中x位置处的深度值不为0，此时，不论D_R中x位置处的深度值是否为0，融合图像D中x位置处的深度值D(x)都等于D_L中的值D_L(x)，即：D(x)＝D_L(x)；

32)D_L中x位置处的深度值为0，D_R中x位置处的深度值也为0，则融合图像D中x位置处的深度值D(x)置为0，即：D(x)＝0；

33)D_L中x位置处的深度值为0，而D_R中x位置处的深度值不为0，对于这种情况，采用如下判别准则来决定D_R中x位置处的深度值是否可以用于D(x)的估计，判别准则包含两部分：彩色连续性F_c(x)和深度连续性F_d(x)：

其中，∑·为求和符号；E是由彩色图像通过Canny算子计算得到的彩色边缘图像，N_e(x)是E中以x为中心的N×N邻域，y表示邻域N_e(x)内的像素位置，E(y)指E中y位置处的值；|·|为绝对值符号，为D_L中以x为中心的N×N邻域内有效邻域值(不等于0的深度值)的均值估计，D_th为深度阈值，将F_c(x)和F_d(x)联合，得到最终的判决准则F(x)：

F(x)＝F_c(x)×F_d(x) (3)

如果F(x)值为1，则认为D_R(x)可以用于D(x)的误差补偿估计；否则，D_R(x)不可用于D(x)的误差补偿估计，D(x)置为0，即：D(x)＝0。

5.如权利要求2所述的基于双目Kinect深度相机系统的深度恢复方法，其特征是，基于误差补偿的双视点融合：

41)对于可以进行补偿的像素位置，深度值由误差补偿公式得到：

$D\left(x\right)=D_R\left(x\right)+\frac{\underset{y\∈N\left(x\right)}{\Σ}\left|\right|x-y|{|}_{2}e\left(y\right)}{\underset{y\∈N\left(x\right)}{\Σ}\left|\right|x-y|{|}_2}---\left(4\right)$

其中，x表示深度图中像素位置，||·||₂为二范数项，e为误差散点图，N(x)为e中以x为中心的N×N邻域，y表示邻域N(x)内的像素位置，e(y)为e中y位置处的误差值；

42)得到的拟合值将进一步作为误差的补充填入到误差散点图e中。

6.如权利要求1所述的基于双目Kinect深度相机系统的深度恢复方法，其特征是，深度图像的扩散填充：得到融合后的深度图D(x)后，对于图中深度缺失点，滤波方程为：深度图像的填充：得到融合后的深度图后，引入彩色边缘图像控制深度扩散顺序，保证在空洞区域由外向内扩散填充。对于深度缺失点，滤波方程为：

其中，w为标准化系数，I为同一坐标系下的高质量彩色图像；为融合深度图D中像素x邻域内的可行集，由彩色边缘图像E决定，y表示可行域内的像素位置；D(x)、D(y)、I(x)、I(y)分别表示融合深度图D、彩色图I中像素x、y位置处的深度值和彩色值；G(·)表示高斯核，G_λ(x-y)、G_ξ(D(x)-D(y))、G_μ(I(x)-I(y))分别表示欧几里得空间距离、深度值差异和彩色空间差异，其下标λ、ξ、μ为对应项方差。