一种基于信号分解的场景深度恢复方法与流程

文档序号：12273097阅读：382来源：国知局

本发明属于图像处理领域，涉及采用信号分解模型对场景深度信息建模，并推导相应算法求得高质量深度图，具体涉及一种基于信号分解的场景深度恢复方法。

背景技术：

场景深度广泛应用于计算机视觉各种任务中，包括三维(3D)建模，可视化以及机器人导航等；同时，它也有利于物体的空间推理以及场景理解。在快速发展的3D电影产业里，场景深度信息的获取极大的简化了二维(2D)平面电影向立体电影转化的过程。现下的场景深度获取方式多数采用深度相机，例如微软的Kinect相机，Intel公司的RealSense相机等，进行场景深度的实时感知。但是，深度相机的深度成像质量还难以满足应用需求：分辨率低于主流工业相机的空间分辨率，噪声大，成像质量受外部光线影响，且在深度跳跃区域产生很多空洞。这些深度成像的缺陷给实际应用带来了很大的障碍。

通常情况下，深度相机可以同时采集场景的纹理和深度信息，而许多场景深度优化方法即利用已有的高质量纹理信息来提高相应的深度图质量(J.Yang,X.Ye,K.Li,C.Hou,and Y.Wang,“Color-guided depthrecovery from RGBD data using an adaptive autoregressive model.”IEEETIP,vol.23,no.8,pp.3443–3458,2014)。这类方法的提出基于一个假设，即深度图像和相应的纹理图像在图像特征和结构上是高度相关的。但是，在实际情况中，纹理图像所含有的彩色和结构信息要远远多于深度图像，并不能找到从彩色图到深度图的一个恒定映射关系，导致深度值估计不准确。

经观察，深度图像主要由逐段平滑的区域构成，而每一块平滑区域由深度边缘分离开来。这种信号可以拆分为低阶的多项式曲面信号成分和逐段恒定的阶跃信号成分。基于此，通过对深度信号的每一成分分别建模，可以挖掘深度图像的真正结构特征，进而完成深度图像的恢复。

技术实现要素：

本发明旨在克服现有技术的不足，提供了一种基于信号分解的场景深度恢复方法。经观察，深度图像可以拆分为低阶的多项式曲面信号成分和逐段恒定的阶跃信号成分。基于此先验知识，本方法通过曲面最小二乘拟合以及全变差(TV)滤波对两部分信号成分分别建模，并构建信号分解模型，推导相应算法，求解得到高质量深度图像。

本发明的技术方案为，一种基于信号分解的场景深度恢复方法，所述方法包括下列步骤：

第一步，准备初始数据；

初始数据包括低质量深度图和同视角的高分辨率彩色图。

第二步，构建观测模型；

根据深度信号的可分解先验，真实深度图f由低阶的多项式曲面信号z和逐段恒定的阶跃信号x构成，即：

f＝x+z

令f⁰表示为低质量深度图，深度获取的观测模型可以由下式表示：

f⁰＝Kf+n

＝K(x+z)+n

式中，K表示观测矩阵，n表示加性的高斯噪声。在深度缺失的情况下，f⁰有效像素个数少于真实深度图f，为扁矩阵，K中每一个元素指示着对应位置深度值的有效性；在仅存在噪声的情况下，K为单位方阵。

第三步，构建低阶的多项式曲面信号的约束方程；

多项式平滑滤波器适用于局部近似于多项式的信号，采用最小二乘的方式来拟合噪声观测下的多项式曲面；利用此特性，构建如下的约束方程：

其中，P为范德蒙德矩阵，t为多项式系数，||·||₂为2范数。

第四步，构建逐段恒定的阶跃信号成分的约束方程；

全变差滤波器对信号中相邻元素的差别进行线性惩罚，对近似逐段恒定的信号进行建模，保留其中的阶跃成分；利用此特性，构建如下的约束方程：

其中，D为差分矩阵，||·||₁为1范数；y为替代变量，作用为将Dx从1范数内替换出来，将复杂的能量方程拆分成简单的优化问题。

第五步，根据第二、三、四步得到的观测模型和约束方程构建基于信号分解的深度复原模型。

5-1)将多项式曲面信号约束方程和逐段恒定的阶跃信号约束方程在观测模型下结合起来，构成如下方程：

s.t.y＝Dx,f⁰＝K(x+z)+n

其中，λ为平衡因子。

5-2)将观测模型约束和多项式曲面信号约束部分融合到一起，以减少等式约束，方程如下：

变量z用Pt替代使得模型更容易收敛。

5-3)利用高分辨率彩色图辅助定位深度图中的深度边缘，将深度边缘先验结合到全变差项内，得到最终的优化方程：

其中，ω为权重向量，指示变量y中对应的像素是否属于深度边缘。°为矩阵的逐元素相乘操作。当深度图带噪声时，ω为全1向量；当为深度缺失的情况，在彩色图中提取ω，用ω来辅助定位。

第六步，推导5-3)步中的优化方程的求解算法，获得最终的高质量深度图；

6-1)利用增强拉格朗日方法，将带约束的优化问题转化为无约束问题，方程如下：

其中，μ为惩罚因子，Q为拉格朗日乘子矩阵，<·,·>为矩阵内积。

6-2)利用轮流交替法，固定其他变量轮流优化当前变量，直至算法收敛。具体解法入下：

6-2-1)设置x⁰，Q⁰，t⁰，μ⁰，ρ⁰的初始值：，迭代次数i＝1，其中x⁰、Q⁰、t⁰、μ⁰、ρ⁰分别代表变量x、Q、t、μ、ρ的初始值。

6-2-2)固定其他变量，求解y分量，可得：

yⁱ⁺¹＝soft(Dxⁱ+Qⁱ/μⁱ,ω/μⁱ)

6-2-3)固定其他变量，求解x分量，可得：

xⁱ⁺¹＝(μⁱD^TD+2λK^TK)^-1(μⁱD^Tyⁱ⁺¹-D^TQⁱ-2λK^TKPtⁱ+2λK^Tf⁰)

6-2-4)固定其他变量，求解t分量，可得：

tⁱ⁺¹＝((KP)^T(KP))^-1(KP^T)(f⁰-Kxⁱ⁺¹)

6-2-5)固定其他变量，求解Q分量，可得：

Qⁱ⁺¹＝Qⁱ+μⁱ(yⁱ⁺¹-Dxⁱ⁺¹)

6-2-6)更新参数μ，然后进行下一次迭代：

μⁱ⁺¹＝ρμⁱ,i＝i+1

6-2-7)重复步骤6-2-2)到步骤6-2-6)，直至收敛，并计算最终的高质量深度图。方程如下：

f＝x+Pt

上述第二步和5-3)中的深度缺失的情况为欠采样或者深度值丢失。

本发明的有益效果是：

本发明基于深度图像信号可拆分的先验知识，通过曲面最小二乘拟合以及全变差(TV)滤波对深度信号拆分后的各部分分别建模，并构建基于信号分解的深度恢复模型，推导相应算法，求解得到高质量深度图像，具有以下特点：

1、程序简单，易于实现，能够获得高质量的深度图像；

2、本方法通过对深度信号的每一成分分别建模，可以挖掘深度图像的真正结构特征，避免了采用纹理图像推断深度图像时，将纹理信息混入到深度图像中，使得深度值估计不准确的问题；

3、算法采用增强拉格朗日和轮流交替法进行求解，将复杂的带等式约束的多变量联合优化问题转化成了容易求解的无约束若干子问题。

附图说明

图1是实施流程图，以带噪声的低质量深度图像块为例。

图2是初始数据；

图中：(a)低质量深度图(b)高分辨率彩色图

图3是欠采样和深度值丢失的深度图像块的复原。

图4是实际采集的深度图恢复结果；对比采用真实深度图和各方法求得的结果求差进行展示，亮色代表与真实值不相符，黑色代表与真实值相符；

图中：(a)彩色-深度标准数据集(b)本发明方法的结果(c)导向滤波结果(d)多点滤波结果(e)自回归模型结果。

具体实施方式

下面结合实施例和附图对本发明的基于信号分解的场景深度恢复方法做出详细说明。

一种基于信号分解的场景深度恢复方法，如图1所示，所述方法包括下列步骤：

第一步，准备初始数据；

初始数据包括低质量深度图(低分辨率，含缺失，带噪声)和同视角的高分辨率彩色图，如图2所示。

第二步，构建观测模型；

根据深度信号的可分解先验，真实深度图f可由低阶的多项式曲面信号和逐段恒定的阶跃信号这两部分构成，分别用z和x来表示，即：

f＝x+z

令f⁰表示为低质量深度图，深度获取的观测模型可以由下式表示：

f⁰＝Kf+n

＝K(x+z)+n

式中，K表示观测矩阵，n表示加性的高斯噪声。当存在深度缺失的情况，即欠采样或者深度值丢失，低质量深度图f⁰有效像素个数少于真实深度图f，K为扁矩阵，其中每一个元素指示着对应位置深度值的有效性；当仅存在噪声的情况下，K为单位方阵。

第三步，构建多项式曲面信号成分的约束方程；

多项式平滑滤波器适用于局部近似于多项式的信号，通常采用最小二乘的方式来拟合噪声观测下的多项式曲面；利用此特性，构建如下的约束方程：

其中，P为范德蒙德(Vandermonde)矩阵，t为多项式系数，||·||₂为2范数。通过对深度信号观察，范德蒙德矩阵P的最高阶数为2的多项式曲面可以完全表示深度图的多项式曲面信号部分。

第四步，构建逐段恒定的阶跃信号成分的约束方程；

全变差(TV)滤波器对信号中相邻元素的差别进行线性惩罚，可以对近似逐段恒定的信号进行建模，保留其中的阶跃成分(边缘)；利用此特性，构建如下的约束方程：

其中，D为差分矩阵，||·||₁为1范数；y为替代变量，作用为将Dx从1范数内替换出来，将复杂的能量方程拆分成简单的优化问题。

第五步，根据第二、三、四步得到的观测模型和约束方程构建基于信号分解的深度复原模型。

5-1)将多项式曲面信号约束方程和逐段恒定的阶跃信号约束方程在观测模型下结合起来，构成如下方程：

s.t.y＝Dx,f⁰＝K(x+z)+n

其中，λ为平衡因子，取值为0.1。

5-2)将观测模型约束和多项式曲面信号约束部分融合到一起，以减少等式约束，方程如下：

变量z用Pt替代使得模型更容易收敛。

5-3)利用高分辨率彩色图辅助定位深度图中的深度边缘(不连续处)，将深度边缘先验结合到全变差项内，得到最终的优化方程：

其中，ω为权重向量，指示变量y中对应的像素是否属于深度边缘。°为矩阵的逐元素相乘操作。对于深度图带噪声的情况，ω为全1向量；对于深度缺失的情况，即欠采样或者深度值丢失，深度边缘丢失较为严重，需要ω来辅助定位，利用canny边缘检测技术在彩色图中提取ω。图3中展示了欠采样和深度值缺失两种情况的深度图像块恢复结果。

第六步，根据5-3)内的优化方程推导相应的求解算法；

6-1)利用增强拉格朗日方法(Z.Lin,M.Chen,and Y.Ma,“The augmented lagrange multiplier methodfor exact recovery of corrupted low-rank matrices,”arXiv preprintarXiv:1009.5055,2010)，将带约束的优化问题转化为无约束问题，方程如下：

其中，μ为惩罚因子，Q为拉格朗日乘子矩阵，<·,·>为矩阵内积。

6-2)利用轮流交替法(J.Yang and Y.Zhang,“Alternating direction algorithms for 1-problemsin compressive sensing,”SIAM journal on scientific computing,vol.33,no.1,pp.250–278,2011)，固定其他变量轮流优化当前变量，直至算法收敛。具体解法入下：

6-2-1)设置初始值：x⁰＝K^-1f⁰，Q⁰＝0，t⁰＝0，μ⁰＝0.05，ρ⁰＝1.2，迭代次数i＝1，其中x⁰、Q⁰、t⁰、μ⁰、ρ⁰分别代表x、Q、t、μ、ρ的初始值。