深度图超分辨率重建方法与流程

技术特征：

1.一种深度图超分辨率重建方法，其特征是，步骤如下：

1)可信深度值判断：两个限制判断条件，第一个限制判断条件是从不同视角拍摄同一3D点，其深度值应该相同或接近；第二个限制条件是由相邻视点彩色图和深度图分别进行单视点虚拟视图绘制，其绘制的彩色图像像素值应该非常相近；

满足上述两个深度值可信的限制条件的公式如下所示：

并且

其中，和分别表示当前i视点深度图和第m个视点深度图在像素点p处的深度值，δ表示深度值可信阈值，表示由当前i视点深度图单视点绘制到第k个视点的虚拟视图，表示由第m个视点深度图单视点绘制到第k个视点的虚拟视图，T表示虚拟视点质量阈值，J表示满足两个限制条件的视点的集合，由此判断出用于下一步融合的视点深度值；

2)确定可信权重表达式R_i,j(p)之后，根据立体匹配关系，找到当前视点的所有像素点的匹配点，结合深度值可信度与虚拟视图质量可信度，提出多视点深度图融合机制，如下公式所示：

$\left\{\begin{array}{c}{\hat{D}}_i^L\left(p\right)=\underset{e\∈\left\{J\∪\left\{i\right\}\right\}}{\mathrm{\Σ}}{R}_{i,j}\left(p\right)D_j^L\left(p\right)/\underset{e\∈\left\{J\∪\left\{i\right\}\right\}}{\mathrm{\Σ}}{R}_{i,j}\left(p\right)\\ \begin{array}{cc}if& J\≠\mathrm{\φ}\end{array}\\ {\hat{D}}_i^L\left(p\right)=D_j^L\left(p\right),j={\mathrm{argmin}}_{j\∈\left\{1,...,n\right\}}\left(|V_k^L\left(p\right)-V_{jk}^L\left(p\right)|\right)\\ otherwise\end{array}\right.$

其中，表示第j个视点像素点p处的初始深度值，可信权重表达式R_i,j(p)也即表示视点i和视点j之间的可信度函数,表示第i个视点像素点p处改善后的深度值，表示第k个视点彩色图像在像素点p处的真值，表示由第j视点绘制到第k个视点的虚拟视图像素值；

根据上述多视点融合判断机制，获得当前视点改善后的低分辨率深度图；

3)深度图重建

对上述的初始低分辨率深度图采用传统的双线性插值算法进行上采样，得到初始的高分辨率深度图。采用联合自适应双边滤波上采样方式，对初始高分辨率深度图进行改善。

2.如权利要求1所述的深度图超分辨率重建方法，其特征是，采用联合自适应双边滤波上采样方式，对初始高分辨率深度图进行改善，具体步骤是，首先，对初始高分辨率深度图用sobel算子进行梯度计算，检测出深度图的边缘区域；然后保留平坦区域的深度像素值，对于边缘像素值采用联合自适应滤波方式处理；

联合自适应滤波的权重由深度高斯核和彩色高斯核构成，具体的权重函数公式如下所示：

$W_{p,q_j}=\exp \left(-\frac{\left|\right|{\hat{D}}_i^{H_0}\left(p\right)-{\hat{D}}_i^{H_0}\left(q\right)|{|}^2}{{{\mathrm{\σ}}_D}^2}\right)*\exp \left(-\frac{\left|\right|I_i\left(p\right)-I_i\left(q\right)-{\mathrm{\ϵ}}_p|{|}^2}{{{\mathrm{\σ}}_{c,p}}^2}\right)$

其中，p表示当前像素点，q表示p的Ω邻域像素点集合，表示当前视点的初始高分辨率深度值，ε_p是控制因子，I表示彩色纹理值，σ_c,p表示彩色图像的平滑因子；

根据上述的权重和当前邻域的深度值计算当前视点最终的深度值，如下公式所示：

${\hat{D}}_i^H\left(p\right)=\frac{1}{k_s}\underset{q\∈\mathrm{\Ω}}{\Σ}{W}_{p,q}{\hat{D}}_i^{H_0}\left(q\right)$

其中，表示由基于多视点深度图融合的超分辨率重建方法得到的高分辨率深度图，表示初始高分辨率深度图，Ω表示当前像素点的邻域，k_s是归一化参数。