一种融合高分辨率彩色图像的深度图增强方法与流程

技术特征：

1.一种融合高分辨率彩色图像的深度图增强方法，其特征在于，包括以下步骤：

S1.对低分辨率的深度图像利用邻域差分法求取邻域内像素点的最大深度差值，设定阈值对深度图像进行区域划分，将深度图像划分为边缘区域和非边缘区域；

S2对S1中低分辨率深度图像的非边缘区域基于局部邻域方差进行二次划分，初始化一个4*4的邻域窗口，以待插值点为中心，计算待插值点的直接相邻像素点深度值的期望和方差，根据深度方差将非边缘区域再次划分为深度值变化平坦区和纹理复杂区；

S3对S2得到的深度值变化平坦区进行插值增强，以四个直接相邻像素点的深度平均值作为待插值点对应映射点的深度值即D(i+μ,j+υ)＝E，对纹理复杂区利用4*4邻域的立体卷积插值法求得待插值点对应映射点的深度值；

S4对低分辨率深度图像的边缘区域基于联合双边滤波方法进行插值处理，以同一场景下的高分辨率彩色图像作为参考图，基于双边滤波原理将低分辨率深度图上采样到高分辨率图像，计算边缘区域内各像素点对应映射点的深度值，并将插值处理完成的深度增强图像输出。

2.根据权利要求1所述的融合高分辨率彩色图像的深度图增强方法，其特征在于：S1中，首先选定一个5*5的邻域窗口Ω，以待判定的像素点P_ij为邻域窗口中心像素点，通过取最大值函数max和取最小值函数min求得深度图像邻域窗口Ω内所有像素点的最大深度差值(max(Ω)-min(Ω))，设定阈值T，比较该邻域的最大深度差值与阈值的大小，若最大深度差值大于阈值T，则判断该邻域区域为边缘区域；否则，该邻域区域为非边缘区域。

3.根据权利要求1所述的融合高分辨率彩色图像的深度图增强方法，其特征在于：S2中，将S1中所有判定为低分辨率深度图像的非边缘区域的像素点标记为S1区域，判定为低分辨率深度图像的边缘区域的像素点标记为S2区域；基于局部邻域方差的立体卷积插值方法对S1区域的像素点进行插值，先在S1区域初始化一个像素点为待插值点，由(1)式计算待插值点在原图像(即低分辨率深度图像)中对应的四个直接与之相邻像素点的平均值E，由(2)式计算待插值点的直接相邻像素点深度值方差Var。

$E=\frac{1}{4}\[D(i-1,j)+D(i+1,j)+D(i,j-1)+D(i,j+1)\]---\left(1\right)$

Var＝(E-D(i-1,j))²+(E-D(i+1,j))²+(E-D(i,j-1))²+(E-D(i,j+1))² (2)

设定阈值，当待插值点的直接相邻像素点深度值方差小于设定阈值时，表明该点所处的四邻域区域比较平坦，深度值变化不大，为深度值变化平坦区；当待插值点的直接相邻像素点深度值方差大于设定阈值时，表明该点的四邻域区域纹理细节较丰富，为纹理复杂区。

4.根据权利要求3所述的融合高分辨率彩色图像的深度图增强方法，其特征在于：S2中设定的阈值为20，当Var＜20时，表明该点所处的四邻域区域比较平坦，深度值变化不大，为深度值变化平坦区；当Var≥20时，表明该点的四邻域区域纹理细节较丰富，为纹理复杂区。

5.根据权利要求3所述的融合高分辨率彩色图像的深度图增强方法，其特征在于：S3中，对纹理复杂区利用4*4邻域的立体卷积插值法求得待插值点对应映射点的深度值，通过待插值点邻域内的16个已知像素点深度值估计映射点深度值，其方法如下：

设待插值点(i,j)的深度值为D(i,j)，对应的映射点为(i+μ,j+υ)，映射点的深度值表示为D(i+μ,j+υ)，其中插值基函数S(x)的表达式如式(3)所示，x为自变量。

$S\left(x\right)=\left\{\begin{array}{cc}1-0.25|x{|}^2+1.5|x{|}^3& 0\≤\left|x\right|\<1\\ 2-4\left|x\right|+2.5|x{|}^2-0.5|x{|}^3& 1\≤\left|x\right|\<2\\ 0& \left|x\right|\≥1\end{array}\right.---\left(3\right)$

则利用立体卷积插值法计算映射点的深度值D(i+μ,j+υ)的公式如下：

$D(i+\mathrm{\μ},j+\mathrm{\υ})={\left[\begin{array}{c}S(1+\mathrm{\μ})\\ S\left(\mathrm{\μ}\right)\\ S(1-\mathrm{\μ})\\ S(2-\mathrm{\μ})\end{array}\right]}^T\left[\begin{array}{cccc}D(i-1,j-2)& D(i,j-2)& D(i+1,j-2)& D(i+2,j-2)\\ D(i-1,j-1)& D(i,j-1)& D(i+1,j-1)& D(i+2,j-1)\\ D(i-1,j)& D(i,j)& D(i+1,j)& D(i+2,j)\\ D(i-1,j+2)& D(i,j+1)& D(i+1,j+1)& D(i+2,j-2)\end{array}\right]\left[\begin{array}{c}S(1+\mathrm{\υ})\\ S\left(\mathrm{\υ}\right)\\ S(1-\mathrm{\υ})\\ S(2-\mathrm{\υ})\end{array}\right]---\left(4\right).$

6.根据权利要求5所述的融合高分辨率彩色图像的深度图增强方法，其特征在于：S4中，设点m、n为同一场景下的高分辨率图像上的两个像素点，m'、n'是低分辨率深度图像上与高分辨率图像上m、n对应位置的像素点，I_m、I_n表示高分辨率图像在m、n点处的灰度值，权重函数通常以高斯函数作为核函数，其中δ_s、δ_r分别为空域距离核函数和颜色相似核函数的标准差，则空域距离核函数H_s(m',n')和灰度相似核函数H_r(I_m,I_n)的表达式如(5)式所示：

$\left\{\begin{array}{c}{H}_s(m^{\′},n^{\′})=\exp (-\frac{\left|\right|m^{\′}-n^{\′}|{|}^2}{2{\mathrm{\δ}}_s^2})\\ H_r(I_m,I_n)=\exp (-\frac{\left|\right|I_m-I_n|{|}^2}{2{\mathrm{\δ}}_r^2})\end{array}\right.---\left(5\right)$

上采样高分辨图像与高分辨率彩色图像具有边缘一致性，以w为双边滤波窗口，将低分辨率深度图像边缘区域即S2区域上的所有像素点上采样到高分辨率计算公式如下：

$D_m=\frac{\underset{n^{\′}\∈w}{\Σ}{H}_s(m^{\′},n^{\′})H_r(I_m,I_n)D_{n^{\′}}}{\underset{n^{\′}\∈w}{\Σ}{H}_s(m^{\′},n^{\′})H_r(I_m,I_n)}---\left(6\right)$

其中D_n'表示低分辨率深度图上的像素点n'对应的深度值，D_m表示上采样高分辨率图像上各像素点对应的深度值；根据(6)式计算得到原低分辨率深度图像边缘区域内各像素点对应映射点的深度值，最后将低分辨率深度图像插值处理完成之后的深度增强图像输出。