一种深度图像空洞的自动填充方法与流程

技术特征：

1.一种深度图像空洞的自动填充方法，其特征在于，该方法包括以下具体步骤：

步骤1：将空洞分为平滑区空洞和非平滑区空洞

计算图像中任意像素与其周围邻域像素的结构相似性，再根据多尺度结构相似性，将图像中空洞分为平滑区域空洞和非平滑区域空洞；具体地：

利用公式(1)计算图像中任意空洞像素p与它的任意3×3邻域中的像素q_i(i＝1,2...8)的结构相似性SSIM(p,q_i)；其中p的3×3邻域记为B₁,q_i的3×3邻域记为B_i；

SSIM(p,q_i)＝[l(B₁,B_i)]^α·[c(B₁,B_i)]^β·[s(B₁,B_i)]^γ (1)

其中α，β，γ是预设的权重，设为α＝1，β＝1，γ＝1；l(B₁,B_i)是亮度比较函数,计算为：

$l(B_1,B_i)=\frac{2u_{B_1}{u}_{B_i}+C_1}{u_{B_1}^2+u_{B_i}^2+C_1}---\left(2\right)$

c(B₁,B_i)是对比度比较函数,计算为：

$c(B_1,B_i)=\frac{2{\mathrm{\σ}}_{B_1}{\mathrm{\σ}}_{B_i}+C_2}{{\mathrm{\σ}}_{B_1}^2+{\mathrm{\σ}}_{B_i}^2+C_2}---\left(3\right)$

s(B₁,B_i)是结构比较函数,计算为：

$s(B_1,B_i)=\frac{\mathrm{\σ}+C_3}{{\mathrm{\σ}}_{B_1}{\mathrm{\σ}}_{B_i}+C_3}---\left(4\right)$

其中，和分别是B₁和B_i中所有像素灰度的平均值，和分别是B₁和B_i中所有像素灰度的方差,σ是B₁和B_i之间像素灰度的协方差；

其中C₁＝(K₁L)²,C₂＝(K₂L)²,K₁是常量0.01,K₂是常量0.02,L是常量255；

然后,计算多尺度结构相似性；具体地，利用B₁中各个像素的结构相似性计算p点的多尺度结构相似性MSSIM_p：

${\mathrm{MSSIM}}_p=\frac{1}{N}\underset{i=0}{\overset{N}{\Σ}}\left(SSIM\right(p,q_i\left)\right)---\left(5\right)$

其中N表示p点邻域彩色图像中像素的个数；

利用预设阈值ε，将空洞像素分为平滑区域空洞像素和非平滑区域空洞像素；若满足MSSIM_p>ε，那么p为平滑区空洞像素；若MSSIM<ε,那么p为非平滑区空洞像素；

步骤2：对于深度图像中任意平滑区空洞进行填充

首先，利用最短距离算法对所有像素的深度进行聚类；对于深度图像中任意两个非空洞像素X和Y,如果它们满足公式(6)，那么将它们聚为同一类；

|d_X-d_Y|<T (6)

其中d_X表示像素X的深度值，d_Y表示像素Y的深度值，T表示两像素间深度差异的阈值；空洞像素p的深度F利用公式(7)计算；

$F=\frac{1}{n}\underset{t=0}{\overset{n}{\&Sigma;}}(E_i\&CenterDot;SSIM(p,q_i\left)\right)---\left(7\right)$

E_i是有效像素q_i的深度,n表示p点邻域中有效像素的个数；

步骤3：对于深度图像中任意非平滑区空洞进行填充

对于非平滑区域空洞像素点的填充，利用p点的邻域B₁中有效像素q_i进行求解，求解公式如下：

$F=\frac{\underset{i=0}{\overset{n}{\&Sigma;}}w(p,q_i)\&lsqb;E_i+\&dtri;E_i\&rsqb;}{\underset{i=0}{\overset{n}{\&Sigma;}}w(p,q_i)}---\left(8\right)$

其中表示有效像素q_i深度的梯度,w(p,q_i)代表权重项，其计算为：

w(p,q_i)＝w_d(p,q_i)w_c(p,q_i)w_m(p,q_i) (9)

其中w_d(p,q_i)，w_c(p,q_i)以及w_m(p,q_i)分别是距离权重项、颜色权重项和多尺度结构相似性权重项；它们的计算分别为：

$w_d(p,q_i)=e^{\left(-\frac{\left|\right|x-y|{|}^2}{2{\mathrm{\&sigma;}}_d^2}\right)}---\left(10\right)$

$w_c(p,q_i)=e^{\left(-\frac{\left|\right|I_p-I_{q_i}|{|}^2}{2{\mathrm{\&sigma;}}_c^2}\right)}---\left(11\right)$

$w_m(p,q_i)=e^{\left(-\frac{\left|\right|{\mathrm{MSSIM}}_p-{\mathrm{MSSIM}}_{q_i}|{|}^2}{2{\mathrm{\&sigma;}}_M^2}\right)}---\left(12\right)$

其中符号||·||²表示2-范式；x表示p点的坐标，y表示q_i点的坐标；表示当前像素p与邻域像素q_i欧式距离的方差；表示像素p的邻域像素灰度的方差，是像素p的邻域像素多尺度结构相似性的方差；I_p和分别表示彩色图像中像素p和像素q_i的灰度值；表示q_i点的多尺度结构相似性。