一种深度图像空洞的自动填充方法与流程

本发明涉及深度图像空洞填充技术，从彩色图像的结构相似性出发，求解空洞像素点的多尺度结构相似性，将空洞像素分为平滑区域空洞像素和非平滑区域空洞像素，并针对不同的空洞像素，采用不同的填充算法。在平滑区域空洞的填充过程中，利用最短距离聚类算法对深度图像的像素深度进行聚类，并将像素间的结构相似性作为权重，对空洞像素的深度进行求解；对于非平滑区域像素，利用一阶泰勒逼近算法，结合双边滤波权重项的设计，求解平滑区域空洞像素深度值。

背景技术：

深度图像的出现为各类计算机视觉的应用开辟了新的道路，并在物体识别，三维重建等应用中发挥着重要的作用。近年来，深度图像的空洞填充备受关注，其目的是可以利用填补后的深度图像中的深度数据,为三维重建等过程提供有效的数据。由于深度图像的空洞含有很多重要的信息，提取这些信息，并将它们增强到三维重建的过程中，从而在重建过程中获取真实感细节，这样可以克服三维重建后部分细节信息丢失问题。目前深度图像的空洞填充技术的研究虽然取得了一些成果，但是如何充分利用深度图像对应的彩色图像增强空洞边缘细节信息，仍然是研究中亟待解决的关键问题。

技术实现要素：

本发明的目的是提供一种深度图像空洞的自动填充方法，该方法能够实现空洞的有效填充，可以在空洞填充过程中增强空洞处物体边缘的细节，克服填充后物体边缘细节突出的问题。

本发明的目的是这样实现的：

一种深度图像空洞的自动填充方法，特点是：对Kinect设备采集的深度图像中存在的空洞进行自动填充，具体包括以下步骤：

步骤1：将空洞分为平滑区空洞和非平滑区空洞

为了将空洞分为平滑区域空洞和非平滑区域空洞,首先,计算图像中任意像素与其周围邻域像素的结构相似性，然后，再根据多尺度结构相似性，将图像中空洞分为平滑区域空洞和非平滑区域空洞。

具体地，利用公式(1)计算图像中任意空洞像素p与它的任意3×3邻域中的像素q_i(i＝1,2...8)的结构相似性SSIM(p,q_i)；其中p的3×3邻域记为B₁,q_i的3×3邻域记为B_i；

SSIM(p,q_i)＝[l(B₁,B_i)]^α·[c(B₁,B_i)]^β·[s(B₁,B_i)]^γ (1)

其中α，β，γ是预设的权重，设为α＝1，β＝1，γ＝1；l(B₁,B_i)是亮度比较函数,计算为：

c(B₁,B_i)是对比度比较函数,计算为：

s(B₁,B_i)是结构比较函数,计算为：

其中，和分别是B₁和B_i中所有像素灰度的平均值，和分别是B₁和B_i中所有像素灰度的方差,σ是B₁和B_i之间像素灰度的协方差；

其中C₁＝(K₁L)²,C₂＝(K₂L)²,K₁是常量0.01,K₂是常量0.02,L是常量255；

然后,计算多尺度结构相似性；具体地,利用B₁中各个像素的结构相似性计算p点的多尺度结构相似性MSSIM_p：

其中N表示p点邻域彩色图像中像素的个数；

利用预设阈值ε，将空洞像素分为平滑区域空洞像素和非平滑区域空洞像素；若满足MSSIM_p>ε，那么p为平滑区空洞像素；若MSSIM<ε,那么p为非平滑区空洞像素；

步骤2：对于深度图像中任意平滑区空洞进行填充

首先，利用最短距离算法对所有像素的深度进行聚类；对于深度图像中任意两个非空洞像素X和Y,如果它们满足公式(6)，那么将它们聚为同一类；

|d_X-d_Y|<T (6)

其中d_X表示像素X的深度值，d_Y表示像素Y的深度值，T表示两像素间深度差异的阈值。空洞像素p的深度F利用公式(7)计算；

E_i是有效像素q_i的深度,n表示p点邻域中有效像素的个数；

步骤3：对于深度图像中任意非平滑区空洞进行填充

对于非平滑区域空洞像素点的填充，利用p点的邻域B₁中有效像素q_i进行求解，求解公式如下：

其中表示有效像素q_i深度的梯度,w(p,q_i)代表权重项，其计算为：

w(p,q_i)＝w_d(p,q_i)w_c(p,q_i)w_m(p,q_i) (9)

其中w_d(p,q_i)，w_c(p,q_i)以及w_m(p,q_i)分别是距离权重项、颜色权重项和多尺度结构相似性权重项；它们的计算分别为：

其中符号||·||²表示2-范式；x表示p点的坐标，y表示q_i点的坐标；表示当前像素p与域像素q_i欧式距离的方差；表示像素p的邻域像素灰度的方差，是像素p的邻域像素多尺度结构相似性的方差；I_p和分别表示彩色图像中像素p和像素q_i的灰度值；表示q_i点的多尺度结构相似性。

本发明利用深度图像，能够实现空洞的有效填充，能在空洞填充过程中增强空洞处物体边缘的细节，克服填充后物体边缘细节突出的问题，进一步实施例证明了本发明的实验效果，实现深度图像空洞的有效填充，适用于包括Kinect获取的深度图像等。

附图说明

图1为本发明实施例Kinect获取的深度聚类结果图；

图2为本发明实施例Kinect获取的深度图像空洞填补结果图。

实施例

下面结合附图对于发明进一步说明。

本实施例采用Kinect获取的深度数据进行实验。在Windows7操作系统的PC机上进行实验，硬件配置是1.80GHzCore^TMi5-3337U CPU、4GB RAM。实验平台是VS2010。

本发明对Kinect设备采集的深度图像中存在的空洞,采用以下步骤进行处理,即可以实现空洞的自动填充。

步骤1：将空洞分为平滑区空洞和非平滑区空洞

为了将空洞分为平滑区域空洞和非平滑区域空洞,首先,计算图像中任意像素与其周围邻域像素的结构相似性,然后,再根据多尺度结构相似性,将图像中空洞分为平滑区域空洞和非平滑区域空洞。具体地,利用公式(1)计算图像中任意空洞像素p与它的任意3×3邻域中的像素q_i(i＝1,2...8)的结构相似性SSIM(p,q_i)。其中p的3×3邻域记为B₁,q_i的3×3邻域记为B_i。

SSIM(p,q_i)＝[l(B₁,B_i)]^α·[c(B₁,B_i)]^β·[s(B₁,B_i)]^γ (1)

其中α，β，γ是预设的权重，设为α＝1，β＝1，γ＝1。l(B₁,B_i)是亮度比较函数,计算为：

c(B₁,B_i)是对比度比较函数,计算为:

s(B₁,B_i)是结构比较函数,计算为:

其中，和分别是B₁和B_i中所有像素灰度的平均值,和分别是B₁和B_i中所有像

素灰度的方差,σ是B₁和B_i之间像素灰度的协方差。

其中C₁＝(K₁L)²,C₂＝(K₂L)²,K₁是常量0.01,K₂是常量0.02,L是常量255。

然后,计算多尺度结构相似性。具体地,利用B₁中各个像素的结构相似性计算p点的多尺度结构相似性MSSIM_p：

其中N表示p点邻域彩色图像中像素的个数。

进一步利用预设阈值ε，将空洞像素分为平滑区域空洞像素和非平滑区域空洞像素。具体地，如果满足MSSIM_p>ε，那么p为平滑区空洞像素；如果MSSIM<ε,那么p为非平滑区空洞像素。

步骤2：对于深度图像中任意平滑区空洞进行填充

首先，利用最短距离算法对所有像素的深度进行聚类；对于深度图像中任意两个非空洞像素X和Y,如果它们满足公式(6)，那么将它们聚为同一类；

|d_X-d_Y|<T (6)

其中d_X表示像素X的深度值，d_Y表示像素Y的深度值，T表示两像素间深度差异的阈值。空洞像素p的深度F利用公式(7)计算。

E_i是有效像素q_i的深度,n表示p点邻域中有效像素的个数。

步骤3：对于深度图像中任意非平滑区空洞进行填充

对于非平滑区域空洞像素点的填充，利用p点的邻域B₁中有效像素q_i进行求解，求解公式如下：

其中表示有效像素q_i深度的梯度,w(p,q_i)代表权重项，其计算为：

w(p,q_i)＝w_d(p,q_i)w_c(p,q_i)w_m(p,q_i) (9)

其中w_d(p,q_i)，w_c(p,q_i)以及w_m(p,q_i)分别是距离权重项、颜色权重项和多尺度结构相似性权重项。它们的计算分别为：

其中符号||·||²表示2-范式；x表示p点的坐标，y表示q_i点的坐标；表示当前像素p与邻域像素q_i欧式距离的方差；表示像素p的邻域像素灰度的方差，是像素p的邻域像素多尺度结构相似性的方差。I_p和分别表示彩色图像中像素p和像素q_i的灰度值；表示q_i点的多尺度结构相似性。

本发明利用深度图像，能在空洞填充过程中增强物体边缘的细节，能够实现空洞的有效填充，克服填充后物体边缘细节填充不准确的问题，进一步实例证明了本发明的实验效果，实现深度图像空洞边缘的有效填充，适用于包括Kinect获取的深度图像。

图1是利用Kinect采集的深度图像进行聚类的结果。在图1中,左图是利用Kinect采集得到的带有空洞的深度图像,右图是利用该方法处理时,得到的深度图像聚类的结果,从图中的深度聚类结果可以明显看出，利用本发明对深度图像进行深度聚类结果的有效性。

图2是本发明实施例对深度图像的空洞进行填充的结果图，在图2中,左图是利用Kinect采集得到的带有空洞的深度图像,右图是利用该方法处理得到的填充后的深度图像,在深度图像的自动分类结果中得到的结果图，从图中的结果可以看出，填充深度图结果边缘细节突出。