一种适用于DIBR预处理过程的深度图融合方法与流程

本发明属于三维视频技术领域，具体涉及2D/3D的视频转换技术，特别是一种适用于DIBR预处理过程的深度图融合方法。

背景技术：

目前，三维(3D)视频逐渐普及，中国中央电视台(CCTV)也在2012年元旦之际试播了3D频道，3D视频已经逐渐成为了当前发展的一种趋势。然而，视频源不足成为制约这一产业兴起的主要瓶颈。在这种情况下，将2D视频转为3D视频是解决此问题的有效途径。

将2D视频转为3D视频总的来说存在两种渲染方式：其中一种是通过采用某种方法从单一的视频帧中直接重建出具有视差的左右眼图像对；另一种是基于深度图的渲染(Depth Image-based Rendering，DIBR)，它的转换结果是在原视频的基础上附加了每一帧所对应的深度图，最后由嵌入DIBR处理模块的显示终端输出转换为双目立体视频后就可以进行观赏(参见“电影2D/3D转换技术概述[J]”，刘伟、吴毅红、胡占义，《计算机辅助设计与图形学学报》，2012,24(1):14-28)。与前者相比，后者以其具有的三个独到特点：高效的压缩传输效率、与现有2D技术和不同设备的兼容性强以及在实时立体视频生成上具有的景深调整和快速渲染合成等技术优势，在新兴的3DTV、3D移动终端等市场占有绝对的主导地位，是3D渲染技术未来发展的方向。

DIBR渲染是基于深度图的2D/3D转换方法中的重要步骤，它可以利用深度信息渲染出虚拟的立体视频，从而最终完成2D到3D“质的转变”。虽然这种技术有很多的优势，但是仍然有其局限性。由于DIBR从参考图像中根据深度图转换的映射关系虚拟出左右眼图像，视点的变化可能导致原图像中被前景物体遮挡的部分背景区域在新图像中暴露出来，而这部分区域在变换过程中没有对应的纹理映射，因此就会在目标图像上产生空洞现象。这个问题是DIBR技术近年来的研究热点，也是提高3D图像质量的重要方面。针对这个问题目前常采用如附图1所示的处理流程，通过在DIBR前加入深度图预处理环节及在DIBR后基于图像修复技术来完成空洞的填补。

深度图预处理通常是采用各类滤波器对深度图进行平滑，这样绘制得到的新视点中将包含较小的空洞，有利于进一步的填补。这类方法运行效率高，作用明显，但是平滑滤波可能会导致虚拟图像中的物体边缘区域(尤其是竖直方向的边缘)产生几何形变。因此在2D/3D视频转换中现有的DIBR技术中深度图预处理环节无法有效保证虚拟图像无失真的转换合成，从而影响了3D视频的实际转换效果。

技术实现要素：

有鉴于此，本发明的目的是针对现有DIBR深度图预处理技术环节的不足，通过维度变换域下扩散生成的影响度分布图来对原始深度图和预平滑后的深度图进行融合，从而实现优化后的深度图在不同区域平滑强度的自适应调整，不但有效保留了空洞区域的平滑作用以消除空洞影响，而且有效避免了对不出现空洞区域的过平滑而造成的额外扭曲现象，从以提升3D虚拟图像渲染效果。

为达到上述目的，本发明采用以下技术方案：

一种适用于DIBR预处理过程的深度图融合方法，包括如下步骤：

A)在原始深度图D_Ori中，利用空洞预估算子根据左右眼虚拟图像的深度变化规律对产生的空洞区域R_H进行预估；

B)生成初始影响度分布图I_f-init；

C)在维度变换域下对初始影响度分布图I_f-init进行扩散，生成优化后的影响度分布图I_f；

D)用优化后的影响度分布图I_f对原始深度图D_Ori和预平滑后的深度图进行融合D_Pre，生成优化后的深度图D_Fin。

其中，步骤A)所述的空洞预估算子为：

其中，R_H表示预测的空洞，r(x,y)表示在原始深度图D_Ori中坐标(x,y)处的深度值，D_max是设定生成虚拟图像视差最大值的像素个数，α是归一化因子(在8bit灰度图像中，α＝255)，D_width是图像宽度的像素个数，λ_H是预设的阈值因子；如果新合成的虚拟视图是左眼视图，则i＝l，否则，i＝r。

其中，步骤B)中的初始影响度分布图I_f-init具体定义为：

其中，R_H表示预测的空洞，D_e(p)表示点p到预估空洞边缘的距离。

其中，步骤C)在维度变换域下对初始影响度分布图I_f-init进行扩散具体为:扩散函数定义如下：

I_f[n]＝(1-a^d)I_f-init[n]+a^dI_f[n-1]

其中，I_f-init[n]表示初始影响度分布图上一行或一列的像素值，a∈(0,1)是扩散函数的反馈系数，d表示维度变换域中相邻样本x_n和x_n-1之间的距离。

其中，维度变换域中相邻样本x_n和x_n-1之间的距离定义为：

d＝ct(x_n)-ct(x_n-1)

其中，ct(u)表示维度变换域，维度变换过程为:

其中，I_texture(x)表示输入的纹理图像，|I′_texture(x)|表示纹理图像的梯度强度，σ_s和σ_r分别是传播器空间和值域参数，用来调节传播的影响。σ_s取值范围为200～2500，σ_r取值范围为0.1～10。

其中，扩散为迭代过程，且为实现对称传播，如果在一次迭代中扩散按照从左到右，从上到下的顺序在图像中传播，则下一次迭代中扩散按照从右到左、从下到上的顺序传播。迭代次数为2～10次。

其中，步骤D)中深度图融合公式为：

D_Fin＝I_fD_Pre+(1-I_f)D_Ori。

本发明的有益效果是：本发明中的影响度分布图在高效的维度变换空间下基于纹理特征和预测的原始空洞扩散而来，能够反映结构化的分布信息。以此进行深度融合，可以用自适应扩散方式取代传统人工参数限定方式来更加有效确定加强待修复区域的滤波效果，并排除减少非空洞区域的滤波效果，从而克服传统深度图预处理过程中的深度图畸变和过平滑问题，实现空洞修复的同时显著提高3D虚拟渲染效果。

附图说明

图1是现有的DIBR系统处理流程图；

图2是本发明的方法流程图；

图3是采用本发明方法的深度图及虚拟图像效果对比图。

具体实施方式

下面结合附图和实施例对本发明作进一步描述：

图1显示了现有的DIBR系统处理流程，对于输入的原始深度图，首先在预处理环节对深度图进行平滑滤波，以此通过深度图部分结构的优化减小渲染时大部分空洞的发生；然后，采用DIBR渲染处理方法，利用深度图像和标定的相机参数，将参考图像中的像素点映射到目标图像中；最后，采用空洞填补方法，修复渲染过程中保留的少量空洞，并输出转换出的左右眼虚拟图像。

其中，DIBR渲染处理是2D/3D转换方法中的重要步骤，它描述了一个精确的点到点的映射关系，可以利用深度信息渲染出虚拟的立体视频，从而最终完成2D到3D“质的转变”。虽然这种技术有很多的优势，但是仍然有其局限性。由于DIBR从参考图像中根据深度图转换的映射关系虚拟出左右眼图像，视点的变化可能导致原图像中被前景物体遮挡的部分背景区域在新图像中暴露出来，而这部分区域在变换过程中没有对应的纹理映射，因此就会在目标图像上产生空洞现象。这个问题是DIBR技术近年来的研究热点，也是提高3D图像质量的重要方面。

针对这个问题目前常用的有三类解决方法：

1)分层深度视频(LDV)格式。该类方法通过新的数据层从根本上解决了由于遮挡而在深度图中产生的空洞现象。然而这种技术要求视频采集时利用特殊的设备，所以并不适合于2D/3D转换；

2)空洞填补。该类方法即是图1中所示的DIBR后的空洞填补环节。该类方法的主要思想是根据图像的纹理特征，选取大小合适的纹理块，然后在待修补区域的周围寻找与之最相近的纹理匹配块来替代该纹理块。该种方法可以修复大面积区域空洞，但修复时块的匹配基于贪婪搜索，可能会造成明显的修复错误。除此之外，该类方法计算量较大，因此常辅助深度图预处理环节来修复保留的少量空洞；

3)深度图像的预处理，该类方法即是图1中所示的DIBR前的环节。这类方法能平滑深度图中的不连续(深度剧烈变化)区域从而减少深度图中的空洞，增加高斯滤波的强度能改进生成立体图片的质量。因为这类方法计算效率较高，通过深度图的局部优化可以预先消除可能出现的大部分空洞，仅包含较小的空洞，有利于进一步的填补，因此是DIBR系统中空洞填补的重要环节。但是另一方面滤波容易造成物体直线方向边缘区域的扭曲变形。虽然目前已经提出了非对称平滑滤波及双边滤波来缓解这个问题，但是这些全局参数设置滤波器仍然无法完全有效避免局部过平滑现象，当局部的平滑作用过大时，仍然会导致合成的新视点视图的部分区域物体产生几何形变。

因此在2D/3D视频转换中现有的DIBR系统中的深度图预处理环节仍然无法完全有效保证虚拟图像无失真的转换合成，从而影响了3D视频的实际转换效果。为此，本发明方法通过引入影响度分布图来对预处理后的深度图和原始深度图进行二次融合，实现自适应的局部滤波，以进一步得到优化后的深度图来进行DIBR渲染。

本发明方法是以纹理图像、原始深度图像以及由某种滤波方法得到的预平滑后的深度图作为输入的数据源，经过处理后生成融合优化后的深度图。图2是本发明的方法流程图，结合图2对本发明的具体实施方式进行描述。

如果深度图的平滑仅在空洞可能发生的不连续(深度剧烈变化)区域进行，那么非空洞区域的深度图质量就能够得到很好的保留，过平滑作用也能够得到较好的抑制。基于这种思想，本发明提出了一种新的深度图融合方法，通过扩散的影响度分布图来实现自适应的局部平滑，具体包括以下步骤：

A)在原始深度图D_Ori中，利用空洞预估算子根据左右眼虚拟图像的深度变化规律对产生的空洞区域R_H进行预估。如果定义深度图中距离观察者较近的距离用数值较大的值来表示，距离观察者较远的距离用数值较小的值来表示。那么具体而言，在左眼虚拟图像中，空洞集中在深度值由小到大剧烈变化的区域；在右眼虚拟图像中，空洞集中在在深度值由大到小剧烈变化的区域。基于此，空洞预估算子定义为：

其中，R_H表示预测的空洞，r(x,y)表示在原始深度图D_Ori中坐标(x,y)处的深度值，D_max是设定生成虚拟图像视差最大值的像素个数，α是归一化因子(例如在8bit灰度图像中，α＝255)，D_width是图像宽度的像素个数，λ_H是预设的阈值因子，取值范围为1～5，仿真实验中λ_H取2；如果新合成的虚拟视图是左眼视图，则i＝l，否则，i＝r；

B)生成初始影响度分布图I_f-init。为消除空洞影响，本发明定义的影响度分布图围绕预估的空洞区域展开。基于此，初始影响度分布图I_f-init具体定义为：

其中，R_H表示预测的空洞，D_e(p)表示点p到预估空洞边缘的距离。从D_e(p)的定义可以看出，越靠近空洞中心的区域，其相对应的预平滑后的深度图对消除空洞的作用越大；在非空洞区域，其相对应的预平滑后的深度图对消除空洞的作用很小；

C)在维度变换域下对初始影响度分布图I_f-init进行扩散；

因为初始影响度分布图仅仅考虑了空洞的直接分布，如果虚拟图像中有边缘直线经过空洞附近，那么对空洞的平滑就可能影响到边缘使之产生形变。为了解决这个问题，需要对初始影响度分布图根据图像的纹理特征进行适当的扩散，使空洞附近结构相似区域具有相似的影响度，以此在实现局部平滑的同时克服形变的产生；

扩散函数定义如下：

I_f[n]＝(1-a^d)I_f-init[n]+a^dI_f[n-1]

其中，I_f-init[n]表示初始影响度分布图上一行或一列的像素值，a∈(0,1)是扩散函数的反馈系数，d＝ct(x_n)-ct(x_n-1)表示维度变换域中相邻样本x_n和x_n-1之间的距离。这里的维度变换域是用2011年Eduardo S.L.Gastal等人在文章“Domain transform for edge-aware image and video processing”中提出的方法得到的变换空间，它的最大优势是在能够保证图像纹理特征的前提下将多维空间在降为一维空间，从而大大提高了计算效率。具体而言，ct(u)表示维度变换域，维度变换过程为:

其中，I_texture(x)表示输入的纹理图像，|I′_texture(x)|表示纹理图像的梯度强度，σ_s和σ_r分别是传播器空间和值域参数，用来调节传播的影响。σ_s取值范围为200～2500，σ_r取值范围为0.1～10；

可以看到，在维度变换过程中，纹理图像中反映的场景结构特征被考虑在内，成为了初始影响度分布图扩散的重要依据。整个扩散过程效果类似双边滤波器，影响度分布图随着图像的场景特征在空洞附近进一步传播扩散，但是由于维度变换空间下维数的降低，它的运算效率远远大于传统的双边滤波器，传统的双边滤波器是在二位空间下运行的，上述定义的维度变换过程虽然大大提高了运算效率，却只是一维空间下的滤波器。为了达到同样的效果，在具体的实施例中，扩散用迭代的方式来实现。又因为上述定义的维度变换过程非对称，所以为实现对称传播，如果在一次迭代中扩散按照从左到右，从上到下的顺序在图像中传播，则下一次迭代中扩散按照从右到左、从下到上的顺序传播。迭代次数为2～10次，一般迭代3次扩散效果可达到稳定，仿真实验中迭代次数为3次；

D)用优化后的影响度分布图I_f对原始深度图D_Ori和预平滑后的深度图进行融合D_Pre，生成优化后的深度图D_Fin。深度图融合公式为：

D_Fin＝I_fD_Pre+(1-I_f)D_Ori

利用扩散后的影响度分布图，将于平滑后的深度图和原始深度图进行二次融合，保留下对空洞消除有利的平滑区域。由于影响度分布图I_f在扩散过程中值域可能发生变化，因此在实施时需要归一化到区域[0,1]；

融合优化后的深度图已经抑制了大量空洞产生，所以最后用它和纹理图像进行DIBR渲染，再通过采用简单的插值方法填补少量保留的空洞，就可以生成左右眼虚拟图像。

以下为本发明的DIBR虚拟图像修复方法的实验验证；

1)实验条件：

在CPU为Core^TM2 Quad CPU Q9400＠2.66GHz，内存4G，Windows 7系统上进行了实验；

2)实验内容：

以下参照图3来具体描述根据本发明方法的实验实现细节以及对3D渲染质量所带来提升。

图3是对一组实验图像处理时的情况。其中，图3(a)是原始的纹理图像，这里我们把它直接作为右眼虚拟图像，那么需要通过DIBR方法生成左眼虚拟图像。图3(b)所示为未经过深度图预处理和空洞填补直接用DIBR渲染得到的左眼虚拟图像，新生成的虚拟图像中的黑色不连续部分即为空洞，可见空洞主要分布在图3(c)中原始深度图中深度值从小到大剧变的前景物体左侧边缘。图3(d)为经过双边滤波得到的预平滑后的深度图，可见平滑后深度图中深度值剧变的区域已经大幅度较少，因此能够明显抑制空洞的产生。但是如图3(b)所示，空洞主要集中在前景物体左侧边缘，因此图3(d)中前景物体右侧的平滑对空洞的消除并无明显作用。本发明方法提出的扩散后的影响度分布图如图3(e)所示，可见它的分布和强度以空洞区域为核心，能够按照图像反映的结构特征进行扩散。例如图像中男士左侧的背景中墙上的纹理沿竖直方向分布，而女士左侧的背景百叶窗纹理沿水平方向分布，这些特征在扩散后的影响度分布图中都得到了很好的体现。图3(f)为基于图3(e)将原始深度图图3(c)和预平滑后的深度图图3(d)二次融合后得到的优化后的深度图，与图3(d)相比，可以看到前景物体右侧过平滑区域得到了抑制，而空洞区域的平滑效果则根据周围图像特征得到了很好的保留。图3(g)和图3(h)分别是用图3(d)和图3(f)作为深度图输入得到的DIBR渲染结果，可以看到图3(d)中非空洞区域的过平滑作用在图3(g)中的椭圆形标识区域中产生了较为明显的图像畸变，而图3(h)中经本发明方法处理后的深度图渲染图像则不存在这个问题。由此可见本发明提出的深度图融合方法在DIBR深度图预处理过程中对改善3D视觉效果质量所起到的提升作用。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，本领域普通技术人员对本发明的技术方案所做的其他修改或者等同替换，只要不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围当中。