本发明属于三维视频技术领域，具体涉及2d/3d的视频转换技术，特别是一种维度变换空间下基于定向滤波的深度图预处理方法。
背景技术：
目前，三维(3d)视频逐渐普及，中国中央电视台(cctv)也在2012年元旦之际试播了3d频道，3d视频已经逐渐成为了当前发展的一种趋势。然而，视频源不足成为制约这一产业兴起的主要瓶颈。在这种情况下，将2d视频转为3d视频是解决此问题的有效途径。
将2d视频转为3d视频总的来说存在两种渲染方式：其中一种是通过采用某种方法从单一的视频帧中直接重建出具有视差的左右眼图像对；另一种是基于深度图的渲染(depthimage-basedrendering，dibr)，它的转换结果是在原视频的基础上附加了每一帧所对应的深度图，最后由嵌入dibr处理模块的显示终端输出转换为双目立体视频后就可以进行观赏(参见“电影2d/3d转换技术概述[j]”，刘伟、吴毅红、胡占义，《计算机辅助设计与图形学学报》，2012,24(1):14-28)。与前者相比，后者以其具有的三个独到特点：高效的压缩传输效率、与现有2d技术和不同设备的兼容性强以及在实时立体视频生成上具有的景深调整和快速渲染合成等技术优势，在新兴的3dtv、3d移动终端等市场占有绝对的主导地位，是3d渲染技术未来发展的方向。
dibr渲染是基于深度图的2d/3d转换方法中的重要步骤，它可以利用深度信息渲染出虚拟的立体视频，从而最终完成2d到3d“质的转变”。虽然这种技术有很多的优势，但是仍然有其局限性。由于dibr从参考图像中根据深度图转换的映射关系虚拟出左右眼图像，视点的变化可能导致原图像中被前景物体遮挡的部分背景区域在新图像中暴露出来，而这部分区域在变换过程中没有对应的纹理映射，因此就会在目标图像上产生空洞现象。这个问题是dibr技术近年来的研究热点，也是提高3d图像质量的重要方面。针对这个问题目前常采用如附图1所示的处理流程，通过在dibr前加入深度图预处理环节及在dibr后基于图像修复技术来完成空洞的填补。由此可见，深度图预处理是dibr技术中的一个重要环节。
传统的深度图预处理通常采用全局滤波方法，这样绘制得到的新视点中将包含较小的空洞，有利于进一步的填充。这类方法运行效率高作用明显，但是全局滤波方式可能会导致虚拟图像中的非空洞区域也产生几何形变。针对这一问题，近年来提出的改进方法实现了空洞区域的局部化滤波，取得了较好的效果。但是在这类方法中，局部化限定参数仍未实现自适应调整，且滤波前需要增加额外的处理流程来对空洞区域进行检测，在一定程度上影响了dibr环节的运行效率。
技术实现要素：
有鉴于此，本发明方法提出了一种维度变换空间下基于定向滤波的深度图预处理方法。本发明方法属于局部化滤波方法，但与现有方法不同，本方法没有在滤波前增加额外的空洞检测环节，而是在维度变换域联合滤波框架下通过渲染合成分析手段加入了定向滤波约束，这样不需要预先设定局部化参数就能够将深度图平滑过程自适应的限制在了空洞附近进行，在实现3d视频的转换效果提升的同时保证了算法的运行效率。
为达到上述目的，本发明采用以下技术方案：
一种维度变换空间下基于定向滤波的深度图预处理方法，包括如下步骤：
a)对原始深度图dori进行渲染合成分析，并生成定向约束分布图wdirection；
b)在维度变换域下结合纹理图像itexture和定向约束分布图wdirection，对原始深度图dori进行联合滤波，生成平滑后的深度图dfin；
其中，步骤a)的渲染合成分析主要判断待合成的虚拟图像类型，如果为左视角图像，则生成的定向约束分布图wdirection包含左视角定向约束；否则，包含右视角定向约束；
其中，步骤a)的定向约束分布图wdirection具体定义为：
其中，p对应原始深度图上的一点。如果n(p)表示p的邻域，则vsl(p)表示n(p)左半邻域的深度均值，vsr(p)表示n(p)右半邻域的深度均值。
其中，步骤b)中在维度变换域下的联合滤波为:滤波函数定义如下：
dfin[n]＝(1-ad)dori[n]+addfin[n-1]
其中，dori[n]表示原始深度图上一行或一列的像素值，a∈(0,1)是扩散函数的反馈系数，d表示维度变换域中相邻样本xn和xn-1之间的距离。
其中，维度变换域中相邻样本xn和xn-1之间的距离定义为：
d＝ct(xn)-ct(xn-1)
其中，ct(u)表示维度变换域，则维度变换过程为:
其中，|i′texture(x)|表示输入纹理图像的梯度强度，wdirection(x)为步骤a)生成的定向约束分布图，σs和σr分别是滤波器空间和值域参数，用来调节滤波的影响，σs取值范围为200～2500，σr取值范围为0.1～10。β是方向性参考因子，取值范围为1～5。
其中，滤波过程为迭代过程，且为实现对称滤波，如果在一次迭代中滤波按照从左到右，从上到下的顺序在图像中进行，则下一次迭代中滤波按照从右到左、从下到上的顺序进行。迭代次数为2～10次。
本发明的有益效果是：本发明利用虚拟图像的先验知识确定了定向滤波约束，并将其融合在维度变换空间中的联合滤波框架下，从而实现了深度图的自适应局部滤波，减少了全局滤波方式对深度图非空洞区域结构的影响。同时本发明又避免了同类方法滤波前增加的额外空洞检测环节，保证了dibr渲染过程的运行效率，从而实现了一种高效的维度变换空间下基于定向滤波的深度图预处理方法。
附图说明
图1是现有技术的dibr系统处理流程图；
图2是本发明维度变换空间下基于定向滤波的深度图预处理方法的流程图；
图3是采用本发明维度变换空间下基于定向滤波的深度图预处理方法的深度图效果对比图。
具体实施方式
下面结合附图和实施例对本发明作进一步描述；
图1显示了现有的dibr系统处理流程。其中，dibr渲染处理是2d/3d转换方法中的重要步骤，它描述了一个精确的点到点的映射关系，可以利用深度信息渲染出虚拟的立体视频，从而最终完成2d到3d“质的转变”。虽然这种技术有很多的优势，但是仍然有其局限性。由于dibr从参考图像中根据深度图转换的映射关系虚拟出左右眼图像，视点的变化可能导致原图像中被前景物体遮挡的部分背景区域在新图像中暴露出来，而这部分区域在变换过程中没有对应的纹理映射，因此就会在目标图像上产生空洞现象。
现有的系统中有两个环节来解决这个问题，如图1所示，对于输入的原始深度图，一般先经过一个dibr前的预处理过程对深度图进行平滑滤波，以此通过深度图部分结构的优化减小渲染时大部分空洞的发生；再经过dibr后的一个空洞填补方法，进一步修复渲染过程中保留的少量空洞。需要说明的是，深度图滤波效率较高，而空洞填补方法的计算量较大，且与要填补的空洞数量成正比。为了保证转换效率，在实际2d/3d转换中，往往要求在深度图预处理环节尽可能多的减少空洞的产生。
目前深度图预处理滤波器通常分为两类。传统的全局滤波方式简单有效，但副作用也较明显，可能会导致虚拟图像中的非空洞区域也产生几何形变，如高斯滤波器及2005年zhangl.等人在论文“stereoscopicimagegenerationbasedondepthimagesfor3dtv”中提出的非对称高斯滤波器；另一类改进的滤波方法，如2007年dariboi.等人在论文“distancedependentdepthfilteringin3dwarping”中提出的方法，实现了空洞区域的局部化滤波，取得了较好的效果，但是在这类方法中，局部化限定参数仍未实现自适应调整，且滤波前需要增加额外的处理流程来对空洞区域进行检测，在一定程度上影响了dibr环节的运行效率。
针对这个问题，本发明方法在维度变换空间中的联合滤波框架下融入了定向滤波约束，从而实现了深度图的自适应局部滤波，不仅减少了全局滤波方式对深度图非空洞区域结构的影响，还保证了dibr渲染过程的运行效率，从而实现了一种高效的维度变换空间下基于定向滤波的深度图预处理方法。
本发明方法是以纹理图像和原始深度图作为输入的数据源，经过处理后生成滤波后的深度图。图2是本发明的方法流程图，结合图2对本发明的具体实施方式进行描述。
本发明方法通过维度变换域下的联合滤波来实现，具体包括以下步骤：
a)对原始深度图dori进行渲染合成分析，并生成定向约束分布图wdirection。
在dibr渲染合成中产生的空洞具有一定的方向性，具体而言，若生成的虚拟图像为左视角图像，则空洞分布于前景区域的左边缘；反之，位于右边缘。基于此，本发明方法通过渲染合成分析结合原始深度图dori生成定向约束，从而隐式的确定空洞区域。其中，定向约束分布图wdirection具体定义为：
其中，p对应原始深度图上的一点。如果n(p)表示p的邻域，则vsl(p)表示n(p)左半邻域的深度均值，vsr(p)表示n(p)右半邻域的深度均值。例如，若n(p)表示p的8邻域，那么n(p)又可以表示成掩模形式
b)在维度变换域下结合纹理图像itexture和定向约束分布图wdirection，对原始深度图dori进行联合滤波，生成平滑后的深度图dfin；
这里在维度变换域下利用联合滤波的形式对原始深度图进行滤波。传统的双边滤波器仅仅考虑纹理特征，而本发明方法扩展得到的联合滤波器在此基础上加入了定向约束wdirection，因此能够根据该约束来限制滤波作用集中在空洞附近；
滤波函数定义如下：
dfin[n]＝(1-ad)dori[n]+addfin[n-1]
其中，dori[n]表示原始深度图上一行或一列的像素值，a∈(0,1)是扩散函数的反馈系数，d表示维度变换域中相邻样本xn和xn-1之间的距离；
这里的维度变换域是用2011年eduardos.l.gastal等人在文章“domaintransformforedge-awareimageandvideoprocessing”中提出的方法得到的变换空间，它的最大优势是在能够保证图像纹理特征的前提下将多维空间降为一维空间，从而大大提高了计算效率。具体而言，ct(u)表示维度变换域，维度变换过程为:
其中，|i′texture(x)|表示输入纹理图像的梯度强度，wdirection(x)为步骤a)生成的定向约束，σs和σr分别是滤波器空间和值域参数，用来调节滤波的影响，σs取值范围为200～2500，σr取值范围为0.1～10。β是方向性参考因子，取值范围为1～5。
上述定义即是联合滤波器的核心，可以看到，该滤波器同时考虑到了原始深度图、对应的纹理图像及定向约束分布图等多种特征载体。虽然联合滤波约束较多，但是由于维度变换空间下维数的降低，它的运算效率远远大于传统二维空间下的联合滤波器。
传统的深度平滑滤波器是在二维空间下运行的，上述定义的维度变换过程虽然大大提高了运算效率，却只是一维空间下的滤波器。为了达到同样的效果，在具体的实施例中，滤波用迭代的方式来实现。又因为上述定义的维度变换过程非对称，所以为实现对称滤波，如果在一次迭代中滤波按照从左到右，从上到下的顺序在图像中进行，则下一次迭代中滤波按照从右到左、从下到上的顺序进行。迭代次数为2～10次，一般迭代3次滤波效果可达到稳定，仿真实验中迭代次数为3次。
以下为本发明方法的实验验证。
1)实验条件：
在cpu为
2)实验内容：
以下参照图3来具体描述根据本发明方法的实验实现细节；
图3是对一组实验图像处理时的情况。其中，图3(a)为原视角图像在未经过预处理的深度图作用下通过dibr渲染得到的新视角虚拟图像，其中白色条状标识区域为生成的空洞区域。本实验生成的虚拟图像为左视角图像，所以可以看到空洞区域主要分布在前景人物的左侧边缘。图3(b)为对应的原始深度图。图3(c)为非对称高斯滤波处理后的深度图，可见在这种全局滤波方式中，整个深度图区域，包括非空洞区域都产生了较为显著的平滑作用。图3(d)是用本发明方法进行的滤波效果。可以看到平滑范围主要限制在了图3(a)中标识出的空洞周边区域，与图3(c)相比，非空洞区域的深度图没有受到严重的影响。由此可见本发明方法中定向约束的显著效果。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。