基于背景提取与分区修复的dibr空洞填补方法
【专利摘要】本发明涉及一种基于背景提取与分区修复的DIBR空洞填补方法，首先利用视频序列重建背景图像和背景深度图：利用视频序列和与之对应的深度图序列，比较每个像素点在每帧画面中所对应的深度值，将深度值最大时的像素作为背景图像的像素，通过逐帧比较获得真实的背景图像和与之对应的背景深度图；其次，计算画面中前景图像区域；最后，针对不同区域采取不同策略填补空洞。本发明对不同区域的空洞采取不同的填充方法，从而获得较为可靠和真实的填补效果，从实验结果来看，本文方法获得的PSNR数据优于其他算法，并且与真实视点比较的结构相似度达到99.1%，比传统方法提高超过10%。
【专利说明】基于背景提取与分区修复的DIBR空洞填补方法
【技术领域】
[0001]本发明涉及一种基于背景提取与分区修复的DIBR空洞填补方法。
【背景技术】
[0002]近年来3D显示技术迅速发展，其基本原理是通过人的双眼接收两幅具有一定视差的图像，大脑将图像进行融合而形成立体感。常见的3D视频的获取方法是采用两个摄像机同时进行拍摄，获得左右两个视点的图像信息。另一个方法是采集一幅视频图像的同时，采集与之对应的深度图，深度图显示了视频中每个像素到摄像机的距离，然后通过基于深度图的绘制技术(DIBR)获得其他视点的图像。利用基于深度图的视点绘制方法可以从一个参考视点和一个对应的深度图绘制出新的视点图像。在这个视点绘制的过程中，由于在一个参考视点中无法包含用于绘制新视点的所有像素信息，基于深度图的视点绘制得到的视点中将会出现空洞区域，空洞填补是视点绘制的重要步骤。
[0003]目前常见的空洞填补方案可以分为两个类别:一种是先对深度图进行预处理，常见的深度图预处理方法有高斯滤波平滑处理(图1b为使用高斯平滑方法进行空洞填补的效果图，图1a为参考视点)，目的是减小图像深度的不连续性，再通过DIBR绘制新视点，就可以得到空洞较小的视点，最后填补空洞；另外一种是直接使用DIBR进行视点绘制，然后再通过各种图像插值算法恢复空洞区域图像纹理(如图1c为使用插值算法进行空洞填补的效果图)，一般是利用横向区域的像素进行图像插值，或者根据周围区域图像纹理进行填充。
[0004]新视点中出现的空洞主要有两个类型，一种是较小空洞，通常只有一两个像素的大小，这种空洞出现的原因是图像在重新投影映射过程中拉伸造成的。由于这种空洞较小，只要利用周围像素的信息进行填充就可以，不会对图像质量产生太大影响。另外一种空洞较大，这是由于在参考视点中被前景遮挡住的部分图像内容在新的视点中被暴露出来，却没有合适的像素可供填充。第二种空洞出现在物体的边缘，前景和后景的深度差越大，出现的空洞越明显。这种空洞往往面积较大，很难在不造成图像模糊的情况下进行填补。针对这些图像中出现的缺陷，需要一些特殊的空洞填补方法对空洞进行填补。
[0005]目前常见的空洞填补方案可以分为两个类别:
I)第一类是对深度图进行预处理的方法，例如先对深度图进行高斯平滑处理，这样绘制得到的新视点中将包含较小的空洞，有利于进一步的填补。由于空洞出现在深度不连续的区域，因此对深度图的平滑处理减轻了深度的不连续程度也就缩小了空洞的尺寸。再利用周围像素信息对空洞进行填补，由于空洞尺寸较小，所以填充也较为容易。然而对深度图的平滑预处理也会带来新的问题，就是改变了图像的几何参数，重新映射的图像将会产生几何变形。前景和背景的深度差越大，需要进行平滑处理的程度也越大，也就带来了更为严重的图像几何变形。为了缓解这个问题，通常采用的是非对称平滑过滤，针对不同的区域进行不同程度的平滑处理，平滑过滤的强度取决深度的不连续程度，这样可以一定程度避免不必要的平滑处理。也有采用缩小深度变化范围的方法，这样减小了视差也就减小了所产生的空洞尺寸，存在的缺点是减弱了图像的立体效果。这类方法虽然空洞填补区域较为平滑，但无法避免对原始图像整体效果的破坏。
[0006]2)第二类方法是则是先利用DIBR算法进行新视点绘制，再进行空洞填补，可以称之为后处理方法。后处理的常用方法是在空洞区域周围进行搜索获取可用的像素，搜索范围一般是背景区域，利用周围的像素计算出可用于填充空洞的像素颜色。例如为了填充空洞中的一个像素，先选取空洞边缘与该像素同行的左右第一个像素作为参考点，然后用横向插值算法插入像素。有的方法在上述方法基础上进行的改进，从周围区域中提取更多的参考点，或是加入像素的深度值作为参考，以提升填充的可靠性。同样也可以通过搜索空洞周围的线性图像结构，利用周围的小图像块进行空洞填充，使填充区域与周围有相同的结构或者纹理。然而插值得到的图像与真实图像存在一定偏差，图像填补的可靠性比较低，填补区域的图像产生了一定的失真。
【发明内容】
[0007]本发明的目的在于提供一种基于背景提取与分区修复的DIBR空洞填补方法。
[0008]为实现上述目的，本发明的技术方案是:一种基于背景提取与分区修复的DIBR空洞填补方法，包括如下步骤，
步骤SOl:利用视频序列重建背景图像和背景深度图:利用视频序列和与之对应的深度图序列，比较每个像素点在每帧画面中所对应的深度值，将深度值最大时的像素作为背景图像的像素，通过逐帧比较获得真实的背景图像和与之对应的背景深度图；
步骤S02:计算画面中前景图像区域:采用了能量最小化的计算方法，将一个像素与周围像素之间的深度关系建立能量模型，判断像素属于前景区域还是背景区域，从而将前景与背景区域分割开来；
步骤S03:针对不同区域采取不同策略填补空洞:利用上述获得的前景区域，在前景部分的空洞填补采用区域插值，背景区域的空洞则利用步骤SOl通过逐帧比较获得真实的的背景图像进行填充。
[0009]在本发明实施例中，所述步骤S02的具体过程如下，
采用能量最小化的方法获取每帧图像的前景掩膜图，并用矩阵爲表示，对于第?帧
图像，对于图像上的点/7，当/7点属于前景图像时mf =0，否则謂f =1即/7点属于背景图像，其中，JZf表达式如下:
【权利要求】
1.一种基于背景提取与分区修复的DIBR空洞填补方法，其特征在于:包括如下步骤， 步骤SOl:利用视频序列重建背景图像和背景深度图:利用视频序列和与之对应的深度图序列，比较每个像素点在每帧画面中所对应的深度值，将深度值最大时的像素作为背景图像的像素，通过逐帧比较获得真实的背景图像和与之对应的背景深度图； 步骤S02:计算画面中前景图像区域:采用了能量最小化的计算方法，将一个像素与周围像素之间的深度关系建立能量模型，判断像素属于前景区域还是背景区域，从而将前景与背景区域分割开来； 步骤S03:针对不同区域采取不同策略填补空洞:利用上述获得的前景区域，在前景部分的空洞填补采用区域插值，背景区域的空洞则利用步骤SOl通过逐帧比较获得真实的的背景图像进行填充。
2.根据权利要求1所述的基于背景提取与分区修复的DIBR空洞填补方法，其特征在于:所述步骤S02的具体过程如下， 采用能量最小化的方法获取每帧图像的前景掩膜图，并用矩阵爲表示，对于第?帧图像，对于图像上的点/7，当/7点属于前景图像时應f =0，否则應f =1即/7点属于背景图像，其中，爲表达式如下:
3.根据权利要求2所述的基于背景提取与分区修复的DIBR空洞填补方法，其特征在于:所述％的取值范围通常为4到8个像素。
【文档编号】H04N13/00GK103905813SQ201410148681
【公开日】2014年7月2日 申请日期:2014年4月15日 优先权日:2014年4月15日
【发明者】郭太良, 林志贤, 叶芸, 林金堂, 姚剑敏 申请人:福州大学