2D转3D视频图像提升深度图质量的计算方法与流程

本发明涉及一种提升深度图质量的计算方法，特别是涉及一种2d转3d视频图像提升深度图质量的计算方法。

背景技术：

在视频图像2d转3d的过程中，主要分为两个大的环节：深度图像的提取、3d视差图像的渲染。其中深度图像的提取是视频图像2d转3d计算过程中的重点和难点，如果不对所提取的深度图进行严格的优化处理，那么由此深度图渲染而成的3d视差图像产生的3d视觉效果将大打折扣。一些传统的深度图优化处理方法主要是对深度图进行简单的低通滤波处理，虽然这种方法在一定程度上可以改善深度图的高频噪声，让深度图在一定程度上均衡统一。但是我们发现在深度图中运动物体的灰度值与背景的灰度值对比度不明显，对比度小的深度图渲染出来的3d视差图像中运动物体与背景的景深差距就小，3d视觉效果很不理想。目前对深度图进行优化处理的方法和手段各种各样，但这众多技术之中大都存在严重的缺点，要么对比度提升不明显，要么计算量太大而无法实时处理，这样就很难达到实际生产的需求。

技术实现要素：

本发明所要解决的技术问题是提供一种2d转3d视频图像提升深度图质量的计算方法，其基于场景连贯度和场景自然度算法，大大提高了深度图的对比度，并且保持计算开销在合理范围之内，具有深度图对比度提升明显，运算量相对合理的优点。

本发明是通过下述技术方案来解决上述技术问题的：一种2d转3d视频图像提升深度图质量的计算方法，其包括下列步骤：

步骤一，由运动估计和运动矢量计算初始深度图；

步骤二，进行当前帧源图像与前一帧源图像之间的场景连贯度检测；

步骤三，进行当前帧源图像场景自然度检测；

步骤四，进行有效深度图区域内的对比度分化阈值计算；

步骤五，进行深度图对比度提升处理。

优选地，所述步骤二中场景连贯度是指当前帧画面的内容与前一帧画面内容的连贯程度。

优选地，所述步骤三中场景自然度指判断当前帧的内容是否为自然场景的参考标准。

优选地，所述步骤四中对比度分化阈值计算包括深度图的有效运算区域的计算和深度图对比度阈值的计算。

优选地，所述步骤五基于深度图的对比度阈值划分出不同的临界点，并在这些不同临界点区间对深度图的像素值进行重新赋值。

本发明的积极进步效果在于：本发明2d转3d视频图像提升深度图质量的计算方法基于场景连贯度和场景自然度算法，大大提高了深度图的对比度，并且保持计算开销在合理范围之内，具有深度图对比度提升明显，运算量相对合理的优点。

附图说明

图1为本发明2d转3d视频图像提升深度图质量的计算方法的流程图。

图2为本发明2d转3d视频图像提升深度图质量的计算方法的场景连贯度检测的相邻帧示意图。

具体实施方式

下面结合附图给出本发明较佳实施例，以详细说明本发明的技术方案。

如图1至图2所示，本发明2d转3d视频图像提升深度图质量的计算方法包括下列步骤：

步骤一，由运动估计和运动矢量计算初始深度图；

步骤二，进行当前帧源图像与前一帧源图像之间的场景连贯度检测；

步骤三，进行当前帧源图像场景自然度检测；

步骤四，进行有效深度图区域内的对比度分化阈值计算；

步骤五，进行深度图对比度提升处理。

步骤二中场景连贯度是指当前帧画面的内容与前一帧画面内容的连贯程度，我们平常所观看的视频一般情况下都是连续的场景画面，帧与帧之间的差别往往比较小。但是在视频镜头的场景切换时，切换点的相邻帧之间的差别就非常的大。场景连贯度检测主要就是检测当前帧是处于一段连续帧序列之间还是处于场景切换时的过渡帧中。当然，这也不是绝对的这还取决于场景连贯度阈值的设定。

如图2所示，假设帧图像的宽度为w，高度为h。表示当前帧中坐标为处的像素点的灰度值大小，表示前一帧中坐标为处的像素点的灰度值大小，并且，如果如下式（1）：

（1）那么如下式（2）：

（2）

其中，为场景连贯度阈值，场景像素点改变次数计数器，初始值设为0。也就是说每当相邻帧中对应的像素点y、u、v分量的差值绝对值的和大于场景连贯度阈值时，场景改变次数计数器就自动加一，当然这里所说的像素点包括yuv三个分。相应的场景连贯像素点占总像素点的百分占比为下式（3）：

（3）

表示场景连贯度，一般情况下如果小于某一固定百分比（70%），我们就认为前后两帧图像就没有相关性了，如果大于该百分比就认为当前帧与前一帧相似度较大，前一帧图像对当前图像还具有一定的参考价值。

步骤三中场景自然度指判断当前帧的内容是否为自然场景的参考标准。所谓的自然场景一般是指画面内容没有大面积的同质化，全黑或者全白，当然如果我们需求的图像就是这种情况的话除外。一般认为，在自然界状态下所拍摄的画面，相邻像素的值之间是有大小差别的，这个差别一般会大于某个固定常数。如果相邻像素点之间的差值小于这个固定常数，并且这样的像素点个数达到一定的数量级，我们就认为这幅场景不是自然画面，这样处理有一定的误判，但是对于一部很长的帧序列来说检测结果的可信度还是令人满意的。场景自然度检测主要计算一帧图像中符合自然画面像素点的个数占总像素点个数的百分比，往往自然度检测在电影视频序列中是至关重要的。

电影视频画面中上端和下端往往都是黑色的遮幅，遮幅相对于中心场景来说不包含任何图像信息。如果遮幅所占的像素点的比例过高的话，会给后续算法带来极大的偏差，本算法根据场景自然度的不同自动的选择深度图的有效运算区域。

我们依然假设帧图像的宽度为w，高度为h。表示当前帧中坐标为处的像素点的灰度值大小，并且，，，如下式（4）和下式（5）。

<1>在水平方向上，如果:

（4）

那么（5）

其中：为场景自然度阈值，指水平场景中自然像素点计数器，其初始值为0，x为垂向坐标、y为水平坐标。此处也用到了原图像中y、u、v三个分量的灰度值参与计算。当相间的两个像素相应y、u、v分量的差的绝对值之和大于我们设定的场景自然度阈值时，水平计数器自动加1。用同样的方法，让x、y在上述的h、w范围内一直循环完，就可以得到整个水平方向上自然像素点的个数，如下式（6）、下式（7）和下式（8）。

<2>在垂直方向上，如果:

（6）

那么

（7）

其中：指垂直场景中自然像素点计数器，其初始值为0，x为垂向坐标、y为水平坐标。此处也用到了原图像中y、u、v三个分量的灰度值参与计算。原理同水平方向上一样，每当满足场景自然度阈值条件时，垂直计数器自动加1。用同样的方法，让x、y在上述的h、w范围内一直循环完，就可以得到整个水平方向上自然像素点的个数。

那么相应场景自然度为：

（8）

其中，指场景自然度，表示场景在水平和垂直方向上总的自然像素点的个数，相对应的总像素点的个数。就像算法流程所说的那样，不同的场景自然度对应的深度图的有效区域不同，这样就可以在一定程度上避免原图中黑色遮幅的影响。

步骤四中对比度分化阈值计算包括深度图的有效运算区域的计算和深度图对比度阈值的计算。

深度图的有效运算区域的计算规定：当场景自然度小于等于50%的时候，深度图的水平方向的有效区域为：,垂直方向上为：；当场景自然度在50%~65%之间时，水平方向上的有效区域为：，垂直方向上为：；当场景自然度在65%~80%之间时，水平方向上的有效区域为：，垂直方向上为：；当场景自然度大于等于80%，整幅图像都默认为有效区域。上述处理机制如下表所示：

表1

在自然度小于50%的情况下，默认该幅图像的场景中包含大量无效像素点，例如电影或者电视视频帧序列中的黑色遮幅，只有中间部分的场景可信度较高，所以此时我们选择的水平方向和垂直方向上的有效区域比较窄；在自然度大于80%的情况下，默认该帧图像的所有像素点都富含有效信息，画面中没有黑色遮幅等，所以选择整幅图像作为有效地计算区域。

深度图对比度阈值的计算用于获得图像对比度提升算法的临界参考值，是物体与背景、近景区域与远景区域进一步区分开来的主要依据。在有效场景区域内对比度阈值的计算方法是：把深度图有效区域内所有的像素点的灰度值累加求和，然后再用此累加和除以有效像素点的个数得到像素点的平均灰度值，最后用此平均灰度值除以相应区域内的自然度上限就得到最终的对比度阈值，如下式（9）、下式（10）、下式（11）和下式（12）。

当场景自然度时：

（9）

当场景自然度在50%~65%时：

（10）

当场景自然度在65%~80%时：

（11）

当场景自然度时：

（12）

其中，表示深度图的对比度阈值，h、w分别表示深度图的高度和宽度，表示深度图中相应坐标上的灰度值大小。上述处理机制如下表2所示：

表2

至此，对比度阈值已经求出。上面的公式之所以都乘上相应自然度区间最大自然度的倒数，是作为一个补偿因子来弥补我们舍去的像素区域可能造成的误差。

步骤五基于深度图的对比度阈值划分出不同的临界点，并在这些不同临界点区间对深度图的像素值进行重新赋值。

具体的处理方法为：上一部分计算得到的对比度阈值为，分别选择、、、、这五个点作为重新划分深度图灰度值区域的五个邻近点，划分的区间为：、、、、、。然后以为分界点，如果深度图像素点灰度值在左侧的区间内，分别取像素点的灰度值所在子区间内的区间分界点的下限值代替该子区间内所有像素点的灰度值，如果灰度值的话，原灰度值保持不变；如果深度图像素点灰度值在右侧的区间内，分别取像素点的灰度值所在子区间内的区间分界点的上限值代替该子区间内所有像素点的灰度值，如果灰度值的话，原灰度值也同样保持不变。这种处理方法，让不同子区间内的灰度值呈两种不同的缩进趋势，低灰度区间的灰度值越来越小，高灰度区间的灰度值越来越大，这样整个深度图的对比度就会显著提高，主要计算公式如下式（13）：

（13）其中，、，、分别为深度图的高度和宽度。

通过本文对比度提升算法介绍，本算法依次通过场景连贯度检测、场景自然度检测、对比度分化阈值计算以及对比度提升处理等环节，对源深度图进行运算处理，大大提高了深度图中运动物体与背景的对比度效果，这样渲染出的3d视差图像深度层次感明显，视觉效果突出，并且本算法的场景连贯度机制让整个过程的计算开销保持在合理的范围之内。所以，相比其它的一些深度图对比度优化处理方法，本文算法的上述优点可以实现更加令人满意的深度图效果。

算法会自动根据场景连贯度的大小（场景连贯度阈值）情况判断深度图对比度提升处理过程中是选用当前帧的对比度分化阈值还是选用前一帧的对比度分化阈值。简单的说当前场景连贯度较大时选用前一帧的对比度分化阈值，场景连贯度较小时重新计算当前帧的对比度分化阈值，这种基于场景连贯度的选择性处理可以在一定程度上有效降低算法的运算量，提高运算处理速度。

本发明自动根据场景自然度的大小（场景自然度阈值）情况来确定在深度图中计算对比度分化阈值的有效运算区域。有效运算区域的选择至关重要，因为它决定了对比度分化阈值的计算结果是否准确。如果运算区域选择错误，让一些非自然因素干扰那么不但不能提升深度图质量，反而降低深度图的有效信息量，让最终的3d视差图像受损。在有效运算区域内计算对比度的分化阈值。该过程是一个自适应阈值确定过程，不仅跟深度图运算区域的大小有关，还跟深度图的具体内容有关（特别是运动物体在当前帧中的具体位置）。通过选择合适的对比度分化阈值，对比度提升处理进一步增大深度图中的运动物体和背景灰度值的落差，在处理的过程中不需要人为地设定具体的门限阈值，处理过程中的受限因素小。场景连贯度检测是在当前帧和前一帧之间进行处理的，具有时间维度的属性；场景自然度检测是在当前帧内部不同像素点之间进行处理的，具有空间维度的属性。把时间维度和空间维度结合起来处理也是本发明的一大特点。

综上所述，本发明2d转3d视频图像提升深度图质量的计算方法基于场景连贯度和场景自然度算法，大大提高了深度图的对比度，并且保持计算开销在合理范围之内，具有深度图对比度提升明显，运算量相对合理的优点。

以上所述的具体实施例，对本发明的解决的技术问题、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。