专利名称：一种平面视频的深度图求取方法
技术领域：
本发明涉及图像处理技术领域，特别涉及一种基于背景重构及运动检测的平面视频的深度图求取方法。
背景技术：
在立体视频处理技术中，平面视频的深度图生成是指通过平面视频得到标识场景立体信息的深度图序列。目前常用的深度图生成方法主要是利用平面视频的几何信息，摄像机参数，平面视频中物体的颜色特征等进行全局求取。另外可以通过关键帧图像及对应的深度图对非关键帧的深度图进行计算，计算方法主要包括深度扩散或轮廓跟踪等方法。该方法在关键帧和非关键帧变化较小的场景有较好的效果。背景重构和运动检测是视频处理中的关键技术，背景重构是指从具有运动物体的场景中恢复静态的背景。目前常用的方法是利用参数或非参数建模方法，对视频中每个像素点建立模型，通过匹配模型对大量采样进行判断和参数变更。主要利用了像素的颜色信息以及视频帧间的关联性。运动检测是指从有运动物体的视频中提取运动物体的信息。目前常用的方法是将运动信息，颜色信息和物体的几何形状信息相结合，从而提取出前景物体。现有的深度图生成方法往往只能处理包含简单场景和运动模式的平面视频，对于具有复杂场景的处理缺乏鲁棒性(robustness)，从而导致生成的深度图精确度不高。
发明内容
本发明的目的旨在至少解决上述技术缺陷之一，特别是提供一种能够精确求取平面视频中每一帧的深度图像的方法。为达到上述目的，本发明提供一种平面视频的深度图求取方法，包括以下步骤SI :对原始平面视频中的前景运动物体进行检测和提取，计算所述前景运动物体的遮挡关系，得到所述前景运动物体的掩膜图像；S2 :根据所述前景运动物体的掩膜图像对所述原始平面视频进行背景重构，以得到去除所述前景运动物体的背景视频序列；S3 :对所述背景视频序列求取背景深度图序列；S4 :对所述原始平面视频求取初始深度图序列；S5 :根据所述初始深度图序列中所述前景运动物体的初始深度信息，以及所述背景深度图序列中的所述前景运动物体的几何信息，得到所述平面原始视频的深度图序列。在本发明的一个实施例中，所述步骤SOl进一步包括以下步骤S11 :通过运动检测方法检测并提取所述原始平面视频中的所述前景运动物体；S12 :计算所述前景运动物体的面积，并将其中面积较小的物体去除；S13 :根据所述前景运动物体的颜色信息，判断可能存在的多个所述前景物体之间的遮挡关系。在本发明的一个实施例中，步骤S2进一步包括以下步骤S21 :根据所述前景运动物体的掩膜图像，得到去除所述前景运动物体的背景视频序列；S22 :根据图像相邻像素的相似性对所述背景视频序 列进行图像修补；S23 :根据所述前景运动物体的运动信息和所述背景视频序列帧间的像素关联，填补所述背景视频序列中的空白区域；S24 :根据图像相邻像素的相似性对所述背景视频序列进行插值和平滑操作。在本发明的一个实施例中，步骤S22中所述图像修补的算法包括inpaint算法、patch-match 算法。在本发明的一个实施例中，步骤S3包括对所述背景视频序列使用静态场景的深度图生成算法，以得到所述背景深度图序列。在本发明的一个实施例中，静态场景的深度图生成算法包括Bundle算法。在本发明的一个实施例中，步骤S4包括使用深度估计算法对所述原始平面视频进行深度估计，以得到所述初始深度图序列。在本发明的一个实施例中，所述深度估计算法包括BP算法。在本发明的一个实施例中，步骤S5进一步包括以下步骤S51 :由所述前景运动物体的掩膜图像和所述初始深度图序列得到所述前景运动物体的初始深度图；S52 :结合所述背景深度图序列的信息和所述前景运动物体的空间位置信息，对每一帧所述前景运动物体的初始深度图进行修正，以得到包含所述前景运动物体和背景的深度图序列；S53 :对包含所述前景运动物体和背景的深度图序列进行滤波处理。在本发明的一个实施例中，步骤S52进一步包括计算摄像机参数，结合所述前景运动物体的空间位置信息估计所述前景运动物体所处的运动平面；在所述背景深度图序列中，提取所述运动平面的深度信息，对每一帧所述前景运动物体的初始深度图进行修正。在本发明的一个实施例中，步骤S53中所述滤波处理包括双边滤波，高斯滤波。在本发明的一个实施例中，步骤S5之后还包括对所述平面原始视频的深度图序列进行平滑后处理。本发明提供一种平面视频的深度图求取方法。通过运动检测得到视频的前景运动物体的掩膜图像，根据该掩膜图像对视频进行背景重构得到去除前景运动物体的背景视频，然后对背景视频进行深度图求取以及对原视频进行初始的深度图估计，再结合二者的信息以及前景运动物体的运动信息和几何信息，最终得到优化的原视频的深度图序列。根据本发明实施例的方法能够精确求取平面视频中每一帧的深度图，并且所求取的深度图边缘清楚、深度层次明确、平滑性能好且时域稳定性高。此外，根据本发明实施例的平面视频的深度图求取方法能够处理具有多个运动物体的复杂场景，适应性强，应用广泛。本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中图I为本发明实施例的平面视频的深度图求取方法流程图。
具体实施例方式下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。图1为本发明实施例的平面视频的深度图求取方法流程图，该方法包括以下步骤步骤SI :对原始平面视频中的前景运动物体进行检测和提取，计算前景运动物体的遮挡关系，得到前景运动物体的掩膜图像。具体地，可以包括以下步骤步骤Sll :通过运动检测方法检测并提取原始平面视频中的前景运动物体，以得到初始前景掩膜图像。例如，利用运动信息，颜色信息等，通过背景建模，轮廓跟踪等运动检测方法对原始平面视频中的运动物体进行检测并提取。需指出的是，本发明实施例可以运用于具有多个运动物体的复杂场景，故在该步骤中，可以检测提取原始平面视频中所有的前景运动物体。步骤S12 :计算前景运动物体的面积，并将其中面积较小的物体去除。在检测中，由于抖动、光线变化等原因可能造成背景中某个物体的部分微小运动，而该微小运动也可能被认定为前景运动，从而导致误检测。由于这类微小运动往往面积较小，故通过面积检测可以修正背景物体微小运动导致的误检测。步骤S13 :根据前景运动物体的颜色信息，判断可能存在的多个所述前景物体之间的遮挡关系。当两个物体出现遮挡时，被遮挡物体将出现明显的颜色跳变，从而根据前景运动物体的颜色信息，可以计算原始平面视频中可能存在的多个物体遮挡关系。步骤S12和S12是对步骤Sll得到的初始前景掩膜图像进行修正。步骤S2 :根据前景运动物体的掩膜图像对原始平面视频进行背景重构，以得到去除所述前景运动物体的背景视频序列。具体地，可以包括以下步骤步骤S21 :根据步骤S14的结果，去除原始平面视频每一帧中的前景运动物体部分，得到初始背景视频序列；步骤S22 :根据图像相邻像素的相似性，例如颜色相关性，对初始背景视频序列的每一帧进行图像修补，得到粗略的背景图像。在本实施例中，图像修补算法可以是inpaint算法，patch-match算法等。步骤S23 :在步骤S22得到的背景图像的基础上，根据前景运动物体的运动信息和背景视频序列帧间的像素关联，填补该背景图像中的空白区域。在本实施例中，运动信息包括原始平面视频中的运动物体的运动方向和位移，对于具有复杂运动的物体，其运动信息包括物体每个部分的运动信息；帧间的像素关联包括帧间的时间和空间连续性。步骤S24 :再次根据图像相邻像素的相似性对该背景图像进行插值和平滑操作，得到仅包括背景信息的背景视频序列。在本发明实施例中，通过将原始平面视频中的前景信息和背景信息分离，以对前景视频和背景视频分开处理，从而降低处理难度，并且提高生成深度图的精度。步骤S3 :对背景视频序列求取背景深度图序列。在本发明实施例中，可以对步骤S24得到的背景视频序列，使用静态场景的深度图生成算法，如Bundle算法等，计算得到背景深度图序列。步骤S4 :对原始平面视频求取初始深度图序列。在本发明实施例中，可以使用深度估计算法，如BP算法等，对原始平面视频进行深度估计。
步骤S5 :根据初始深度图序列中前景运动物体的初始深度信息，以及背景深度图序列中的前景运动物体的几何信息，得到平面原始视频的深度图序列。具体地，可以包括以下步骤 步骤S51 :结合前景运动物体的掩膜图像和原始平面视频的初始深度图序列，得到前景运动物体的初始深度图。步骤S52 :结合背景深度图序列的信息和前景运动物体的运动信息和几何信息，对每一帧前景运动物体的初始深度图进行修正，以得到包含前景运动物体和背景的深度图序列。例如在本实施例中，该步骤可以通过以下方式实现首先，计算摄像机参数，结合前景运动物体的运动信息和几何信息估计该前景运动物体所处的运动平面，其中，几何信息包括场景中的前景和背景的三维空间位置，三维空间结构等；然后，在背景深度图序列中，提取该运动平面的深度信息，与初始深度图中的初始深度信息进行融合，优化前景运动物体的深度信息，即对每一帧前景运动物体的初始深度图进行修正。步骤S53 :对包含前景运动物体和背景的深度图序列进行滤波处理，以保持深度图序列中前景运动物体深度的时间和空间的连续性。在本实施例中，滤波处理的方法包括双边滤波，高斯滤波等。在本发明优选的实施例中，在步骤S53之后还包括对平面原始视频的深度图序列进行平滑后处理，以提高深度图的平滑性能。本发明提供一种平面视频的深度图求取方法。通过运动检测得到视频的前景运动物体的掩膜图像，根据该掩膜图像对视频进行背景重构得到去除前景运动物体的背景视频，然后对背景视频进行深度图求取以及对原视频进行初始的深度图估计，再结合二者的信息以及前景运动物体的运动信息和几何信息，最终得到优化的原视频的深度图序列。根据本发明实施例的方法能够精确求取平面视频中每一帧的深度图，并且所求取的深度图边缘清楚、深度层次明确、平滑性能好且时域稳定性高。此外，根据本发明实施例的平面视频的深度图求取方法能够处理具有多个运动物体的复杂场景，应用前景广泛。在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同限定。
权利要求
1.一种平面视频的深度图求取方法，其特征在于，包括以下步骤 Si:对原始平面视频中的前景运动物体进行检测和提取，计算所述前景运动物体的遮挡关系，得到所述前景运动物体的掩膜图像； 52:根据所述前景运动物体的掩膜图像对所述原始平面视频进行背景重构，以得到去除所述前景运动物体的背景视频序列； 53:对所述背景视频序列求取背景深度图序列； 54:对所述原始平面视频求取初始深度图序列； 55:根据所述初始深度图序列中所述前景运动物体的初始深度信息 ，以及所述背景深度图序列中的所述前景运动物体的几何信息，得到所述平面原始视频的深度图序列。
2.如权利要求I所述的平面视频的深度图求取方法，其特征在于，所述步骤SOl进一步包括以下步骤 511:通过运动检测方法检测并提取所述原始平面视频中的所述前景运动物体； 512:计算所述前景运动物体的面积，并将其中面积较小的物体去除； S13:根据所述前景运动物体的颜色信息，判断可能存在的多个所述前景物体之间的遮挡关系。
3.如权利要求I所述的平面视频的深度图求取方法，其特征在于，步骤S2进一步包括以下步骤521:根据所述前景运动物体的掩膜图像，得到去除所述前景运动物体的背景视频序列； 522:根据图像相邻像素的相似性对所述背景视频序列进行图像修补； S23:根据所述前景运动物体的运动信息和所述背景视频序列帧间的像素关联，填补所述背景视频序列中的空白区域； S24 :根据图像相邻像素的相似性对所述背景视频序列进行插值和平滑操作。
4.如权利要求3所述的平面视频的深度图求取方法，其特征在于，步骤S22中所述图像修补的算法包括inpaint算法、patch-match算法。
5.如权利要求I所述的平面视频的深度图求取方法，其特征在于，步骤S3包括对所述背景视频序列使用静态场景的深度图生成算法，以得到所述背景深度图序列。
6.如权利要求5所述的平面视频的深度图求取方法，其特征在于，静态场景的深度图生成算法包括Bundle算法
7.如权利要求I所述的平面视频的深度图求取方法，其特征在于，步骤S4包括使用深度估计算法对所述原始平面视频进行深度估计，以得到所述初始深度图序列。
8.如权利要求7所述的平面视频的深度图求取方法，其特征在于，所述深度估计算法包括BP算法。
9.如权利要求I所述的平面视频的深度图求取方法，其特征在于，步骤S5进一步包括以下步骤、 S51 :由所述前景运动物体的掩膜图像和所述初始深度图序列得到所述前景运动物体的初始深度图； 、S52:结合所述背景深度图序列的信息和所述前景运动物体的空间位置信息，对每一帧所述前景运动物体的初始深度图进行修正，以得到包含所述前景运动物体和背景的深度图序列； S53 :对包含所述前景运动物体和背景的深度图序列进行滤波处理。
10.如权利要求9所述的平面视频的深度图求取方法，其特征在于，步骤S52进一步包括 计算摄像机参数，结合所述前景运动物体的空间位置信息估计所述前景运动物体所处的运动平面； 在所述背景深度图序列中，提取所述运动平面的深度信息，对每一帧所述前景运动物体的初始深度图进行修正。
11.如权利要求9所述的平面视频的深度图求取方法，其特征在于，步骤S53中所述滤波处理包括双边滤波，高斯滤波。
12.如权利要求I所述的平面视频的深度图求取方法，其特征在于，步骤S5之后还包括对所述平面原始视频的深度图序列进行平滑后处理。
全文摘要
本发明提供一种平面视频的深度图求取方法，包括以下步骤对原始平面视频中的前景运动物体进行检测和提取，计算前景运动物体的遮挡关系，得到前景运动物体的掩膜图像；根据前景运动物体的掩膜图像对原始平面视频进行背景重构，以得到去除前景运动物体的背景视频序列；对背景视频序列求取背景深度图序列；对原始平面视频求取初始深度图序列；根据初始深度图序列中前景运动物体的初始深度信息，以及背景深度图序列中的前景运动物体的几何信息，得到平面原始视频的深度图序列。根据本发明实施例的方法能够精确求取平面视频中每一帧的深度图，并且所求取的深度图边缘清楚、深度层次明确、平滑性能好且时域稳定性高。
文档编号G06T5/00GK102622768SQ201210067349
公开日2012年8月1日 申请日期2012年3月14日 优先权日2012年3月14日
发明者巨金龙, 戴琼海, 林靖宇 申请人:清华大学