专利名称：一种平面视频立体化的深度图生成方法及装置的制作方法
技术领域：
本发明涉及计算机多媒体技术领域，特别涉及一种平面视频立体化的深度图生成方法及装置。
背景技术：
立体视频技术(也称3D视频技术)是未来多媒体技术的发展方向，立体视频能够提供立体感的新型视频技术。与单通道视频相比，立体视频一般有两个视频通道，数据量要远远大于单通道视频。立体视频可以提供人类视觉能感受到的立体感。现如今，3D技术已经被广泛应用在许多方面，包括通讯、广播、医疗、教育、电脑游戏、动画等等。此外，3D显示器的快速发展使得人们能感受到较好的立体感并且获得眼睛的最大舒适度。传统的2D视频转换成立体视频的方法，是利用一幅图像中单一的深度线索比如物体纹理信息、场景的空间几何信息、物体相对大小信息等等，进行深度信息的提取，最终获得图像在三维世界的投影。但是，大多数的视频中的场景往往变化复杂，既包括动态场景也包括静态场景，因此单一的深度线索，并不能从开始到结束适用于所有的镜头。此外，传统运动视差信息是假设距离观看者近的物体比距离远的物体运动的速度更快，因此利用物体之间的相对运动速度的快慢可以得到视差深度图。但是一段视频的场景往往是很多样的。视频中经常会出现距离观看者远的物体运动快，距离近的物体运动慢， 此时再采用传统的方法处理，就会得到错误的视差图。
发明内容
本发明的目的旨在至少解决上述技术缺陷之一。本发明的第一个目的在于提供一种平面视频立体化的深度图生成方法，该方法融合静态模型和动态模型，生成更加适应场景真实情况的深度图，从而获得效果更加逼真的立体视频。本发明的第二个目的在于提供一种平面视频立体化的深度图生成装置。为实现上述目的，本发明第一方面的实施例提出了一种平面视频立体化的深度图生成方法，包括如下步骤对当前帧图像进行基于场景静态模型分布的图像分割，包括利用所述当前帧图像中像素的特征向量构建图拓扑结构，根据所述当前帧图像的图拓扑结构对所述当前帧图像进行图像分割以得到分割区域，将所述分割区域中属于同一个区域的像素进行标记以生成所述当前帧图像的静态模型深度图；选择所述当前帧图像和所述参考帧图像的特征点，跟踪所述特征点，计算所述当前帧图像和所述参考帧图像中的运动物体的运动矢量，对所述运动矢量进行运动分析以得到所述当前帧图像和所述参考帧图像的运动分析结果；根据所述当前帧图像的分割区域和所述当前帧图像和所述参考帧图像的运动分析结果，生成所述当前帧图像的动态模型深度图；将所述当前帧图像的静态模型深度图和所述当前帧图像的动态模型深度图进行深度融合。根据本发明实施例的平面视频立体化的深度图生成方法，融合静态模型和动态模型，生成既适合运动场景也适合静止场景的深度图，从而获得效果更加逼真的立体视频，达到较好的立体效果。本发明第二方面的实施例提出一种平面视频立体化的深度图生成装置，包括静态模型深度图生成模块，所述静态模型深度图生成模块用于利用所述当前帧图像中像素的特征向量构建所述当前帧图像的图拓扑结构，根据所述当前帧图像的图拓扑结构对所述当前帧图像进行图像分割以得到分割区域，将所述分割区域中属于同一个区域的像素进行标记生成所述当前帧图像的静态模型深度图；运动分析模块，所述运动分析模块用于选择所述当前帧图像和所述参考帧图像的特征点，并跟踪所述特征点，计算所述当前帧图像和所述参考帧图像中的运动物体的运动矢量，对所述运动矢量进行运动分析以得到所述当前帧图像和所述参考帧图像的运动分析结果；动态模型深度图生成模块，所述动态模型深度图生成模块分别与所述静态模型深度图生成模块和所述运动分析模块相连，用于根据所述当前帧图像的分割区域和所述当前帧图像和所述参考帧图像的运动分析结果，生成所述当前帧图像的动态模型深度图；深度融合模块，所述深度融合模块分别与所述静态模型深度图生成模块和所述动态模型深度图生成模块相连，用于将所述当前帧图像的静态模型深度图和所述当前帧图像的动态模型深度图进行自适应的深度融合。根据本发明实施例的平面视频立体化的深度图生成装置，融合静态模型和动态模型，生成既适合运动场景也适合静止场景的深度图，从而获得效果更加逼真的立体视频，达到较好的立体效果。本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中图1为根据本发明实施例的平面视频立体化的深度图生成方法的流程图；图2为根据本发明实施例的静态模型深度图的生成流程；图3为根据本发明实施例的动态模型深度图的生成流程；图4为根据本发明实施例的运动信息分析示意图；图5为根据本发明实施例的平面视频立体化的深度图生成装置的示意图。
具体实施例方式下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。本发明实施例提供的平面视频立体化的深度图生成方法，首先输入平面视频，然后将平面视频分为当前帧、当前帧和参考帧两个分支，分别生成当前帧图像的静态模型深度图和动态模型深度图，再将静态模型深度图和动态模型深度图进行深度融合，从而得到当前帧融合后的深度图。下面参考图1至图4描述根据本发明实施例的平面视频立体化的深度图生成方法。如图1所示，根据本发明实施例的平面视频立体化的深度图生成方法，包括如下步骤SlOl 对当前帧图像进行基于场景静态模型分布的图像分割。如图2所示，图像分割包括如下几个步骤SlOll 将当前帧图像输入到内存后，首先对该当前帧图像进行灰度化处理。灰度化处理的步骤包括将当前帧图像的每个像素RGB通道M位的颜色空间转换为单通道8位颜色空间。通过对当前帧图像进行灰度化处理，从而可以降低后续步骤中处理数据的数量。 然后对灰度化处理后的当前帧图像进行聚类操作。可以理解是，上述对当前帧图像进行灰度化处理的步骤是可选的，即可以对当前帧图像不经过灰度化处理而直接进行聚类操作。S1012:图像分割的过程可以当作元素聚类问题进行处理，具体而言，将当前帧图像的基本元素(例如像素)或者其他的成分聚集分组在一个具有相似成分的组块中，即对当前帧图像进行聚类操作。根据图像分割过程中处理图像的数据结构的不同，聚类操作包括以下两种方式1)在向量空间中，将当前帧图像的元素作为一个独立的的向量。将像素的部分特征分量作为特征向量，通过中央聚簇算法将上述特征向量进行归并分组。通过上述方法得到的当前帧图像的全局特征很有效。但是也存在下述缺点，该方法由于没有利用向量的空间结构信息，从而不能保存当前帧图像的很多细节信息，因此经常会将实际不连通的区域错误地归并到一个组中。2)利用当前帧图像中元素的空间关系和连通边界信息，在空间域中处理当前帧图像，然后将当前帧图像转化为二维的图拓扑结构。该方法利用了元素的空间关系和联通边界信息，从而可以保存当前帧图像的细节信息。优选地，采用第二种方式对当前帧图像进行聚类操作。将当前帧图像转换为图拓扑结构G (V，E)，其中，V是图像中的节点，E是相邻节点之间的边的权重。Vi可以为单独的像素也可以为一个有着均勻形状、相似纹理或其他特征结构的微小子区域，例如可以将一幅图像分成若干个5X5的小块，每个小块作为一个基本节点。在本发明的一个实施例中，采用颜色向量作为特征向量表述因子。在特征空间中，Xi 为RGB颜色信息的向量，边的代价Ei，j有一个正值的权重Wi，j，其中Wi，j反映了节点(i， j)之间的相似性程度。本发明采用两个节点之间的欧几里得距离衡量Wi，j的大小。
权利要求
1.一种平面视频立体化的深度图生成方法，其特征在于，包括如下步骤对当前帧图像进行基于场景静态模型分布的图像分割，包括利用所述当前帧图像中像素的特征向量构建图拓扑结构，根据所述当前帧图像的图拓扑结构对所述当前帧图像进行图像分割以得到分割区域，将所述分割区域中属于同一个区域的像素进行标记以生成所述当前帧图像的静态模型深度图；选择所述当前帧图像和所述参考帧图像的特征点，跟踪所述特征点，计算所述当前帧图像和所述参考帧图像中的运动物体的运动矢量，对所述运动矢量进行运动分析以得到所述当前帧图像和所述参考帧图像的运动分析结果；根据所述当前帧图像的分割区域和所述当前帧图像和所述参考帧图像的运动分析结果，生成所述当前帧图像的动态模型深度图；将所述当前帧图像的静态模型深度图和所述当前帧图像的动态模型深度图进行自适应的深度融合。
2.如权利要求1所述平面视频立体化的深度图生成方法，其特征在于，在所述构建图拓扑结构之前，还包括对所述当前帧图像进行灰度化处理，包括将所述当前帧图像的像素RGB三通道M位的颜色空间转化为单通道8位颜色空间。
3.如权利要求1所述的平面视频立体化的深度图生成方法，其特征在于，所述构建所述当前帧图像的图拓扑结构，包括如下步骤将所述当前帧图像的元素作为一个独立的向量，将所述当前帧图像的像素的部分特征分量作为特征向量，构造所述当前帧图像的图拓扑结构。
4.如权利要求1所述的平面视频立体化的深度图生成方法，其特征在于，所述构建所述当前帧图像的图拓扑结构，包括如下步骤利用所述当前帧图像中元素的空间关系和连通边界信息，在空间域中处理所述当前帧图像，将所述当前帧图像转化为二维的图拓扑结构。
5.如权利要求1所述的平面视频立体化的深度图生成方法，其特征在于，所述对所述当前帧图像进行图像分割，包括如下步骤采用最小生成树方法将所述当前帧图像的图拓扑结构进行分割以将所述当前帧图像分割为多个有效区域。
6.如权利要求5所述的平面视频立体化的深度图生成方法，其特征在于，将所述多个有效区域中属于同一个区域的像素进行标记之前还包括如下步骤设置所述每个有效区域中的至少包括的子区域的数量；根据设置的所述子区域的数量对所述多个有效区域进行归并融合。
7.如权利要求1所述的平面视频立体化的深度图生成方法，其特征在于，所述对运动矢量进行运动分析包括如下步骤将所述当前帧图像和所述参考帧图像划分为中部区域和边界区域，其中，所述中部区域为图像的中部区域，表示前景运动物体的所处区域；所述边界区域包括图像的顶部边界区域、左部边界区域和右部边界区域，表示用于拍摄所述运动物体的相机的运动区域；对所述中部区域和所述边界区域进行分析得到所述运动分析结果。
8.如权利要求7所述的平面视频立体化的深度图生成方法，其特征在于，所述运动分析结果包括运动物体运动分量、相机运动分量和复杂运动分量，
9.如权利要求1所述的平面视频立体化的深度图生成方法，其特征在于，所述将当前帧图像的静态模型深度图和所述当前帧图像的动态模型深度图进行深度融合，包括如下步骤设置所述当前帧图像的静态模型深度图的权重和所述当前帧图像的动态模型深度图的权重，计算所述当前帧图像深度融合后的深度图Ddepth为其中，Dp为所述当前帧图像的静态模型深度图，Dm为所述当前帧图像的动态模型深度图，wl为所述当前帧图像的静态模型深度图的权重，w2为所述当前帧图像的动态模型深度图的权重，wl和w2满足Wl+W2 = 1。
10.一种平面视频立体化的深度图生成装置，其特征在于，包括静态模型深度图生成模块，所述静态模型深度图生成模块用于利用所述当前帧图像中像素的特征向量构建所述当前帧图像的图拓扑结构，根据所述当前帧图像的图拓扑结构对所述当前帧图像进行图像分割以得到分割区域，将所述分割区域中属于同一个区域的像素进行标记生成所述当前帧图像的静态模型深度图；运动分析模块，所述运动分析模块用于选择所述当前帧图像和所述参考帧图像的特征点，并跟踪所述特征点，计算所述当前帧图像和所述参考帧图像中的运动物体的运动矢量，对所述运动矢量进行运动分析以得到所述当前帧图像和所述参考帧图像的运动分析结果；动态模型深度图生成模块，所述动态模型深度图生成模块分别与所述静态模型深度图生成模块和所述运动分析模块相连，用于根据所述当前帧图像的分割区域和所述当前帧图像和所述参考帧图像的运动分析结果，生成所述当前帧图像的动态模型深度图；深度融合模块，所述深度融合模块分别与所述静态模型深度图生成模块和所述动态模型深度图生成模块相连，用于将所述当前帧图像的静态模型深度图和所述当前帧图像的动态模型深度图进行自适应的深度融合。
11.如权利要求10所述的平面视频立体化的深度图生成装置，其特征在于，所述静态模型深度图生成模块在构建所述图拓扑结构之前，对所述当前帧图像进行灰度化处理，包括将所述当前帧图像的像素RGB三通道M位的颜色空间转化为单通道8位颜色空间。
12.如权利要求10所述的平面视频立体化的深度图生成装置，其特征在于，所述静态模型深度图生成模块采用以下两种方式之一分割图像图拓扑结构1)将所述当前帧图像的元素作为一个独立的向量，将所述当前帧图像的像素的部分特征分量作为特征向量，采用中央聚簇算法将所述特征向量归并分组，分割图像图拓扑结构；2)利用所述当前帧图像中元素的空间关系和连通边界信息，在空间域中处理所述当前帧图像，将所述当前帧图像转化为二维的图拓扑结构，基于所述图拓扑结构分割图像。
13.如权利要求10所述的平面视频立体化的深度图生成装置，其特征在于，所述静态模型深度图生成模块采用最小生成树方法将所述当前帧图像的图拓扑结构进行图像分割以将所述当前帧图像分割为多个有效区域。
14.如权利要求13所述的平面视频立体化的深度图生成装置，其特征在于，所述静态模型深度图生成模块设置所述每个有效区域中的至少要包括的子区域的数量，根据设置的所述子区域的数量对所述多个有效区域进行归并融合以生成所述当前帧图像的静态模型深度图。
15.如权利要求10所述的平面视频立体化的深度图生成装置，其特征在于，所述动态模型深度图生成模块将所述当前帧图像和所述参考帧图像划分为中部区域和边界区域，并对所述中部区域和所述边界区域进行分析得到所述运动分析结果，其中，所述中部区域为图像的中部区域，表示前景运动物体的所处区域；所述边界区域包括图像的顶部边界区域、 左部边界区域和右部边界区域，表示用于拍摄所述运动物体的相机的运动区域。
16.如权利要求15所述的平面视频立体化的深度图生成装置，其特征在于，所述运动分析结果包括运动物体运动分量、相机运动分量和复杂运动分量，
17.如权利要求10所述的平面视频立体化的深度图生成装置，其特征在于，所述深度融合模块设置所述当前帧图像的静态模型深度图的权重和所述当前帧图像的动态模型深度图的权重，计算所述当前帧图像深度融合后的深度图Ddepth为
全文摘要
本发明公开一种平面视频立体化的深度图生成方法，包括如下步骤对当前帧图像进行基于场景静态模型分布的图像分割得到分割区域，标记像素并将像素聚类到不同区域生成当前帧图像的静态模型深度图；选择当前帧图像和参考帧图像的特征点，计算运动物体的运动矢量，对运动矢量进行运动分析以得到当前帧图像和参考帧图像的运动分析结果；根据当前帧图像的分割区域和当前帧图像和参考帧图像的运动分析结果，生成当前帧图像的动态模型深度图；将当前帧图像的静态模型深度图和动态模型深度图进行自适应的融合。本发明还公开一种平面视频立体化的深度图生成装置。本发明融合场景的静态模型和动态模型，获得效果更加逼真的立体视频，达到较好的立体效果。
文档编号H04N9/77GK102263979SQ20111022380
公开日2011年11月30日 申请日期2011年8月5日 优先权日2011年8月5日
发明者戴琼海, 李唯一 申请人:清华大学