专利名称：多视点立体视频的深度序列生成方法和装置的制作方法
技术领域：
本发明涉及计算机视觉和视频处理技术领域，特别涉及一种多视点立体视频的深度序列生成方法和装置。
背景技术：
多视点立体视频是当前计算机视觉、图形学、图像视频处理等学科领域的研究热点，被广泛应用于影视制作、文物保护、军事模拟等领域。多视点立体视频数据由色彩、纹理、运动、深度等多维信息构成。其中深度信息的存在，使得多视点立体视频在视觉上具有强烈的真实感与沉浸感。但是，目前动态场景高精度稠密深度图的获取需要极大的计算资源，限制了需要深度信息的多视点立体视频系统的广泛应用和发展。因此，如何高效的获取稠密深度图序列，是一个亟待解决的关键问题。视差估计的过程即为立体匹配的过程，是进行多视点立体视频深度计算的前提。 目前立体匹配方法可归结为两类基于窗口的局部方法和利用能量函数进行求解的全局方法。基于窗口的局部方法的特点是计算复杂度低，执行效率高，但得到的视差误差较大，匹配精度较低，难以满足那些对匹配精度要求较高的实际应用；而基于能量的全局方法则由于可以得到较为精确的视差值，因此受到越来越广泛的重视。基于能量的全局方法中的能量函数一般是以下两部分能量之和首先是数据项，用来测量单个基元之间的对应性；其次是平滑项，用来约束相邻基元间视差的跳跃。构造完能量函数后，即可再利用优化算法来最小化或最大化能量函数和求得视差的最优解。目前在立体匹配中应用最为成功的优化算法是图割(GC, Graph Cut)和置信传递(BP, Belief Propagation)算法。为了获取高精度的多视点立体视频深度序列，现有方法通常采用全局优化的方法来通过多次迭代获得最优解，但是，现有方法不仅计算复杂度高，且对硬件要求高，带来硬件成本的提高。
发明内容
本发明旨在至少解决上述技术问题之一。为此，本发明的一个目的在于提出一种多视点立体视频的深度序列生成方法，该方法通过对深度信息的有效预判，从而降低计算量，提高计算效率。另外，该方法对计算所占用的资源消耗小，对硬件要求低，节省硬件成本。本发明的另一目的在于提出一种多视点立体视频的深度序列生成装置，该装置通过对深度信息的有效预判，从而降低计算量，提高计算效率，且对计算所占用的资源消耗小，对硬件要求低，节省硬件成本。另外，该装置结构简单，易于实现。为了实现上述目的，本发明第一方面实施例提出的多视点立体视频的深度序列生成方法，包括以下步骤提供多视点立体视频序列，其中，所述多视点立体视频序列的视点的数量为N，N为不小于2的整数；根据所述多视点立体视频序列构造所述多视点立体视频序列的贝叶斯模型，并根据所述贝叶斯模型确定所述多视点立体视频序列中每一帧图像中每一个像素点的深度获取方式；根据所述深度获取方式对相应的像素点进行深度赋值以得到所述每一帧图像的深度图像，其中，所述深度获取方式包括时域预测方法、视点间预测方法和深度计算方法；以及根据所述多视点立体视频序列的每个视点和所述每一帧图像的采集时间对全部所述深度图像进行整合，以得到与所述多视点立体视频序列对应的深度序列。根据本发明实施例的多视点立体视频的深度序列生成方法，通过多视点立体视频序列中的彩色视频信息提供时域和视点间相关性信息，然后结合贝叶斯概率模型进行动态更新，对深度信息进行有效预判，从而能够降低全局优化的迭代次数，降低计算复杂度。另外，应用本发明实施例的方法得到的深度图，能够在保证深度序列数值精度的情况下，明显降低计算复杂度、使运算耗时大幅降低，提高计算效率，且该方法占用计算资源与传统方法相比较少，因此，对硬件的要求低，进而降低硬件成本。另外，根据本发明的多视点立体视频的深度序列生成方法还可以具有如下附加的技术特征在本发明的一个实施例中，所述贝叶斯模型包括时域贝叶斯模型，所述时域贝叶斯模型为根据所述多视点立体视频序列的同一视点下的所述每一帧图像的获取时间建立； 视点间贝叶斯模型，所述视点间贝叶斯模型为根据所述多视点立体视频序列在同一时刻、 不同视点的N个图像间的关系建立。根据本发明的一个实施例，所述时域贝叶斯模型如下所示
权利要求
1.一种多视点立体视频的深度序列生成方法，其特征在于，包括以下步骤提供多视点立体视频序列，其中，所述多视点立体视频序列的视点的数量为N，N为不小于2的整数；根据所述多视点立体视频序列构造所述多视点立体视频序列的贝叶斯模型，并根据所述贝叶斯模型确定所述多视点立体视频序列中每一帧图像中每一个像素点的深度获取方式；根据所述深度获取方式对相应的像素点进行深度赋值以得到所述每一帧图像的深度图像，其中，所述深度获取方式包括时域预测方法、视点间预测方法和深度计算方法；和根据所述多视点立体视频序列的每个视点和所述每一帧图像的采集时间对全部所述深度图像进行整合，以得到与所述多视点立体视频序列对应的深度序列。
2.根据权利要求1所述的深度序列生成方法，其特征在于，所述贝叶斯模型包括时域贝叶斯模型，所述时域贝叶斯模型为根据所述多视点立体视频序列的同一视点下的所述每一帧图像的获取时间建立；以及视点间贝叶斯模型，所述视点间贝叶斯模型为根据所述多视点立体视频序列在同一时刻、不同视点的N个图像间的关系建立。
3.根据权利要求2所述的深度序列生成方法，其特征在于，所述时域贝叶斯模型如下所示
4.根据权利要求3所述的深度序列生成方法，其特征在于，所述像素点It(x，y)的时域特征参数ft(x，y)的计算公式如下
5.根据权利要求3所述的深度序列生成方法，其特征在于，所述像素点It(x，y)的视点间特征参数fs(x，y)通过如下方式计算
6.根据权利要求3所述的深度序列生成方法，其特征在于，根据式1和式2判断如下公式是否正确，其中，所述公式为
7.根据权利要求6所述的深度序列生成方法，其特征在于，如果判断式7和式8均不成立，则所述像素点It(x，y)的深度值采用深度计算方法得到。
8.根据权利要求6所述的深度序列生成方法，其特征在于，所述像素点It(x，y)的深度值采用时域预测方法计算，进一步包括在Ih帧中得到与It (X，y)对应的像素点It ，)； 将所述像素点Ih (χ，，y，)的深度值赋予像素点It (χ，y)。
9.根据权利要求6所述的深度序列生成方法，其特征在于，所述像素点It(x，y)的深度值采用视点间预测方法计算，进一步包括在与帧It同时刻且不同视点的帧I’ t中得到与It(X，y)对应的像素点I’ t(X，，y，)； 将所述像素点I，t(x，，y，)的深度值赋予所述像素点It ，)。
10.根据权利要求1所述的深度序列生成方法，其特征在于，所述深度计算方法包括 图像分割算法Graph Cut、信念传播法Belief Propagation和动态规划法DynamicProgram的至少之一。
11.一种多视点立体视频的深度序列生成装置，其特征在于，包括图像提取模块，所述图像提取模块用于提供多视点立体视频序列，其中，所述多视点立体视频序列的视点的数量为N，N为不小于2的整数；判断模块，所述判断模块用于根据所述多视点立体视频序列构造所述多视点立体视频序列的贝叶斯模型，并根据所述贝叶斯模型确定所述多视点立体视频序列中每一帧图像中每一个像素点的深度获取方式；运算模块，所述运算模块用于根据所述深度获取方式对相应的像素点进行深度赋值以得到所述每一帧图像的深度图像，其中，所述深度获取方式包括时域预测方法、视点间预测方法和深度计算方法；以及整合模块，所述整合模块用于根据所述多视点立体视频序列的每个视点和所述每一帧图像的采集时间对全部所述深度图像进行整合，以得到与所述多视点立体视频序列对应的深度序列。
12.根据权利要求11所述的深度序列生成装置，其特征在于，所述贝叶斯模型包括 时域贝叶斯模型，所述时域贝叶斯模型为根据所述多视点立体视频序列的同一视点下的所述每一帧图像的获取时间建立；视点间贝叶斯模型，所述视点间贝叶斯模型为根据所述多视点立体视频序列在同一时刻、不同视点的N个图像间的关系建立。
13.根据权利要求12所述的深度序列生成装置，其特征在于，所述时域贝叶斯模型为
14.根据权利要求13所述的深度序列生成装置，其特征在于，所述像素点It(x，y)的时域特征参数ft(x，y)的计算公式如下ft (χ，y) = lt-i (χ，y)-It (χ，y)式 5,其中，Ih (X，y)为帧IH中坐标为(X，y)的像素点；所述像素点It (X，y)的视点间特征参数fs(x，y)通过如下方式计算fs(x,y) = σ (B)式 6，其中，Bt是以AIt(x，y)为中心且大小为的元素块，其中m为大于或等于1的正整数，σ ()为标准差算子，AIt (x，y)为当前视点的像素It(x，y)与相邻视点对应像素点Γ t(X，y)的绝对差值，所述元素块Bt中元素个数与It中以(x，y)为中心且大小为Om+1) X (2m+l)的块所包含的像素个数相同，且所述元素与所述像素一一对应，每个元素的值为其对应像素点的视差值。
15.根据权利要求13所述的深度序列生成装置，其特征在于，根据式1和式2判断如下公式是否正确，其中，所述公式为
16.根据权利要求15所述的深度序列生成装置，其特征在于，如果判断式7和式8均不成立，则所述像素点It(x，y)的深度值采用深度计算方法得到。
17.根据权利要求15所述的深度序列生成装置，其特征在于，所述像素点It(x，y)的深度值采用时域预测方法计算通过在。帧中得到与It (χ，y)对应的像素点。(χ’，y’)，并将所述像素点Ih (χ，，y，)的深度值赋予像素点It (χ，y)，所述像素点It(x，y)的深度值采用视点间预测方法计算通过在与帧It同时刻且不同视点的帧I’ t中得到与It(χ,y)对应的像素点I’ t(x’，y’)，并将所述像素点I’ t(x’，y’)的深度值赋予所述像素点Ih (χ，，y，)。
18.根据权利要求10所述的深度序列生成装置，其特征在于，所述运算模块通过深度计算方法计算深度值，其中，所述深度计算方法包括图像分割算法Graph Cut、信念传播法Belief Propagation和动态规划法Dynamic Program的至少之一。
全文摘要
本发明提出一种多视点立体视频的深度序列生成方法和装置，该方法包括以下步骤提供多视点立体视频序列，其中，所述多视点立体视频序列的视点的数量为N，N为不小于2的整数；根据多视点立体视频序列构造多视点立体视频序列的贝叶斯模型，并根据该模型确定每一帧图像中每一个像素点的深度获取方式；根据深度获取方式对相应的像素点进行深度赋值以得到每一帧图像的深度图像，其中，深度获取方式包括时域预测、视点间预测和深度计算方法；和根据该序列的每个视点和图像采集时间对全部深度图像进行整合得到深度序列。应用本发明实施例方法计算得到的深度图精度高，且计算复杂度低，有效提高计算效率。该装置结构简单，易于实现。
文档编号H04N13/00GK102271268SQ20111022743
公开日2011年12月7日 申请日期2011年8月9日 优先权日2011年8月9日
发明者刘琼, 季向阳, 戴琼海 申请人:清华大学