专利名称：双目立体视频的时空一致性分割方法
技术领域：
本发明涉及图像视频处理技术领域，特别涉及一种双目立体视频的时空一致性分割方法。
背景技术：
图像分割是计算机视觉领域的基本问题，旨在将图像空域上相似的像素进行聚类分析，而视频分割是图像分割在时域上的扩展，这种分割能保持图像分割在时域上的一致性和连贯性，可用于更高级别的视觉任务，如物体识别，目标跟踪，基于内容的检索等。最简单的视频分割方法是对视频序列中的视频帧分别进行图像分割，这种方法简单高效，但是由于缺乏时域信息，会产生帧间的抖动。目前更主流的方法是时空联合分割方法，即同时利用图像的空间相关性和视频的时间相关性，以获得更好的分割效果，根据是否利用后续视频帧信息可以分为在线分割方法和离线分割方法。在线分割方法只利用前帧的信息，可达到实时的速度，而离线分割方法综合考虑了前后帧的信息，通常可以获得更稳定的结果，但计算量较大。另外，借助于人工输入和 半监督学习的方法，可以使视频获得更有语义性的分害I]，在物体识别与跟踪领域应用较多。双目立体视频是两个处在不同位置的摄像机同时拍摄同一场景获得的图像序列，不仅包含了单路视频具有的灰度、纹理、颜色、运动等信息，而且包含了场景的深度信息，使得位于同一深度层面的目标对象的分割更为有效，从而更容易实现全自动的视频语义分害I]。此外，时空一致的双目立体视频分割也为后续的视频分析研究提供了有效的信息，如获取物体的空间关系及视差求取等。现有的双目立体视频分割方法主要存在以下不足:首先，由于数据量大，视频分割算法往往速度很慢，而且占用很大的内存，因此只能处理较短的视频序列或者将长视频分成多个短视频处理，这将难以保持帧间的一致性；其次，较少考虑场景的深度信息，因此分割的语义性较差；最后，分割等级固定，对于一组参数只能输出一种分割结果，灵活性较差。
发明内容
本发明的目的旨在至少解决上述技术缺陷之一。为达到上述目的，本发明提出一种双目立体视频的时空一致性分割方法，包括以下步骤:A:视频预处理，获得视频片段及相应的初始光流图序列和视差图序列；B:根据所述初始光流图序列和视差图序列，对所述视频片段进行基于像素的分割，获得第一层分割结果；C:根据所述第一层分割结果对初始光流图序列和视差图序列进行平滑处理，获得优化的光流图序列和视差图序列；以及D:根据所述优化的光流图序列和视差图序列及第一层分割结果，对所述视频片段进行基于超像素的分割，获得多层分割结果。根据本发明实施例的双目立体视频的时空一致性方法，本发明通过引入双目立体视频的视差信息，结合纹理、运动等信息，可以得到更有语义性的时空一致性分割，多层分割结果提供了从过分割到接近语义表达的稀疏分割等多个分割等级，为不同的后期视频处理应用提供基础。在本发明的一个实施例中，所述步骤A进一步包括:A1:对输入的双目立体视频进行分段，每N帧分为一段，相邻两段有M帧的重叠区域，可以得到多个视频片段，每个视频片
段包含左右两路图像序列，其中第k个视频片段的左右两路图像序列用I1k , /[表示，第k个
视频片段中的第t帧左右图像分别为/^，/&，其中I彡t彡N ;A2:对所述当前待处理的第k个视频片段，分别求取左右两路视频片段中各帧与后一帧的光流，可以得到前向光流图序列F/，巧'分别求取左右两路视频片段中各帧与前一帧的光流，可以得到后向光流图序列
B1k，Brk，这些光流图序列构成当前视频片段的初始光流图序列F/，F，B1k，BI ,以及A3:对所述当前待处理的第k个视频片段，以左路视频片段各帧图像/为目标视图，右路视频片段对应图像为参考视图，进行立体匹配，可以得到左路视频片段的初始视差图序列1^，反过来，以右路视频片段各帧图像^力目标视图，左路视频片段对应图像/i,为参考视图，进行立体匹配，可以得到右路视频片段的初始视差图序列这些视差图序列构成当前视频片段的初始视差图序列 ，。在本发明的一个实施例中，所述步骤B进一步包括:B1:根据所述初始光流图序列和视差图序列，以当前视频片段包含的所有像素为节点建立图模型，确定图中节点之间的边及边的权重；B2: 根据所述图模型对图中所有的边按权重从小到大排序；B3:依次遍历所述排序后的边，按照合并准则确定是否对每条边连接的两个像素进行合并操作，得到初始分割结果；以及B4:根据所述初始分割结果，遍历所有的分割块，对于包含像素数小于尺寸阈值的分割块，与周围颜色最近的分割块进行合并，得到第一层分割结果。在本发明的一个实施例中，所述步骤BI中边的权重为:
权利要求
1.一种双目立体视频的时空一致性分割方法，其特征在于，包括以下步骤: A:视频预处理，获得视频片段及相应的初始光流图序列和视差图序列； B:根据所述初始光流图序列和视差图序列，对所述视频片段进行基于像素的分割，获得第一层分割结果； C:根据所述第一层分割结果对初 始光流图序列和视差图序列进行平滑处理，获得优化的光流图序列和视差图序列；以及 D:根据所述优化的光流图序列和视差图序列及第一层分割结果，对所述视频片段进行基于超像素的分割，获得多层分割结果。
2.根据权利要求1所述的双目立体视频的时空一致性分割方法，其特征在于，所述步骤A进一步包括: Al:对输入的双目立体视频进行分段，每N帧分为一段，相邻两段有M帧的重叠区域，可以得到多个视频片段，每个视频片段包含左右两路图像序列，其中第k个视频片段的左右两路图像序列用/丨，忍表示，第k个视频片段中的第t帧左右图像分别为/i，f，/:,，其中I≤ t ≤N ； A2:对所述当前待处理的第k个视频片段，分别求取左右两路视频片段中各帧与后一帧的光流，可以得到前向光流图序列K，F;:，分别求取左右两路视频片段中各帧与前一帧的光流，可以得到后向光流图序列成，巧,这些光流图序列构成当前视频片段的初始光流图序列片，O丨;以及 A3:对所述当前待处理的第k个视频片段，以左路视频片段各帧图像/I力目标视图，右路视频片段对应图像I,力参考视图，进行立体匹配，可以得到左路视频片段的初始视差图序列ΣΚ反过来，以右路视频片段各帧图像及;为目标视图，左路视频片段对应图像A为参考视图，进行立体匹配，可以得到右路视频片段的初始视差图序列〃这些视差图序列构成当前视频片段的初始视差图序列/):: , O:。
3.根据权利要求1所述的双目立体视频的时空一致性分割方法，其特征在于，所述步骤B进一步包括: B1:根据所述初始光流图序列和视差图序列，以当前视频片段包含的所有像素为节点建立图模型，确定图中节点之间的边及边的权重； B2:根据所述图模型对图中所有的边按权重从小到大排序； B3:依次遍历所述排序后的边，按照合并准则确定是否对每条边连接的两个像素进行合并操作，得到初始分割结果；以及 B4:根据所述初始分割结果，遍历所有的分割块，对于包含像素数小于尺寸阈值的分割块，与周围颜色最近的分割块进行合并，得到第一层分割结果。
4.根据权利要求3所述的双目立体视频的时空一致性分割方法，其特征在于，所述步骤BI中边的权重为:
5.根据权利要求3所述的双目立体视频的时空一致性分割方法，其特征在于，所述步骤Β3中的合并准则为:ω (e) ≤ τ 其中ω (e)表示边e的权重值，τ表示设定的阈值。
6.根据权利要求1所述的双目立体视频的时空一致性分割方法，其特征在于，所述步骤C进一步包括: Cl:按照所述第一层分割结果，对视频片段中的每一张图像的前向光流和后向光流按照平面运动模板进行拟合，得到优化的光流图序列；以及 C2:按照所述第一层分割结果，对视频片段中的每一张图像的视差按照平面视差模板进行拟合，得到优化的视差图序列。
7.根据权利要求6所述的双目立体视频的时空一致性分割方法，其特征在于，所述步骤Cl中的平面运动模板为:
8.根据权利要求6所述的双目立体视频的时空一致性分割方法，其特征在于，所述步骤C2中的平面视差模板为:ax+by+c=d 其中X和y分别表示像素(X，y)的横向坐标和纵向坐标，d表示像素(x，y)的初始视差，a, b, c表不平面视差模板的参数。
9.根据权利要求1所述的双目立体视频的时空一致性分割方法，其特征在于，所述步骤D进一步包括: Dl:根据所述第h层分割结果，属于同一分割块的像素构成一个超像素，统计超像素的纹理特征、运动特征、视差特征；D2:以所述超像素为节点建立图模型，确定图模型中节点之间的边及边的权重； D3:对图中的超像素进行聚类，得到第h+Ι层分割结果；以及 D4:重复Dl D3步骤，执行H-1次，获得多层分割结果Lh，其中，I彡h彡H，Lh(p)表示像素P在第h层分割结果中的标号。
10.根据权利要求9所述的双目立体视频的时空一致性分割方法，其特征在于，所述步骤Dl中的超像素的纹理特征为: Et (a) = Lhis1 (a), hiS2 (a), hiS3 (a) ]T 其中ET(a)表示在处理第k段视频片段时超像素a的纹理特征，his^a), his2 (a), his3(a)分别表示超像素a包含的所有像素在三个颜色分量上的直方图统计向量，每一个直方图统计向量是一个行向量。
11.根据权利要求9所述的双目立体视频的时空一致性分割方法，其特征在于，所述步骤Dl中的超像素的运动特征为:
12.根据权利要求9所述的双目立体视频的时空一致性分割方法，其特征在于，所述步骤Dl中的超像素的视差特征为:
13.根据权利要求9所述的双目立体视频的时空一致性分割方法，其特征在于，所述步骤D2中的边的权重为:ω (e) =exp (- α J Et (ea) -Et (eb) | I _ a 21 Em (ea) -Em (eb) | - α J I Ed (ea) -Ed (eb) | |) 其中ω (e)表示边e的权重值，ea和eb分别表示边e连接的两个超像素，Et (a)，Em(a)，Ed (a)分别表示超像素a的纹理特征、运动特征和视差特征，所有特征分别进行归一化处理， Q1, α2, α3是相应的比例系数。
全文摘要
本发明提出一种双目立体视频的时空一致性分割方法，包括视频预处理，获得视频片段及相应的初始光流图序列和视差图序列；根据初始光流图序列和视差图序列，对视频片段进行基于像素的分割，获得第一层分割结果；根据第一层分割结果对初始光流图序列和视差图序列进行平滑处理，获得优化的光流图序列和视差图序列；以及根据优化的光流图序列和视差图序列及第一层分割结果，对视频片段进行基于超像素的分割，获得多层分割结果。本发明通过引入双目立体视频的视差信息，结合纹理、运动等信息，可以得到更有语义性的时空一致性分割，多层分割结果提供了从过分割到接近语义表达的稀疏分割等多个分割等级，为不同的后期视频处理应用提供基础。
文档编号H04N13/00GK103237228SQ20131015731
公开日2013年8月7日 申请日期2013年4月28日 优先权日2013年4月28日
发明者戴琼海, 赵昱, 邵航 申请人:清华大学