一种基于两级边缘敏感滤波的高精确光流估计方法
【专利摘要】本发明公开了一种基于两级边缘敏感滤波的高精确光流估计方法，将图像分割，形成超像素图；对每条边的边长赋予权重，使用最小生成树算法，裁剪掉相应的边，生成超像素树；每个超像素视为一个整体，使用非局部匹配算法在超像素树上进行滤波，得到每个超像素的光流；在每个超像素内部，以得到的超像素光流为引导，在本超像素光流的附近，做第二次局部的边缘敏感滤波。本发明使用边缘敏感的滤波方法能够在光流估计结果中得到清晰的边缘；以超像素为基本运算单元，极大地减小了运算结点数；以超像素光流为引导在局部进行滤波，极大地减少了光流搜索空间，同时也不会损失精度；使用SLIC超像素分割方法，能够产生紧凑的超像素。
【专利说明】
一种基于两级边缘敏感滤波的高精确光流估计方法
技术领域
[0001] 本发明属于数字视频处理技术领域，尤其涉及一种基于两级边缘敏感滤波的高精 确光流估计方法。
【背景技术】
[0002] 光流估计是计算机视觉领域内的一个重要基础模块，其研究目的是通过建模计算 出视频连续两帧间的运动信息，具体就是第一帧中每个像素在第二帧中的对应匹配像素。 经过三十多年的发展，光流估计问题已经有非常多的相关研究，但针对精确光流估计，特别 是微小运动的捕捉，仍然是富有挑战性的问题。光流估计根据所采用的方法的不同，大体可 以分为三种:一种是基于Horn和Schunck提出的变分能量优化模型，一种是基于匹配的插值 优化模型，另外一种是最近出现的基于代价滤波的估计模型。基于变分能量优化模型的算 法将光流估计问题形式化为一个目标函数后，使用最优化技术来最小化这个目标函数。虽 然这种方法能够在小位移光流估计中取得较为精确的结果，但其结果通常在边缘部分非常 模糊。基于匹配的插值优化模型主要利用了在大位移运动中，两帧之间视觉关键点的匹配 信息对光流估计结果的重要性。以一种相对稠密的匹配结果作为光流估计的初始值，可以 很好的解决传统变分能量优化模型在大位移光流估计中存在的问题。但这种方法仍然依赖 于变分能量优化模型得到最终的估计结果，因此边缘部分的模糊问题通常仍然存在。
[0003] 目前的基于代价滤波的光流估计方法采用了不同于以上两种模型的方法。其使用 边缘敏感滤波器对每个像素的局部匹配代价进行滤波，能得到非常精确的光流估计结果， 同时能保持估计结果的清晰边缘，最大的问题在于其效率低下，不能满足实际工程中的需 求。
【发明内容】
[0004] 本发明的目的在于提供一种基于两级边缘敏感滤波的高精确光流估计方法，旨在 解决目前的基于代价滤波的光流估计方法存在使用边缘敏感滤波器对每个像素的局部匹 配代价进行滤波时搜索空间过大而导致效率低下的问题。
[0005] 本发明是这样实现的，一种基于两级边缘敏感滤波的高精确光流估计方法，所述 基于两级边缘敏感滤波的高精确光流估计方法将图像分割，形成超像素图；对超像素图中 每条边的边长赋予权重，使用最小生成树算法，裁剪掉相应的边，生成超像素树;将每个超 像素视为一个整体，使用非局部匹配算法在超像素树上进行第一级滤波，得到每个超像素 的光流;在每个超像素内部，以得到的当前超像素光流为引导，在本超像素光流的附近，做 第二级局部边缘敏感滤波，得到每个超像素内各个像素的光流。最后将得到的每个超像素 内的各像素光流进行拼接即得到全图的光流。
[0006] 进一步，所述使用边缘敏感的滤波方法能够在光流估计结果中得到清晰的边缘， 其中边缘敏感的滤波方法是指在图像滤波的过程中能最大程度上保留图像边缘信息的一 大类滤波方法，常见的有导向滤波、双边滤波等。本发明中的边缘敏感滤波方法使用导向滤 波，使用其它边缘敏感的滤波方法也是可行的。
[0007] 进一步，所述在超像素树上进行第一级滤波时，以超像素为基本运算单元。即在滤 波过程中，将每个超像素内部的像素视为一个整体，并假定它们拥有相同的光流。本发明 中，我们将每个超像素以其重心位置的像素为代表进行第一级滤波过程。
[0008] 进一步，所述在各个超像素内对像素进行第二级边缘敏感滤波时以第一级滤波得 到的各个超像素光流为引导在局部进行滤波。这里的"局部"分两个层面:一是空间上的"局 部"，即各个超像素内的像素的滤波仅在以当前超像素的外接矩形区域内进行;二是搜索空 间的"局部"，即此时滤波过程中各个超像素内像素的可能光流标签不再是所有可能的光流 标签，而是以本超像素光流为中心的局部标签集合，本发明将滤波过程中的可能的光流标 签限制在以本超像素光流为中心的3x3的范围。
[0009] 进一步，所述基于两级边缘敏感滤波的高精确光流估计方法包括以下步骤：
[0010]步骤一，将两帧图像按时间顺序分别标记为I^I2;
[0011] 步骤二，对Ii使用超像素分割技术分割为K个互不重叠的超像素{Sk}，并以所有超 像素为结点集合，将每对相邻超像素进行连接，形成超像素图G;
[0012] 步骤三，在步骤二生成的超像素图G中，对每条边的边长赋予一定的权重，使用最 小生成树算法，裁剪掉相应的边，生成超像素树；
[0013] 步骤四，将每个超像素视为一个整体，使用非局部匹配算法在超像素树上进行第 一次滤波，得到每个超像素的光流；
[0014]步骤五，在每个超像素内部，以得到的超像素光流为引导，在本超像素光流的附 近，做第二次局部的边缘敏感滤波，对每个超像素做如此滤波后，得到最终光流结果。
[0015]本发明提供的基于两级边缘敏感滤波的高精确光流估计方法，使用两级边缘敏感 滤波器对图像的局部匹配代价进行滤波，可以得到边缘清晰的精确光流估计。本发明相较 于现有技术具有以下优点：
[0016] 1)相比于基于变分能量优化模型的方法和基于匹配的插值优化模型的方法，本发 明可以更好的处理边缘。传统的基于变分能量优化模型的方法和基于匹配的插值优化方法 因为都使用了全局能量最小化模型，导致常得到边缘模糊的光流估计结果。与其不同，本发 明使用边缘敏感的滤波方法能够在光流估计结果中得到清晰的边缘。
[0017] 2)相比于传统的基于代价滤波的方法，本发明更为高效。传统的基于代价滤波的 方法会在每个像素点对所有可能的光流计算匹配代价，再进行一次滤波。通常会带来极大 的运算负担。与之相反，本发明使用两级滤波结构在很大程度上避免了运算效率问题。在第 一级滤波时，以超像素为基本运算单元，极大地减小了运算结点数。在第二级滤波时，以超 像素光流为引导在局部进行滤波，极大地减少了光流搜索空间，同时也不会损失精度；图3 显示了本发明对于一对典型的640x480图像对在不同的亚像素精度上的运行情况，其中，亚 像素的精度用两相邻整像素之间所插值的亚像素个数表示，可以看到本发明方法相对于传 统滤波方法几乎不会损失精度，但在运行效率上有本质的提升。
【附图说明】
[0018]图1是本发明实施例提供的基于两级边缘敏感滤波的高精确光流估计方法流程 图。
[0019] 图2是本发明实施例提供的超像素树示意图。
[0020] 图3是本发明实施例提供的运行效率示意图。
【具体实施方式】
[0021] 为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明 进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于 限定本发明。
[0022] 下面结合附图对本发明的应用原理作进一步描述。
[0023] 如图1所示，本发明实施例的基于两级边缘敏感滤波的高精确光流估计方法包括 以下步骤：
[0024] S101:在将图像分割为超像素的过程中，使用SLIC超像素分割方法，产生紧凑的超 像素，通过参数调节生成的超像素个数；
[0025] S102:在生成超像素图的边的过程中，将相邻的超像素进行连接，两个超像素的相 邻指的是两个超像素中至少有一对像素在图像2D空间中相邻；
[0026] S103:在对超像素图中的边赋予权重时，使用相邻的两个超像素的平均亮度差做 为边的权重，也可根据不同的应用需求使用不同的权重策略；
[0027] S104:在将超像素图生成为超像素树的过程中，使用Kruskal最小生成树算法，使 用Prim最小生成树算法也是可行的；
[0028] S105:在非局部第一次滤波过程中，每个超像素都做为最小运算单元，在滤波过程 中，以超像素外接矩形为图像块，以此图像块在第二帧各位置的匹配误差生成代价图进行 滤波；
[0029] S106:在超像素内部进行第二次滤波时，使用第一次滤波得到的超像素光流做为 引导，只在其周围的小范围内构造搜索空间再进行滤波。
[0030] 下面结合具体实施例对本发明的应用原理作进一步的描述。
[0031] 先从一视频里获取两张连续图像。在获得两帧连续图像I#PI2后，使用本发明的方 法对其进行处理，其具体步骤如下：
[0032]步骤1:对Ii使用SLIC算法对其进行超像素分割，将其分割为K个互不重叠 的超像 素 {Sk}。
[0033] 步骤2:以{Sk}为结点集合{V}，同时为所有相邻的超像素构造边，以其为边集合 {E}，形成超像素图G=(V，E)。其中每个边的权重是相邻的两个超像素的平均亮度差D。
[0034] 步骤3:使用Kruskal最小生成树算法，将超像素图G=(V，E)中的有较大权重的边 裁去，同时保证连通性，生成超像素树，如图2:
[0035] 步骤4:以超像素为基本运算单元，在超像素树上对各个超像素进行树形滤波处 理，得到每个超像素的光流。树形滤波包括三个主要步骤:构造代价3D图、滤波和标签选择。 [0036]构造代价3D图。对每个超像素在每个可能的光流位置(标签)计算其代价，这样对 每个可能的光流标签，能产生一个2D代价图。组合所有的光流标签，得到代价3D图。
[0037]滤波过程。在得到代价3D图后，对其进行如下滤波处理：
[0039]其中1表示某个光流标签，表示对超像素Sk赋予此光流标签的代价。表 示滤波后的代价，w(Sk，Sn)表示超像素Sk和其相邻的超像素S n连接的权重，具体：
[0041]其中D(Sk，Sn)即步骤2所述的相邻的两个超像素之间的平均亮度差。σ是平衡因子， 可以通过调节σ得到不同滤波程度的超像素光流结果。
[0042]标签选择过程。在得到经过滤波的代价3D图后，对每个超像素，在所有可能的光流 标签中，选出具有最小代价的标签，此标签对应的光流即得到的超像素光流。
[0043] 步骤5:在每个超像素内部，以步骤4中得到的超像素光流为引导，在本超像素的光 流附近，做第二次局部的边缘敏感滤波，得到最终光流结果。
[0044] 本发明的滤波以超像素内部的像素为基本单元，并且计算范围仅限于当前超像素 的外接矩形区域内；此时滤波过程中的可能光流标签不再是所有可能的光流标签，而是以 本超像素光流为中心的局部标签集合，本发明将滤波过程中的可能的光流标签限制在以本 超像素光流为中心的3x3的范围。
[0045]以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精 神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
【主权项】
1. 一种基于两级边缘敏感滤波的高精确光流估计方法，其特征在于，所述基于两级边 缘敏感滤波的高精确光流估计方法将图像分割，形成超像素图；对超像素图中每条边的边 长赋予权重，使用最小生成树算法，裁剪掉相应的边，生成超像素树;将每个超像素视为一 个整体，使用非局部匹配算法在超像素树上进行第一级滤波，得到每个超像素的光流;在每 个超像素内部，以得到的当前超像素光流为引导，在本超像素光流的附近，做第二级局部边 缘敏感滤波，得到每个超像素内各个像素的光流;最后将得到的每个超像素内的各像素光 流进行拼接即得到全图的光流。2. 如权利要求1所述的基于两级边缘敏感滤波的高精确光流估计方法，其特征在于，所 述使用边缘敏感的滤波方法能够在光流估计结果中得到边缘。3. 如权利要求1所述的基于两级边缘敏感滤波的高精确光流估计方法，其特征在于，所 述在超像素树上进行滤波时，以超像素为基本运算单元。4. 如权利要求1所述的基于两级边缘敏感滤波的高精确光流估计方法，其特征在于，所 述边缘敏感滤波以超像素光流为引导在局部进行滤波。5. 如权利要求1所述的基于两级边缘敏感滤波的高精确光流估计方法，其特征在于，所 述基于两级边缘敏感滤波的高精确光流估计方法包括以下步骤： 步骤一，将两帧图像按时间顺序分别标记为I#PI2; 步骤二，对使用超像素分割技术分割为K个互不重叠的超像素{Sk}，并以所有超像素 为结点集合，将每对相邻超像素进行连接，形成超像素图G; 步骤三，在步骤二生成的超像素图G中，对每条边的边长赋予一定的权重，使用最小生 成树算法，裁剪掉相应的边，生成超像素树； 步骤四，将每个超像素视为一个整体，使用非局部匹配算法在超像素树上进行第一次 滤波，得到每个超像素的光流； 步骤五，在每个超像素内部，以得到的超像素光流为引导，在本超像素光流的附近，做 第二次局部的边缘敏感滤波，对每个超像素做如此滤波后，得到最终光流结果。
【文档编号】G06T7/20GK106097392SQ201610423386
【公开日】2016年11月9日
【申请日】2016年6月13日 公开号201610423386.6, CN 106097392 A, CN 106097392A, CN 201610423386, CN-A-106097392, CN106097392 A, CN106097392A, CN201610423386, CN201610423386.6
【发明人】宋锐, 胡银林, 李云松, 王养利
【申请人】西安电子科技大学