一种基于反馈的前景轨迹判定方法和装置与流程

本发明涉及数字图像处理和智能交通技术领域，尤其涉及一种用于消除视频抖动的前景轨迹判定方法和装置。

背景技术：

近些年，伴随汽车工业的蓬勃发展，交通安防监控设备的应用越来越普及，由其带来的监控视频效果也愈发引起重视。车载或手持等移动监控设备拍摄时难免抖动，抖动的监控视频严重影响了观看效果，对判断车辆的行驶行为造成干扰。因此，消除视频抖动在视频监控、智能交通等领域成为迫切需要解决的问题。

交通视频通常包含快速移动的交通工具和相对固定的道路、天空、绿化带等背景物体这两部分。为与背景物体对应，我们把快速移动的物体称为前景物体。对于移动设备拍摄的视频，背景物体和前景物体都在运动。前景的运动量包含前景本身和摄影器材的运动，而背景的运动量只是摄影器材本身的运动，其中的抖动部分是需要抑制和消除的。由此可见，从抖动的视频中分离并判断出前景物体和背景物体是消除交通视频抖动的重要一环。

针对移动设备拍摄的视频，现有的去抖方法很多，总体上可以分为两大类：借助于特征匹配等图像配准技术的2D方法和基于SFM方法(参见文献【1】R.I.Hartley and A.Zisserman,Multiple View Geometry in Computer Vision.Cambridge Univ.Press,2000.2341-2353)恢复相机3D运动和特征点3维轨迹信息的3D方法。对于只包含平面运动的场景，2D方法处理速度快，平滑效果好。但是该方法无法处理非平面内的运动，对视差较为敏感，比如明显的景深变化，2D方法彻底失效。3D方法虽然从根本上解决了视差的影响，但是在遇到明显的平面运动时，会引起过处理，且SFM方法复杂，耗时严重。

近年来，研究者们纷纷致力于将二者的优势结合起来，尽量避免二者的劣势，这其中关键就在于如何检测出避免前景物体或者视差带来的恶劣影响。文献【2】(LIU,F.,GLEICHER,M.,WANG,J.,JIN,H.,AND AGARWALA,A.,“Subspace video stabilization”.ACM Trans.Graph.30,2011)针对近乎静止背景的视频，提出不恢复3D场景信息，而是利用子空间特性(参考文献【3】M.Irani,“Multi-frame correspondence estimation using subspace constraints,”International Journal of Computer Vision,vol.48,no.3,pp.173–194,2002)将轨迹矩阵限制在二维，大大降低了计算量。由于该子空间特性只针对静止场景有效，所以根据降维前、后的误差可以有效检测出运动物体的特征点轨迹。用这种方法区分出属于前景物体的特征点轨迹并剔除之，改善了近似静止拍摄的视频的去抖效果。但是该方法无法处理背景快速移动的视频。为此，文献【4】(A.Goldstein and R.Fattal,“Video Stabilization Using Epipolar Geometry,”ACM Trans.Graphics,vol.31,pp.1-10,2012)提出使用“外极约束”来剔除属于前景运动物体的特征点轨迹，极大地提高了算法对背景快速运动和包含大的前景运动物体的视频的鲁棒性。另外，受视差干扰的特征点轨迹也会因为不满足外极约束被检测出来。所以，该方法能有效判定出一条轨迹是否受属于前景运动物体和视差。然而，该算法假设每一帧中背景轨迹都占据大多数，以保证前景轨迹判定过程中计算出的基础矩阵是精确的。这个假设存在明显的局限性，即使将每一帧图像分块并限制基础矩阵计算过程中每个块中进入RANSAC过程的特征点数量，在大的前景物体(比如车辆)非常靠近相机时候，仍不能保证上述假设成立。因此，该前景判定方法仍存在一定弊端。

以上两个方法都是主动检测出前景物体轨迹，而文献【5】(Joshi,N.,Kienzle,W.,Toelle,M.,Uyttendaele,M.,Cohen,M.2015.Real-Time Hyperlapse Creation via Optimal Frame Selection.ACM Trans.Graph.34,4,Article 63(August 2015),9pages)提出了一种新的方法来自动避免前景点的恶劣影响。它提出，使用RANSAC算法(参考文献【6】Liu,S.,Yuan,L.,Tan,P.,Sun,J.2013.Bundled camera paths for video stabilization.ACM Trans.Graph.32,4(July),78:1–78:10)计算连续多帧之间的帧间单应矩阵从而筛选出这些连续帧之间最大的一组内点，保证这一组帧间单应矩阵能将这组内点由最初的位置映射到各个相邻帧中的正确位置，而所筛选出的那组内点就被认为是背景特征点。这样就自动剔除了前景点，即外点的影响。该方法在遭遇大的前景物体遮挡时，仍能达到很好的去抖效果。但是该方法并不是主动判定出一个特征点或者一条特征点轨迹是否属于背景或者前景，而只是为了计算出一组合理的帧间单应矩阵，并且，由于帧间单应矩阵模型本身的缺陷，所以该方法再面对大视差时会如同其他2D算法一样失效。所以该方法不能直接用于经常包含快速景深变化的交通视频的去抖。

技术实现要素：

有鉴于此，本发明提出了一种基于反馈的前景轨迹判定方法，可以有效地判定出属于前景物体的特征点轨迹。特别地，受视差干扰的特征点轨迹也将会由于与背景轨迹之间的不一致性而被当作前景轨迹判定出来。即，属于前景物体的特征点轨迹和受视差干扰的特征点轨迹都将会被识别出来，从而与真正代表相机本身运动趋势的背景轨迹区别开来。而且，通过反馈，得以将之前的判定结果予以有效利用，保证了该判定方法在前景物体越来越大的时候，仍能正确地运行，对大的前景物体的鲁棒性得以保证。

根据本发明一方面，提供了一种基于反馈的前景轨迹判断方法，包括：

从每一图像帧中提取第一预定数量的特征点，并通过图像帧间的匹配生成特征点轨迹；

从所述特征点轨迹筛选出被连续跟踪上的图像帧数目大于第二预定数目并且被判为前景轨迹次数小于第三预定数目的特征点轨迹集合；

针对特征点轨迹集合，计算当前帧与相邻帧之间的单应矩阵，并利用所述单应矩阵对所述特征点轨迹集合中的每一特征点轨迹在相邻帧中的坐标进行重投影；

根据所述重投影结果确定所述特征点轨迹是否为确定的前景轨迹，并从重投影过程中剔除确定的前景轨迹。

根据本发明另一方面，提供了一种基于反馈的前景轨迹判断装置，包括：

轨迹提取模块，用于从每一图像帧中提取第一预定数量的特征点，并通过图像帧间的匹配生成特征点轨迹；

轨迹筛选模块，用于从所述特征点轨迹筛选出被连续跟踪上的图像帧数目大于第二预定数目并且被判为前景轨迹次数小于第三预定数目的特征点轨迹集合；

重投影模块，用于针对特征点轨迹集合，计算当前帧与相邻帧之间的单应矩阵，并利用所述单应矩阵对所述特征点轨迹集合中的每一特征点轨迹在相邻帧中的坐标进行重投影；

反馈并前景轨迹判断模块，用于根据所述重投影结果确定所述特征点轨迹是否为确定的前景轨迹，并从重投影过程中剔除确定的前景轨迹。

本发明提出的前景轨迹判定方法具有如下优点：对于存在大前景物体的交通视频，本发明能够有效地区分视频图像中的属于前景和背景的特征点轨迹，为辨识抖动量奠定基础；对于快速移动背景存在明显视差的情况，本发明将受视差干扰的特征点轨迹视作前景轨迹处理；本发明提出的前景轨迹判定方法是视频去抖的预处理步骤，是消除交通视频抖动算法的重要一环。

附图说明

图1是本发明中基于反馈的前景轨迹判断方法的流程图；

图2是本发明中特征点轨迹重投影的过程示意图；

图3(a)-图3(c)是基于单应矩阵重投影的前景轨迹判定成功的示例图；

图4(a)-图4(c)是基于单应矩阵重投影的前景轨迹判定失败的示例图；

图5(a)-图5(c)是对图4(a)-图4(c)所示示例利用本发明的方法判定成功的示例图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。

本发明提出了一种基于反馈的前景轨迹判定方法和装置，其通过2^*ω次重投影，判别出一条特征点轨迹是否属于运动物体，从而得以将属于背景的特征点轨迹与前景物体的特征点轨迹区分开来。这样后续视频去抖算法，将会对背景轨迹进行平滑，然后根据平滑前后的特征点轨迹坐标计算出用于生成稳定帧的单应矩阵。使用这种特征点轨迹分类，可以保证视频去抖算法对前景物体的鲁棒性。

由于受视差干扰的特征点轨迹也一定与正常背景轨迹的运动趋势不一致，所以2^*ω次重投影同样可以检测出这类受视差干扰的特征点轨迹。通常基于帧间单应矩阵的视频去抖算法则经常会受到视差的干扰，导致计算出的帧间单应矩阵不正确，所以去抖算法也失效。而本发明提出的上述判定准则可以将受视差干扰的特征点轨迹与真正反映相机主动运动趋势的轨迹区分开来，保证了视频去抖算法对于视差的鲁棒性。

本发明还将每一帧的判定结果保存起来，使得后续帧的处理中，不需要再对已知的前景轨迹进行重复判定，而且预筛选可以从连续轨迹中将已知的前景轨迹给剔除出去，这样，即使前景物体越来越靠近相机导致原始连续轨迹中前景物体的特征点轨迹占据大多数的情况下，也能保证经过预筛选后的特征点轨迹中背景轨迹占据多数，保证了前景轨迹判定的正确性。

本发明的技术方案分为三个部分：第一部分获取轨迹矩阵，该轨迹矩阵用于记录每一条特征点轨迹对应的坐标、特征点描述符和一些必要属性信息；第二部分为基于单应矩阵重投影的前景判定，该部分可以用于区分运动趋势不一致的前景轨迹(包括受视差干扰的特征点轨迹)和背景轨迹；第三部分为基于反馈的前景轨迹判定准则，我们判定单应矩阵重投影区分的前景轨迹和背景轨迹，并对判决出的前景轨迹进行合理的标记，该标记将以反馈的形式辅助后续帧的前景轨迹判定过程，保证了对大的前景物体的鲁棒性。

图1示出了本发明提出的一种基于反馈的前景轨迹判定方法的流程图。如图1所示，该方法包括：

步骤101：从每一图像帧中提取第一预定数量的特征点，并通过图像帧间特征点的匹配生成轨迹，并根据生成的轨迹得到轨迹矩阵；

在一实施例中，本发明使用Harris角点检测和FREAK描述符在每帧中提取一定数量的特征点，通过帧间特征的匹配生成轨迹，并将相应的信息存储在一个大的轨迹矩阵中。该轨迹矩阵用于连续轨迹提取、连续轨迹的预筛选和判定结果的保存。所述特征点为能够描述图像特征的像素点，通常该点的周边图像灰度值有剧烈变化。

该轨迹矩阵保存的轨迹信息有：特征点描述符desc、该特征点轨迹一共被匹配(或跟踪)上的次数count、该特征点轨迹上一次被匹配(或者跟踪)上的帧号last_number、该特征点轨迹被连续匹配(或跟踪)上的次数continuity、该特征点轨迹是否被判为前景轨迹foreground和该特征点轨迹在最近的连续预定个帧中的坐标向量trj_cor。

该轨迹矩阵保存所有出现过的特征点的描述符，每一帧中提取出的特征点描述符都跟该轨迹矩阵所保存的特征点描述符进行匹配，匹配上的特征点及描述符将更新现有轨迹矩阵的对应特征点轨迹的所有属性信息。对于当前帧中没有匹配上的特征点及描述符，将在轨迹矩阵中为其新建对应的轨迹。而轨迹矩阵中没有匹配上的轨迹，则将其continuity数据清零，向量trj_cor中压入(0,0)，其它不变。

该轨迹矩阵还用于提取连续轨迹，并可通过foreground属性对连续轨迹进行预筛选，这其实是个反馈的过程，即，使用已有的判定结果对当前的轨迹判定进行预处理，确保当前判定过程的正确执行。

步骤102：利用所述轨迹矩阵，筛选出被连续跟踪上的图像帧数目大于第二预定数目且并且被判为前景轨迹次数小于第三预定数目的特征点轨迹集合；所述第二预定数目等于高斯低通滤波窗口大小，第三预定数目为经验值，可选择为1。

在一实施例中，通过上述轨迹矩阵，筛选出连续多帧被跟踪上的特征点轨迹，即continuity大于2^*ω+1的轨迹，其中2^*ω+1是高斯低通滤波窗口大小。所筛选出的这些轨迹在最近的2^*ω+1个连续帧上都有对应的特征点；其中，ω为预定常数。

步骤103：针对特征点轨迹集合，计算当前帧t与相邻帧i的特征点集之间，即Xi和Xt之间的单应矩阵，并利用所述单应矩阵进行图像帧之间的重投影；

在一实施例中，该步骤中利用单应矩阵进行重投影进一步包括：

采用单应矩阵重投影方法计算所述特征点轨迹的重投影误差。

图2示出了本发明实施例中单应矩阵重投影流程示意图。如图2所示，在一实施例中，针对相邻帧中的特征点集合Xi和Xt，计算单应矩阵假设Xi和Xt中属于背景的特征点占据多数，那么反应的将是这些背景特征点之间的投影关系，即对于任意属于背景的特征点p，有

其中和都是属于背景的第j个特征点，为像素坐标值。而对于属于前景(包括运动物体和受视差影响部分)的特征点q，有

其中阈值τ>0，和是属于前景的特征点。

由于有2^*ω个相邻帧，所以上述重投影过程被执行2^*ω次，在这2*ω次重投影过程中，一条轨迹在超过ω次重投影过程中都满足公式(2)，那么该轨迹必定是前景轨迹。

步骤104：根据所述重投影结果判断所述特征点轨迹为确定的前景轨迹还是潜在背景轨迹；在判断所述特征点轨迹为确定的前景轨迹后，将该特征点轨迹从重投影过程中剔除。

在一实施例中，根据所述重投影结果判断所述特征点轨迹为确定的前景轨迹还是潜在背景轨迹包括：

所述重投影误差大于预定阈值时，将所述特征点轨迹判定为确定的前景轨迹，否则为潜在背景轨迹。

在一实施例中，假设Xi和Xt中属于背景的特征点占据多数，计算出的单应矩阵反应的也是属于多数的背景特征点之间的投影关系，所以，该重投影误差较大的特征点很有可能属于前景物体或者受到视差干扰的轨迹。这种重投影过程将被执行2^*ω次，即针对每一对相邻帧计算得到的单应矩阵均进行重投影；如果一条轨迹在2*ω次重投影过程中，有超过ω次重投影误差过大，即大于预定阈值τ，那么这条轨迹被判断为确定的前景轨迹，否则为潜在背景轨迹。

步骤105：更新轨迹矩阵的信息。

在一实施例中，所述更新轨迹矩阵的信息包括：

更新轨迹矩阵中foreground属性值，即将确定的前景轨迹对应的foreground更新为真。

由于基于单应矩阵重投影的前景轨迹判定是基于Xi和Xt中属于背景的特征点占据多数的假设下，这个假设所以在遇上非常大的前景物体时将不再成立。为了确保上述假设的正确性，我们通过轨迹矩阵中的foreground属性值，将本帧之前的判定结果反馈，对连续轨迹进行一次预筛选。筛选之后，连续轨迹中所有前景轨迹将被剔除出去，从而保证每一个相邻帧的特征点集Xi和和当前帧的特征点集Xt中属于背景的特征点占据多数，保证了上述假设的正确性，也就确保上述基于重投影的前景轨迹判定过程正确。本次判定结果将更新轨迹矩阵中的foreground属性值，用于后续前景轨迹判定的反馈和预筛选。

基于重投影的前景轨迹判定结果示意图见图3(a)-图3(c)和图4(a)-图4(c)，其中图3(b)显示，有的特征点轨迹即使属于背景部分，但是由于其本身运动趋势与其它背景轨迹不一致，也会被判定为前景轨迹。而图4(a)-图4(c)显示，在车辆非常靠近相机时，该前景轨迹判定准则的基本假设不在成立，判定结果也将出错。

在车辆非常靠近相机的情况下，简单的基于单应矩阵重投影的前景轨迹判定方法已经失效。原因是其基本假设不再成立，导致计算出的单应矩阵反映的是Xi和Xt中属于前景的特征点的投影关系。为此，本发明提出将之前的判定结果反馈过来用于对连续轨迹进行预筛选，将所有确定的前景轨迹，即foreground属性值为true的轨迹，从连续轨迹中剔除，从而保证留下的“潜在背景轨迹”中属于背景的特征点轨迹占据多数。对“潜在背景轨迹”施行基于重投影的前景轨迹判定过程，那么基本假设将再次成立，从而确保前景轨迹判定结果正确的正确性。每次的判定结果都将被用于更新轨迹矩阵中的foreground属性值，并将用于后续帧的前景轨迹判定。

使用上述基于反馈的前景轨迹判定方法，针对图4(a)-图4(c)中失败的例子，得到正确结果如图5(a)-图5(c)。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。