一种基于视频帧间低秩关联信息一致性的实时物体追踪方法与流程

本发明涉及显著运动检测的技术领域，具体涉及一种基于视频帧间低秩关联信息一致性的实时物体追踪方法，其为一种基于分块解决策略的低秩分析和利用视频帧间的时空语义联系的显著运动检测方法。

背景技术：

显著运动检测是当前计算机视觉、模式识别领域一个非常热门的研究方向，他对很多具体应用包有很大的帮助，包括物体追踪、视频监控、交通控制、入侵检测等。尽管对显著运动检测的研究在近几年取得了非常大的成果，但传统的一些局限性仍然没有得到很好的解决，特别是对于非静态视频，这很大的限制了基于运动追踪的智能系统在现实和复杂的场景的应用范围。因此新的能够在非静态视频中有效的方法是我们迫切需要的。

在近些年最先进的显著运动检测方法中，基于建模的方法往往需要很强的假定：视频从静态相机中获取，连续帧中的像素具有很好的空间相关性，所以它们可以直接使用基于像素的背景模式变化来检测显著运动。这样的方法包括高斯模型、高斯混合模型(gmm)，扩展高斯混合模型。但是这些技术方法仍然很难解决相对复杂的一些现实的视频，如相机抖动引起的动态背景。同时也有很多先进的运动追踪方法采用追踪检测的方法，它们通过相邻视频帧之间像素的相关性逐帧从背景中检测显著性运动。然而这些方法往往需要认为的设置目标运动以及限制追踪数量，并且目标模型需要尽力去调试，这种情况下不正确的匹配往往会得到错误的结果。为了解决这些问题，近些年基于低秩分析的方法被引入到显著运动检测中，其思想是低秩性不止能表示出相关的背景还能为显著运动建立联系，在这种方法中显著运动被表示为低秩分解的稀疏部分。即使有这些最新的研究，对大多数复杂的非动态视频，简单的使用低秩分析依旧会遇到很多困难。

总的困难有：对无约束的视频进行长时间的鲁棒运动追踪仍然存在很大困难，特别是对于长时间非静态向旋转及变焦(ptz)视频。由于传统的低秩运动检测方法主要注重在全局视角对背景建模，所以在面对背景会随时间变化的情况时会出现很大的错误。经典的基于鲁棒主成分分析(rpca)的低秩分析认为显著运动相对于具有低秩的背景而言是稀疏的，然而在某些时候这样的假定并不是全部成立的。显著运动检测需要选择性的选定显著的运动，然后很多低秩追踪都忽略了上下文迭代来解决间歇移动目标。

为了解决上述问题，本发明提出了一种分割解决的策略来解决长视频的背景变动问题，结合稳定的背景先验和时空关联信息到一个效果显著的低秩分析模型中，结合多种新的计算策略，得到比现有方法更好的效果。该方法具有显著运动检测的精度高，稳定性好，计算代价低等特点。

技术实现要素：

本发明要解决的技术问题是：通过分割解决的策略解决长视频中背景会发生变化的问题，根据短时间内帧的背景变化相对很小的特点来进行处理，选取连续的m帧具有相对一致的背景，具有低秩的特性；采用校正rpca将背景进行校正，消除其他干扰因素，如相机抖动、视角变化等；将前一帧段的背景信息引入到本帧段内低秩分解的过程中，利用视频帧与帧之间的关联性解决一些噪声以及显著运动的干扰；利用动态背景与静态背景以及运动物体的变化幅度频率的不同区分是否动态背景，达到准备确定显著运动的效果。

本发明采用的技术方案为：一种基于视频帧间低秩关联信息一致性的实时物体追踪方法，包括以下六个步骤：

步骤(1)、局部背景追踪：首先需要对图像进行基于局部约束的压缩感知的目标物体特征描述，在此基础上对背景进行一个追踪，也就是选取一块区域作为跟踪块，将其特征化，在下一帧中寻找与其最相似的一块，由于背景在相邻几帧之内变化幅度很小，所以选取以这个区域中心点为中心，半径为d的圆作为候选区域的中心，采用brp(双边随机映射)来找到最佳点。

步骤(2)、全局背景追踪：在步骤(1)的基础上，将一帧图像分为9个子区域，分别对这九个子区域进行追踪，找到它们的中心点在下一帧的位置，根据这9个子区域的特征赋予相应的权重，最后综合这9个子区域的位置变化来描述两帧之间背景的运动变化，然后再将图像帧背景通过反方向移动使得其与上一帧背景保持相对一致。

步骤(3)、基于校正rpca的低秩背景恢复：在步骤(1)、(2)中已经获取了具有相对一致背景的视频帧段之后，由于视角变化、相机抖动等干扰因素对背景的影响，会使得效果不能达到预期，需要对这些干扰因素进行建模，即假定背景乘以τ之后将之前的干扰消除。然后我们对新得到的背景模型进行低秩分解，对其求解得到τ，就可以得到校正后的背景。

步骤(4)、低秩先验的偏rpca显著运动检测：由于在一个帧段中帧的数量有限，许多与显著运动物体相关的小部分会一直表现为显著。本发明提出引入上一帧段的低秩背景信息到这个帧段的低秩分解过程，以之前的显著性信息来更正这样一些错误。

步骤(5)、使用显著信息更新低秩背景先验：由于物体运动之后移走的部分被背景所填充，在低秩分解中会错误的被对待，所以需要对前一帧段检测到的显著运动物体进行显著程度分析来更新当前的低秩信息，在计算过程中我们使用逐块(超像素)的计算代替传统方法的逐像素计算以减少计算量，将显著程度代入到当前低秩先验的更新中，显著度的计算使用rgb特征来计算。

步骤(6)、动态背景的显著信息：根据动态背景区域的稀疏程度比静态背景变化的更频繁、当运动物体经过时动态背景的稀疏度变化相对弱、运动物体的稀疏度变化幅度和时间都会比动态背景更多，逐批的计算变动的次数与事先定义的阈值来衡量显著程度，以此来分辨出动态背景与运动物体。

进一步的，步骤(1)中所述的局部背景追踪，该方法对背景进行追踪，选取背景区域作为跟踪块，将其特征化，通过tracking的方法在下一帧中寻找与其最相似的一块，由于背景在相邻几帧之内变化幅度很小，所以选取以这个区域中心点为中心，半径为d的圆作为候选区域的中心，将它们表示为一个矩阵的形式，进行低秩分解，采用brp(双边随机映射)来找到最佳点。

进一步的，步骤(2)中所述的全局背景追踪，该方法将一帧图像分为9个子区域，使用步骤(1)的方法分别对这九个子区域进行追踪，找到它们的中心点在下一帧的位置，并充分结合这9个子区域的结果，极大地避免了由于异常带来的干扰，得到鲁棒性强的结果。

进一步的，步骤(3)中所述的基于校正rpca的低秩背景恢复，该方法将当前帧段所有帧组成的矩阵进行低秩分解，加入其他因素τ的建模，在最后用背景乘以τ来得到真正具有一致性的背景。

进一步的，步骤(4)中所述的低秩先验的偏rpca显著运动检测，该方法引入上一帧段的低秩背景信息，结合到本帧段的低秩分解过程，通过将信息加入到背景矩阵g的最后一列，来影响低秩矩阵l的更新，使得之前的低秩信息能够在当前帧中起到一个标准的作用。

进一步的，步骤(5)中所述的用显著信息更新低秩背景先验，该方法对前一帧段检测到的显著运动物体进行显著程度分析来更新当前的低秩信息，使用逐块(超像素)计算代替传统方法的逐像素计算减少计算量，将显著程度代入到当前低秩先验矩阵l的更新中，显著度的计算使用rgb特征来计算。

进一步的，步骤(6)中所述的动态背景的显著信息，该方法根据动态背景区域的稀疏程度比静态背景变化的更频繁、当运动物体经过时动态背景的稀疏度变化相对弱、运动物体的稀疏度变化幅度和时间都会比动态背景更多等三个特征，计算视频帧区域的稀疏程度变换的次数以及幅度与几个预先设定的值对比，来判断是否属于动态背景。

本发明的原理在于：

(1)通过对9个背景子区域的追踪，根据相应权重综合它们的结果得到背景运动的信息，再将其校正，并通过校正rpca来对相机抖动、视角变化进行背景校正这两部分校正获得一致程度特别高的背景，为接下来的低秩分析进行准备。

(2)将视频分为多个包含m帧视频帧的帧段，基于它们的背景一致性，对整个帧段进行低秩分析，其中低秩部分l视为背景，稀疏部分s则被视为显著运动物体。并且通过将上一帧段的低秩背景信息加入到本帧的低秩分解中，来处理显著运动物体运动后尾部的显著性问题。

(3)将前一帧段显著性信息加入这一帧中来解决显著物体中间部分的空洞问题，同时我们根据动态背景稀疏度的变化来将其从运动物体和静态背景中区分出来，对其进行特殊处理，防止它对显著运动检测低秩分析的干扰。从而得到理想的结果。

本发明与现有技术相比的优点在于：

1、将物体追踪中的算法加入到显著运动检测中，得到具有一致性的背景，并且通过校正rpca对全局背景处理，排除相机抖动、视角变化的干扰。

2、利用上一帧段的背景低秩信息，结合低秩分解，有效的处理影子效应(物体运动过后，由于像素发生改变，进行低秩分析时，会将其视为稀疏部分，从而影响结果)。

3、利用帧间的低秩关联性分析，加入上一帧段的显著性信息，解决了物体中心的空洞问题(大物体内部在帧与帧之间由于其在像素层面没有发生改变，会被视为低秩部分，也就是背景)。

4、利用动态背景的稀疏度变化与静态背景以及显著运动物体的变化幅度与频率的不同，区分出动态背景，从而使我们的方法能够很好地处理动态背景。

附图说明

图1为基于分块解决策略的低秩分析和利用视频帧间的时空语义联系的显著运动检测方法的总体处理流程图；

图2为背景追踪的关键步骤图；

图3为使用我们的背景追踪方法带来的效果提升的对比图；

图4为空洞效应，以及采用本发明方法消除空洞后的结果；

图5为展示将上一帧段低秩先验引入的过程；

图6为展示了引入低秩先验的效果提升；

图7为展示了低秩先验的更新；

图8为由引入低秩先验和显著性带来的效果提升；

图9为生成稳定背景掩膜的流程；

图10为引入稳定背景掩膜带来的效果提升；

图11为本发明一种基于视频帧间低秩关联信息一致性的实时物体追踪方法流程框图。

具体实施方式

下面结合附图及具体实施方式进一步说明本发明。

图1给出了基于分块解决策略的低秩分析和利用视频帧间的时空语义联系的显著运动检测方法的流程。

本发明一种基于分块解决策略的低秩分析和利用视频帧间的时空语义联系的显著运动检测方法，主要步骤介绍如下：

1、背景追踪

该方法需要对图像进行基于局部约束的压缩感知的目标物体特征描述，在此基础上对背景进行一个追踪，也就是选取一块区域作为跟踪块，将其特征化，在下一帧中寻找与其最相似的一块，由于背景在相邻几帧之内变化幅度很小，所以选取以这个区域中心点为中心，半径为d(相对于tracking中的半径会小很多)的圆作为候选区域的中心，采用brp(双边随机映射)来找到最佳点。基于这个方法，将一帧图像分为九个子区域，分别追踪它们的在下一帧的点，然后综合，得到整个背景的一个运动表示，如公式(1)所示：

其中u表示子区域的数量(设为9)，n表示特征的维数，是一个权重参数，表示候选块中心在第i个子区域的(xi,yi)，ε则控制距离惩罚项对整个公式的影响，o是阻塞掩膜，在有可能闭塞的地方会有比较大的值，为两帧之间中心点位置的距离，||·||2则表示l2范数。在得到当前的目标背景位置之后，我们需要重新将当前的背景模型更新。

2、基于校正rpca的低秩背景恢复

在得到一个包含m帧具有相似背景g＝[g1,g2,...,gm]的帧段之后，一般的低秩分解为:

l和s分别代表低秩部分和稀疏部分，但是由于其他的干扰因素，如相机抖动视角变化等，我们需要对背景加上一个2d的转换，然后得到公式(3)：

由于这个公式无法直接求解，根据已有技术将它改写为公式(4)：

ji是第i个背景块的雅可比行列式，对其求解得到转换τ。

3、低秩先验的偏rpca显著运动检测

接下来我们引入前一帧段的低秩背景信息到当前帧段的低秩恢复过程中，将求解中迭代的部分写为如公式(5)形式：

lt+1表示从第(t+1)次rpca低秩恢复过程中获得的低秩信息，i表示单位矩阵，n是特征维数，k是当前帧段所有的帧数量，φ(·)从输入矩阵中选择左边的k列。通过将之前的低秩信息加入到g的最后一列，我们可以得到公式(6)：

然后上一帧段的低秩信息可以很大程度影响yt，从而解决在显著运动物体周围一直保持显著性的问题。

4、使用显著信息更新低秩背景先验

由于视频帧较长，所以在每一个帧段之后需要对背景模型进行更新，然后由于iom问题(由于间歇运动物体移动产生阴影)传统解决方法需要大量的计算，所以运用显著度的分析来处理，定义显著度为公式(7)：

rgb为rgb颜色值，d＝||(i,j)-(p,q)||2,η＝100制计算的范围以减少计算量。然后计算显著性掩膜：

z表示规格化因子，ε表示尺度参数，s^t表示在第t个帧段的上一视频帧的稀疏残留，同时我们使用超像素来减少计算量。在得到显著性掩膜之后，我们就可以更新低秩先验：

l^t＝(1-sm)·l^t+sm·l^t-1+β·sm·(l^t-l^t-1)(9)

l^t表示从第t帧段得到的低秩信息，β＝0.1控制对梯度方向的补偿强度。

5、动态背景的显著信息

根据动态背景与静态背景和运动物体在稀疏程度上的区别，逐帧段的计算在在四个预先设定的值转换的次数来判断是否动态背景。给定第i个像素，四个硬阈值为：其中代表s第i行的平均值。

然后转换次数st1和st2则用下列计算：

然后我们定义显著性salu＝f(1/st1),sald＝f(1/st2),f(·)代表9*9的高斯滤波。最后显著运动检测的结果则为||s||1·f((salu×sald)²)。

本发明未详细阐述的技术内容属于本领域技术人员的公知技术。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。