一种基于运动预测的压缩跟踪方法与流程

本发明属于计算机视觉技术领域，尤其涉及一种基于运动预测的压缩跟踪方法。

背景技术：

随着电子计算机技术的飞速发展，计算机视觉成为热门的研究课题。智能视频监控已逐渐渗透至人们的日常生活，利用视频序列图像自动分析来检测、跟踪和识别监控场景中的目标，进而分析判断目标并做出对策。而视频目标跟踪是智能监控系统中的关键部分，融合了图像处理、模式识别、信号处理和控制等多领域、多学科课题。由于跟踪方法受到很多因素的影响，尤其是由于目标的型变、光照的变化、物体的遮挡等问题，因此，建立一个鲁棒、自适应的目标跟踪方法仍然是一个具有挑战性的问题。

近几年，寻找一种高效和鲁棒的跟踪方法备受研究人员关注。2012年，Zhang等人[文献1](Zhang K H,Zhang L,Yang M H.Real-time compressive tracking[C].European Conference on Computer Vision,2012:864-877)提出的压缩跟踪算法(Compressive Tracking,CT)，算法通过实验采用了最佳的实验配置，对下一帧图像处理的方法是依据前一帧目标左上角点周围20欧氏距离半径的矩形框都作为候选区域，对每个区域提取50个Haar-like特征值。最后使用朴素贝叶斯分类器对这些候选区域的特征值进行筛选，选出最大分类器响应数的区域，即为当前帧的目标区域。在确定目标区域的时候，使用这种广泛的搜索策略是比较浪费计算时间。因此，将运动预测引入到跟踪算法中，运用预测方向，对这个方向上进行大范围的选取，对其他方向减少候选区域数目。

常用的运动预测方法有很多，如Luo等人[文献2](Luo H L,Zhong B K,Kong F S.Object tracking algorithm by combining the predicted target position with compressive tracking[J].Journal of Image and Graphics,2014,19(6):875-885.)提出的使用Mean shift进行目标运动预测，并通过预测的位置影响跟踪位置，提高跟踪精度。

杨冬冬等人[文献3](杨冬冬,常丹华,韩夏,等.运动目标检测与跟踪算法的改进和实现[J].激光与红外,2010,40(2):205-209)使用运动历史图像进行运动 的预测，提高跟踪精度。

2016年，Zhang等人[文献4](Zhang K H,Liu Q S,Wu Y,et al.Robust visual tracking via convolutional networks without training[J].IEEE Transactions on Image Processing,2016,25(4):1779-1792)提出的卷积神经网络算法(Convolutional Networks without Training,CNT)，跟踪性能有明显的提升。跟踪过程中使用这些算法，可以提高目标跟踪的性能。但是，这些算法比较复杂，运算复杂度比较高，不能较好地满足实际需求。

技术实现要素：

本发明为克服现有技术的不足，提供了一种复杂度低、鲁棒性高的基于运动预测的压缩跟踪方法，具体由以下技术方案实现：

所述基于运动预测的压缩跟踪方法，包括：

初始化，选取第一帧图像中跟踪目标区域，在第一帧图像目标区域附近采样图像块，对所述图像块进行特征提取和降维得到每个图像块的特征向量，建立分类器；

跟踪目标并对目标进行运动预测：对于第t+1帧图像，t为大于等于2的整数，使用前两帧图像中的目标位置得到目标运动矢量与预测方向，并根据所述目标运动矢量与预测方向得出目标的预测位置，在第t帧跟踪到的预测位置的附近采样图像块，进而得到每个图像块的特征向量，所述分类器将最大分类器相应的图像块作为当前帧跟踪到的目标；

确定当前帧的最终跟踪结果：对跟踪窗口进行自适应优化，在所述目标附近，再次进行采样，并通过分类器进行选择，将最大分类器相应的图像块作为最终跟踪目标；并记录当前帧目标位置，跟踪到目标位置，更新分类器参数。

所述基于运动预测的压缩跟踪方法的进一步设计在于，所述分类器采用贝叶斯分类器H(v)，如式(1)，

其中，p(y＝1)＝p(y＝0)，y∈{0,1}是正负样本标志，y＝0代表负样本，而y＝1代表正样本，低维度空间v＝(v1,....,vn)^T,vi为v中第i个元素。

所述基于运动预测的压缩跟踪方法的进一步设计在于，设定分类器H(v)中的条件分布p(vi|y＝1)和p(vi|y＝0)是高斯分布，且满足其中和分别为正样本概率的期望和标准差，而和分别为负样本概率的期望和标准差，为期望为和标准差为的高斯分布，为期望为和标准差为的高斯分布，N代表高斯分布的符号，贝叶斯分类器参数更新如式(2)、式(3)：

其中，μ¹、σ¹表示更新后正样本的期望和标准差，λ＞0为学习因子，n代表样本个数，vi(k)代表第k样本在低维空间表示，k代表第k个样本。

所述基于运动预测的压缩跟踪方法的进一步设计在于，所述图像块的采样通过优化的正负样本选择实现采集，正样本选择依据成功率公式，成功率公式如式(4)：

其中，CI是算法计算出的目标框区域，RI是实际目标区域；当一帧中Rt的值大于0.5，则认为跟踪结果正确。

所述基于运动预测的压缩跟踪方法的进一步设计在于，正负样本选择的优化，依据所述成功率公式，正负样本选择的优化公式如式(5)：

其中，w，h为目标窗口的宽度和高度，l是偏移量，n和m是横向和纵向的偏移分量，正样本选择区域是成功率在0.9以上的区域，负样本是成功率在0.5以下的区域。

所述基于运动预测的压缩跟踪方法的进一步设计在于，所述运动预测具体包括如下步骤：

步骤1)设定前一帧目标位置为(x1,y1)，当前帧目标位置为(x2,y2)，则运动矢量β为：

β＝(x2,y2)-(x1,y1)；

步骤2)根据目标运动方向，定义搜索区域，定义一个矩阵A，所述矩阵A大小与搜索范围大小相同，将其按照直角坐标系划分成四个象限，将β所在的象限设定为候选区域，目标候选区域与矩阵A进行与运算后，就只剩下依赖前一帧预测的运动方向上的候选目标。

步骤3)定义另一个矩阵B，应对当前帧中目标突然变向情况下的跟踪：

使用矩阵A与矩阵B进行或运算作为采样矩阵；

步骤4)依据运动矢量，计算前两帧目标运动的距离d，根据所述距离自适应地调整搜索范围，通过运动的距离和目标窗口大小设置权值，则权值ω为：

其中，w，h为目标窗口的宽度和高度；利用权值ω自适应调整初始搜索范围。

所述基于运动预测的压缩跟踪方法的进一步设计在于，跟踪窗口的自适应优化，具体为：每次以两个像素的距离对窗口大小调整，在这些窗口里进行特征提取，并使用贝叶斯分类器进行分类，找到最好匹配结果，即获得跟踪窗口的自适应优化。

本发明的优点：

本发明基于运动预测的压缩跟踪方法在目标视频序列的第一帧给定目标初始状态的情况下，根据当前帧对视频目标进行运动预测，得到目标的运动方向依据运动矢量，计算前两帧目标运动的距离，根据这个距离自动调整搜索范围，大 大减少了搜索时间，减少候选样本的采集；使用自适应跟踪窗口优化，从而提高了压缩跟踪方法在一些复杂场景下的实时性和鲁棒性。

附图说明

图1本发明方法的流程框图。

图2本发明方法正样本选择优化示意图。

图3压缩感知算法跟踪示意图和本发明方法自适应跟踪窗口优化跟踪示意图。

图4本发明方法、CT和CNT跟踪结果示意图。

图5本发明方法、CT和CNT跟踪另一例结果示意图。

图6本发明方法、CT和CNT另一例跟踪结果示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，下面结合附图对本申请进一步详细说明。

如图1，本实施例的基于运动预测的压缩跟踪方法，包括：初始化，选取第一帧图像中跟踪目标区域，在第一帧图像目标区域附近采样图像块，对图像块进行特征提取和降维得到每个图像块的特征向量，建立分类器。跟踪目标并对目标进行运动预测：对于第t+1帧图像，使用前两帧，t的取值是大于等于2的整数。图像中的目标位置得到目标运动矢量与预测方向，并根据目标运动矢量与预测方向得出目标的预测位置，在第t帧跟踪到的预测位置的附近采样图像块，进而得到每个图像块的特征向量，分类器将最大分类器相应的图像块作为当前帧跟踪到的目标。确定当前帧的最终跟踪结果：对跟踪窗口进行自适应优化，在目标附近，再次进行采样，并通过分类器进行选择，将最大分类器相应的图像块作为最终跟踪目标；并记录当前帧目标位置，跟踪到目标位置，更新分类器参数，如图3。

本实施例中，分类器采用贝叶斯分类器H(v)，如式(1)，

其中，p(y＝1)＝p(y＝0)，y∈{0,1}是正负样本标志，y＝0代表负样本，而y＝1代表正样本，低维度空间v＝(v1,....,vn)^T,vi为v中第i个元素。

进一步的，设定分类器H(v)中的条件分布p(vi|y＝1)和p(vi|y＝0)是高斯分布，且满足其中和分别为正样本概率的期望和标准差，而和分别为负样本概率的期望和标准差，为期望为和标准差为的高斯分布，为期望为和标准差为的高斯分布，N代表高斯分布的符号，贝叶斯分类器参数更新如式(2)、式(3)：

其中，μ¹、σ¹表示更新后正样本的期望和标准差，λ＞0为学习因子，n代表样本个数，vi(k)代表第k样本在低维空间表示、k代表第k个样本。

本实施例中，图像块的采样通过优化的正负样本选择实现采集，正样本选择依据成功率公式，成功率公式如式(4)：

其中，CI是算法计算出的目标框区域，RI是实际目标区域；当一帧中Rt的值大于0.5，则认为跟踪结果正确。

进一步的，如图2，正负样本选择的优化，依据成功率公式，正负样本选择的优化公式如式(5)：

其中，w，h为目标窗口的宽度和高度，l是偏移量，n和m是横向和纵向的偏移分量，正样本选择区域是成功率在0.9以上的区域，负样本是成功率在0.5以下的区域。

本实施例中运动预测具体包括如下步骤：

步骤1)设定前一帧目标位置为(x1,y1)，当前帧目标位置为(x2,y2)，则运动矢量β为：

β＝(x2,y2)-(x1,y1)；

步骤2)根据目标运动方向，定义搜索区域，定义一个矩阵A，该矩阵大小与搜索范围大小相同，将其按照直角坐标系划分成四个象限，将β所在的象限设定为候选区域，目标候选区域与矩阵A进行与运算后，就只剩下依赖前一帧预测的运动方向上的候选目标。

步骤3)定义另一个矩阵B，应对当前帧中目标突然变向情况下的跟踪：

使用矩阵A与矩阵B进行或运算作为采样矩阵；

步骤4)依据运动矢量，计算前两帧目标运动的距离d，根据所述距离自适应地调整搜索范围，通过运动的距离和目标窗口大小设置权值，则权值ω为：

其中，w，h为目标窗口的宽度和高度；利用权值ω自适应调整初始搜索范围。

为了提高跟踪的鲁棒性，跟踪窗口的自适应优化，具体为：每次以两个像素的距离对窗口大小调整，在这些窗口里进行特征提取，并使用贝叶斯分类器进行分类，找到最好匹配结果，即获得跟踪窗口的自适应优化。

本申请的对本实施例方法的效果进行了实验验证，利用CT[文献1]和CNT[文献4]，用以与本发明方法的效果进行比较，结合图4、图5和图6所示的跟踪结果图。CT算法的跟踪结果用红色1号框实线标出，CNT算法结果用绿色2号框实线标出，本发明结果使用蓝色3号点线框标出。由图可知，本实施例的跟踪方法无论是目标跟踪的准确性还是在跟踪窗口中的目标位置都好于其他 两种方法。实验在15种具有挑战性的序列中进行验证，总共测试了7531帧图像。这15种视频是公共视频库[文献5](http://cvlab.hanyang.ac.kr/tracker_benchmark/)中随机选取的。实验设备配置为，2.5Ghz主频四核Core i5CPU，内存4GB，Windows7 32位操作系统，并在MATLAB 2014a开发平台上运行。

为了评价算法目标跟踪性能，发明人采用跟踪成功率Rt和中心偏移量两个指标来衡量跟踪的准确率。其中，成功率Rt的定义为：

其中，CI是算法计算出的目标框区域，RI是实际目标区域。那么，当一帧中Rt的值大于0.5，则认为跟踪结果正确。

中心偏移量的定义为跟踪结果框的中心点与实际框中心点的欧式距离。结果如下表所示。

表1时间和成功率

表2中心偏移量

由上表可知，本发明方法提高了跟踪的鲁棒性和实时性。相比于CNT算法，本发明方法在实时性方面有很大的优势，使用的时间是CNT算法的几百分之一；在跟踪成功率来看，CNT算法在个别视频中的表现很好，但是整体要略差于本发明方法。同时，本发明方法的平均中心偏移量最低，CT算法的中心偏移量最高。因此，在中心偏移的程度方面，本发明方法也有了较大的改善。

本实施例的基于运动预测的压缩跟踪方法在目标视频序列的第一帧给定目标初始状态的情况下，根据当前帧对视频目标进行运动预测，得到目标的运动方向依据运动矢量，计算前两帧目标运动的距离，根据这个距离自动调整搜索范围，大大减少了搜索时间，减少候选样本的采集；使用自适应跟踪窗口优化，从而提高了压缩跟踪方法在一些复杂场景下的实时性和鲁棒性。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其本发明构思加以等同替换或改变，都涵盖在本发明的保护范围之内。