一种基于加权稀疏协作模型的目标跟踪方法与流程

本发明属于视频监控领域，提出了一种基于加权稀疏协作模型的目标跟踪方法，对一个视频序列中的运动目标进行稳定的跟踪。

背景技术：

近年来，目标跟踪在计算机视觉领域扮演着非常重要的角色，同时也是其研究热点。随着目标跟踪技术的不断发展，它在各种各样实际的应用中都发挥着至关重要的作用，比如：视频监控、人机交互、行为分析、虚拟现实、自动控制系统等多种实际场景。因此，各种目标跟踪方法应运而生，主要有基于产生式模型的目标跟踪方法，也有基于判别式模型的目标跟踪方法。

产生式模型是在目标检测的基础上，对前景目标进行表观建模后，按照一定的跟踪策略估计跟踪目标的最优位置，判别式跟踪方法则是通过对每一帧图像进行目标检测来获取跟踪目标状态。然而在基于稀疏产生式模型以及基于稀疏判别式模型中均并没有考虑到测试样本与字典原子(也就是训练样本)之间的相关性，这样会使得到的稀疏编码系数不够精确，从而影响了跟踪的精度。

为了提高运动目标的跟踪精度，研究人员采用稀疏表示混合模型的跟踪方法，综合利用了全局模板和局部表达，能高效地处理目标表观变化，然而混合模型在求解系数编码系数过程中，得到的系数稀疏编码不能足够的稀疏，从而对运动目标的定位不够准确，无法实现对目标的长时间稳定跟踪。

技术实现要素：

为解决上述问题，本发明提出了一种基于加权稀疏协作模型的目标跟踪方法，以期能充分利用样本的分布特性以及局部信息，将样本之间的相关性引入到稀疏协作模型中，从而能够实现对某一视屏监控场景内的运动目标进行实时运动估计以及定位，保证长时间稳定跟踪。

本发明为解决技术问题采用如下技术方案：

本发明一种基于加权稀疏协作模型的目标跟踪方法的特点是按如下步骤进行：

步骤1、选取一段帧数为fmax的视频序列，并从第一帧图像数据中选取跟踪的目标；

步骤2、定义任意一帧为f，并初始化f＝1；

步骤3、利用粒子滤波算法对所述视频序列中第f帧图像数据进行处理，得到kmax个目标候选框，并对每个目标候选框进行归一化处理；

步骤4、利用加权稀疏表示的判别式算法对所述第f帧图像数据中归一化后的第kf个目标候选框进行处理，得到第kf个目标候选框的判别式评分

步骤4.1、判断f＝1是否成立，若成立，则将f+1赋值给f后，返回步骤3；否则，执行步骤4.2；

步骤4.2、在第f-1帧图像数据的跟踪结果的周围选取n1个正模板和n2个负模板并有表示正模板中第i个训练样本，表示负模板中第i个训练样本，且q为所述目标候选框的向量大小；由所述n1个正模板a+和n2个负模板a-经过归一化处理后再合并成判别式模型的字典且n＝n1+n2；

步骤4.3、以所述判别式模型的字典a作为判别式算法的输入，对第kf个目标候选框进行处理，得到第kf个目标候选框的全局最优稀疏系数

步骤4.4、将所述全局最优稀疏系数α拆分为正向量和负向量并计算正重构误差与负重构误差x为第kf个目标候选框所对应的向量；

步骤4.5、利用式(1)得到第kf个目标候选框判别式评分

式(1)中，σ为调节参数；

步骤5、利用加权稀疏表示的产生式算法对所述第f个帧图像数据中第kf个目标候选框进行处理，得到所述第kf个目标候选框的产生式评分

步骤5.1、输入第f个帧图像数据；

步骤5.2、将输入的图像数据分为m个小块，且将每一个小块的灰度值都转化为一个灰度值向量，向量大小为p；

步骤5.3、利用k-means聚类算法对所述第一帧图像数据中跟踪目标所在的小块的灰度值向量进行处理，得到产生式模型的字典c为聚类中心的个数；

步骤5.4、利用滑动窗口将所述第kf个目标候选框划分为m个图像小块；

步骤5.5、以所述产生式模型的字典d作为所述产生式算法的输入，对所述第kf个目标候选框中第i个图像小块yi进行处理，得到第i个图像小块yi的全局最优稀疏编码系数从而得到m个图像小块的全局最优稀疏编码系数，1≤i≤m；

步骤5.6、利用式(2)将m个图像小块的全局最优稀疏编码系数拼接起来，得到所述第kf个目标候选框的稀疏编码系数

式(2)中，t为转置；

步骤5.7、根据所述第kf个目标候选框的稀疏编码系数利用式(3)计算得到所述第kf个目标候选框的产生式评分

式(3)中，表示所述稀疏编码系数中第j个元素值；表示特征模板中第j个元素值，所述特征模板是通过步骤5.4-步骤5.6对第一帧图像数据中选取的跟踪目标框进行处理得到的稀疏编码系数；

步骤6、根据所述第kf个目标候选框的判别式评分和产生式评分利用式(4)得到第kf个目标候选框的最终得分

步骤7、判断kf＜kmax是否成立，若成立，则将kf+1赋值给kf后，返回步骤4执行，从而得到kmax个目标候选框的最终得分，从kmax个目标候选框的最终得分中选取最大值作为第f个帧图像数据的跟踪结果；否则，将f+1赋值给f后，返回步骤3执行，直到f＞fmax为止，从而实现运动目标的跟踪。

本发明所述的基于加权稀疏协作模型的目标跟踪方法的特点也在于，所述步骤4.3是按如下过程进行：

步骤4.3.1、利用式(5)定义判别式算法的目标式：

式(5)中，为判别式算法的权重矩阵；λ1为判别式算法的调节参数；

步骤4.3.2、初始化判别式算法的迭代次数t＝0，随机初始化判别式算法的初始稀疏系数为并利用式(6)得到对角化的权重矩阵diag(w1)：

diag(w1)＝[dist(x,a1),dist(x,a2),…dist(x,aj),…,dist(x,an)](6)

式(6)中，aj表示所述判别式模型的字典a中第j列元素值，1≤j≤n，n是判别式模型的字典的列数，dist(x,aj)表示第kf个目标候选框所对应的向量与所述判别式模型的字典a中第j列元素之间的欧式距离，并有：dist(x,aj)＝||x-aj||^s，s为适应参数，用来调节权值的大小；

步骤4.3.3、利用式(7)得到第t次迭代的判别式算法的对角矩阵

式(7)中，为第t次迭代的稀疏系数α^(t)中第n个稀疏系数值；

步骤4.3.4、利用式(8)得到第t+1次迭代的判别式算法的稀疏系数α^(t+1)：

式(8)中，t为转置；

步骤4.3.5、判断||α^(t+1)-α^(t)||＜ε是否成立，其中，ε为所设定的系数残差阈值，或者，t＞tmax是否成立，其中，tmax为判别式算法的最大迭代次数，若成立，则表示所述第t次迭代的稀疏系数α^(t+1)即为第kf个目标候选框的全局最优稀疏系数α；否则，将t+1赋值给t，并返回步骤4.4.3执行。

所述步骤5.4是按如下过程进行：

步骤5.4.1、利用式(9)定义产生式算法的目标式：

式(9)中，为产生式算法的权重矩阵；λ2为产生式算法的调节参数；

步骤5.4.2、初始化产生式算法的迭代次数t′＝0，随机初始化产生式算法的第i个图像小块yi的初始稀疏系数为并利用式(10)得到对角化的权重矩阵diag(w2)：

diag(w2)＝[dist(yi,d1),dist(yi,d2),…dist(yi,dj),…,dist(yi,dc)](10)

式(10)中，dj表示所述产生式模型的字典d中第j列元素值，1≤j≤c，c是所述聚类中心的个数；dist(yi,dj)表示第i个图像小块yi与所述产生式模型的字典d中第j列元素值之间的欧式距离，并有：dist(yi,dj)＝||yi-dj||^s，s为适应参数，用来调节权值的大小；

步骤5.4.3、利用式(11)得到第t′次迭代的产生式算法的对角矩阵

式(11)中，为第t′次迭代的第i个图像小块yi的稀疏系数中第c个稀疏系数值；

步骤5.4.4、利用式(12)得到第t′+1次迭代的第i个图像小块yi的稀疏系数

式(12)中，t为转置；

步骤5.3.4、判断是否成立，其中，ε′为所设定的另一个系数残差阈值，或者，t′＞t′max是否成立，其中，t′max为产生式算法的最大迭代次数，若成立，则表示所述第t′+1次迭代的第i个图像小块yi的稀疏系数即为第i个图像小块yi的全局最优稀疏编码系数βi；否则，将t′+1赋值给t′，并返回步骤5.4.3执行。

与现有技术相比，本发明的有益效果在于：

1、本发明通过采用计算机视觉和模式识别领域的算法，包括稀疏表示算法、粒子滤波算法，并且利用超完备字典(训练集)对目标候选框进行线性稀疏表示，这样能够较好地解决了目标跟踪问题，从而提高了复杂场景的运动目标跟踪的效果。

2、本发明以模式识别领域的算法中的稀疏协作模型的目标跟踪算法为基础，将一个加权稀疏的判别式分类算法与一个基于加权稀疏表示的产生式算法协作起来，得到一个具有鲁棒性的目标跟踪模型，可以很好的处理目标在运动过程中出现的模糊、尺度变换、姿态变化等问题。

3、本发明在加权稀疏的判别式算法和加权稀疏的产生式算法中，通过对稀疏系数加上相应的权值，能充分利用样本的分布特性以及局部信息，将样本之间的相关性引入到稀疏协作模型中，让那些与目标候选框相关性小的训练样本在重构时贡献的更少，让相关性大的训练样本对目标候选框的重构贡献更大，从而得到的目标候选框评分更加可信；

4、本发明在求解系数稀疏编码时，采用了一种新的迭代算法来求解全局最优的稀疏系数，使得求解得到的稀疏系数更加稀疏且合理，可以更好的利用超完备字典(训练集)对目标候选框进行线性稀疏表示，从而对目标候选框的评分计算更加精确，目标定位更加准确。

附图说明

图1为本发明算法流程示意图；

具体实施方式

本实施例中，一种加权稀疏协作的视频运动目标跟踪算法是首先选取视频序列，得到第一帧图像数据并初始跟踪目标；然后对当前输入的视频帧应用粒子滤波算法得到若干个目标候选框；对候选框应用加权稀疏表示的判别式算法得到目标候选框判别式评分；对选框用滑动窗口得到若干个图像小块，对这些图像小块应用加权稀疏的产生式算法得到目标候选框产生式评分；将判别式评分和产生式评分相乘得到最后的该候选框评分；最后比较当前输入帧的所有候选框评分的大小，找到最大值对应的候选框即为跟踪结果。具体地说，如图1所示，是按如下步骤进行：

步骤1、选取一段帧数为fmax的视频序列，并从第一帧图像数据中选取跟踪的目标；

步骤2、定义任意一帧为f，并初始化f＝1；

步骤3、利用粒子滤波算法对视频序列中第f帧图像数据进行处理，得到kmax个目标候选框，并对每个目标候选框进行归一化处理；粒子滤波算法是利用粒子集来表示概率，可以用在任何形式的状态空间模型上，其核心思想是通过从后验概率中抽取的随机状态粒子来表示其分布情况，是一种顺序重要性采样法，在目标跟踪中占有重要的地位。

步骤4、利用加权稀疏表示的判别式算法对第f帧图像数据中归一化后的第kf个目标候选框进行处理，得到第kf个目标候选框的判别式评分

步骤4.1、判断f＝1是否成立，若成立，则将f+1赋值给f后，返回步骤3；否则，执行步骤4.2；

步骤4.2、在第f-1帧图像数据的跟踪结果的周围选取n1个正模板和n2个负模板并有本实施例中，正模板数量为50，即n1＝50，负模板数量为200，即n2＝200；表示正模板中第i个训练样本，表示负模板中第i个训练样本，且q为目标候选框的向量大小；由n1个正模板a+和n2个负模板a-经过归一化处理后再合并成判别式模型的字典且n＝n1+n2；正负模板分别对应的系数向量组成最后的稀疏系数向量训练样本的个数为n。令x为跟踪目标周围的一个候选框那么关于x的跟踪目标子空间与背景子空间的线性组合可以表示为：

式(1)中，表示正模板系数向量α+的第i个元素值，表示负模板系数向量α-的第i个元素值，表示正模板中第i个训练样本，表示负模板中第i个训练样本；

步骤4.3、以判别式模型的字典a作为判别式算法的输入，对第kf个目标候选框进行处理，得到第kf个目标候选框的全局最优稀疏系数

步骤4.3.1、利用式(2)定义判别式算法的目标式：

式(2)中，为判别式算法的权重矩阵；λ1为判别式算法的调节参数，λ1＞0，通过最小化重构误差和l1范数求解可以得到x的稀疏解

步骤4.3.2、初始化判别式算法的迭代次数t＝0，随机初始化判别式算法的初始稀疏系数为并利用式(3)得到对角化的权重矩阵diag(w1)：

diag(w1)＝[dist(x,a1),dist(x,a2),…dist(x,aj),…,dist(x,an)](3)

式(6)中，aj表示所述判别式模型的字典a中第j列元素值，1≤j≤n，n是判别式模型的字典的列数，dist(x,aj)表示第kf个目标候选框所对应的向量与所述判别式模型的字典a中第j列元素之间的欧式距离，并有：dist(x,aj)＝||x-aj||^s，s为适应参数，用来调节权值的大小；

步骤4.3.3、利用式(4)得到第t次迭代的判别式算法的对角矩阵

式(4)中，为第t次迭代的稀疏系数α(t)中第n个稀疏系数值；

步骤4.3.4、利用式(5)得到第t+1次迭代的判别式算法的稀疏系数α^(t+1)：

式(5)中，t为转置；

步骤4.3.5、判断||α^(t+1)-α^(t)||＜ε是否成立，其中，ε为所设定的系数残差阈值，或者，t＞tmax是否成立，其中，tmax为判别式算法的最大迭代次数，若成立，则表示第t次迭代的稀疏系数α^(t+1)即为第kf个目标候选框的全局最优稀疏系数α；否则，将t+1赋值给t，并返回步骤4.3.3执行。

步骤4.4、将全局最优稀疏系数α拆分为正向量和负向量并计算正重构误差与负重构误差x为第kf个目标候选框所对应的向量；如果一个候选框用正模板集表示的重组误差越小，用负模板集表示的重组误差越大，则说明这个候选框是跟踪目标的可能性越大；相反，如果一个候选框用正模板集表示的重组误差越大，而用负模板集表示的重组误差越小，那么这个候选框是跟踪目标的可能性就越小；

步骤4.5、利用式(6)得到第kf个目标候选框判别式评分

式(6)中，σ为调节参数，用来平衡全局模板匹配与局部直方图模型之间的比重；是用正模板集对候选框x进行重组得到的重组误差，是对应的正稀疏系数向量；同理，是利用负模板集对候选框x用负稀疏系数表示得到的重组误差；

步骤5、利用加权稀疏表示的产生式算法对第f个帧图像数据中第kf个目标候选框进行处理，得到第kf个目标候选框的产生式评分

步骤5.1、输入第f个帧图像数据；

步骤5.2、将输入的图像数据分为m个小块，每个小块的大小为6×6，且每一个小块的灰度值都转化为一个灰度值向量，向量大小为p，即p＝36；

步骤5.3、利用k-means聚类算法对第一帧图像数据中跟踪目标所在的小块的灰度值向量进行处理，得到产生式模型的字典c为聚类中心的个数，将c设为50；

步骤5.4、利用滑动窗口将第kf个目标候选框划分为m个图像小块；

步骤5.5、以产生式模型的字典d作为产生式算法的输入，对第kf个目标候选框中第i个图像小块yi进行处理，得到第i个图像小块yi的全局最优稀疏编码系数从而得到m个图像小块的全局最优稀疏编码系数，1≤i≤m；

步骤5.5.1、利用式(7)定义产生式算法的目标式：

式(7)中，为产生式算法的权重矩阵；λ2为产生式算法的调节参数，λ2＞0；

步骤5.5.2、初始化产生式算法的迭代次数t′＝0，随机初始化产生式算法的第i个图像小块yi的初始稀疏系数为并利用式(10)得到对角化的权重矩阵diag(w2)：

diag(w2)＝[dist(yi,d1),dist(yi,d2),…dist(yi,dj),…,dist(yi,dc)](8)

式(8)中，dj表示所述产生式模型的字典d中第j列元素值，1≤j≤c，dist(yi,dj)表示第i个图像小块yi与所述产生式模型的字典d中第j列元素值之间的欧式距离，并有：dist(yi,dj)＝||yi-dj||^s，s为适应参数，用来调节权值的大小；

步骤5.5.3、利用式(11)得到第t′次迭代的产生式算法的对角矩阵

式(9)中，为第t′次迭代的第i个图像小块yi的稀疏系数中第c个稀疏系数值；

步骤5.5.4、利用式(10)得到第t′+1次迭代的第i个图像小块yi的稀疏系数

式(10)中，t为转置；

步骤5.5.5、判断是否成立，其中，ε′为所设定的另一个系数残差阈值，或者，t′＞t′max是否成立，其中，t′max为产生式算法的最大迭代次数，若成立，则表示第t′+1次迭代的第i个图像小块yi的稀疏系数即为第i个图像小块yi的全局最优稀疏编码系数βi；否则，将t′+1赋值给t′，并返回步骤5.4.3执行。

步骤5.6、利用式(11)将m个图像小块的全局最优稀疏编码系数拼接起来，得到第kf个目标候选框的稀疏编码系数

式(11)中，t为转置；

步骤5.7、根据第kf个目标候选框的稀疏编码系数利用式(12)计算得到第kf个目标候选框的产生式评分

式(12)中，表示稀疏编码系数中第j个元素值；表示的第j个元素值，特征模板是通过步骤5.4-步骤5.6对第一帧图像数据中选取的跟踪目标框进行处理得到的稀疏编码系数，将目标候选框的稀疏编码系数与模板特征使用交叉函数可以得到一个产生式评分

步骤6、根据第kf个目标候选框的判别式评分和产生式评分利用式(13)得到第kf个目标候选框的最终得分

式(13)中，将第kf个目标候选框的判别式评分和产生式评分结合相乘，并利用调节系数σ来平衡全局模板匹配与局部直方图模型之间的比重，这样就得到第kf个目标候选框的得分

步骤7、判断kf＜kmax是否成立，若成立，则将kf+1赋值给kf后，返回步骤4执行，从而得到kmax个目标候选框的最终得分，从kmax个目标候选框的最终得分中选取最大值作为第f个帧图像数据的跟踪结果，同时会在视频序列中将运动目标用一个矩形框标记出来；否则，将f+1赋值给f后，返回步骤3执行，直到f＞fmax为止，从而实现运动目标的跟踪。