本发明属于模式识别与机器学习领域，可用于物体的目标跟踪，尤其是针对跟踪物体被严重遮挡的情况。
背景技术：
目标跟踪方法的分类方式有很多种，按时间先后顺序，可以分成上世纪和本世纪初出现的跟踪算法，如Cam Shift、Mean Shift、Kalman Filtering、Optical Flow和Particle Filtering等，近十年内出现了很多非深度学习跟踪算法，如KCF，SCM，TLD，Struck等。直到2012年深度学习的奠基人之一Hinton推动了深度学习的发展，近几年出现了很多深度学习目标跟踪算法，如MDnet,CNT。不同类型的目标跟踪方法暴露的问题不一样。
1.其中要提前进行预训练的跟踪方法很容易出现预测目标位置偏移现象，且此类方法对训练数据集存在依赖；而离线跟踪方法可以对跟踪路径做全局优化，可以在测试序列上向前或向后进行扫描，但应用场合相对较少，因此，在线进行跟踪的方法是主要研究方向。
2.在实际情况中采用生成模型与判别式模型相结合的方法表现更为出色，主要是因为生成模型跟踪方法在背景较为复杂、干扰因素较多的情况下容易出错，很难正确判断目标的移动方向。
3.一些深度学习目标跟踪算法为目标学习提取了目标的深层特征。当目标被严重遮挡时，目标的原始特征部分消失，这些深度特征不能匹配，因此跟踪器可以在宽范围搜索中跟踪目标，这很容易导致目标的丢失或者具有较大的中心点错误。
4.图8是目标跟踪研究领域最常见也是最难处理的遮挡问题，当跟踪目标被遮挡后，目标原始特征变得不完整，目前很多跟踪器难以捕捉目标，而当目标跟丢后，跟踪算法很难找回目标，从而导致跟踪失败。
技术实现要素：
本发明提出了一种在严重遮挡情况下，采用稀疏区分性分类器(SDC)和稀疏生成模型(SGM)的高斯联合模型(GSCM)来进行目标跟踪，能够应用于无人机、服务机器人、
智能摄像头等智能化产品。
在SDC模型中，采用高斯分布的先验知识对候选样本加权，根据上一帧目标的方差和均值预测当前帧候选样本的权重。同时，在SDC与SGM模型中同时采用稀疏编码与LLC 分别计算候选样本置信度与样本和模板的相似性，并将得到的两个系数相结合。最终，以权重、置信度、相似度来决策最大似然的样本。
本发明主要将稀疏编码技术与LLC编码技术联合使用，将整个目标跟踪框架分成SDC (sparsity-based discriminative classifier，基于稀疏表达的判别分类器)SGM模型 (sparsity-based generative model，稀疏生成模型)。
在SDC模型中，判别性的特征被提取依据以下公式(1)：
在这里，Np是指正样本，Nn是指负样本，同时是由Np和Nn组成。图3 显示了正负样本模板，模板图片大小为32×32。
K是特征选择之前的特征维度，向量元素表示任意一个模板在训练集A 中的属性。稀疏特征向量s,它的非0元素是从K原始空间中挑选出来的具有区别性特征。
公式(2)右边是公式的正则项，这里采用l1-norm增强公式的范化能力以及更容易得到稀疏解。将原来的特征空间通过投影矩阵S投影到选择的特征空间，S由对角阵S′去掉所有零行构成，S′中的元素由下面公式确定。因此，训练模板和投影空间的候选目标是 A′＝SA和x′＝Sx.
在SDC模块中，目标能由正模版的线性组合更好表示而背景能由负模板的扩展更好表示。给定候选目标，可由训练模板和下面公式计算出的系数α表示。
因此，构建候选目标x的信任值Hc通过下面的公式(4)：
Hc＝exp(-(εf-εb)/σ) (4)
这里是候选样本x与前景模板集A+重构误差。同样的,是候选样本x与背景模板集A-的重构误差，并且α是相关稀疏系数向量。
在归一化的图像上用重叠的滑动窗口得到M块图像，每块图像转换成yi∈RG×1向量，G表示图像块的大小。通过公式(5)计算每一个patch的稀疏系数向量β。
在这里字典D∈RG×J是目标最具代表性的模型，它是由k-means聚类中心产生。图4 展示了这种方法的插图。在图4中，字典D∈RG×J它是由k-mean算法从第一帧图像中根据J个聚类中心产生M个小块。将每个图像块所求得β稀疏系数向量拼接起来形成直方图。
ρ＝[β1,β2,β3,...,βm]T(6)
这里ρ∈R(J×M)×1是每一个候选对象的直方图，如图4。在方法中均值聚类方法生成的直方图是有效的，但这个方法可能丢失每个图像块的空间信息。经过修改重构直方图来排除遮挡的图像块。重构误差较大的图像块被看作遮挡，其对定的稀疏系数向量被置为0，这里的计算通过公式(7):
ρ＝[β1,β2,β3,...,βm]T (7)
这里⊙表示矩阵元素之间的点乘，o中的每个元素是对应遮挡图像块的指示器，计算通过公式(8):
在公式(8)中,是图像小块yi的重构误差，而yi是候选样本通过滑动窗口扫描所形成，ε0是预先设定的阈值用于判断patch是否被遮挡。接着，再用直方图交叉函数计算目标直方图与模板直方图之间的相似性，计算公式为
模板直方图ψj通过公式(5，6)计算得到，由于模板只在图像序列的第一帧中使用，所以模板在每个图像序列中只计算一次。
利用在SDC模型中所求得信任值Hc与在SGM模型所求得目标直方图与模板直方图之间的相似性Lc进行结合，计算为公式(10)
这种结合方式有助于跟踪算法的鲁棒性。在跟踪过程中目标的外貌不断发生改变，因此在SDC模型中每五帧对当前跟踪结果的图像区域负模板进行更新，而整个正模板保持不变，这是由于在正样本模板的产生目标的小范围内变化并不大。由于采用这种方式， SDC模型是具有自适应和区分性的。而字典在整个图像序列计算过程中是固定的，为了抓住新的外观和在遮挡中恢复目标，模版直方图的更新为SGM模块更新，计算为公式 (11)
新直方图ψn由根据第一帧直方图ψf和最后存储的直方图ψl所构成，μ用于分配公式左边和右边的权重大小.将更新后的直方图用于跟踪下一帧图像中的目标。
在协同模型中，信任度值Hc认为是赋予正样本更高的权重而惩罚其他的候选样本，把目标从背景中区分出来，所以它必须确保正负模版是正确且不同的。信任度值Hc通过计算公式(1～4)的浮动范围很小如图5，因此在最合适的正样本挑选上不具有很强的区分能力。
举例来说，大多数样本置信度的值相对稀疏的分布在0.95到1.15之间，而只有一小部分样本具有很高的置信等级(它们之间的区别少于0.01)。因此，这些相似性的样本并没有任何明显的区别。
SDC模型和SGM模型形成一个协作模型，通过模型提高了目标跟踪的鲁棒性。然而，当前算法的候选样本是均匀分布的，协作模型是否可以添加先验知识，然后结合当前的协作模型进一步提高了跟踪的鲁棒性。要知道，当目标被严重阻挡时，目标的一些外观特征消失，下一帧跟踪目标位移不大，最有可能分布在当前跟踪样本周围。因此，在随机生成样本时，可以根据目标的位置预测当前帧的候选样本是目标的权重，样本分布是前一帧生成的。
跟踪目标由先验概率确定的贝叶斯滤波框架p(xt|xt-1)所决定。这里，xt是目标在时间 t时刻的状态。让xt＝[lx,ly,θ,s,α,Φ]T，这里lx,ly,θ,s,α,Φ分别是指x坐标，y坐标，中心点，旋转角度，尺度，长宽比，歪斜。假设这6个仿射参数相互独立且服从高斯分布，在产生候选样本时采用粒子滤波的方法。样本可以通过均值为，方差为σ2的高斯函数所描绘：
在这里是指第i个仿射参数在t帧时刻的状态，让表示第j个样本在第i个仿射参数上的权重，则对每个候选样本的权重计算公式为
这里n是指仿射参数的数量，同时候选样本集是通过公式(12)使用高斯函数产生，同时利用公式(13)得到每个候选样本的权重，也就意味着上一帧跟踪的目标所处状态在当前帧中周围分布的候选样本将会获得更多的权重，相反，离上一帧样本位置较远的样本获得较小的权重。将这一先验知识与之前的协和模型结合，通过公式：
这里，pc是经过上述的公式(10)得到的每个样本的似然概率值，所最后选取在t 时刻的为最大似然值的样本，中考虑了先验概率值这样能够进一步提高模型的鲁棒性。本发明方法的框架示意图如图2所示。
从图2可以看出，通过高斯加权来预测t帧中目标的5个仿射参数，t+1帧中每个候选样本的权重为w。然后，这些候选样本将由SDC和SGD模块处理。在SDC和SGD模型中，本文使用SC和LLC方法分别构造每个候选样本和模板之间的重构误差。通过SDC 模型，可以得到每个样本与模板之间的置信度h，每个样本与模板之间的相似度由SGD 模型得到。最后，t+1帧的跟踪结果由这三部分组成。
与SDC模块相比，在SGM模块中，通过将所有候选样本通过重叠滑动窗口划分为目标模板稀疏表示的局部特征，形成直方图。图6显示了样本相似度的分布情况，这些样本分布相对离散，并且不在某个区域集中分布。相似度较高的样本数量少于图5所示置信度较高的样本数量，这样更有利于区分前景和背景。因此，SGM模块比SDC模块具有更强的区分类似样本的能力。如图6所示，图中相似度的分布是离散的，与SDC模块相比，它具有更强的区分能力。
此外，无论是通过方程(1)进行特征选择，还是用训练模板与候选样本之间的系数表示采用式(3)，或者通过公式(5)计算候选样本与字典相似性的直方图都是采用稀疏编码求解稀疏表达系数。这种方法很容易获得稀疏解，同时l1范数正则化是一种嵌入式的特征选择方法，它有助于挑选出具有区分性特征。然而相比于LLC方法，稀疏编码 (SC)并没有高度精准的重构误差。因此，本发明方法提出了LLC算法应用在目标误差重构上，本发明通过组合SC和LLC方法，在SDC模型中，特征选择不仅是基于公式(1) 同时也基于局部限制性编码LLC方法，而LLC编码采用如下公式：
在这里，是指元素之间的点乘，特别注意的是，
这里，dist(xi,B)＝[dist(xi,b1),…,dist(xi,bM)]T，同时dist(xi,bi)是xi与bi之间的欧式距离。σ是用来调整局部适配器权重的衰减速度。
训练模板与候选模板之间的编码系数可以通过如下公式计算：
然后经过公式(4)，同样可得到候选样本与目标LLC稀疏编码信任值Hllc。再通过公式：
H＝Hc+ρHllc (18)
这里,ρ是指Hc与Hllc之间的结合系数，在本发明中为0.01，这是由于正则项范数稀疏编码更加侧重于全局最优，而LLC编码倾向于局部最优。对于目标跟踪，局部稀疏解应该加入到全局稀疏解中。
在SGM模型中，每个候选样本经过扫描重叠滑动窗口获得m个图像块与字典D，再通过计算公式(19)得到每一个patch的稀疏系数向量β。
类似地，将从每个图像块获得的稀疏系数β向量级联以形成直方图ρ＝[β1,β2,β3,…βm]T，同时可以计算出每个样本与跟踪目标的相似度Lllc.最后公式(9)所求得Lc通过公式：
L＝Lc+ρLllc (20)
得到最终样本相似度。
本文将信任值H和相似度L利用所提出来的GSCM模型带入到公式(14)中，在同一视频序列且在相同t时刻的视频帧与SCM模型所求得的样本似然值形成对比如图7:
可以很明显从SCM与GSCM模型的样本似然值对比图看出，样本似然值在GSCM 模型中的比SCM模型中的具有更高的幅度。同时，在GSCM模型中，大多数样本密集分布，似然值较小，但样本似然值在SCM模型的分布中相对离散。而比起SCM模型， GSCM模型中具有最高似然值的样本能够很好与其他样本进行区分。更进一步，本文想要挑出具有最高似然值的样本作为最终的跟踪结果，这就意味着GSCM模型中的样本分布比SCM模型更具有区分性，这归功于LLC方法使用了局部l2范数具有高度精准的重构误差特点。
本发明方法考虑了样本与模板之间的稀疏表示能力，如上述发明内容，方法中加入了LLC 编码，这种编码正则项使用的是l2范数，在机器学习稀疏编码中l2范数的使用决定了编码具备精准的重构误差特性，避免了因l1范数重构误差过小带来的误差积累，从而引起目标跟丢或跟踪失败。
本发明方法在步骤二中增加了先验概率，并使用概率论中高斯分布对目标周围的候选样本赋予不同大小的权重，加入先验概率以提高模型的鲁棒性。
此外，本发明方法结合了l1范数和l2范数进行计算特征选择，模板匹配和样本识别，具体过程如上述公式(20)所述。该方法由于采用了已有的稀疏编码方式，不仅容易获得稀疏解，而且减少了重构误差。因此，本发明模型获得的样本似然比其他模型获得的样本更具有判别性。采用该方法用于解决严重遮挡下的目标跟踪，使得目标跟踪方法更具鲁棒性。
本发明把稀疏编码与LLC编码联合编码这种方法应用于目标跟踪，由于稀疏编码中的正则项使用的是l1范数，这种编码特征决定了方法极易获得稀疏解，LLC编码中的正则项使用局部l2范数，编码特征决定了编码系数具备精准的重构误差的特点。将这两种编码方式结合，在易获得稀疏解的同时，重构误差也高度精准。本发明利用这种特性，在构建样本于模板之间的稀疏系数时，样本之间会更具差异性，发明更利用挑选出最佳候选样本作为最终目标跟踪结果。其二，方法加入了先验知识，利用概率论中的高斯分布对目标周围的样本赋予不同大小的权重，即越靠近目标的样本越易获得较大权重，先验概率的加入符合样本分布的客观规律，使得方法更具鲁棒性。
综上所述，本发明是利用稀疏编码和LLC编码两种编码方法应用到目标跟踪领域，已用的方法只是将稀疏编码方法利用在特征选择、模板匹配和样本识别上，因为稀疏编码是一种全局的编码方式，它具有易获得稀疏解的优势，但是却忽视了局部编码的重要性。于是，本发明引入了LLC编码后实验效果得到了很大改善，这得益于LLC编码是一种局部的编码方式，并且采用了l2范数的正则项，弥补了稀疏编码的不足。这种方法对本发明起到了至关重要的作用。于此同时，本发明所提出的通过编码系数相加的方式，使LLC编码如何与稀疏编码联合使用。同时，本发明在实验过程中发现了下一帧目标极有可能分布在当前帧目标周围的客观事实，从而尝试引入先验知识，通过实验发现利用概率论中的高斯分布对样本赋予不同大小的权重，这种方法能够使得结果更具鲁棒性，也是本发明的创新点之一。
附图说明
图1为本发明方法在严重遮挡情况下的表现效果。
图2为发明方法整体框架示意图。
图3为从原始图像中获得32×32大小的正负模板图片。
图4为滑动窗口扫描K-means聚类形成字典示意图。
图5 150个候选样本置信度值分布图。
图6为150个样本与目标相似度值分布图。
图7 SCM模型与GSCM模型样本似然值分布情况对比图。
图8为效果前10的跟踪器在17组严重遮挡视频序列上的表现图。
图9为使用OPE与SRE评价指标实验结果。
图10为其他32组具有遮挡属性的视频序列实验结果。
图11为49组遮挡视频序列上的整体表现结果。
具体实施方式
本发明提出了一种严重遮挡情况下的精准目标跟踪方法，所述方法包括以下步骤：
步骤一：采用稀疏区分性分类器和稀疏生成模型的高斯联合模型进行目标跟踪；
步骤二：在稀疏区分性分类器中，采用高斯分布的先验知识对候选样本加权，根据上一帧目标的方差和均值预测当前帧候选样本的权重；
步骤三：在稀疏区分性分类器与稀疏生成模型中同时采用l1范数与LLC分别计算候选样本置信度与样本与模板的相似性，并把它们得到的系数相结合；
步骤四：以权重、置信度、相似度决策最大似然的样本。
本发明提出的方法在OPE或SRE评估性能的遮挡视频序列中是非常有效的，例如长时 间的TLD跟踪算法跟踪，Struck算法一般。由于采用岭回归训练目标检测器和采用循环矩 阵傅里叶空间对角化的简化计算，KCF算法性能良好，表明该方法对重遮挡视频序列更为 有效。同时，即使采用深度学习算法，使用OPE评估的严重遮挡视频序列的整体性能也不 如一些传统的机器学习算法，如本文的方法，KCF，DFT，SCM。使用SRE评估的实验， 性能不如本文的方法和KCF算法。这充分说明严重遮挡下的目标跟踪是一项具有挑战性的 任务，而深度学习算法的性能对于解决这个问题并不一定有效。MDnet和CNT算法在不同 视频序列上的性能并不是很好，其中MDnet只是Bird2，Girl视频序列中有最小的平均中心 定位误差，CNT只在panda视频序列表现良好。原因在于一些深度学习目标跟踪算法为目 标学习提取了目标的深层特征。当目标被严重遮挡时，目标的原始特征部分消失，这些深 度特征不能匹配，因此跟踪器可以在宽范围搜索中跟踪目标，这很容易导致目标的丢失或 者具有较大的中心点错误。特别地，本文的算法使用OPE评价指标与原始SCM算法相比， 在中心定位误差上的精度增加了6.7％，重叠率精度增加了1.9％。同样，本文的算法使用 SRE评价指标与原始SCM算法相比，在中心定位误差上精度增加了4.7％，重叠率精度提 高了2.6％。
实际上，OTB2013和OTB2015目标跟踪数据集一共包含49组具有遮挡属性的视频序列，包含一般遮挡和强遮挡两种。本文的主要目的是解决严重遮挡下的目标跟踪，因为首先遮挡现象是目标跟踪最常见的情况，并且是跟踪算法所最难处理的，其次严重遮挡比一般遮挡更具挑战性。但是为了验证算法的鲁棒性，本文同样测试了其他32组具有普通遮挡属性的视频序列并与其他最先进算法进行比较。同时，本文也采用OPE和SRE评价指标评判实验结果，实验结果如图9所示。
图10与图9的实验结果对比，MDnet算法的表现得到很大提升，目标在普通遮挡情况下还是暴露了一大半部分原始特征，深度学习算法具有很强的特征提取和特征匹配能力，它能够准确的捕捉到目标。因此，方法能够在这32组视频序列上表现很好。本文的算法在OPE评价指标上与SCM算法比较，中心点偏差率提升了11.6％，重叠率提升了11％。同样，本文的方法在SRE评价指标上与SCM算法比较，中心点偏差率提升了9.5％，重叠率提升了 5％。在这32组视频序列上，本文的方法、MDnet、KCF算法的表现都十分相近。但是MDnet 更加具有鲁棒性。
为了测试本文整体算法在遮挡视频序列上的整体表现，本发明完整使用OTB2013和 OTB2015上49组具有遮挡属性的视频序列进行测试，实验结果如图11。本文的算法在OPE评价指标上与SCM算法比较，中心点偏差率提升了9.7％，重叠率提升了7.4％。同样，本文的方法在SRE评价指标上与SCM算法比较，中心点偏差率提升了7.6％，重叠率提升了3.7％。总体表现上，本文方法中心点偏差最小，能够更加精确定位目标。同时，本文方法也有较高重叠率，能够精准框住所跟踪的目标。
本发明的保护内容不局限于以上实施例。在不背离发明构思的精神和范围下，本领域技术人员能够想到的变化和优点都被包括在本发明中，并且以所附的权利要求书为保护范围。