一种目标跟踪模板自适应更新方法与流程

本发明属于计算机视觉领域，涉及目标跟踪，模板识别，目标状态识别等技术，具体涉及一种目标跟踪模板自适应更新方法。

背景技术：

模板更新是跟踪算法实现适应性跟踪的常用策略。目的是使得跟踪模板不断学习目标的新特征，从而适应目标状态变化。模板更新通常采用的方式是根据每一帧图像的跟踪结果，生成新的模板，并与原来的模板进行线性叠加的方式来进行更新。典型算法有kcf、dsst、staple、siamfc等。这种更新策略在目标完整且跟踪准确的情况下能够取得较好的更新效果。但是当跟踪出现遮挡时，就会在模板更新过程中引入很多非目标信息，降低模板的置信度，进而影响跟踪结果。因此模板更新策略应该自适应目标状态。

近年来，自适应模板更新策略取得了一定的成效。该类方法利用响应结果图计算跟踪置信度，从而选取合适的模板更新方式。但是当前方法仅统计了响应结果图的数值分布，忽略了响应结果图的空间分布。会将形变检测为遮挡，从而在形变时不更新模板。导致模板的更新过程赶不上目标形态的变化，最后致使跟踪定位不准甚至跟丢。

技术实现要素：

针对上述现有技术中存在的技术问题，本发明提供一种目标跟踪模板自适应更新方法，能够较为准确的区分跟踪过程中目标的形变与遮挡状态，从而选取合适的模板更新策略，提升跟踪算法的鲁棒性；同时本发明结合性较强，能够普遍适用于相关滤波类跟踪算法。

本发明的目的是通过以下技术方案来实现的：一种目标跟踪模板自适应更新方法，该方法包括以下步骤：

(1)根据相关滤波类跟踪算法，分析目标物体在正常、形变以及遮挡三种状态下的跟踪响应，得到当前帧图像的响应结果图，三种状态下的跟踪响应公式如下：

正常情况：f{x,xnor}＝n·δ(δx)+η

形变情况：f{x,xdef}＝δ(δx1)+δ(δx2)……δ(δxn)+η

遮挡情况：f{x,xocc}＝(n-m)·δ(δx)+ηm

其中，f{·,·}表示相关滤波操作，x表示目标跟踪模板，xnor、xdef和xocc分别表示正常、形变以及遮挡三种状态下的目标物体；n表示目标物体的像素数目，m表示遮挡情况下目标物体被遮挡的像素数目；δx表示正常和遮挡情况下目标物体的位移量，{δx1,δx2,...,δxn}表示形变情况下各个像素的位移量；η表示在正常和形变情况下，相关滤波过程受到的非目标物的微弱干扰，ηm表示在遮挡情况下，相关滤波过程受到的非目标物的强力干扰；

分析响应结果图的峰值特征与空间分布表现，可以发现：正常情况下，响应结果图峰值较高，空间波动强度很低；形变情况下，响应结果图峰值较低，空间波动强度也很低；遮挡情况下，响应结果图峰值较低，但空间波动强度较高。

(2)计算响应结果图的空间波动强度ggd和响应峰值gmax；

空间波动强度的计算过程如下：计算响应结果图的横向和纵向梯度，以每像素点的两个方向的梯度值的均方根作为该像素点的梯度值，将响应结果图各像素点的梯度值进行累加，累加结果作为其空间波动强度；

(3)根据步骤2得到的ggd和gmax计算该响应结果图的目标状态因子pag，公式如下：

其中，α为空间波动调整参数，通过最小化分类误差方法得到；

(4)根据目标状态因子pag确定目标物体的状态，即正常、形变或遮挡，根据不同的状态选取相应的目标跟踪模板更新率。

进一步地，步骤(1)中，将所有帧图像的响应结果图通过线性插值方法缩放到相同大小，以避免响应结果图的不同尺寸对梯度累加和产生影响。

进一步地，相关滤波类跟踪算法可以采用kcf、dsst、staple、siamfc。

进一步地，步骤(2)中，统计大量跟踪实例在三种情况下的空间波动强度ggd和响应峰值gmax；设置空间波动调整参数α和目标状态分类阈值ω，建立目标状态分类模型通过最小化分类误差方法求解α和ω，最终将遮挡情况从三种情况中分离出来。

进一步地，步骤(4)中，将步骤3得到的目标状态因子pag与目标状态分类阈值ω进行比较，如果pag＞ω，则当前目标物体状态为正常或形变，否则为遮挡情况，此时应降低目标跟踪模板的更新率。

进一步地，步骤(4)中，当判断目标物体为遮挡情况时，将目标跟踪模板的更新率变更为原更新率的一半。

本发明与现有技术相比的优点在于：

一、本发明能够有效区分目标物体的形变状态与遮挡状态。

目标物体在形变状态与遮挡状态下需要完全不同的模板更新策略，在形变状态下，需要较高的模板更新率，以使得模板能够适应变化的目标；而在遮挡状态下，需要较低的模板更新率，防止在模板中引入较多的非目标信息，提高模板的保真度。本发明提出的目标状态因子，能够很好地对目标状态分类，并选取合适的模板更新率，有效地提升跟踪准确度。

二、本发明能够普遍应用在相关滤波类跟踪算法，且有效提高算法的跟踪效果，普适性很高。

三、本发明基于跟踪过程中已获得的响应结果图来计算模板更新率，避免了对算法复杂度的增加，便于跟踪算法的实时应用。

附图说明

图1是从大量实验数据得到的响应结果图响应峰值及响应结果图梯度累加和的结果图，其中虚线表示的是求解得到的形变状态与遮挡状态的分界线；

图2是将跟踪目标分成各个不重叠小块的示意图；

图3是目标正常状态下的示意图及响应结果图；

图4是目标形变状态下的示意图及响应结果图；

图5是目标遮挡状态下的示意图及响应结果图；

图6是图4和图5两种状态下的响应结果图的数值分布统计；

图7是本发明在四种当前最新的相关滤波类跟踪算法上整体情况下的应用结果，其中pagkcf、pagstaple、pagdsst和pagsiamfc分别表示将本发明应用在kcf(j.-f.henriques,c.rui,andp.-martins,andj.batista.high-speedtrackingwithkernelizedcorrelationfilters[j].ieeetransactionsonpatternanalysis&machineintelligence,2015,37(3):583-96)、staple(l.bertinetto,j.valmadre,s.golodetz,o.miksik,andp.-h.-s.torr.staple:complementarylearnersforreal-timetracking；proceedingsofthecomputervisionandpatternrecognition,f,2016[c])、dsst(m.danelljan,g.hager,andf.-s.khan.accuratescaleestimationforrobustvisualtracking；proceedingsofthebritishmachinevisionconference,f,2014[c])和siamfc(l.bertinetto,j.valmadre,j.-f.henriques,a.vedaldiandp.-h.-s.torr.fully-convolutionalsiamesenetworksforobjecttracking；proceedingsoftheeuropeanconferenceoncomputervision,f,2016[c])四种算法上，右上角表示的是各曲线与坐标轴围成的面积，数值越大表示准确度越高；

图8是本发明在四种当前最新的相关滤波类跟踪算法上形变情况下的应用结果。

图9是本发明在四种当前最新的相关滤波类跟踪算法上遮挡情况下的应用结果。

具体实施方式

现在将基于kcf(kernelcorrelationfilter)跟踪算法为例详细描述本发明的示例性实施过程，并通过在kcf、dsst、staple和siamfc四种跟踪算法下的应用结果进行对比来说明本发明的效果优势。

本发明实施例如下：

如图2所示，目标x可分为{x1,x2,...,xn}的集合，其中x1,x2,...,xn代表目标各不重叠小块，极端情况可视为目标各像素点。正常情况下，目标各部分位移量相同，新一帧中目标状态为xnor＝{x1+δx,x2+δx,...,xn+δx}；遮挡情况下，新一帧中部分目标像素没有显现出来，假设这些被遮挡的目标部分为{x1,x2,...,xm}，其中m<n。新一帧中目标状态为xocc＝{xm+1+δx,xm+2+δx......xn+δx}；形变情况下，目标各部分位移量不同，新一帧中目标状态为xdef＝{x1+δx1,x2+δx2,...,xn+δxn}；在相关滤波检测中，目标小块与模板准确匹配时有较高响应，匹配错误时有较低响应。此外当场景较为平滑时，匹配结果波动较弱，当场景较为复杂时，匹配结果波动较强。目标在正常、形变以及遮挡三种状态下，跟踪响应结果图的响应公式：

正常情况：f{x,xnor}＝n·δ(δx)+η

形变情况：f{x,xdef}＝δ(δx1)+δ(δx2)……δ(δxn)+η

遮挡情况：f{x,xocc}＝(n-m)·δ(δx)+ηm

其中，f{·,·}表示相关滤波操作，x表示目标跟踪模板，xnor、xdef和xocc分别表示正常、形变以及遮挡三种状态下的目标物体；n表示目标物体的像素数目，m表示遮挡情况下目标物体被遮挡的像素数目；δx表示正常和遮挡情况下目标物体的位移量，{δx1,δx2,...,δxn}表示形变情况下各个像素的位移量；η表示在正常和形变情况下，相关滤波过程受到的非目标物的微弱干扰，ηm表示在遮挡情况下，相关滤波过程受到的非目标物的强力干扰；正常、形变以及遮挡三种状态下的实际响应结果图如图3-图5所示。

三种情况下跟踪响应结果图的峰值特征与空间分布表现为：正常情况下，响应结果图峰值较高，空间波动强度很低；形变情况下，响应结果图峰值较低，空间波动强度也很低；遮挡情况下，响应结果图峰值较低，但空间波动强度较高。利用响应结果图梯度计算空间波动强弱。以[-1,0,1]为模板来计算响应结果图的横向和纵向梯度，以每像素点的两个方向的梯度值的均方根作为该像素点的梯度值，将响应结果图各像素点的梯度值进行累加，累加结果作为其空间波动强度；同时为了避免响应结果图尺寸不同对梯度累加和产生影响，在计算响应结果图梯度值之前，将响应结果图以线性插值的方法统一缩放到62500像素大小，其中长宽按等比例缩放。若响应结果图g尺寸为(m,n)，则缩放后的响应结果图gn大小为

基于y.wu,j.lim,m.-h.yang.objecttrackingbenchmark[j].ieeetransactionsonpatternanalysis&machineintelligence,2015,37(9):1834-48提出的otb2015测试集。从中选取了36个视频，超过8000帧的跟踪实例下得到的响应结果图，统计三种情况下响应结果图峰值，及梯度累加和。通过最小化分类误差的方法将遮挡情况与形变和正常情况分离。目标状态分割线为：

如图1中虚线所示。为了便于表达，提出了自适应参数pag(peakdividedbylogarithmicaveragegradient)

因此pag＝0.01即为图1中形变情况与遮挡情况的分界线。当pag大于0.1时，认为目标状态近似于正常或者形变，应该采取较高的模板更新率来适应目标变化，本发明选取的更新率为0.01。当pag小于0.1时，认为目标状态近似于遮挡，应该采取较低的模板更新率来防止模板中引入较多的非目标信息，本发明选取的更新率为0.005。

将得到的模板更新率带入到kcf原有的模板更新公式，计算新模板，从而实现目标跟踪模板自适应更新。

现就两种典型具体情况，对本发明对形变状态和遮挡状态的区分能力进行评估。图4示出了在形变状态下的响应结果图，图5示出了遮挡状态下的响应结果图。虽然响应结果图在外观上有较大差异，但是数值分布比较相似。图6示出了上述两种情况的响应结果图数值分布统计。因此传统的基于响应结果图数值分布统计的方法难以将形变和遮挡两种状态进行区分，会导致模板难以适应目标表观的变化，或者引入较多非目标信息。而本发明提出的pag算子从响应结果图空间分布出发，在上述两种实例下的计算结果分别为98.53和150.21，相差超过50％。能很好地将形变和遮挡状态区分开。

此外，图7-图9示出了本发明在kcf、dsst、staple和siamfc四种跟踪算法下的应用结果，结果显示本发明能够很好地结合到相关滤波类跟踪算法，并且能够普遍提升这些跟踪算法的准确度。尤其在形变和遮挡两个状态下，本发明表现更佳。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施案例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。